forum.opennet.ru

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Оглавление

Обновление кластерной файловой системы LizardFS 3.13.0-rc2, opennews (??), 10-Ноя-19, (0) [смотреть все]

Ух ты, дажен не знал о существовании данной ФС, спасибо за информацию, буду разб, Иван (??), 12:04 , 10-Ноя-19, (1) +1 //

если до сих пор счастье этого знания тебя миновало - не торопись разбираться По, пох. (?), 14:51 , 10-Ноя-19, (15) +12 //

Спасибо за развернутый ответ , Иван (??), 15:05 , 10-Ноя-19, (18) +6 //

Сначала работал на гластере, глюкавое еще то было свыше 10 лет назад , потом пе, Аноним (45), 14:08 , 11-Ноя-19, (45) +1

традиционный вопрос - расскажите подробностей - версии, настройки redundancy goa, пох. (?), 14:58 , 11-Ноя-19, (50)

так у moose, кажется, тоже стагнация, edo (ok), 11:49 , 20-Июн-20, (64)

у moose живое комьюнити и живые продажи Там тоже полтора поляка в разработке, п, пох. (?), 12:43 , 20-Июн-20, (66)

что-то релиза нет, таки не шмогла , edo (ok), 11:47 , 20-Июн-20, (63) //

таки не Нет не то что релиза, а rc3 с закрытием назойливого бага - который долж, пох. (?), 12:38 , 20-Июн-20, (65)

а что вообще стоит посмотреть примерно 10kk файлов, под 150 8239 Tb основная з, edo (ok), 13:02 , 20-Июн-20, (67)

если это у тебя за деньги - не вижу проблем ни с gluster, ни с moose Тупо сравни, пох. (?), 13:41 , 20-Июн-20, (68)

нет, хочется бесплатно 171 тупо сравнить 187 на объёме 100 8239 Tb не та, edo (ok), 00:55 , 21-Июн-20, (69)

сравни на части объема Они не требуют переформатировать диски если там не ntfs,, пох. (?), 10:34 , 21-Июн-20, (70)
результаты теста винды на слабом процессоре оказались довольно предсказуемы - , пох. (?), 18:17 , 21-Июн-20, (71)

а, блин, вдогонку lightweight снапшоты и trashcan У gluster первого технически , пох. (?), 14:56 , 10-Ноя-19, (16) +2 //

У гластера в trashcan превращается всё хранилище после первого же серьёзного сбо, Онаним (?), 19:00 , 10-Ноя-19, (27) –1 //

расскажите, как вы это делаете Учитывая что сбой репликации у него вообще в к, пох. (?), 20:49 , 10-Ноя-19, (29) +3

Ну у меня там просто не полторы виртуалки лежало Я туда пытался рабочий набор с, Онаним (?), 22:28 , 10-Ноя-19, (33)

С Ceph кстати тоже не пошло, упёрлись в latency на геораспределённой хранилке С, Онаним (?), 22:31 , 10-Ноя-19, (34) +1

Shared LUN - не совсем то, что хотелось, хотелось распределённо данные выкорябыв, Онаним (?), 22:32 , 10-Ноя-19, (35)
Поищите запись тезисы доклада Евгения Полякова на первом LinuxPiter, очень толко, Michael Shigorin (ok), 22:44 , 10-Ноя-19, (36)

хорошенький стресс-тест вам бы с этим в тестировщики в редхат наняться до их по, пох. (?), 23:13 , 10-Ноя-19, (37) +2

Да обычная реплика шарды Хорошо хоть страйп не сделал, из страйпа вообще упал, Онаним (?), 14:16 , 11-Ноя-19, (47)

в смысле, distributed-replicated, то есть эн реплик по 2 N не 2, надеюсь Уби, пох. (?), 15:01 , 11-Ноя-19, (51)

Как там с POSIX-совместимостью и гарантированностью блокировок , Онаним (?), 12:29 , 10-Ноя-19, (3) –4 //

Почитал С блокировками всё относительно нормально, а вот с когерентностью кеша , Онаним (?), 12:37 , 10-Ноя-19, (4) //

Производительность, как обычно, упрётся в мастер-сервер, он один В общем, ещё о, Онаним (?), 12:39 , 10-Ноя-19, (5) –3 //

Емнип сервеов с метаданными там может быть несколько, Аноним (7), 13:36 , 10-Ноя-19, (7)

это бэкап, он не может использоваться пока жив master И не может, а должно, есл, пох. (?), 14:27 , 10-Ноя-19, (10) +3
Да standby Активный один , Онаним (?), 14:27 , 10-Ноя-19, (11) +2

ох уж эти хперты опеннет производительность не упрется ни в какой мастер-сервер,, пох. (?), 14:23 , 10-Ноя-19, (8) +1

metadata node внезапно используется при каждом обращении к каждому файлу То ест, Онаним (?), 14:27 , 10-Ноя-19, (9)

и передает исключительно метаданные ЧТО такое надо построить, чтобы упереться в, пох. (?), 14:43 , 10-Ноя-19, (13) +5

Yes , Онаним (?), 16:22 , 10-Ноя-19, (20) +1
Да ничего особенного, достаточно просто ls -l на каталог с 10000-100000 файлов , Онаним (?), 16:23 , 10-Ноя-19, (21) +1

Когда метаданные шардятся - оно хотя бы слегка распараллелится NFS тоже не понр, Онаним (?), 16:26 , 10-Ноя-19, (23)
доктор, я когда чешу левой пяткой правое ухо через левое плечо - у меня где-то в, пох. (?), 16:44 , 10-Ноя-19, (25) +2

Эксты нормально OCFS2 тяжело, но справляется NFS 4 1 тоже справляется, но ещё , Онаним (?), 18:58 , 10-Ноя-19, (26)
может и не создаться 10млн - зависит от длины имени Да и скорость create looku, Аноним (42), 10:53 , 11-Ноя-19, (42)

ext4-only Берите под такое xfs если внизу не deb Под RH OLE-образное у меня в, PnDx (ok), 13:02 , 11-Ноя-19, (44)

у xfs cвои сюрпризы - достаточно посмотреть груды патчей которые вливает шапка в, Аноним (42), 16:33 , 11-Ноя-19, (52)

ну на вас не угодишь - два года нет патчей - аааа, проект мертв, убегаем, убега, пох. (?), 23:12 , 11-Ноя-19, (54) +2

Есть какой-то сравнительный обзор Ceph, Gluster и Moose Lizard , macfaq (?), 16:24 , 10-Ноя-19, (22) +1

Ну вот глустеръ вообще сбоку, а с Ceph интересно бы было , Онаним (?), 16:27 , 10-Ноя-19, (24)
Лови https sysadmin libhunt com compare-ceph-vs-moosefs, SysA (?), 12:43 , 14-Ноя-19, (61)

э А ты само то надеешься на их подписку И чем поможет тебе очередной Мьяньма, Аноним (31), 22:01 , 10-Ноя-19, (31) +1

ну можешь сам все чинить, под бодрые вопли бегающих вокруг начальников начальник, пох. (?), 23:25 , 10-Ноя-19, (38) +2

Согласен, поддержка красной ненависти - хороший громоотвод, возможно Хотя нет, Аноним (31), 08:09 , 11-Ноя-19, (41) +1

ну у меня прошлый раз ушло полтора месяца с параллельным сованием костылей и по, пох. (?), 10:54 , 11-Ноя-19, (43) +1

daos , Аноним (42), 07:25 , 11-Ноя-19, (40)

POSIX-совместимость в кластерной ФС - гарантия хреновой производительности, Аноним (53), 20:18 , 11-Ноя-19, (53) //

Увы да А несовместимость пригодность разве что для файлопомойки, или надо гор, Онаним (?), 09:26 , 12-Ноя-19, (59) +3

Из того, что написано в интернетах - никак не могу понять случайная мелкая пере, vitalif (ok), 13:00 , 10-Ноя-19, (6) //

без ec - да Были прецеденты использования этой штуки для раздачи томов под kvm , пох. (?), 14:59 , 10-Ноя-19, (17) //

Тома под KVM можно и с гластеров раздавать, и с цефа Тормозно только, и то, и д, Онаним (?), 19:02 , 10-Ноя-19, (28) +1 //

вообще-то - штатное решение проксмоксы При наличии вообще говоря отсутствия в н, пох. (?), 20:55 , 10-Ноя-19, (30) –1

С проксмоксом гластер можно Птицы одного помёта А вот с адекватными системами , Онаним (?), 22:24 , 10-Ноя-19, (32)

и вот совсем не ссыкотно правильный san - он FC FCoE, а не iSCSI есть возможнос, пох. (?), 23:45 , 10-Ноя-19, (39) +1

FC FCoE - ну хз С моей т з де факто полутруп, так-то, вытесняется iSCSI Друго, Онаним (?), 14:13 , 11-Ноя-19, (46)

вообще уже давно есть NVMe over fabric а iSCSI даже over IB это прошлый век, Аноним (42), 08:11 , 12-Ноя-19, (56)

Ну давай, построй мне распределённую между ДЦ хранилку на NVMe , Онаним (?), 09:24 , 12-Ноя-19, (57) +1

Зря Вы так Если не выёживаться с thin-provisioning и прочими RAID, он внутри пр, PnDx (ok), 14:19 , 11-Ноя-19, (48)

IB FDR стоит сейчас как грязь 500 баксов свич 200 карта Так что FC можно хоро, Аноним (42), 08:09 , 12-Ноя-19, (55)

Ну вот кстати да, если есть недоверие к эзеру, проще иб взять , Онаним (?), 09:25 , 12-Ноя-19, (58)

не, не проще - то что стоит как грязь, оно и работает как грязь И драйверы у не, пох. (?), 10:25 , 12-Ноя-19, (60)

Распределённое блочное хранилище от ноунеймов Это будет предсказуемо , abi (?), 14:50 , 10-Ноя-19, (14) –2 //

unix-like система от какого-то финского студиозуса Это будет предсказуемо P S , разработчик SCO из 1993го года (?), 15:46 , 10-Ноя-19, (19) +5

Туда же омичи из bitblaze собирались открывать kfs, насколько знаю вот что гол, Michael Shigorin (ok), 19:46 , 29-Ноя-19, (62) //

а там есть что открывать из https bitblaze ru wp-content uploads 2020 08 ru_pr, edo (ok), 01:39 , 19-Сен-20, (72)

Сообщения [Сортировка по времени | RSS]

3. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" –4 +/–

Сообщение от Онаним (?), 10-Ноя-19, 12:29

Как там с POSIX-совместимостью и гарантированностью блокировок?

Ответить | Правка | Наверх | Cообщить модератору

4. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +/–

Сообщение от Онаним (?), 10-Ноя-19, 12:37

Почитал. С блокировками всё относительно нормально, а вот с когерентностью кеша между узлами похоже никак.

Ответить | Правка | Наверх | Cообщить модератору

5. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" –3 +/–

Сообщение от Онаним (?), 10-Ноя-19, 12:39

Производительность, как обычно, упрётся в мастер-сервер, он один.
В общем, "ещё одна" распределённая файловая система, не предназначенная для параллельной работы над единым набором данных. Для шардинга сойдёт, но смысл, если уже есть цеф с люстрой.

Ответить | Правка | Наверх | Cообщить модератору

7. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +/–

Сообщение от Аноним (7), 10-Ноя-19, 13:36

Емнип сервеов с метаданными там может быть несколько

Ответить | Правка | Наверх | Cообщить модератору

10. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +3 +/–

Сообщение от пох. (?), 10-Ноя-19, 14:27

это бэкап, он не может использоваться пока жив master. И не может, а должно, если твои данные не writeonly, потому что при превращении мастера в тыкву в нее автоматически превращается весь кластер, эти данные больше вообще взять неоткуда.
Но узким местом при разумных нагрузках мастер не является. Точнее, он лопается раньше, чем становится узким местом - обратите внимание, что ВСЕ метаданные должны помещаться в память единственного узла, никаких других вариантов просто не предусмотрено (костыль с bdb не жизнеспособен, это уже комитеры в CoC придумали).

Ответить | Правка | Наверх | Cообщить модератору

11. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +2 +/–

Сообщение от Онаним (?), 10-Ноя-19, 14:27

> Емнип сервеов с метаданными там может быть несколько
Да. standby. Активный один.

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

8. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +1 +/–

Сообщение от пох. (?), 10-Ноя-19, 14:23

ох уж эти хперты опеннет.
производительность не упрется ни в какой мастер-сервер, потому что его, сюрприз, нету.
metadata node не является никаким "master-server", и не посредничает в операциях.
Насчет "параллельной работы над единым набором" - очень вряд ли получится хорошо, но по совсем другим причинам (в основном по той, что до вот этой новости там вообще все получалось плохо - понабрали каких-то альтернативно-одаренных комитеров в CoC.md в разработчики, и при этом забыли лупить их дубиной по хребту - вплоть до появления версии, при апгрейде на которую уничтожались все данные в кластере. На чем компанию, к счастью, купили другие люди. А старые версии - слишком старые, и имеют массу своих проблем, до конца не решаемых.)
Текущую версию можно и нужно использовать как warm/cold storage для огромных файлопомоек, на которые бессмысленно тратить ресурсы san, и которые при этом нельзя ни сбэкапить, из-за размера, ни потерять.
Соответственно, сравнивать ее можно с gluster или BeeGFS, но у тех своих тараканов полным-полно.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

9. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +/–

Сообщение от Онаним (?), 10-Ноя-19, 14:27

metadata node внезапно используется при каждом обращении к каждому файлу. То есть если на это дело шардить и читать многогигабайтные блобы - всё будет ок. А вот если разложить там 100500 файлов - счастью будет плохеть.
> Текущую версию можно и нужно использовать как warm/cold storage для огромных файлопомоек, на которые бессмысленно тратить ресурсы san, и которые при этом нельзя ни сбэкапить, из-за размера, ни потерять.
Цеф, люстра. Короче лизард - около ненужно.
Гластер - ужас ужасный. Нет, концепция хороша, но то, как оно работает, удручает. И воз и ныне там уже лет 5, баг на баге и багом погоняет. Плюс асинхронность репликации метаданных в гластере - это печаль печальная.

Ответить | Правка | Наверх | Cообщить модератору

13. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +5 +/–

Сообщение от пох. (?), 10-Ноя-19, 14:43

> metadata node внезапно используется при каждом обращении к каждому файлу.
и передает исключительно метаданные. ЧТО такое надо построить, чтобы упереться в них (с учетом того что надо вообще-то сам файл все же прочитать или что ты с ним делать собрался)? Впрочем, если разложить там миллион мелких файлов - счастья не будет в принципе, поскольку оно лопнет - память кончится.
> Цеф, люстра. Короче лизард - около ненужно.
наоборот. оверинжинеренное bloatware из миллиарда загадочных оверинжениренных блоатварей и блоатварью погоняет - ненужно, пока ты не гугль или что-то в этом же роде. (в остальных случаях для миллионов мелких файлов с параллельным доступом я выберу самбу или nfs)
Потому что есть мальчики, наивно думающие, что умеют это настраивать (по плохо понятым инструкциям со стековерфлоу) - а потом, по факту, контору просто закрывают, когда все ее данные внезапно отыквливаются без малейшей возможности их восстановить.
Ни с гластером, ни с лизард/муз такой проблемы нет - они просты как палка, и, если не делать резких движений - почти все и всегда можно собрать. Если бы еще и вообще работали - цены б им не было.
С гластером главная беда - что его зохавал редгад. То есть шанса на повторение истории с покупкой кем-то вменяемым и раздачей животворящих пинков девелоперам нет и не будет. Теперь у нас есть версия 3, которая как-то работает, если ни на шаг не отступать от генеральной линии редгада (в частности забыть о ec и не хранить там большие файлы), и не забыть оформить подписку, и есть версии "хочу быть как хром", в которых вообще ничего не работает, потому что макаки принципиально не умеют ничего доделывать до рабочего состояния - "зато мы написали новую версию на игогого, а то этот ваш си немодно и мы его плохо понимаем, только вы ей тоже не пользуйтесь, она немного не работает". Четыре, или сколько там уже - версии подряд "уже почти совсем полностью окончательно немного не готово".

Ответить | Правка | Наверх | Cообщить модератору

20. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +1 +/–

Сообщение от Онаним (?), 10-Ноя-19, 16:22

> Четыре, или сколько там уже - версии подряд "уже почти совсем полностью окончательно немного не готово".
Yes.

Ответить | Правка | Наверх | Cообщить модератору

21. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +1 +/–

Сообщение от Онаним (?), 10-Ноя-19, 16:23

> и передает исключительно метаданные. ЧТО такое надо построить, чтобы упереться в них
Да ничего особенного, достаточно просто ls -l на каталог с 10000-100000 файлов...

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

23. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +/–

Сообщение от Онаним (?), 10-Ноя-19, 16:26

>> и передает исключительно метаданные. ЧТО такое надо построить, чтобы упереться в них
> Да ничего особенного, достаточно просто ls -l на каталог с 10000-100000 файлов...
Когда метаданные шардятся - оно хотя бы слегка распараллелится. NFS тоже не понравится, но в четвёрке хотя бы можно pNFS собрать для такого счастья.

Ответить | Правка | Наверх | Cообщить модератору

25. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +2 +/–

Сообщение от пох. (?), 10-Ноя-19, 16:44

доктор, я когда чешу левой пяткой правое ухо через левое плечо - у меня где-то в боку что-то стреляет, так больно!
- Хм... а вот вы так - не делайте!
ls -l на каталог с 100000 файлов, знаешь ли, как-то и на локальной ext4 не очень. Но многим, полагаю, оно и не очень хотелось бы.

Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

26. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +/–

Сообщение от Онаним (?), 10-Ноя-19, 18:58

Эксты нормально. OCFS2 тяжело, но справляется. NFS 4.1 тоже справляется, но ещё тяжелее. Распределёнки дохнут.

Ответить | Правка | Наверх | Cообщить модератору

42. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +/–

Сообщение от Аноним (42), 11-Ноя-19, 10:53

может и не создаться 10млн. - зависит от длины имени..
Да и скорость create/lookup в такой дире очень фиговая.
А потом еще место не возвращается после удаления.

Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

44. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +/–

Сообщение от PnDx (ok), 11-Ноя-19, 13:02

> А потом еще место не возвращается после удаления.
ext4-only.
Берите под такое xfs (если внизу не deb). Под RH/OLE-образное у меня в коллекции ни единого сюрприза. Все непонятки сводились к "выбиванию табуретки" (qcow|zfs внизу ВМ и "внезапно" xfs орёт "ой, а где мои метаданные?!").
* Под последние deb — просто не знаю, а раньше поддерживали аналогично lvm (т.е. "что-то собрали в пакет").
* ext-fs в аналогичных ситуациях не припомню чтобы беспокоились. Пока (будущий кирпич) не перезагрузят.

Ответить | Правка | Наверх | Cообщить модератору

52. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +/–

Сообщение от Аноним (42), 11-Ноя-19, 16:33

у xfs cвои сюрпризы - достаточно посмотреть груды патчей которые вливает шапка в свои ядра.

Ответить | Правка | Наверх | Cообщить модератору

54. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +2 +/–

Сообщение от пох. (?), 11-Ноя-19, 23:12

ну на вас не угодишь - два года нет патчей - "аааа, проект мертв, убегаем, убегаем", есть патчи - "аааа, все поломано, без ведра запчастей не поедешь, убегаем, убегаем"

Ответить | Правка | Наверх | Cообщить модератору

22. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +1 +/–

Сообщение от macfaq (?), 10-Ноя-19, 16:24

Есть какой-то сравнительный обзор Ceph, Gluster и Moose/Lizard?

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

24. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +/–

Сообщение от Онаним (?), 10-Ноя-19, 16:27

> Есть какой-то сравнительный обзор Ceph, Gluster и Moose/Lizard?
Ну вот глустеръ вообще сбоку, а с Ceph интересно бы было.

Ответить | Правка | Наверх | Cообщить модератору

61. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +/–

Сообщение от SysA (?), 14-Ноя-19, 12:43

Лови: https://sysadmin.libhunt.com/compare-ceph-vs-moosefs

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

31. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +1 +/–

Сообщение от Аноним (31), 10-Ноя-19, 22:01

> и не забыть оформить подписку
э... А ты само то надеешься на их подписку? И чем поможет тебе очередной Мьяньманьян Суббараян при накрытии гластера медным тазом? Да, основные их рекомендации - это удаление вольюмов и создание новых. От под-писки редгада гемора только больше станет. Весь рэд-гад сторож сейчас в Бангалоре пячат.

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

38. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +2 +/–

Сообщение от пох. (?), 10-Ноя-19, 23:25

> э... А ты само то надеешься на их подписку?
ну можешь сам все чинить, под бодрые вопли бегающих вокруг начальников начальников.
А можешь гордо ответить "тикет в поддержке заведен, у нас sla 2часа, Кумар проснется, все починит". Как показывает практика, это лучший способ добиться тишины и спокойствия в операционной.
Просто одно дело если у тебя должность "самый главный инженер отдела gluster кластера", и есть время и вдохновение знать потроха лучше любых кумаров, которые их писали на грязной коленке, а совсем другое - когда это одна деталька из тысячи, и вообще говоря есть еще чем кроме нее заниматься, поэтому основной источник знаний - маловнятная дока на redhat.com, описывающая версию 2015го года.
Поверь, с кумарами в итоге легче иметь дело, чем самому без конца нырять на дно новой ямы с ведерком.
Правда, должен признать, что именно с редхатовскими кумарами я общался лет семь назад, и тогда они еще из гей-арии отвечали. Возможно, сейчас все стало в разы хуже - но, с другой стороны, вряд ли у них какие-то другие кумары чем у остальных прочих. А те все же больше чинят, чем мешают.

Ответить | Правка | Наверх | Cообщить модератору

41. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +1 +/–

Сообщение от Аноним (31), 11-Ноя-19, 08:09

Согласен, поддержка красной ненависти - хороший громоотвод, возможно... Хотя нет. Не согласен. Прошлый раз, полгода назад, мы пинали Марьянмара, ушло тупо несколько дней. Это все при SLA и премиум под-писке. Начальники - это вторые, кто был в курске проблем ещё до обращения в ТП. Они были не настолько тупы, чтобы бегать по кругу.
Касательно организации арботы красноненавистные кумары берут пример с сиски. Блочат вопрошающего на своём уровне и не пускают на эскалацию. И так до тех пор, пока к ним не приведёшь своих продаванов, которые обоснуют за SLA.

Ответить | Правка | Наверх | Cообщить модератору

43. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +1 +/–

Сообщение от пох. (?), 11-Ноя-19, 10:54

> Прошлый раз, полгода назад, мы пинали Марьянмара, ушло тупо несколько дней.
ну у меня прошлый раз ушло полтора месяца (с параллельным сованием костылей и подпорочек куда получилось, потому что нихрена непонятно было, на самом деле, что поломано) на нормального испанца из поддержки citrix. Видно было, что этот висящий приоритетный таск его затрахал уже по самые уши, и ну очень хочется уже его закрыть нахрен любым способом.
К счастью, оно напрягало только далеко-далеко замкадные филиалы (потому что проявлялось на очень плохих каналах), и они как-то перетоптались.
Но сам бы я это вообще навряд ли починил - в том числе потому, что помимо этого сервиса на том кластере еще полсотни тоже бизнес-критикал, и тыкать галочки наугад "может вот это поможет, а может все остальное упадет" что-то вот совсем было неохота. Да и по команде саппорта можно только в отведенное время, и с кучей согласований.
Не говоря уже, естественно, о том, что специалистов по именно citrix nlb у нас, как ты понимаешь, тоже не водится, и желающих такими становиться что-то не видать, а они там свой собственный ни с чем несовместимый tcp-протокол умудрились изобрести (даром что, кажется, ядро у них от freebsd).
> Блочат вопрошающего на своём уровне и не пускают на эскалацию.
п-сы. Причем это, понятно, не про кумаров, а про тех дЭффективных, которые запрещают им эскалировать пока ломом не навернут.

Ответить | Правка | Наверх | Cообщить модератору

40. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +/–

Сообщение от Аноним (42), 11-Ноя-19, 07:25

daos ?

Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

53. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +/–

Сообщение от Аноним (53), 11-Ноя-19, 20:18

POSIX-совместимость в кластерной ФС - гарантия хреновой производительности

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

59. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2" +3 +/–

Сообщение от Онаним (?), 12-Ноя-19, 09:26

Увы да. А несовместимость = пригодность разве что для файлопомойки, или надо городить кучу костылей.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

3. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	–4 +/–
Сообщение от Онаним (?), 10-Ноя-19, 12:29
Как там с POSIX-совместимостью и гарантированностью блокировок?
Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+/–
	Сообщение от Онаним (?), 10-Ноя-19, 12:37
	Почитал. С блокировками всё относительно нормально, а вот с когерентностью кеша между узлами похоже никак.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	5. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	–3 +/–
	Сообщение от Онаним (?), 10-Ноя-19, 12:39
	Производительность, как обычно, упрётся в мастер-сервер, он один. В общем, "ещё одна" распределённая файловая система, не предназначенная для параллельной работы над единым набором данных. Для шардинга сойдёт, но смысл, если уже есть цеф с люстрой.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	7. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+/–
	Сообщение от Аноним (7), 10-Ноя-19, 13:36
	Емнип сервеов с метаданными там может быть несколько
	Ответить \| Правка \| Наверх \| Cообщить модератору


	10. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+3 +/–
	Сообщение от пох. (?), 10-Ноя-19, 14:27
	это бэкап, он не может использоваться пока жив master. И не может, а должно, если твои данные не writeonly, потому что при превращении мастера в тыкву в нее автоматически превращается весь кластер, эти данные больше вообще взять неоткуда. Но узким местом при разумных нагрузках мастер не является. Точнее, он лопается раньше, чем становится узким местом - обратите внимание, что ВСЕ метаданные должны помещаться в память единственного узла, никаких других вариантов просто не предусмотрено (костыль с bdb не жизнеспособен, это уже комитеры в CoC придумали).
	Ответить \| Правка \| Наверх \| Cообщить модератору


	11. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+2 +/–
	Сообщение от Онаним (?), 10-Ноя-19, 14:27
	> Емнип сервеов с метаданными там может быть несколько Да. standby. Активный один.
	Ответить \| Правка \| К родителю #7 \| Наверх \| Cообщить модератору


	8. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+1 +/–
	Сообщение от пох. (?), 10-Ноя-19, 14:23
	ох уж эти хперты опеннет. производительность не упрется ни в какой мастер-сервер, потому что его, сюрприз, нету. metadata node не является никаким "master-server", и не посредничает в операциях. Насчет "параллельной работы над единым набором" - очень вряд ли получится хорошо, но по совсем другим причинам (в основном по той, что до вот этой новости там вообще все получалось плохо - понабрали каких-то альтернативно-одаренных комитеров в CoC.md в разработчики, и при этом забыли лупить их дубиной по хребту - вплоть до появления версии, при апгрейде на которую уничтожались все данные в кластере. На чем компанию, к счастью, купили другие люди. А старые версии - слишком старые, и имеют массу своих проблем, до конца не решаемых.) Текущую версию можно и нужно использовать как warm/cold storage для огромных файлопомоек, на которые бессмысленно тратить ресурсы san, и которые при этом нельзя ни сбэкапить, из-за размера, ни потерять. Соответственно, сравнивать ее можно с gluster или BeeGFS, но у тех своих тараканов полным-полно.
	Ответить \| Правка \| К родителю #5 \| Наверх \| Cообщить модератору


	9. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+/–
	Сообщение от Онаним (?), 10-Ноя-19, 14:27
	metadata node внезапно используется при каждом обращении к каждому файлу. То есть если на это дело шардить и читать многогигабайтные блобы - всё будет ок. А вот если разложить там 100500 файлов - счастью будет плохеть. > Текущую версию можно и нужно использовать как warm/cold storage для огромных файлопомоек, на которые бессмысленно тратить ресурсы san, и которые при этом нельзя ни сбэкапить, из-за размера, ни потерять. Цеф, люстра. Короче лизард - около ненужно. Гластер - ужас ужасный. Нет, концепция хороша, но то, как оно работает, удручает. И воз и ныне там уже лет 5, баг на баге и багом погоняет. Плюс асинхронность репликации метаданных в гластере - это печаль печальная.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	13. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+5 +/–
	Сообщение от пох. (?), 10-Ноя-19, 14:43
	> metadata node внезапно используется при каждом обращении к каждому файлу. и передает исключительно метаданные. ЧТО такое надо построить, чтобы упереться в них (с учетом того что надо вообще-то сам файл все же прочитать или что ты с ним делать собрался)? Впрочем, если разложить там миллион мелких файлов - счастья не будет в принципе, поскольку оно лопнет - память кончится. > Цеф, люстра. Короче лизард - около ненужно. наоборот. оверинжинеренное bloatware из миллиарда загадочных оверинжениренных блоатварей и блоатварью погоняет - ненужно, пока ты не гугль или что-то в этом же роде. (в остальных случаях для миллионов мелких файлов с параллельным доступом я выберу самбу или nfs) Потому что есть мальчики, наивно думающие, что умеют это настраивать (по плохо понятым инструкциям со стековерфлоу) - а потом, по факту, контору просто закрывают, когда все ее данные внезапно отыквливаются без малейшей возможности их восстановить. Ни с гластером, ни с лизард/муз такой проблемы нет - они просты как палка, и, если не делать резких движений - почти все и всегда можно собрать. Если бы еще и вообще работали - цены б им не было. С гластером главная беда - что его зохавал редгад. То есть шанса на повторение истории с покупкой кем-то вменяемым и раздачей животворящих пинков девелоперам нет и не будет. Теперь у нас есть версия 3, которая как-то работает, если ни на шаг не отступать от генеральной линии редгада (в частности забыть о ec и не хранить там большие файлы), и не забыть оформить подписку, и есть версии "хочу быть как хром", в которых вообще ничего не работает, потому что макаки принципиально не умеют ничего доделывать до рабочего состояния - "зато мы написали новую версию на игогого, а то этот ваш си немодно и мы его плохо понимаем, только вы ей тоже не пользуйтесь, она немного не работает". Четыре, или сколько там уже - версии подряд "уже почти совсем полностью окончательно немного не готово".
	Ответить \| Правка \| Наверх \| Cообщить модератору


	20. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+1 +/–
	Сообщение от Онаним (?), 10-Ноя-19, 16:22
	> Четыре, или сколько там уже - версии подряд "уже почти совсем полностью окончательно немного не готово". Yes.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	21. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+1 +/–
	Сообщение от Онаним (?), 10-Ноя-19, 16:23
	> и передает исключительно метаданные. ЧТО такое надо построить, чтобы упереться в них Да ничего особенного, достаточно просто ls -l на каталог с 10000-100000 файлов...
	Ответить \| Правка \| К родителю #13 \| Наверх \| Cообщить модератору


	23. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+/–
	Сообщение от Онаним (?), 10-Ноя-19, 16:26
	>> и передает исключительно метаданные. ЧТО такое надо построить, чтобы упереться в них > Да ничего особенного, достаточно просто ls -l на каталог с 10000-100000 файлов... Когда метаданные шардятся - оно хотя бы слегка распараллелится. NFS тоже не понравится, но в четвёрке хотя бы можно pNFS собрать для такого счастья.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	25. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+2 +/–
	Сообщение от пох. (?), 10-Ноя-19, 16:44
	доктор, я когда чешу левой пяткой правое ухо через левое плечо - у меня где-то в боку что-то стреляет, так больно! - Хм... а вот вы так - не делайте! ls -l на каталог с 100000 файлов, знаешь ли, как-то и на локальной ext4 не очень. Но многим, полагаю, оно и не очень хотелось бы.
	Ответить \| Правка \| К родителю #21 \| Наверх \| Cообщить модератору


	26. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+/–
	Сообщение от Онаним (?), 10-Ноя-19, 18:58
	Эксты нормально. OCFS2 тяжело, но справляется. NFS 4.1 тоже справляется, но ещё тяжелее. Распределёнки дохнут.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	42. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+/–
	Сообщение от Аноним (42), 11-Ноя-19, 10:53
	может и не создаться 10млн. - зависит от длины имени.. Да и скорость create/lookup в такой дире очень фиговая. А потом еще место не возвращается после удаления.
	Ответить \| Правка \| К родителю #25 \| Наверх \| Cообщить модератору


	44. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+/–
	Сообщение от PnDx (ok), 11-Ноя-19, 13:02
	> А потом еще место не возвращается после удаления. ext4-only. Берите под такое xfs (если внизу не deb). Под RH/OLE-образное у меня в коллекции ни единого сюрприза. Все непонятки сводились к "выбиванию табуретки" (qcow\|zfs внизу ВМ и "внезапно" xfs орёт "ой, а где мои метаданные?!"). * Под последние deb — просто не знаю, а раньше поддерживали аналогично lvm (т.е. "что-то собрали в пакет"). * ext-fs в аналогичных ситуациях не припомню чтобы беспокоились. Пока (будущий кирпич) не перезагрузят.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	52. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+/–
	Сообщение от Аноним (42), 11-Ноя-19, 16:33
	у xfs cвои сюрпризы - достаточно посмотреть груды патчей которые вливает шапка в свои ядра.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	54. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+2 +/–
	Сообщение от пох. (?), 11-Ноя-19, 23:12
	ну на вас не угодишь - два года нет патчей - "аааа, проект мертв, убегаем, убегаем", есть патчи - "аааа, все поломано, без ведра запчастей не поедешь, убегаем, убегаем"
	Ответить \| Правка \| Наверх \| Cообщить модератору


	22. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+1 +/–
	Сообщение от macfaq (?), 10-Ноя-19, 16:24
	Есть какой-то сравнительный обзор Ceph, Gluster и Moose/Lizard?
	Ответить \| Правка \| К родителю #13 \| Наверх \| Cообщить модератору


	24. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+/–
	Сообщение от Онаним (?), 10-Ноя-19, 16:27
	> Есть какой-то сравнительный обзор Ceph, Gluster и Moose/Lizard? Ну вот глустеръ вообще сбоку, а с Ceph интересно бы было.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	61. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+/–
	Сообщение от SysA (?), 14-Ноя-19, 12:43
	Лови: https://sysadmin.libhunt.com/compare-ceph-vs-moosefs
	Ответить \| Правка \| К родителю #22 \| Наверх \| Cообщить модератору


	31. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+1 +/–
	Сообщение от Аноним (31), 10-Ноя-19, 22:01
	> и не забыть оформить подписку э... А ты само то надеешься на их подписку? И чем поможет тебе очередной Мьяньманьян Суббараян при накрытии гластера медным тазом? Да, основные их рекомендации - это удаление вольюмов и создание новых. От под-писки редгада гемора только больше станет. Весь рэд-гад сторож сейчас в Бангалоре пячат.
	Ответить \| Правка \| К родителю #13 \| Наверх \| Cообщить модератору


	38. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+2 +/–
	Сообщение от пох. (?), 10-Ноя-19, 23:25
	> э... А ты само то надеешься на их подписку? ну можешь сам все чинить, под бодрые вопли бегающих вокруг начальников начальников. А можешь гордо ответить "тикет в поддержке заведен, у нас sla 2часа, Кумар проснется, все починит". Как показывает практика, это лучший способ добиться тишины и спокойствия в операционной. Просто одно дело если у тебя должность "самый главный инженер отдела gluster кластера", и есть время и вдохновение знать потроха лучше любых кумаров, которые их писали на грязной коленке, а совсем другое - когда это одна деталька из тысячи, и вообще говоря есть еще чем кроме нее заниматься, поэтому основной источник знаний - маловнятная дока на redhat.com, описывающая версию 2015го года. Поверь, с кумарами в итоге легче иметь дело, чем самому без конца нырять на дно новой ямы с ведерком. Правда, должен признать, что именно с редхатовскими кумарами я общался лет семь назад, и тогда они еще из гей-арии отвечали. Возможно, сейчас все стало в разы хуже - но, с другой стороны, вряд ли у них какие-то другие кумары чем у остальных прочих. А те все же больше чинят, чем мешают.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	41. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+1 +/–
	Сообщение от Аноним (31), 11-Ноя-19, 08:09
	Согласен, поддержка красной ненависти - хороший громоотвод, возможно... Хотя нет. Не согласен. Прошлый раз, полгода назад, мы пинали Марьянмара, ушло тупо несколько дней. Это все при SLA и премиум под-писке. Начальники - это вторые, кто был в курске проблем ещё до обращения в ТП. Они были не настолько тупы, чтобы бегать по кругу. Касательно организации арботы красноненавистные кумары берут пример с сиски. Блочат вопрошающего на своём уровне и не пускают на эскалацию. И так до тех пор, пока к ним не приведёшь своих продаванов, которые обоснуют за SLA.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	43. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+1 +/–
	Сообщение от пох. (?), 11-Ноя-19, 10:54
	> Прошлый раз, полгода назад, мы пинали Марьянмара, ушло тупо несколько дней. ну у меня прошлый раз ушло полтора месяца (с параллельным сованием костылей и подпорочек куда получилось, потому что нихрена непонятно было, на самом деле, что поломано) на нормального испанца из поддержки citrix. Видно было, что этот висящий приоритетный таск его затрахал уже по самые уши, и ну очень хочется уже его закрыть нахрен любым способом. К счастью, оно напрягало только далеко-далеко замкадные филиалы (потому что проявлялось на очень плохих каналах), и они как-то перетоптались. Но сам бы я это вообще навряд ли починил - в том числе потому, что помимо этого сервиса на том кластере еще полсотни тоже бизнес-критикал, и тыкать галочки наугад "может вот это поможет, а может все остальное упадет" что-то вот совсем было неохота. Да и по команде саппорта можно только в отведенное время, и с кучей согласований. Не говоря уже, естественно, о том, что специалистов по именно citrix nlb у нас, как ты понимаешь, тоже не водится, и желающих такими становиться что-то не видать, а они там свой собственный ни с чем несовместимый tcp-протокол умудрились изобрести (даром что, кажется, ядро у них от freebsd). > Блочат вопрошающего на своём уровне и не пускают на эскалацию. п-сы. Причем это, понятно, не про кумаров, а про тех дЭффективных, которые запрещают им эскалировать пока ломом не навернут.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	40. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+/–
	Сообщение от Аноним (42), 11-Ноя-19, 07:25
	daos ?
	Ответить \| Правка \| К родителю #9 \| Наверх \| Cообщить модератору


	53. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+/–
	Сообщение от Аноним (53), 11-Ноя-19, 20:18
	POSIX-совместимость в кластерной ФС - гарантия хреновой производительности
	Ответить \| Правка \| К родителю #3 \| Наверх \| Cообщить модератору


	59. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"	+3 +/–
	Сообщение от Онаним (?), 12-Ноя-19, 09:26
	Увы да. А несовместимость = пригодность разве что для файлопомойки, или надо городить кучу костылей.
	Ответить \| Правка \| Наверх \| Cообщить модератору