The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Обновление кластерной файловой системы LizardFS 3.13.0-rc2, opennews (??), 10-Ноя-19, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


17. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от пох. (?), 10-Ноя-19, 14:59 
без ec - да. Были прецеденты использования этой штуки для раздачи томов под kvm.

C ec, по очевидным причинам, хрень выйдет.

Ответить | Правка | Наверх | Cообщить модератору

28. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +1 +/
Сообщение от Онаним (?), 10-Ноя-19, 19:02 
> без ec - да. Были прецеденты использования этой штуки для раздачи томов под kvm.

Тома под KVM можно и с гластеров раздавать, и с цефа. Тормозно только, и то, и другое, и можно без хлеба. С этого, думаю, будет не сильно лучше. Пока что лучше нормальной выделенной хранилки iSCSI multipath честно говоря для раздачи томов лучше решения нет.

Ответить | Правка | Наверх | Cообщить модератору

30. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  –1 +/
Сообщение от пох. (?), 10-Ноя-19, 20:55 
> Тома под KVM можно и с гластеров раздавать, и с цефа. Тормозно только,

вообще-то - штатное решение проксмоксы. При наличии вообще говоря отсутствия в нем других, как бы намекает, что для большинства применений вполне разумно.

Но я намекал только на то, что они не пишутся по 64 мегабайта за раз, и раз эта штука вообще работала - никаких особых ужасов с произвольным доступом там нет.

> Пока что лучше нормальной выделенной хранилки iSCSI multipath

а сама хранилка из воздуха берется? Иначе возвращаемся к вопросу - из чего ее строить. Ну и в общем-то, хуже iSCSI протокол придумать сложно (понятно, что для наколенных решений выбирать особо не из чего, но тем не менее).

Ответить | Правка | Наверх | Cообщить модератору

32. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от Онаним (?), 10-Ноя-19, 22:24 
> вообще-то - штатное решение проксмоксы. При наличии вообще говоря отсутствия в нем
> других, как бы намекает, что для большинства применений вполне разумно.

С проксмоксом гластер можно. Птицы одного помёта. А вот с адекватными системами виртуализации лучше всё-таки не использовать.

:)

> сама хранилка из воздуха берется? Иначе возвращаемся к вопросу - из чего ее строить.

Из LVM, если кустарно, из собственного блочного решения, если профессионально, в случае неумения - покупать правильный iSCSI SAN (не путать с кустарными NAS, где под iSCSI может быть обычное кустарное решение на файлухе типа ZFS) у тех, кто умеет в SAN.

Ответить | Правка | Наверх | Cообщить модератору

39. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +1 +/
Сообщение от пох. (?), 10-Ноя-19, 23:45 
> Из LVM, если кустарно

и вот совсем не ссыкотно?

> в случае неумения - покупать правильный iSCSI SAN

правильный san - он FC/FCoE, а не iSCSI (есть возможность сравнить, если что). Но он, с-ка, денег стоит - два состава. А внутри, что характерно, очень похожее на ZFS. Прям вот ну оооочень похожее.

А потом в один прекрасный день у тебя переклинивает sfp. Модную, где наклейка поверх залеплена другой, с лого производителя хранилки. И которая стоит как пять нормальных.
И ВЕСЬ, вообще весь сторадж - ложится к хренам, со всем своим multipath и многоразовым резервированием. А потом еще пару раз в разгар рабочего дня - когда ты кумарам собираешь данные для RMA, потому что без данных они не могут, и в нерабочее время тоже не могут.

После этого как-то начинаешь любить простые наколенные решения там, где супер-производительность не требуется, достаточно и приемлемой. Хотя от непростых деваться все равно уже некуда.

Ответить | Правка | Наверх | Cообщить модератору

46. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от Онаним (?), 11-Ноя-19, 14:13 
FC/FCoE - ну хз. С моей т.з. де факто полутруп, так-то, вытесняется iSCSI.
Другое дело, что iSCSI надо уметь готовить, обычные копеечные свитчи под него лучше не совать, с другим трафиком не комбинировать, и т.п.
Ну и там тоже SFP есть :)

У нас в этом плане решение №3, "покупать". Переклинит SFP - да похер. Два разведённых в стороны канала по несколько 10G SFP каждый, от каждой хранилки. Даже если целиком ляжет один сектор, а не просто SFP - ничего страшного не случится. _Синхронная_ репликация между дц (формально геораспределение, но регион один, поэтому latency не фатальные). multipath к набору сторейджей в разных DC, формально получается "георепликация", но latency не настолько унылы, чтобы запороть всё. Короче, максимум возможного в пределах бюджета.

Никто не гарантирует 100%, конечно, что софт совсем не ляжет к хренам со всеми данными вместе, конечно, на этот случай есть бэкапы.

Никто также не гарантирует, что не придётся пинать саппорт, но за саппорт и определённый SLA платятся деньги.

В общем, как всегда, выбор из выборов. Но по крайней мере full flash решение, с быстрыми тонкими снэпшотами, синхронной репликацией, двукратным дублированием (аналогом RAID6), распределённой тонким слоем по дискам запаской, арбитражом, multipath и ALUA, дублированием железа и связности, авто-фейловером и т.п. На коленке такое задолбаешься собирать, чтобы оно ещё и надёжно работало.

Ответить | Правка | Наверх | Cообщить модератору

56. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от Аноним (42), 12-Ноя-19, 08:11 
вообще уже давно есть NVMe over fabric... а iSCSI (даже over IB) это прошлый век.
Ответить | Правка | Наверх | Cообщить модератору

57. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +1 +/
Сообщение от Онаним (?), 12-Ноя-19, 09:24 
> вообще уже давно есть NVMe over fabric... а iSCSI (даже over IB)
> это прошлый век.

Ну давай, построй мне распределённую между ДЦ хранилку на NVMe.

Ответить | Правка | Наверх | Cообщить модератору

48. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от PnDx (ok), 11-Ноя-19, 14:19 
> и вот совсем не ссыкотно?

Зря Вы так. Если не выёживаться с thin-provisioning и прочими RAID, он внутри простой как палка.
+ См. sanlockd: возрождает ну оочень старую идею. На мой вкус, достаточно перспективно.

* FC местами тоже "маловато будет". На перспективу — таки IB.

Ответить | Правка | К родителю #39 | Наверх | Cообщить модератору

55. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от Аноним (42), 12-Ноя-19, 08:09 
IB FDR стоит сейчас как грязь (500 баксов свич/200 карта)..
Так что FC можно хоронить.
Ответить | Правка | Наверх | Cообщить модератору

58. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от Онаним (?), 12-Ноя-19, 09:25 
> IB FDR стоит сейчас как грязь (500 баксов свич/200 карта)..
> Так что FC можно хоронить.

Ну вот кстати да, если есть недоверие к эзеру, проще иб взять.

Ответить | Правка | Наверх | Cообщить модератору

60. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от пох. (?), 12-Ноя-19, 10:25 
не, не проще - то что стоит как грязь, оно и работает как грязь. И драйверы у него из той же субстанции. И кабели, кстати. В это все как раз наигрались во времена попыток строить хранилки из дерьма и палок на базе zfs.

Не говоря уже о том, что втыкать его часто и некуда - у большинства современных блейдовых шасси есть fcoe, у многих есть просто отдельный свитч для fc (у устаревших - только он и есть), а ib как-то не предусмотрели.

Никаких особых проблем с fcoe на нормальных свитчах (читай, nexus >4k) в общем-то не наблюдалось, в том числи и при репликации cross-dc.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру