The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Первый релиз wZD 1.0.0, сервера компактного хранения мелких ..."
Версия для распечатки Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Исходное сообщение [ Отслеживать ]
Подсказка: Для слежения за появлением новых сообщений в нити, нажмите "Проследить за развитием треда".
. "Первый релиз wZD 1.0.0, сервера компактного хранения мелких ..." +1 +/
Сообщение от syslinuxemail (ok), 21-Янв-20, 17:12 
> нет, мне было интересно именно для moose до переноса всего в архивы
> - чтобы понимать, на каких масштабах оно таки лопается.
> 250миллионов файликов = 75G оперативы, я правильно понял?
> А что при этом происходило на металоггере, или вы ими не пользовались?

Да, все верно.

Изначально был, потом убрал, чтобы он диски SSD мне не убивал. Не вспомню как он работал, когда было 150млн файлов, но в память точно все помещалось. У меня по 128GB было на серверах, где была пара металоггеров. Теперь вернул естесственно обратно.

Я думаю MooseFS то не лопнет и на 500млн файлов, но при условии что у вас будет порядка 30-50млн подпапкок, где файлов по 10-1000 примерно, но все равно скорость то будет помедленнее. А вот если у вас 500млн файлов и 1млн подпапок всего, тогда это все будет уже гораздо хуже работать. Ведь MooseFS создает индексы частями в памяти чтобы искать сразу по нужным массивчикам. Чем меньше папок и больше файлов, тем больше сами массивы, тем хуже все работает. Но я уже не рискнул бы доводить до таких объемов у себя, просто потому что и запускается дольше и CRC долго чекает итп итд.

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Первый релиз wZD 1.0.0, сервера компактного хранения мелких ..., opennews, 19-Янв-20, 19:25  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру