ïÔÄÁÅÍ nginx-ÏÍ ÏÞÅÎØ ÍÎÏÇÏ ÍÅÌËÉÈ ÓÔÁÔÉÞÅÓËÉÈ ÆÁÊÌÏ×

[Vadim A. Umanski]

Здравствуйте, Igor.

Вы писали 9 июня 2007 г., 13:51:25:

IS> On Sat, Jun 09, 2007 at 01:43:10PM +0400, Anton Yuzhaninov wrote:

>> Hello Igor,
>> 
>> You wrote on Saturday, June 9, 2007, 1:16:16 PM:
>> 
>> IS> On Sat, Jun 09, 2007 at 11:36:25AM +0400, Кирноценский Дмитрий wrote:
>> 
>> >> Коллеги, хотелось бы советов для такой задачи:
>> >> 
>> >> Имеется 5-10 млн. небольших файликов (размеров в районе 1К), их можно как угодно разложить по дереву каталогов.
>> >> Все это надо отдавать nginx-ом, запросы приходят равномерно во времени (1-1.5 килозапроса в секунду на машину), довольно неравномено в смысле файлов - некоторые спрашиваю довольно часто, некоторые - очень редко.
>> >> Все входящие запросы - с соседей по локальной сети.
>> >> 
>> 
>> IS> Для FreeBSD:
>> IS> 6.2, amd64, 8G-16G,
>> IS> уровни каталогов XX/XX/file, где XX - 00-FF,
>> IS> отдавать sendfile'ом.
>> 
>> И к этому добавить - двойной блок питания подключенный к двум разным
>> UPS. Когда число файлов большое (десятки миллионов) fsck после
>> нештатного выключения машины будет идти несколько часов.

IS> A background fsck ?

0. Не все ОС умеют.
1. Будет заметно тормозить дисковую систему - если ОС умеет чекать в
   фоне.
2. Работать на недолеченной ФС - потенциальный риск поиметь приход
   маленького белого пушного зверька, склонного к повышенной полноте.

   Был у меня случай, 100 гиг, полмиллиона файлов - в общем, по
   некоторым причинам не мог несколько месяцев остановить для
   лечения... а когда стал переносить на другой дисковый раздел
   rsync'ом - получил разницу - из-за легкой битости ФС не все
   копировалось 1-в-1... в итоге пришлось сначала пролечить, а потом
   накатить очередную рсинк-овскую дельту... и только потом
   переключать сервис... Service outage был долгим...

   Так что - тут щитильней надо, камрады.

ZFS в этом отношении очень интересна. Она так устроена, что может
динамически расширяться, плюс у нее такое журналирование, что чекать
ее не надо никогда по определению. Кстати, ее недавно допотрировали во
Фрю - в 7ку. Ограничения - только 64 бита, без загрузки, пока нет ACL
- но скоро допилят и это.

В солярисе включайте logging в vfstab для всех и всегда. Полезно.
Никаких проблем с x86/x64 нет, я, правда использую либо сановское
железо, либо супермикры. Все отлично. Скачивайте DVD для Solaris 10
версии 11-06 - и вперед.



   SY                       Vadim A. Umanski
                            System Administrator
                            InterNet Services Dept., IP Network Div.
                            Akado (Comcor-TV), Moscow
   <Work>                   mailto:umanski at ext.ru mailto:VUmanski at comcor-tv.ru
   <Private>                mailto:umanski at panferova.net.ru
   phone:                   (+7 495) 737 51 79
   cell:                    (+7 916) 692 67 89