Отдаем nginx-ом очень много мелких статических файлов

[Igor Sysoev]

On Sat, Jun 09, 2007 at 02:39:20PM +0400, Vadim A. Umanski wrote:

> >> IS> Для FreeBSD:
> >> IS> 6.2, amd64, 8G-16G,
> >> IS> уровни каталогов XX/XX/file, где XX - 00-FF,
> >> IS> отдавать sendfile'ом.
> >> 
> >> И к этому добавить - двойной блок питания подключенный к двум разным
> >> UPS. Когда число файлов большое (десятки миллионов) fsck после
> >> нештатного выключения машины будет идти несколько часов.
> 
> IS> A background fsck ?
> 
> 0. Не все ОС умеют.

Про background fsck речь шла в контексте FreBSD 6.2.

> 1. Будет заметно тормозить дисковую систему - если ОС умеет чекать в
>    фоне.

Да, подтормаживать будет, но всё что попало в кэш, будет отдаваться
быстро.

> 2. Работать на недолеченной ФС - потенциальный риск поиметь приход
>    маленького белого пушного зверька, склонного к повышенной полноте.

Согласен. Хотя background fsck основан на том, что softupdates
теоретически гарантирует целостность файловой системы в случае падения.

>    Был у меня случай, 100 гиг, полмиллиона файлов - в общем, по
>    некоторым причинам не мог несколько месяцев остановить для
>    лечения... а когда стал переносить на другой дисковый раздел
>    rsync'ом - получил разницу - из-за легкой битости ФС не все
>    копировалось 1-в-1... в итоге пришлось сначала пролечить, а потом
>    накатить очередную рсинк-овскую дельту... и только потом
>    переключать сервис... Service outage был долгим...

Это на какой ОС ?

> ZFS в этом отношении очень интересна. Она так устроена, что может
> динамически расширяться, плюс у нее такое журналирование, что чекать
> ее не надо никогда по определению. Кстати, ее недавно допотрировали во
> Фрю - в 7ку. Ограничения - только 64 бита, без загрузки, пока нет ACL
> - но скоро допилят и это.

ZFS, безусловно, интересная штука.

> В солярисе включайте logging в vfstab для всех и всегда. Полезно.
> Никаких проблем с x86/x64 нет, я, правда использую либо сановское
> железо, либо супермикры. Все отлично. Скачивайте DVD для Solaris 10
> версии 11-06 - и вперед.

А сколько раз эти Солярисы подымались после пропадания питания, etc ?


-- 
Игорь Сысоев
http://sysoev.ru