Re: Проблемы с загрузкой кэша

[Igor Sysoev]

On Tue, Dec 22, 2009 at 02:20:59PM +0300, Михаил Монашёв wrote:

> Здравствуйте, Михаил.
> 
> Один  30-ти  гиговый  кэш cache loader закачивает ровно час. А всего у
> меня  их  3.  И  каждый  будет  по  200 гигов. Т.е. его загрузка будет
> происходить за 20 часов?
> 
> При этом иерархия директорий кэша 1:2. Т.е. надо считать 16*256 = 4096
> директорий. Вопрос, почему они так долго считываются? Или cache loader
> ещё и в сами файлы заглядывает?

Конечно, заглядывает. Долго грузится, потому что используется такая эвристика
(не знаю, насколько верная) - если загрузка 100 файлов заняла больше 200ms,
то спим 200ms, чтобы не загружать диски. Вообще загрузка - это фоновый
процесс, который не влияет на текущую работу: при необходимости воркеры
сами проверяют данные на диске, если их ещё нет в памяти. Загрузка всего
кэша нужна для того, чтобы удалить неиспользуемые данные после рестарта
и чтобы поддерживать размер кэша, если задано ограничение.


-- 
Игорь Сысоев
http://sysoev.ru