Re: При использовании proxy_cache файл скачивается с бекенда несколько раз

[Maxim Dounin]

Hello!

On Mon, Dec 20, 2010 at 04:10:21PM +0300, Евгений 'Rush' Непомнящий wrote:

> Прошу прощения, если тема поднималась, гугл нашёл только это
> http://forum.nginx.org/read.php?2,150073,150073, оставшееся без
> ответа.
> Схема скачивания такова: Клиент <- Фронтенд <- Хранилище
> Когда сотня клиентов ломится за новым файлом в Хранилище через
> Фронтенд, да ещё и менеджерами закачек, создающими по 10 потоков за
> раз, между Фронтендом и Хранилищем этот файл пролетает N*S раз, где N
> - колво клиентов, а S кол-во потоков на клиента. Нагрузка на Фронтенд
> по записи получается дикая. Нагрузка по сетевым интерфейсам -
> практически полная. Выхлоп практически нулевой.
> Помогите пожалуйста решить эту ситуацию, своими силами не справляемся
> ! Возможно на коммерческой основе (результат обязуемся вернуть
> сообществу) !

Для случае устаревания данных в кеше проблема решается через 
proxy_cache_use_stale updating.  Для случая новых файлов (т.е.  
пока отсутствующих в кеше) - проблема в настоящий момент не 
решается.

Предполагается решать аналогичным mod_accel'ю образом (т.е. делать 
busy lock'и), но этого пока нет, и когда будет - неясно.

Подробнее про busy lock'и можно прочитать тут:

http://sysoev.ru/mod_accel/readme.html#busylocks

Ну и в архивах рассылки по соответствующим ключевым словам тоже 
можно найти много.

Maxim Dounin