При использовании proxy_cache файл скачивается с бекенда несколько раз

Евгений 'Rush' Непомнящий rush.zlo на gmail.com
Пн Дек 20 16:10:21 MSK 2010


Прошу прощения, если тема поднималась, гугл нашёл только это
http://forum.nginx.org/read.php?2,150073,150073, оставшееся без
ответа.
Схема скачивания такова: Клиент <- Фронтенд <- Хранилище
Когда сотня клиентов ломится за новым файлом в Хранилище через
Фронтенд, да ещё и менеджерами закачек, создающими по 10 потоков за
раз, между Фронтендом и Хранилищем этот файл пролетает N*S раз, где N
- колво клиентов, а S кол-во потоков на клиента. Нагрузка на Фронтенд
по записи получается дикая. Нагрузка по сетевым интерфейсам -
практически полная. Выхлоп практически нулевой.
Помогите пожалуйста решить эту ситуацию, своими силами не справляемся
! Возможно на коммерческой основе (результат обязуемся вернуть
сообществу) !

П.С.: Напрямую пустить трафик нельзя. NFS (FS-Cache + Cachefiles +
cachefilesd) не решение в связке с nginx - вместе они не работают,
проверено на практике.


Подробная информация о списке рассылки nginx-ru