proxy cache stampede

[Vladimir Stavrinov]

On Thu, Sep 22, 2011 at 05:00:32PM +0400, Dmitriy MiksIr wrote:

> Задача CDN все же не экономия трафика владельца CDN, а быстрая

Сакраментальная фраза.

> доставка контента клиенту. Описанная вами проблема этому не мешает.

Как это, как это?! Если для того, что бы положить один файл в кэш, нужно
закачать порой чуть ли не в десятки раз больше, и весь этот паразитный
трафик никому не мешает? Как же это происходит, стараниями святого духа,
что ли? Или телепортацией? Друзья мои, обо всём этом подробно и ясно
написано в самом первом письме и потом не раз повторено. Не сказал
только что файлики гигабайтные, но потом и о размерах тоже уже было
сказано не раз.

> А nginx никогда не позиционировался как средство построения CDN. Так

Об этом я уже тоже писал, что думаю его заменить.

> что непонятно ваше удивление.

Удивление взывает не соответствие позиционированию, а сама проблемам как
таковая. На мой взгляд, она выходит за рамки тем и nginx и CDN. Правда
лишь в том, что этот фундаментальный косяк встаёт во весь рост при
больших размерах

> Еще непонятно следующее - может, растолкуете. Допустим у нас есть
> полное зеркало. Половина - горячее. Вы делаете кеширующий сервер

Проблема совсем не в этом. Проблема не в объёме зеркала и делении его на
"горячее" и "холодное". Кэш ещё заполнен меньше чем на половину. Я лишь
недавно начал подключать кэширующие сервера вместо зеркал. Я ещё в
начале пути, но видимо уже придётся остановиться или даже вернуться
назад. Потому что, когда выкладываются новые файлы, клиентам приходится
ждать гораздо больше чем тогда, когда были только одни зеркала, хотя
должно быть ровно наоборот. Меня уже даже не клиенты, а коллеги стали
доставать.

> Если бы я делал что-то подобное для горячего контента, то, наверно,
> делал бы это руками. Т.е. nginx-ом бы проверял наличие файла в кеше

Рукоделие бывает хорошо только в локальных задачах и ограниченных
масштабах. Это не тот случай. Хотя понятно, что что - то всё равно
придётся делать.

-- 

***************************
##  Vladimir Stavrinov
##  vstavrinov на gmail.com
***************************