proxy cache stampede

[Oleksandr V. Typlyns'kyi]

Today Sep 22, 2011 at 18:46 Vladimir Stavrinov wrote:

> > Задача CDN все же не экономия трафика владельца CDN, а быстрая
> 
> Сакраментальная фраза.
> 
> > доставка контента клиенту. Описанная вами проблема этому не мешает.
> 
> Как это, как это?! Если для того, что бы положить один файл в кэш, нужно
> закачать порой чуть ли не в десятки раз больше, и весь этот паразитный
> трафик никому не мешает?

  А если у CDN-а не одна площадка, а сотни в разных регионах?
  Его роль - отдавать контент пользователем с ближайшей площадки.
  Вот и приходит он за файлами не один раз.

> > А nginx никогда не позиционировался как средство построения CDN. Так
> 
> Об этом я уже тоже писал, что думаю его заменить.

  Так замените.
  Например, на один из неназванных продуктов умеющий то, что Вам нужно.

> > что непонятно ваше удивление.
> 
> Удивление взывает не соответствие позиционированию, а сама проблемам как
> таковая. На мой взгляд, она выходит за рамки тем и nginx и CDN. Правда
> лишь в том, что этот фундаментальный косяк встаёт во весь рост при
> больших размерах

  Это не "фундаментальный косяк", а отсутствие "подпорок" для отдельных случаев.
  У большинства proxy логика простая - отдать из кеша или проксировать.
  А "bundle multiple requests for the same URL to the backend" - это очень частный и непростой случай.

> > Еще непонятно следующее - может, растолкуете. Допустим у нас есть
> > полное зеркало. Половина - горячее. Вы делаете кеширующий сервер
> 
> Проблема совсем не в этом. Проблема не в объёме зеркала и делении его на
> "горячее" и "холодное". Кэш ещё заполнен меньше чем на половину. Я лишь
> недавно начал подключать кэширующие сервера вместо зеркал. Я ещё в
> начале пути, но видимо уже придётся остановиться или даже вернуться
> назад. Потому что, когда выкладываются новые файлы, клиентам приходится
> ждать гораздо больше чем тогда, когда были только одни зеркала, хотя
> должно быть ровно наоборот. Меня уже даже не клиенты, а коллеги стали
> доставать.

  А если в то ПО, которое выкладывает, добавить логику разливки файла по зеркалам?

-- 
WNGS-RIPE