proxy cache stampede

[Alexandr Gomoliako]

On 9/22/11, Vladimir Stavrinov <vstavrinov at gmail.com> wrote:
> Правда лишь в том, что этот фундаментальный косяк встаёт во весь
> рост при больших размерах

Это не косяк, а особенность.
Сам proxy_cache вообще мало для чего можно использовать из-за
особенностей реализации и это нормально.
Первая особенность: кэш лоадер, что приведет к деградации
производительности после ребута, пока не заполнится.
Вторая: хранение каждого запроса в файловой системе в виде отдельного
файла, что на больших количествах файлов приведет к нескольким сикам
по диску на каждый запрос, долгому разогреву кэша фс и соответственно
деградации производительности.
Третья особенность -- разделямая память для метаданных, а это уже lock
contention и т.д. на большой нагрузке.
Еще файлы ложатся во временную директорию и перемещаются/копируются в
кэш по завершении загрузки, но вы об этой уже знаете.

Т.е. задача типа кэшировать thumbnails -- идеальный use case, а с
остальным надо осторожно.