Nginx-ru mailing list archive (nginx-ru@sysoev.ru)
[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]
Re: proxy cache stampede
On Thu, Sep 22, 2011 at 06:24:52PM +0300, Alexandr Gomoliako wrote:
> Это не косяк, а особенность.
Знакомая песня из классики: "Этот баг у нас фичей зовётся"
> Первая особенность: кэш лоадер, что приведет к деградации
> производительности после ребута, пока не заполнится.
Не существенно, особенно если не ребутить каждый день, как это в
некоторых так называемых системах принято.
> Вторая: хранение каждого запроса в файловой системе в виде отдельного
> файла, что на больших количествах файлов приведет к нескольким сикам
> по диску на каждый запрос, долгому разогреву кэша фс и соответственно
> деградации производительности.
Не только я, но и другие здесь уже написали, что раздаются файлы. То
есть речь не идёт о каких то разнообразных и сложно сочинённых запросах,
количество которых и соответствующих им файлов в кэше может расти
теоретически бесконечно. Каждый запрос - это изначально файл, который
отдаётся и количество их если и можно считать большим, то всё равно
ограничено. По крайней мере далеко от пределов возможностей системы. И с
файловой системой там уж точно нет никаких проблем.
> Третья особенность -- разделямая память для метаданных, а это уже lock
> contention и т.д. на большой нагрузке.
И здесь до этого далеко. Главную нагрузку создаёт тот самый паразитный
трафик, о котором я здесь всё время талдычу, но видимо без особого
успеха.
> Еще файлы ложатся во временную директорию и перемещаются/копируются в
> кэш по завершении загрузки, но вы об этой уже знаете.
Ещё раз про любовь. Само по себе перемещение файла в рамках одной
файловой системы не стоит ничего. Но если тебе вместо одного большого
файла приходится создавать несколько десятков таких же но не совершенно
не нужных, тогда это может стать проблемой.
И ещё раз - использование кэширующих прокси на CDN - это тенденция. Я
знаю, что говорю ибо помимо собственных ресурсов, мы пользовались и
пользуемся услугами мировых брэндов в этой области.
--
***************************
## Vladimir Stavrinov
## vstavrinov@xxxxxxxxx
***************************
_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://mailman.nginx.org/mailman/listinfo/nginx-ru
|
