<div dir="ltr"><div>I hit similar problem ...<br><br></div>Can I know what is the ingest Gbps into the SSDs when you hit the problem? and How many cached file nodes in cache-manager? i have millions ...<br><div><div class="gmail_extra">
<br><br><div class="gmail_quote">On Wed, May 21, 2014 at 7:57 PM, ixos <span dir="ltr"><<a href="mailto:nginx-forum@nginx.us" target="_blank">nginx-forum@nginx.us</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
I'm having problem with I/O performance. I'm running nginx as caching<br>
reverse proxy server.<br>
When cache size on disk exceeds max_size cache manager starts working, but<br>
it causes two problems occur:<br>
<br>
1) I/O %util reach 100% and nginx starts dropping connections<br>
2) cache manager process dosen't unlink files speed enough to delete old<br>
file. So cache becomes bigger util the space on disk ends.<br>
<br>
Can you give me an idea how can I solve those problems. Below are some<br>
details.<br>
<br>
#build on 20x 300GB SAS disks with 2 SSDs for Cachecade.<br>
<br>
# storcli64 /c0 show<br>
VD LIST :<br>
=======<br>
<br>
----------------------------------------------------------------<br>
DG/VD TYPE   State Access Consist Cache Cac sCC       Size Name<br>
----------------------------------------------------------------<br>
1/2   RAID60 Optl  RW     Yes     RaWBC R   ON    4.357 TB<br>
2/1   Cac0   Optl  RW     Yes     RaWTD -   ON  557.875 GB<br>
----------------------------------------------------------------<br>
<br>
# mount<br>
/dev/sdb1 on /cache type ext4 (rw,noatime,data=ordered)<br>
<br>
# df -h /dev/sdb1<br>
/dev/sdb1       4.3T  3.2T  828G  80% /cache<br>
<br>
<br>
# for pid in `pgrep nginx `;do ionice -p $pid ;done<br>
unknown: prio 4 <- master<br>
best-effort: prio 0<br>
best-effort: prio 0<br>
best-effort: prio 0<br>
best-effort: prio 0<br>
best-effort: prio 0<br>
best-effort: prio 0<br>
best-effort: prio 0<br>
best-effort: prio 0<br>
best-effort: prio 0<br>
best-effort: prio 0<br>
best-effort: prio 0<br>
best-effort: prio 0 <- workers<br>
idle <- cache manager<br>
<br>
# grep proxy_cache_path nginx.conf<br>
proxy_cache_path /cache zone=my-cache:20000msize=3355443m<br>
<br>
# netstat -sp|grep -i drop<br>
    6335115 SYNs to LISTEN sockets dropped<br>
<br>
# iostat -dx 1 /dev/sdb |grep ^sdb | awk '{print $14}'<br>
24.40<br>
31.20<br>
26.80<br>
23.60<br>
26.80<br>
16.00<br>
34.80<br>
35.20<br>
29.60<br>
...<br>
14.40<br>
15.60<br>
11.60<br>
16.00<br>
17.20<br>
18.00<br>
17.20<br>
42.00<br>
90.80 <- cache manager process starts<br>
100.00<br>
100.00<br>
29.20<br>
100.00<br>
100.00<br>
100.00<br>
52.00<br>
100.00<br>
100.00<br>
100.00<br>
<br>
Posted at Nginx Forum: <a href="http://forum.nginx.org/read.php?2,250247,250247#msg-250247" target="_blank">http://forum.nginx.org/read.php?2,250247,250247#msg-250247</a><br>
<br>
_______________________________________________<br>
nginx mailing list<br>
<a href="mailto:nginx@nginx.org">nginx@nginx.org</a><br>
<a href="http://mailman.nginx.org/mailman/listinfo/nginx" target="_blank">http://mailman.nginx.org/mailman/listinfo/nginx</a><br>
</blockquote></div><br></div></div></div>