<div dir="ltr"><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)">Hello,<br><br></div><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)">Documentating myself on proper benchmarking, I ran into the following page:<br><a href="http://gwan.com/en_apachebench_httperf.html" target="_blank">http://gwan.com/en_apachebench_httperf.html</a><br><br></div><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)">Their conclusion is that their product is the best of all. Well, 'of course' one might say... ;o)<br><br></div><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)">What surprised me most that they claim to use less resources AND perform better. That particularly strikes me because usually ot favor one side, you take blows on the other one.<br><br></div><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)">To me, the problem of such tests is that they are a mix of realistic/unrealistic behaviors, the first being invoked to justify useful conclusions, the latter to make a specific environment so that features from the Web server (as opposed to other components of the infrastructure) are tested.<br><br></div><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)">They are arrogant enough to claim theirs is bigger and paranoid enough to call almost every other benchmark biased or coming from haste/FUD campaigns. That is only OK if they are as pure as the driven snow...<br></div><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)"><br></div><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)">I need expert eyes of yours to determine to which end those claims are grounded.<br><br></div><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)">Particular points:<br></div><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)">- Is <a href="http://gwan.com/source/nginx.conf">their nginx configuration</a> suitable for valid benchmark results?<br></div><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)">- Why is your wrk test tool built in such way in pre-establishes TCP?<br></div><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)">- Why is nginx pre-allocating resources so its memory footprint is large when connections are pre-established? I thought nginx event-based system was allocating resources on-the-fly, as G-WAN seems to be doing it. (cf. 'The (long) story of Nginx's "wrk"' section)<br><div class="gmail_default" style="font-size:small;color:rgb(51,51,153)">- Why is wrk (in G-WAN's opinion) 'too slow under 10,000 simultaneous connections'? (cf. 'The (long) story of Nginx's "wrk"' section)</div></div><div><div><font size="1"><span style="color:rgb(102,102,102)">---<br></span><b><span style="color:rgb(102,102,102)">B. R.</span></b><span style="color:rgb(102,102,102)"></span></font></div></div>
</div>