Re: Проблема с curl, proxy cache и Content-Lenght

Maxim Dounin mdounin at mdounin.ru
Thu Mar 6 14:04:06 UTC 2014


Hello!

On Thu, Mar 06, 2014 at 05:39:16AM -0500, ddr400 wrote:

> Судя по tcpdump страница отдается полностью http://pastebin.com/ZDkWPtdv
> 
> а в терминале curl останавливается на таком
> 
> </div>
> <div class="span4">
> 
> 71b
> <section class="b-yellow-box">
> * Received problem 3 in the chunky parser
> * Closing connection #0
> curl: (56) Received problem 3 in the chunky parser
> <div class="b-yellow-box

Взгляд глазами позволяет предположить, что ответ, возможно, 
повреждён где-то тут (начала chunk'а, ближе к концу которого curl 
ругается):

<section class="b-layout b-layout_main">
<div class="g-layout">

3e
<!-- ............ ...... .................. .............. -->
3e
<!-- ............ ...... .................. .............. -->
3057
op7-for-main">
<div class="span4">
<div class="first-item">
<a href="/news/2014/03/06/crimea/" class="js-dh"><img alt="............ .................. ...................." class="g-

Говорить о чём либо однозначно - сложно, т.к. и вывод 
tcpdump'а, и debug log явно обрабатывались руками, и строки там 
как минимум местами двояться, не говоря уже про наивные попытки 
замены доменов.  Но судя по всему этому соответствует вот этот 
кусок debug log'а:

2014/03/06 09:56:08 [debug] 2251#0: *20 http chunk: 12586
2014/03/06 09:56:08 [debug] 2251#0: *20 write old buf t:1 f:0 000000000158B970, pos 000000000158B970, size: 4 file: 0, size: 0
2014/03/06 09:56:08 [debug] 2251#0: *20 write old buf t:1 f:0 000000000155BF60, pos 000000000155D42E, size: 66 file: 418, size: 30734
2014/03/06 09:56:08 [debug] 2251#0: *20 write old buf t:0 f:0 000000000158BA78, pos 00000000004920FD, size: 2 file: 0, size: 0
2014/03/06 09:56:08 [debug] 2251#0: *20 write old buf t:1 f:0 000000000158BAB0, pos 000000000158BAB0, size: 4 file: 0, size: 0
2014/03/06 09:56:08 [debug] 2251#0: *20 write old buf t:0 f:0 0000000000000000, pos 0000000000000000, size: 0 file: 0, size: 0
2014/03/06 09:56:08 [debug] 2251#0: *20 write old buf t:1 f:0 0000000001522CA8, pos 0000000001522CA8, size: 62 file: 0, size: 0
2014/03/06 09:56:08 [debug] 2251#0: *20 write old buf t:0 f:0 00000000013C3F90, pos 00000000004920FD, size: 2 file: 0, size: 0
2014/03/06 09:56:08 [debug] 2251#0: *20 write old buf t:1 f:0 00000000013C3E58, pos 00000000013C3E58, size: 4 file: 0, size: 0
2014/03/06 09:56:08 [debug] 2251#0: *20 write old buf t:1 f:0 0000000001522CA8, pos 0000000001522CA8, size: 62 file: 0, size: 0
2014/03/06 09:56:08 [debug] 2251#0: *20 write old buf t:0 f:0 0000000001522E48, pos 00000000004920FD, size: 2 file: 0, size: 0
2014/03/06 09:56:08 [debug] 2251#0: *20 write new buf t:1 f:0 000000000158BB68, pos 000000000158BB68, size: 6 file: 0, size: 0
2014/03/06 09:56:08 [debug] 2251#0: *20 write new buf t:1 f:1 000000000155BF60, pos 000000000155D4AB, size: 12586 file: 5869, size: 12586
2014/03/06 09:56:08 [debug] 2251#0: *20 write new buf t:0 f:0 0000000000000000, pos 00000000004920FD, size: 2 file: 0, size: 0
2014/03/06 09:56:08 [debug] 2251#0: *20 http write filter: l:0 f:0 s:12802
2014/03/06 09:56:08 [debug] 2251#0: *20 http write filter limit 0
2014/03/06 09:56:08 [debug] 2251#0: *20 writev: 214
2014/03/06 09:56:08 [debug] 2251#0: *20 sendfile: @5931 12524
2014/03/06 09:56:08 [debug] 2251#0: *20 sendfile: 12524, @5931 12524:12524
2014/03/06 09:56:08 [debug] 2251#0: *20 writev: 2
2014/03/06 09:56:08 [debug] 2251#0: *20 http write filter 0000000000000000
2014/03/06 09:56:08 [debug] 2251#0: *20 http postpone filter wake "/includes/lists/last24?"

По каким-то непонятным причинам sendfile'у предлагается послать 
12524 вместо обозначенных в буфере 12586.  Разница в 62 байта 
подозрительно похожа на размеры некоторых предыдущих буферов, и 
как бы намекает на ошибку в работе с sendfile'ом на linux'е в случаях, 
когда работа с файлами сильно перемешенана с буферами в памяти.

Попробуйте выключить sendfile, должно помочь.

-- 
Maxim Dounin
http://nginx.org/



Подробная информация о списке рассылки nginx-ru