Re: мля атака =(

-=HaRius=- rh на nobrend.ru
Чт Дек 9 01:19:08 MSK 2010


# vmstat -z
ITEM                     SIZE     LIMIT      USED      FREE  REQUESTS
 FAILURES

UMA Kegs:                 208,        0,       96,        6,       96,
 0
UMA Zones:                704,        0,       96,        4,       96,
 0
UMA Slabs:                568,        0,    18921,        7,    20091,
 0
UMA RCntSlabs:            568,        0,    16896,        2,    16896,
 0
UMA Hash:                 256,        0,        0,       15,        3,
 0
16 Bucket:                152,        0,      165,       10,      172,
 0
32 Bucket:                280,        0,      298,       10,      299,
 0
64 Bucket:                536,        0,      406,        0,      425,
 270
128 Bucket:              1048,        0,     3293,        7, 31842996,
25
VM OBJECT:                216,        0,     5805,     1251,   290347,
 0
MAP:                      232,        0,        7,       25,        7,
 0
KMAP ENTRY:               120,   413013,       56,      719,     9240,
 0
MAP ENTRY:                120,        0,     1850,     2025,   955226,
 0
DP fakepg:                120,        0,        0,        0,        0,
 0
SG fakepg:                120,        0,        0,        0,        0,
 0
mt_zone:                 2056,        0,      207,        8,      207,
 0
16:                        16,        0,     2754,     1782,  4089333,
 0
32:                        32,        0,     3706,     2253,    28850,
 0
64:                        64,        0,     5531,     2701,   201069,
 0
128:                      128,        0,     7298,     2011,    62918,
 0
256:                      256,        0,     2165,     1285,    59492,
 0
512:                      512,        0,     1006,      863,    28438,
 0
1024:                    1024,        0,       84,      556,    19245,
 0
2048:                    2048,        0,       75,      323,     1494,
 0
4096:                    4096,        0,      340,      678,    16753,
 0
Files:                     80,        0,    21987,    56133,  4872774,
 0
TURNSTILE:                136,        0,      737,      163,      737,
 0
umtx pi:                   96,        0,        0,        0,        0,
 0
MAC labels:                40,        0,        0,        0,        0,
 0
PROC:                    1120,        0,       70,      410,    12414,
 0
THREAD:                   912,        0,      573,      163,      581,
 0
SLEEPQUEUE:                64,        0,      737,      607,      737,
 0
VMSPACE:                  392,        0,       51,      529,    12395,
 0
cpuset:                    72,        0,        2,       98,        2,
 0
audit_record:             952,        0,        0,        0,        0,
 0
mbuf_packet:              256,        0,        0,     1408,     8528,
 0
mbuf:                     256,        0,     1150,    33022, 140995574,
   0
mbuf_cluster:            2048,   262144,     2003,    31789, 107340535,
 10380
mbuf_jumbo_page:         4096,    16896,        0,        0,        0,
 0
mbuf_jumbo_9k:           9216,     8448,        0,        0,        0,
 0
mbuf_jumbo_16k:         16384,     4224,        0,        0,        0,
 0
mbuf_ext_refcnt:            4,        0,       42,     2142,   132034,
 0
ttyinq:                   160,        0,      165,      171,      600,
 0
ttyoutq:                  256,        0,       88,      122,      320,
 0
g_bio:                    232,        0,        0,      976,   128888,
 0
ata_request:              312,        0,        0,      912,    32536,
 0
ata_composite:            336,        0,        0,        0,        0,
 0
VNODE:                    472,        0,     4458,      806,     4770,
 0
VNODEPOLL:                112,        0,        2,       97,        2,
 0
S VFS Cache:              108,        0,     4658,      589,   119262,
 0
L VFS Cache:              328,        0,        0,       48,        6,
 0
NAMEI:                   1024,        0,        0,      288,  1887311,
 0
DIRHASH:                 1024,        0,     1116,      128,     1116,
 0
NFSMOUNT:                 608,        0,        0,        0,        0,
 0
NFSNODE:                  648,        0,        0,        0,        0,
 0
pipe:                     728,        0,        6,      354,     8010,
 0
ksiginfo:                 112,        0,      470,      586,      470,
 0
itimer:                   344,        0,        0,        0,        0,
 0
KNOTE:                    120,        0,    20377,    56348, 13244547,
 0
socket:                   680,   102402,    29980,    71828, 29414249,
 0
unpcb:                    240,   102400,       47,      321,      552,
 0
ipq:                       56,     8253,        0,        0,        0,
 0
udp_inpcb:                336,   102410,        2,      328,     2212,
 0
udpcb:                     16,   102480,        2,     1846,     2212,
 0
tcp_inpcb:                336,   102410,    49130,    53280,  4021759,
25388188
tcpcb:                    880,   102400,    29931,    71825,  4021759,
 0
tcptw:                     72,    20500,    19199,     1301,   267339,
 3289061
syncache:                 144,   102414,     1613,    18927, 18078696,
 0
hostcache:                136,    15372,     1117,      479,     1117,
 0
tcpreass:                  40,    16464,       53,      787,     4682,
 0
sackhole:                  32,        0,        0,     1818,     9095,
 0
ripcb:                    336,   102410,        0,      220,     1537,
 0
rtentry:                  200,        0,        6,       51,        6,
 0
pfsrctrpl:                152,        0,        0,        0,        0,
 0
pfrulepl:                 912,        0,        0,        0,        0,
 0
pfstatepl:                392,    10000,        0,        0,        0,
 0
pfaltqpl:                 240,        0,        0,        0,        0,
 0
pfpooladdrpl:              88,        0,        0,        0,        0,
 0
pfrktable:               1296,        0,        0,        0,        0,
 0
pfrkentry:                216,        0,        0,        0,        0,
 0
pfrkentry2:               216,        0,        0,        0,        0,
 0
pffrent:                   32,     5050,        0,        0,        0,
 0
pffrag:                    80,        0,        0,        0,        0,
 0
pffrcache:                 80,    10035,        0,        0,        0,
 0
pffrcent:                  24,    50022,        0,        0,        0,
 0
pfstatescrub:              40,        0,        0,        0,        0,
 0
pfiaddrpl:                120,        0,        0,        0,        0,
 0
pfospfen:                 112,        0,        0,        0,        0,
 0
pfosfp:                    40,        0,        0,        0,        0,
 0
IPFW dynamic rule:        120,        0,        0,        0,        0,
 0
selfd:                     56,        0,      236,     1024,    54606,
 0
ip4flow:                   56,     4158,     3642,      516,   120462,
 3152043
ip6flow:                   80,     4140,        0,        0,        0,
 0
SWAPMETA:                 288,   116519,        0,        0,        0,
 0
Mountpoints:              752,        0,        7,       23,        7,
 0
FFS inode:                168,        0,     4405,      611,     4713,
 0
FFS1 dinode:              128,        0,        0,        0,        0,
 0
FFS2 dinode:              256,        0,     4405,      515,     4711,
 0

# sysctl hw.intr_storm_threshold
hw.intr_storm_threshold: 4000

сетевуха igb на  какой то supermicro платформе.

> reset_timedout_connection on;
конечно включен

> Хотя 90k - это в общем не много.
в 9 раз больше обычного =(

sysctl kern.ipc.nmbclusters=262144
увеличил.

2010/12/9 Maxim Dounin <mdounin at mdounin.ru>

> Hello!
>
> On Thu, Dec 09, 2010 at 12:07:32AM +0300, -=HaRius=- wrote:
>
> > наверное пинать будете не в тему рассылки, но сжальтесь!!!
> >
> > с 12 часов лежимс =(
> >
> > че делать уже идеи кончались
> > перекрутил sysctl уже во все стороны
> > сервак начал немного ползать, но как только
> > nginx запускаю в консоль сразу начинает валится
> >
> > Dec  8 23:56:08 mail kernel: interrupt storm detected on "irq257:";
> > throttling interrupt source
> > Dec  8 23:56:08 mail kernel: Limiting open port RST response from 169 to
> 50
> > packets/sec
> > Dec  8 23:56:09 mail kernel: interrupt storm detected on "irq257:";
> > throttling interrupt source
> > Dec  8 23:56:09 mail kernel: Limiting open port RST response from 230 to
> 50
> > packets/sec
>
> Я правильно понимаю, что irq257 - сетевуха?  Если она
> сколько-нибудь приличная, то попробовать потюнить буфера/задержки
> прерываний.  Ну или просто поднять hw.intr_storm_threshold, чтобы
> по крайней мере сеть пыталась работать.
>
> > в логах полно:
> >
> > 80.138.138.94 - - [08/Dec/2010:23:32:16 +0300] "GET / HTTP/1.1" 0 0 "-"
> "IE
> > 7.0"
>
> [...]
>
> > что сделано
> > 1. fail2ban натравлен на поиск агента "IE 7.0"  - блочит, но не спасает
> > 2. временно location = / { return 200; } - не спасает
> > 3. if ($http_user_agent = "IE 7.0" ) { return 412;}
> >
> >         if ($http_referer = "") { return 412;} - тож не стасает
>
> Ну уж тогда return 444;.
>
> > 4. sysctl - накручен
> >
> > sysctl -n kern.ipc.numopensockets
> > 90228
>
> reset_timedout_connection on;
>
> Хотя 90k - это в общем не много.
>
> >
> > # netstat -Lan
> > Current listen queue sizes (qlen/incqlen/maxqlen)
> > Proto Listen         Local Address
> > tcp4  0/0/128        *.4949
> > tcp4  0/0/4096       88.212.196.18.443
> > tcp4  0/0/4096       88.212.196.18.80
> > tcp4  0/0/128        *.22
> > tcp4  0/0/500        *.25
> > tcp4  0/0/5          88.212.196.18.5666
> > tcp4  0/0/20         127.0.0.1.53
> > tcp4  0/0/511        127.0.0.1.80
> > Some tcp sockets may have been created or deleted.
> > unix  0/0/1          /var/run/fail2ban/fail2ban.sock
> > unix  0/0/4          /var/run/devd.pipe
>
> Ну просто таки тишина и покой.  Впрочем, это вероятно следствие
> "throttling interrupt source".
>
> > # netstat -m
> > 1377/36183/37560 mbufs in use (current/cache/total)
> > 754/33038/33792/33792 mbuf clusters in use (current/cache/total/max)
>
> А говорите sysctl накручен.  У вас mbuf cluster'ов с гулькин фиг.
>
> sysctl kern.ipc.nmbclusters=262144
>
> В nginx'е можно ещё поуменьшать буфера на сокетах (listen ...
> rcvbuf=... sndbuf=...), дабы немного поэкономить память если её не
> хватает.
>
> > 36/1628 mbuf+clusters out of packet secondary zone in use (current/cache)
> > 0/0/0/16896 4k (page size) jumbo clusters in use
> (current/cache/total/max)
> > 0/0/0/8448 9k jumbo clusters in use (current/cache/total/max)
> > 0/0/0/4224 16k jumbo clusters in use (current/cache/total/max)
> > 1852K/75121K/76974K bytes allocated to network (current/cache/total)
> > 0/17954981/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
> > 0/0/0 requests for jumbo clusters denied (4k/9k/16k)
> > 0/0/0 sfbufs in use (current/peak/max)
> > 0 requests for sfbufs denied
> > 0 requests for sfbufs delayed
> > 1377 requests for I/O initiated by sendfile
> > 0 calls to protocol drain routines
> >
> > как еще бороться ?????
>
> Ну и vmstat -z посмотрите для комплекта, там лучше видно чего не
> хватает.
>
> Но при таком количестве mbuf cluster'ов при таком количестве
> сокетов - странно что оно вообще работает, должно всё в
> zonelimit'е висеть беспробудно.
>
> Maxim Dounin
>
> _______________________________________________
> nginx-ru mailing list
> nginx-ru at nginx.org
> http://nginx.org/mailman/listinfo/nginx-ru
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://nginx.org/pipermail/nginx-ru/attachments/20101209/ab995e48/attachment-0001.html>


Подробная информация о списке рассылки nginx-ru