ПРОЕКТЫ 


  АРХИВ 


Apache-Talk @lexa.ru 

Inet-Admins @info.east.ru 

Filmscanners @halftone.co.uk 

Security-alerts @yandex-team.ru 

nginx-ru @sysoev.ru 


  СТАТЬИ 


  ПЕРСОНАЛЬНОЕ 


  ПРОГРАММЫ 



ПИШИТЕ
ПИСЬМА












     АРХИВ :: nginx-ru
Nginx-ru mailing list archive (nginx-ru@sysoev.ru)

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: Тюнинг по нагрузку и странные ребуты


  • To: nginx-ru@xxxxxxxxx
  • Subject: Re: Тюнинг по нагрузку и странные ребуты
  • From: "Slava Kokorin" <slava.kokorin@xxxxxxxxx>
  • Date: Sat, 22 Mar 2008 18:06:53 +0300
  • Dkim-signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=gmail.com; s=beta; h=domainkey-signature:received:received:message-id:date:from:to:subject:in-reply-to:mime-version:content-type:references; bh=64M55oEzecEtug6TrqPDVqJSbro4MktbaHhB0KKxynk=; b=RhLD1U/Erd4xerUUbBlHNof+81RZCVrOVWE++KAb5ewzKF3qLLYWaWele/ZcDMTDr5TSzgvySK95WGUtmV73Q7xh+SeeC6H6hdZvSox6/FEr0ITHJAWaP3eg1WqNyU/8RgHUUiVjcPvZmn11EvhwZLU1pkm4OTbIXskT/glNnto=
  • Domainkey-signature: a=rsa-sha1; c=nofws; d=gmail.com; s=beta; h=message-id:date:from:to:subject:in-reply-to:mime-version:content-type:references; b=uFkdzl616R6m2aaGlUsge07oHqhLmEXue5z/Hg0RR2zcIsS+pbzXBncbuAWwSqlaEMpbEl3lsx/oQbKFw+iV9Wv0VE/ya2bLGqbrp3f0upLbxCwuxlzAmI7nigZwRnKBYwFCCs04E7j0FnA3GJluCHXfH6eSMU6WX7i2yPx13R4=
  • In-reply-to: <1815711334.20080322124046@xxxxxxxxxxxxx>
  • References: <1815711334.20080322124046@xxxxxxxxxxxxx>

У меня был случай с Интеловской матерью (платформа 1325) - тоже самопроизвольно перегружалась машина. Никаких сообщений ни в логах, ни на экране не было. Причём повторялось это на разных операционных системах - и Линукс красная шапка 9 и Windows 2000 (проверял на этих системах специально т.к. производетелем заявлялось что на этих операционках  эта платформа прошла стресс-тесты).   Иногда сервер работал неделями до такой перезагрузки, иногда через день перегружался а иногда за час несколько раз.   В конце концов, перепробовав почти всё из /usr/ports/benchmarks я нашёл-таки программу, использование которой гарантированно вызывала ребут (/usr/ports/benchmarks/netio)  и показал это продавцу сервера - только тогда он признал проблему в железе (сказал, что проблема в материнке) и по нашему требованию заменил полностью весь сервер. После этого никаких проблем нет.


22.03.08, Михаил Монашёв <postmaster@xxxxxxxxxxxxx> написал(а):
Здравствуйте,

Осенью я настроил сервер на обслуживание большого числа соединений по
презентации Игоря:

FreeBSD 6.3-PRERELEASE

>cat /boot/loader.conf
autoboot_delay="1"
userconfig_script_load="YES"
beastie_disable="YES"

net.inet.tcp.syncache.hashsize="1024"
net.inet.tcp.syncache.bucketlimit="100"
net.inet.tcp.tcbhashsize="4096"

vm.kmem_size="1G"
kern.ipc.nmbclusters="262144"

net.inet.tcp.hostcache.hashsize="4096"
net.inet.tcp.hostcache.bucketlimit="100"


>cat /etc/sysctl.conf
net.inet.tcp.msl=7500
net.inet.tcp.delayed_ack=0

net.inet.ip.random_id=1

net.inet.ip.fw.dyn_buckets=32768
net.inet.ip.fw.dyn_max=32768
net.inet.ip.fw.dyn_ack_lifetime=120
net.inet.ip.fw.dyn_syn_lifetime=10
net.inet.ip.fw.dyn_fin_lifetime=2
net.inet.ip.fw.dyn_short_lifetime=10

net.inet.tcp.keepidle=40000
net.inet.tcp.keepintvl=40000
net.inet.tcp.keepinit=40000

net.inet.tcp.sendspace=65536
net.inet.tcp.recvspace=16384

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1

net.inet.tcp.maxtcptw=40960

net.inet.ip.portrange.randomized=0

# bugly
# net.inet.tcp.nolocaltimewait=1

net.inet.tcp.syncookies=1

kern.ipc.maxsockets=204800

kern.maxfiles=204800
kern.maxfilesperproc=32768

kern.ipc.somaxconn=4096


Сейчас  периодически  начались самостоятельные ребуты сервера. В логах
FreeBSD пусто. В логах жизнедеятельности железа тоже всё нормально (на
интеловской  матери  есть одна хрень, которая собирает данные с разных
компонентов сервера и пишет её в свою флэ-память.) Такое ощущение, что
питание  просто  вытаскивают  из  сервера на секунду. Происходит такой
ребут  раз  в  1-2 дня. Мучаюсь уже неделю. Сейчас FreeBSD поднимем до
нормальной версии 6.3, но не уверен, что поможет.

Так  вот  вопрос:  могут  ли  эти  ребуты  быть причиной моего кривого
тюнинга  FreeBSD.  Или  же  грешить на железо, которое вдруг почему-то
начало глючить...

>vmstat -z
ITEM                     SIZE     LIMIT      USED      FREE  REQUESTS  FAILURES

UMA Kegs:                 240,        0,       67,        8,       67,        0
UMA Zones:                280,        0,       67,       11,       67,        0
UMA Slabs:                128,        0,     1760,      763,   147183,        0
UMA RCntSlabs:            128,        0,     2328,      340,   130792,        0
UMA Hash:                 256,        0,        3,       12,        6,        0
16 Bucket:                152,        0,       69,       56,      118,        0
32 Bucket:                280,        0,       27,       57,       91,        0
64 Bucket:                536,        0,       38,       74,      127,       65
128 Bucket:              1048,        0,      755,      103,     2924,   617837
VM OBJECT:                224,        0,    28720,    42714, 10236642,        0
MAP:                      352,        0,        7,       15,        7,        0
KMAP ENTRY:               112,    98406,       21,      276,   164359,        0
MAP ENTRY:                112,        0,     9491,     2356, 36019655,        0
PV ENTRY:                  48,  5706864,  2002569,   162039, 2086499412,        0
DP fakepg:                120,        0,        0,        0,        0,        0
mt_zone:                 1024,        0,      134,       10,      134,        0
16:                        16,        0,     2291,      901, 53841173,        0
32:                        32,        0,     5163,     1604, 14835282,        0
64:                        64,        0,     2717,     2099, 48217270,        0
128:                      128,        0,     4994,      922, 31667804,        0
256:                      256,        0,      882,      603,  9527058,        0
512:                      512,        0,     1384,      660,  1634008,        0
1024:                    1024,        0,      587,      413,   346743,        0
2048:                    2048,        0,       57,      329,   404452,        0
4096:                    4096,        0,      262,      305,  2182521,        0
Files:                    120,        0,     8245,     1458, 37445260,        0
TURNSTILE:                104,        0,      961,      128,     1237,        0
PROC:                     856,        0,      149,      331,   371712,        0
THREAD:                   608,        0,      676,      284,     9502,        0
KSEGRP:                   136,        0,      676,      260,     3008,        0
UPCALL:                    88,        0,        0,        0,        5,        0
SLEEPQUEUE:                64,        0,      961,      159,     1237,        0
VMSPACE:                  544,        0,      111,      428,   371674,        0
mbuf_packet:              256,        0,     3787,      301, 415797233,        0
mbuf:                     256,        0,      556,     1296, 593199194,        0
mbuf_cluster:            2048,   262144,     4088,      568, 148587055,        0
mbuf_jumbo_pagesize:     4096,        0,        0,        0,        0,        0
mbuf_jumbo_9k:           9216,        0,        0,        0,        0,        0
mbuf_jumbo_16k:         16384,        0,        0,        0,        0,        0
ACL UMA zone:             388,        0,        0,        0,        0,        0
g_bio:                    216,        0,        4,     9860, 50455273,        0
VNODE:                    496,        0,    45795,    44749,  1905792,        0
VNODEPOLL:                152,        0,        0,        0,        0,        0
NAMEI:                   1024,        0,        0,      580, 43832293,        0
S VFS Cache:              104,        0,    45784,    26684,  1416847,        0
L VFS Cache:              327,        0,     2908,     4052,   302194,        0
DIRHASH:                 1024,        0,     1856,      180,    12081,        0
PIPE:                     768,        0,        8,      457,   244287,        0
KNOTE:                    120,        0,     7335,      911, 156090348,        0
socket:                   616,   204804,     7357,     3611, 17920375,        0
unpcb:                    200,   204801,       95,      665,    39511,        0
ipq:                       56,     8253,        0,       63,       46,        0
udpcb:                    304,   204804,        6,      366,    80825,        0
inpcb:                    304,   204804,    11690,     4450, 17799979,        0
tcpcb:                    752,   204800,     7246,     3644, 17799979,        0
tcptw:                     80,    40995,     4444,     5726, 11187304,        0
syncache:                 128,    15370,       51,      355,  6486053,        0
hostcache:                136,    15372,    11163,      289,    60523,        0
tcpreass:                  40,    16464,        2,      670,   349949,        0
sackhole:                  32,        0,       39,      668,  1124926,        0
ripcb:                    304,   204804,        2,       58,       53,        0
rtentry:                  264,        0,       38,       32,       41,        0
divcb:                    304,   204804,        1,       23,        1,        0
IPFW dynamic rule:        120,        0,    11231,      425,  5436107,        0
SWAPMETA:                 288,   116519,      898,      129,     1861,        0
Mountpoints:              792,        0,       12,       18,       12,        0
FFS inode:                192,        0,    45745,    28435,  1905620,        0
FFS1 dinode:              128,        0,        0,        0,        0,        0
FFS2 dinode:              256,        0,    45745,    23480,  1905620,        0


>netstat -s -p tcp
tcp:
        388830540 packets sent
                127026230 data packets (130426602571 bytes)
                2547241 data packets (3184142700 bytes) retransmitted
                90608 data packets unnecessarily retransmitted
                208 resends initiated by MTU discovery
                212916641 ack-only packets (0 delayed)
                0 URG only packets
                19541 window probe packets
                19085752 window update packets
                27279475 control packets
        347853681 packets received
                137363681 acks (for 129899106763 bytes)
                16041798 duplicate acks
                1610 acks for unsent data
                192313042 packets (179744150693 bytes) received in-sequence
                1131583 completely duplicate packets (97511822 bytes)
                23860 old duplicate packets
                7144 packets with some dup. data (4380337 bytes duped)
                350145 out-of-order packets (433368103 bytes)
                2878 packets (717212 bytes) of data after window
                359 window probes
                8980292 window update packets
                6014 packets received after close
                2241 discarded for bad checksums
                0 discarded for bad header offset fields
                0 discarded because packet too short
        11350776 connection requests
        6474009 connection accepts
        541002 bad connection attempts
        0 listen queue overflows
        1925 ignored RSTs in the windows
        17757687 connections established (including accepts)
        17813031 connections closed (including 565736 drops)
                2445514 connections updated cached RTT on close
                2467782 connections updated cached RTT variance on close
                2058318 connections updated cached ssthresh on close
        55688 embryonic connections dropped
        121980133 segments updated rtt (of 93433055 attempts)
        1939824 retransmit timeouts
                15977 connections dropped by rexmit timeout
        31239 persist timeouts
                15 connections dropped by persist timeout
        2817074 keepalive timeouts
                958555 keepalive probes sent
                67906 connections dropped by keepalive
        3602212 correct ACK header predictions
        140392129 correct data packet header predictions
        6494799 syncache entries added
                73149 retransmitted
                73443 dupsyn
                18 dropped
                6474009 completed
                0 bucket overflow
                0 cache overflow
                9429 reset
                11181 stale
                0 aborted
                0 badack
                87 unreach
                0 zone failures
        6494817 cookies sent
        0 cookies received
        389309 SACK recovery episodes
        611350 segment rexmits in SACK recovery episodes
        861610061 byte rexmits in SACK recovery episodes
        2877534 SACK options (SACK blocks) received
        303214 SACK options (SACK blocks) sent
        0 SACK scoreboard overflow

>netstat -m
4147/1688/5835 mbufs in use (current/cache/total)
3597/1301/4898/262144 mbuf clusters in use (current/cache/total/max)
3597/415 mbuf+clusters out of packet secondary zone in use (current/cache)
0/0/0/0 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/0 9k jumbo clusters in use (current/cache/total/max)
0/0/0/0 16k jumbo clusters in use (current/cache/total/max)
8230K/3024K/11254K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/0/0 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
48518 requests for I/O initiated by sendfile
626 calls to protocol drain routines


P.S.
Как исправить вот это:
>vmstat -z
ITEM                     SIZE     LIMIT      USED      FREE  REQUESTS  FAILURES
64 Bucket:                536,        0,       38,       74,      127,       65
                                                                             ^^
128 Bucket:              1048,        0,      755,      103,     2924,   617837
                                                                         ^^^^^^
и надо ли это исправлять?


--

С уважением,
Михаил Монашёв, SoftSearch.ru
mailto:postmaster@xxxxxxxxxxxxx
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.





--
Regards,
Slava

 




Copyright © Lexa Software, 1996-2009.