ПРОЕКТЫ 


  АРХИВ 


Apache-Talk @lexa.ru 

Inet-Admins @info.east.ru 

Filmscanners @halftone.co.uk 

Security-alerts @yandex-team.ru 

nginx-ru @sysoev.ru 


  СТАТЬИ 


  ПЕРСОНАЛЬНОЕ 


  ПРОГРАММЫ 



ПИШИТЕ
ПИСЬМА












     АРХИВ :: nginx-ru
Nginx-ru mailing list archive (nginx-ru@sysoev.ru)

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: mp4 streaming tuning



17 дек. 2012, в 08:40, Вадим Лазовский написал(а):
nginx/1.2.3 стримит видео, упираемся в 1.5 Гб/c (две 1Гб сетевухи в bond) и nginx начинает с задержкой в начале (несколько секунд, иногда до минуты) отдавать файлы, при этом iowait 20-30%, si ~ 20%.
moov-атом точно перенесен в начала файла? Во всех файлах?
Точно.

20-30 и 20% это пики на ядре или среднее по 4 ядрам?
среднее по 4м

 
Популярные файлы лежат на ssd, остальное на hdd.
Сколько всего ssd и обычных дисках. И не в массивах ли они часом?
1 ssd и 6 hdd в software raid5.

На сервере 4 физических процессора, имеет смысл поднимать кол-во worker_processes?
4 это мало. Я бы поднял штук до 20. Не повредит уж точно.
Поднял вчера, посмотрю сегодня в пик изменится-ли что нибудь. 

Без aio отдаем 4 Гбит.
С включенным sendfile? directio для очень больших файлов включен? output_buffers тюнили?

Имеет-ли смысл включать AIO? linux 2.6.38 SMP x86_64
Пробовал включить aio. Совсем плохо стало. iowait то упал до 0, но user задрался, la сильно расти начал, и стримил при этом не больше 100Мбит.

Или может упираемся в сетевухи? Cетевые прерывания распределены по ядрам равномерно. И когда стояла одна сетевуха - она на 1Гб стримила нормально.
00:19.0 Ethernet controller: Intel Corporation 82578DM Gigabit Network Connection (rev 05)
04:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection
ЕМНИП, обе e1000. Не умеют очереди.
Одна умеет, но мало :)

  48: 1852018402 1851886313 1851907204 1851967041   PCI-MSI-edge      eth1
  49: 3301989410 3301930314 3301981994 3302369693   PCI-MSI-edge      eth0-rx-0
  50: 2482755925 2482702187 2482712776 2482293121   PCI-MSI-edge      eth0-tx-0
  51:        401        407        405        424   PCI-MSI-edge      eth0

Если есть возможность поставьте ту, которая на igb. 4 очереди, каждую на свое ядро.
Либо включите RPS+RFS: http://code.google.com/p/kernel/wiki/NetScalingGuide
Спасибо. Посмотрю в эту сторону.

В каком состоянии находятся воркеры в часы максимальной нагрузки?
По памяти не скажу, пик вечером будет, гляну.

Сколько пик wa и si на каждом ядре в часы максимальной нагрузки?
Распределяется равномерно +- проценты.

Кто в топе "iostat -mdx 1 /dev/sd?" ?
Процентов на 60-70 чтение идет с ssd (160Gb), остальное с массива (там почти 1Тб).
Дело в том, что в пик пробовал с помощью dd тестить скорость отдачи фалов с винтов. Отдаваться начинает очень быстро, а nginx тупит от 5 до 40 секунд перед началом отдачи файла.

Как сконфигурирован bond?
Все по-умолчанию. balance-rr.

Мб воткнуть третий линк и добавить памяти?.
А зачем третий линк, если два не утилизируются полностью? Память, к сожалению, не добавить.
_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://mailman.nginx.org/mailman/listinfo/nginx-ru


 




Copyright © Lexa Software, 1996-2009.