ПРОЕКТЫ 


  АРХИВ 


Apache-Talk @lexa.ru 

Inet-Admins @info.east.ru 

Filmscanners @halftone.co.uk 

Security-alerts @yandex-team.ru 

nginx-ru @sysoev.ru 


  СТАТЬИ 


  ПЕРСОНАЛЬНОЕ 


  ПРОГРАММЫ 



ПИШИТЕ
ПИСЬМА












     АРХИВ :: nginx-ru
Nginx-ru mailing list archive (nginx-ru@sysoev.ru)

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: upload module: aborted uploading file (4Gb barrier)



Rush пишет:
Спасибо всем, кто откликнулся ! Не знаю как ответить всем откликнувшимся сразу - отвечу сам себе, авось заметите:

1. Потери в сети 0% гарантированно, у меня прямой гигабытный линк на сервант Intel(R) Xeon(R) CPU E5410 @ 2.33GHz 8Gb + какая то нихреновая корзина на 10 террабайт. Может слишком быстрый сервант и nginx'у не нравится что 50метров в секунду летит ? Сомневаюсь, думаю в рамблерах всяко покруче.
2. abort случается и при скорости 1 гигабит, и 100Мбит, и даже 10 (!)
3. Обламываются только большие файлы (>2Gb) и в самом конце закачки (??? почему ???)

Насколько я понимаю в современных интернетах, то в них по-видимому есть две причины этому:

1) Загрузка забила очередь некоторого сетевого устройства и оно отбрасило часть пакетов; 2) Пока загружали файл произошло рассогласование маршрутов и часть пакетов потерялась.

Что касается размера, то это, возможно, объясняется теорией больших чисел. А именно, если вероятность потери пакета составляет, скажем, 1 на миллион, то для загрузок файлов, состоящих из более чем миллиона пакетов она будет систематически реализоваться.

4. nginx 0.6.32 - 0.6.37, upload module не удалось скомпилить с новым nginx (2Valery Kholodkov - может поставишь теги типа 0.6 и 0.7 ? А лучше две ветки - master и production, в production cherry-pick'ать только проверенное и компиляемое, будем вечно благодарны :)

Только что проверил: 2.0.9 собирается с 0.6.37 и с 0.7.58. Какие ошибки выдает компилятор? Какая ОС, платформа?

Что касается веток, то с одной стороны затраты на поддержку двух веток пока превышают пользу от них, а с другой стороны запутывают нескурпулезного читателя.

5. Есть подозрение на глючность брюзеров, удалось залитть 5Гб файл только оперой 64-битной. Но dimkalinux сказал что он залил без проблем. Димка - можно попросить все версии и конфиги в студию/на почту rush.zlo@xxxxxxxxx ?
6. Расскажите может как ведро затюнить (2.6.29-rc3 - ubuntu server hardy)

Rush пишет:////
upload module не загружает файлы более 4G, отладочный лог ничего отличного от нормальной загрузки не выдаёт.

           client_max_body_size 8G;
           upload_max_file_size 16G;

2009/05/20 07:08:18 [alert] 12968#0: *1 aborted uploading file "13 Ghosts [BD Rip] [2001].mkv" to "/storage/novgorod-e1/DCDN/4/24/0002222244", dest file removed, client: 213.148.160.88, server: _, request: "POST /upload/post?X-Progress-ID=7fe1025551864cf5ac2c1324c8d8235e HTTP/1.1", host: "novgorod-e1.datagrad.ru", referrer: "http://www.datagrad.ru/hosting/";

Точно такая проблема уже всплывала у dimkalinux, но там никто не обратил внимание на 4Gb барьер, и дело так ничем и не кончилось (http://www.lexa.ru/nginx-ru/msg23047.html).

   * *To*: *nginx-ru@xxxxxxxxx <mailto:nginx-ru@xxxxxxxxxxxxx>*
   * *Subject*: *upload module*
   * *From*: *dimkalinux <dimkalinux@xxxxxxxxx
     <mailto:dimkalinux@xxxxxxxxxxxxx>>*
   * Date: Thu, 19 Mar 2009 16:26:52 +0200

В error_log постоянно сыпятся такие ошибки:

2009/03/19 13:03:02 [alert] 31030#0: *872396 aborted uploading file
"sorokapjatka.avi" to "/var/upload/17/tmp_up/0000000026", dest file
removed, client: 10.192.0.45, server: up.lluga.net, request: "POST
/upload17?X-Progress-ID=49c203ec01192 HTTP/1.1", host: "up.lluga.net",
referrer: "http://up.lluga.net/"; <http://up.lluga.net/%22>;












--
Best regards,
Valery Kholodkov



 




Copyright © Lexa Software, 1996-2009.