upload module: aborted uploading file (4Gb barrier)

Rush rush at natm.ru
Tue May 26 12:32:41 MSD 2009


Valery Kholodkov пишет:
> 1) Загрузка забила очередь некоторого сетевого устройства и оно 
> отбрасило часть пакетов;
> 2) Пока загружали файл произошло рассогласование маршрутов и часть 
> пакетов потерялась.
>
Повторяю - это нереально. Тот же сервер по FTP (vsftpd) держит нагрузку 
до 800 мегабит, и никаких потерь или отбросов.
> Что касается размера, то это, возможно, объясняется теорией больших 
> чисел. А именно, если вероятность потери пакета составляет, скажем, 1 
> на миллион, то для загрузок файлов, состоящих из более чем миллиона 
> пакетов она будет систематически реализоваться.
По FTP загрузки превышают эти размеры, причём идут быстрее и намного 
меньше грузят CPU (практически вообще не грузят), при этом один процесс 
загрузки nginx+upload_module отжирает 15% CPU.
>
>> 4. nginx 0.6.32 - 0.6.37, upload module не удалось скомпилить с новым 
>> nginx (2Valery Kholodkov - может поставишь теги типа 0.6 и 0.7 ? А 
>> лучше две ветки - master и production, в production cherry-pick'ать 
>> только проверенное и компиляемое, будем вечно благодарны :)
>
> Только что проверил: 2.0.9 собирается с 0.6.37 и с 0.7.58. Какие 
> ошибки выдает компилятор? Какая ОС, платформа?
Хорошо ты запутал с ветками и тегами :) С nginx 0.7.59 действительно 
компилится HEAD (впрочем как и 2.0.9) ветки 2.0. Для непосвящённых надо 
бы рассказать, как это сделать, мне повезло - я с git знаком, и 
обнаружил что в репе куча веток и тегов :) Github'ом для того, чтобы 
скачать сразу нужный архив воспользоваться не смог, слава богу оно мне и 
не надо, мне проще с репой работать. И ещё раз спасибо за модуль.

$ git clone git://github.com/vkholodkov/nginx-upload-module.git
$ git branch 2.0 origin/2.0
$ git checkout 2.0


>
> Что касается веток, то с одной стороны затраты на поддержку двух веток 
> пока превышают пользу от них, а с другой стороны запутывают 
> нескурпулезного читателя.
Судя по количеству коммитов поддержка заняла бы от 10 минут до часа (на 
все коммиты). git cherry-pick тебе в помощь, могу предложить так же свою.







More information about the nginx-ru mailing list