Попробуйте оставить 1 воркер, включите sendfile и уберите sendfile_max_chunk
вообще. И натравите на этот воркер strace -o str.out -rp worker_pid
Ну и смотрите в статус этого воркера в top в другой консоли. Интересен статус и
время, за которое воркер будет отрабатывать вызовы sendfile и количество
переданных байт за 1 вызов. Время отображается в следующей за sendfile строчке
трейса.
Судя по статусу nginx можно попробовать второй апач с sendfile и без, prefork и
worker(16-32 потока на процесс). prefork с sendfile особенно интересен.
Возможно проблема в том, что AoE имеет [гораздо] больший отклик, чем локальный
диск, и именно это и вызывает проблемы с блокирующимся на диске sendfile при
мультиплексировании запросов.
