Te vuelvo a decir que con concurrencia de 4 usuarios está muerta, usa un ab (./ab -c 4 -n 0
http://tudirecciondyndns) desde fuera simula 4 usuarios con 0 request y verás, si tienes cable te irá mucho mejor, te vuelvo a repetir que aunque las ADSL dan mucha bajada, 4mb, 20MB de subida no dan nada (que es lo que necesitas) los esquemas ADSL ahora mismo son todos en plan 4MB/300kb. Con 300Kb el servidor no puede responder en tiempo en los que no genere antes un timeout.
Yo tengo una DSL (simetría en casa) y en estos servidores así mismo tengo un canuto simétrico de 10mbps. Estoy desconectado dle tema de las ADSL quizás ahora ofrezcan 1MB de subida, aunque me extrañaría, sino todos dios tendría servidores en casa.