Если это линукс, то можно смело хранить всё в одном каталоге. Все современные ФС (ext3, XFS, ...) нормально работают c большим количеством файлов. Это не ля-ля, в похожем случае сам делал бенчмарки и оказалось что поиск в одном каталоге быстрее, чем во вложеных. PS: если файлов миллионы - лучше использовать что-то распределённое.