Мне также доводилось видеть такую проблему на сервере с CloudLinux, но пока никаких подтверждений что виновато ядро или система не нашлось. Все ресурсы в интернете сылаются на тюнинг nginx (либо kernel shmall / shmmax). Posted at Nginx Forum: https://forum.nginx.org/read.php?21,269571,269627#msg-269627