Objevil jsem odpověď na svou vlastní otázku - díky pomoci womble (pokud chcete, odešlete odpověď).
lsof -s ukazuje používané popisovače souborů a ukázalo se, že mezipaměť zabíralo několik gigabajtů souborů protokolu mmap'd.
Implementace logrotate by měla problém zcela vyřešit a umožnit mi využít více paměti.
Také znovu povolím swap, abychom v budoucnu neměli problémy s OOM zabijákem. Děkuji.