Also von der Hardware passt alles, wie Luk schon richtig angemerkt hat ist nur ein Kern ausgelastet. RAM haste auch noch 11 GB frei.
Bleiben die Lags.
Luk vermutet die Festplatte, da sollte man mal ansetzen. Praktisch kann auch ein Monitoringtool sein, welches die CPU-Last mal mitloggt und du schauen kannst, was war, als dein Server gelaggt hat.
Sonst: Mal die Festplatte durchdrehen lassen (benchmark oder sonst was, mit dd nen Haufen schrott rumkopieren oder hdparm). und schauen, ob dadurch Lags entstehen.