Ich würde den Server mal neu starten. Oft hilft das die Performance etwas zu verbessern.

Wenn das nicht hilft, und der Ping wirklich für jeden so schlecht ist (sodass man Leitungsprobleme eines Einzelnen ausschließen kann) und es auch nicht an übertrieben hohen Einstellungen liegt, würde ich mich an den Support eures Anbieters wenden. Vielleicht können die etwas feststellen.