Sooo... nach vielem Testen und Herumprobieren hat es zumindest heute bei mir geklappt.

Habe wie vorgeschlagen den XD-Patch und DirectX-11 installiert, sowie die Grafikeinstellungen geändert, aber leider beim Samstagsserver ohne Erfolg.

Des Rätsels Lösung war dann der Chat mit SaschalolXD. Indem wir herausgefunden haben, dass wir fürs Erste das selbe Problem haben, beide aus Österreich sind und beide den selben Netzanbieter MAGENTA haben.

Daraufhin habe ich mir die Routereinstellungen angesehen und entdeckt, dass dort noch eine Firewall aktiv ist. Diese deaktiviert und zumindest heute kam ich von ca. 20 Versuchen einmal auf den Server.