Odkaz na odpověď jsem našel ve spodní části stránky.
V podstatě to, co musím udělat bez restartování počítače, je:
rm ~/.Xauthority*
Na serveru pak zavřete X11, poté znovu otevřete X11 a znovu se připojte k serveru.
Díky!
http://slopjong.de/2011/06/14/invalid-mit-magic-cookie-1-key/