Nejčastěji je to problém DNS. Zkuste nastavit 'UseDNS no' v sshd_config.
Mohlo by to být zpoždění vyhledávání zpětného DNS. Pokud váš připojovací hostitel nemá záznam DNS, zkuste přidat záznam pro váš zdrojový systém do /etc/hosts na serveru, ke kterému se připojujete.
Zdánlivě špatná kvalita synchronizace času NTP pomocí hodin GPS
Jak automaticky vytvářet uživatelské účty (SSH + LDAP)