Skutečným problémem bylo, že můj uživatel nějak chyběl v `/etc/shadow.
Tuto otázku nechám nějakou dobu otevřenou, aby sem lidé mohli přidat další rady pro řešení problémů.
Také se ujistěte, že oprávnění pro ~/.ssh jsou 700 a ~/.ssh/authorized_keys je 600. Server vám nedovolí použít klíč, pokud jsou oprávnění nesprávná.