Vaše klíče SSH by neměly být automaticky přidán do agenta jen proto, že jste SSH použili na server...
Spusťte ssh-add -l pro výpis klíčů agenta ssh-add -D vyčistěte všechny klíče.
Dalším způsobem, jak omezit, proti čemu jsou klíče kontrolovány, je přidat IdentitiesOnly yes do /.ssh/config a seznam záznamů
IdentityFile ~/.ssh/<nameofkey>
Můžete je také přidat do každé položky hostitele:
Host server-name
HostName <ipaddress>
User <username>
IdentityFile ~/.ssh/<nameofkey>
SSH Man Page má také více možností.