Проверяем, есть ли ключ
ls ~/.ssh
Если нет ключа, генерим
ssh-keygen -t rsa -b 4096 -f ~/.ssh/id_rsa -N ""
Добавляем ключ на сервер в файл ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa.pub | ssh user@server "mkdir -p ~/.ssh && cat >> ~/.ssh/authorized_keys"
Тестим
ssh user@server
Вероятно, что может не получиться из-за прав доступа к домашнему каталогу пользователя. Они должны быть 750.
Для выяснения причины можно запустить на сервере sshd в отладочном режиме
/usr/sbin/sshd -Dd