Проверяем, есть ли ключ

ls ~/.ssh

Если нет ключа, генерим

ssh-keygen -t rsa -b 4096 -f ~/.ssh/id_rsa -N ""

Добавляем ключ на сервер в файл ~/.ssh/authorized_keys

cat ~/.ssh/id_rsa.pub | ssh user@server "mkdir -p ~/.ssh && cat >> ~/.ssh/authorized_keys"

Тестим

ssh user@server

Вероятно, что может не получиться из-за прав доступа к домашнему каталогу пользователя. Они должны быть 750.

Для выяснения причины можно запустить на сервере sshd в отладочном режиме

/usr/sbin/sshd -Dd