下記を /etc/ssh/sshd_config に記述することで、SSH でのパスワード認証を禁止することができます。
/etc/ssh/sshd_config
PasswordAuthentication no