Mac上のJenkinsでビルドすると、「sshキー〜のパスワードを入力して下さい」というダイアログが表示される

gitでリモートリポジトリにアクセスする度に出るから非常にうざいです。
原因は、.ssh下に置いている秘密鍵ファイルにアクセスする権限をJenkinsが持っていないため。
詳しくはわからないが、JenkinsはMacのログインユーザと異なるユーザでシェルスクリプトを実行しているっぽい。
Jenkinsのトップページ＞認証情報＞ドメインを選択＞認証情報の追加　をクリックしてSSHユーザ名と秘密鍵を追加するときに、秘密鍵を直接入力すると直った。