久々に TortoiseGit が入ってる PC でリポジトリを追加しようとしたのですが TortoiseGit は Putty の鍵を要求するので OpenSSH の鍵を変換する必要があり面倒です 
OpenSSH をクライアントに使えないのか調べると設定できました

右クリックメニューから Settings を選んで設定ウィンドウを出して サイドバーから Network を選択
パネル内の 「SSH client」 に OpenSSH の ssh.exe のパスを設定する
最近の Windows10 では標準で OpenSSH クライアントが入ってるのでこれを設定

C:\Windows\System32\OpenSSH\ssh.exe

これでクライアントの切り替えができました

次は鍵の設定ですが 「Git > Remote」 にあるリモートの設定は 「Putty Key」 となっていて OpenSSH 用のキーのパスを入れてもダメでした
個別設定はできないみたいなので デフォルトの鍵の配置場所に配置します
ホームフォルダ内の .ssh フォルダ内に id_rsa という名前で配置します
これで問題なく通信できるようになりました

ただ この設定はリポジトリごとではなく全体設定なので 既存リポジトリではこれまでのクライアントで個別に設定した鍵を使いたいという場合には使えなさそうです