調べても日本語の個人サイトでは人によって書いてることが違ってどれが正しいかわかりません
設定は Server と Client どっちでもいいと書いてたり 理由や説明もなく動いたからと貼り付けてるだけでよくわからなかったので StackOveflow に行くといい回答がありました
やっぱり技術系の調べ物は英語のほうがいいですね
https://stackoverflow.com/questions/7210011/amazon-ec2-ssh-timeout-due-inactivity
EC2 サーバの設定ではなく AWS が一定時間通信がないと自動で切断するようです
それも リージョンによって間隔が違って短いと 1 分の通信なしで切られるそうです
ということで 50 秒ごとにサーバと疎通確認の通信を送っていればサーバから通信がないからと切断されることがなくなるようです
ServerAliveInterval 50
これをクライアントの ~/.ssh/config に追記します