おそらく、IPv6やv6プラス環境で発生します。

解決方法

.ssh/config に以下の設定を追加します。

Host *
  IPQoS=0x00

調査

ssh -vvvT git@github.com で気になるログがありました。

debug2: channel 0: open confirm rwindow 32000 rmax 35000

調べたら以下のIssueがヒットしました。
自分はUbuntuの物理マシンですが、以前WSLでもsshできない現象に当たったので、Ubuntu全般で発生するものと思われます。
https://github.com/microsoft/WSL/issues/7058#issuecomment-860026882

その次に以下の記事が出てきたため、フレッツ環境によるものと判断しました。
https://qiita.com/hoto17296/items/d8874a67b082dcc42516