IEやEdgeでFixedした要素が、スムーススクロールがデフォルトでONになっているブラウザのためスクロールでガタつく

mo-ja.net

これで解決。

つまり、スクロールを無効にして、JSで同じような動作を作って上げる必要があるそうです。

これをブラウザ判定して、IEやEdgeのときに上記のJSを効かせてあげれば解決します。