コマンドプロンプトと一緒で一度ウィンドウを閉じると↑キーを押しても過去のコマンド履歴は見れないものと思っていたのですが 押して見ると見れました
ローカルファイルではここに保存されてました

C:\Users\<username>\AppData\Roaming\Microsoft\Windows\PowerShell\PSReadline\ConsoleHost_history.txt