下記を参考にしました。 https://zenn.dev/ackylarkham/articles/ab5ddc3dd9ba1e
環境は WSL2 Ubuntu 24.04 です。
VSCode の設定で関連する部分は下記。
"dev.containers.dockerPath": "podman",
"dev.containers.dockerComposePath": "podman compose",
"dev.containers.dockerSocketPath": "/var/run/podman/podman.sock"
VSCode のほうで設定するには設定を開いて、 Docker Path を docker から podman に変更する必要があります。 docker compose についても podman compose に変更します。
また、podman のソケットのパスを指定する必要があります。 これはなんか所定のパスを管理者権限で探しに行きました。
一応スクショは下記

これらの設定を行い、無事に動きました。 なので WSL2 でもちゃんと設定すれば動作するので、一安心です。 ( WSL2 にいま Docker を結局入れていないし、 podman のほうが手元だと軽くていいなって感じなのでこれからもバシバシ活用しそう)