TensorflowをGPU有効にしてインストールするときにはCUDAやcuDNNなどをインストールする必要があります。
しかも、Tensorflow、CUDA、cuDNNのバージョンを合わせこまないときちんと動かないです。
Tensorflow 2.3系ではCUDA v10.1、cuDNN v7.6.5 for CUDA v10.1のバージョンでないと動きません。
Tensorflow2.4系ではまた異なるバージョンが必要です。
インストール方法は下記のサイトに詳しく書かれていますのでこちらを参考にするとよいと思います。
zenn.dev
