下記の２つの記事を見る限り、CUDAはバージョン毎に異なるディレクトリに自動的にインストールされるので、異なるバージョン間でファイル自体が競合することはないようです。その一方で、インストール時にCUDAというシンボリックリンクが生成されるので、シンボリックを削除する、update-alternativeのようなもので指す場所を手動で変更する、などの対処が必要になります。個人的には、前者にしておけば、要らぬ混乱が起きないので便利と思います。
medium.com
notesbyair.github.io
なお、最新版のCUDAのインストール方法は、NVIDIAの佐々木さんが書かれている記事を参考にされるのが良いと思います。
