基本的には外部メディアにアプリをインストールすることは避けた方が無難ですが、使い方は人それぞれなので問題なく使えればそれでいいと思います。
問題があるかどうかはアプリ次第ですから実際に試してみた方がいいと思います。
そのアプリだけで完結しているものは問題が起きる可能性は低いと思いますが、アプリや設定によってはPCの起動時に何かを読み込もうとするもの、外部との接続を行おうとするものなどがあります。
<ゲームを起動する前に外付けSSDを接続し、ゲームを終了した後に外付けSSDを外す>
これについても試してみるしかないと思いますが、PCをシャットダウンした後で外部メディアを外し、電源を入れる前に外部メディアを接続した方が問題の起きる可能性はより低くなると思います。