ドライバーのアンインストールとはそこまで危険な事なのでしょうか?
危険と言いますか、一般的な操作手順としては存在しません。
今回の例に挙がっている USB メモリ、いわゆるマスストレージなデバイスに対するドライバーはデバイスマネージャーからもドライバー削除のユーザーインターフェースが存在しません。
また、単一の USB メモリに特化したドライバーではなく、すべてのマスストレージで共通のドライバーが使われているはずなので、消さない想定で設計・実装されていると予想されます。
このため、事実上、削除できないとお考えください。
なお、削除できるユーザーインターフェースが表示されるケースであっても、環境変数を設定しなければ、非接続のデバイスを表示できないという仕様にデバイスマネージャーがなっているので、そういった操作に慣れていない方は「やらなくても良いことだ」と捉える方が良いでしょう。(参考)
別に残っていても悪さをするわけではないからです。