地方のボランティア団体で高齢者向けのパソコンサポートをさせていただいている中で同様の現象に遭遇しました。いろいろ検証した結果を共有させてください。
USBメモリなどの外部ストレージの中のExcelファイルをExcel2019を使って上書き保存したときに.tmpファイルが残ります。Excel2010では同様な事は起きませんでした。また、Word2019でも起きません。
他のパソコン数台で試しましたが、Excel2019であれば、Windows10でも11でも100%再現可能です。試したパソコンはそれぞれ所有者が違いますので、当然USBメモリもさまざまです。
報告者さまの指摘の通り、十中八九これと関連して、USBメモリの安全な取り出しがエラーを吐いて実行出来なくなっています。
私も相談者宅で善場さまが紹介されている下記ページを見つけ、その中で紹介している3種類の対処方法を試してみましたが、どれも上手く行きませんでした。
https://itojisan.xyz/trouble/15141/
Microsoftのバグである事はほぼ確定。いろいろ試した結果、今のところは対処が無理そうであり、パッチを待つより他はないという結論に至りました。けど、逆にいえば、パッチさえ配布されれば済む話なので、時間の問題だと言えそうです。
20220424追記:USBメモリ内のフォルダの中のWordファイルを一度使用し保存したたあと、フォルダの名称を変更しようとした場合に、「他のプログラムが使用している…」などのメッセージが出て、名称変更を実行できないという事がありました。
先の報告ではExcel2019特有のバグとしてお知らせしましたが、Officeソフト全体に言える事かもしれないです。
20220524追記:大量に残った.tmpファイルは、パソコンを再起動すると全て消去されるようです。