佐藤 富美 さん、こんにちは。
マイクロソフト コミュニティへの投稿ありがとうございます。
Groove ミュージックでファイルを開けなくなり、PowerShell コマンドで削除をしてもスタート メニューにはアイコンが残ったままとなっているのですね。
>再度 アプリストアからインストールを試しても失敗します
この際には、エラー メッセージなどは表示されるでしょうか。
また、[スタート] > [設定] > [アプリ] > [アプリと機能] の一覧の中に Groove ミュージックは存在しているでしょうか。もしある場合は、[詳細オプション] から [リセット] の操作も試してみてください。
他には、以下のようなことも確認してみてはいかがでしょう。
・トラブルシューティング ツールの実行
[スタート] > [設定] > [更新とセキュリティ] > [トラブルシューティング] >[ Windows ストア アプリ]
・「Windows 10 でストア アプリが正常に動作しない場合の対処方法」をひと通り確認してみる