この問題は推測すると、恐らく10.0.22622.586でいくつか報告されている、次のエクスプローラーの問題と同じ原因ですね。コントロールパネルの枠組みがフォルダーなので、エクスプローラーの問題がそこで発生するのでしょう。
Windows 11 Insider Preview (10.0.22622.586) (KB5016701)をインストールしたらExplorerがクラッシュするなど問題発生
この質問の、stream-oba さんの書き込みが参考になります。
- この問題は管理者だけで発生。一般権限の家族のアカウントでは発生せず。
(別の管理者アカウントを作ってそれでログインするとどうなるのかは不明)
- 更新プログラム「KB5016701」のアンインストールと更新の一時停止で回避
- Feedback Hubで報告、投票