チャブーンです。
この件ですが、大昔からよく聞かれる質問ですが、ひらたくいうと「Windowsだけで完全に実現する方法はありません」になります。
普通に実現したい場合、「プロキシサーバー」というものを社内に配置します。これはHTTP/HTTPSの通信の可否をサーバーで個別指定し、必要以外のインターネット通信を行わせない、というものです。URLフィルタリングを行う必要があります。
Microsoft Entraにも似た機能で「Microsoft Entra Internet Access」というものがあります。インターネット上のプロキシサーバーと理解してください。この機能でURLフィルタリングすることも不可能ではないですが、URLフィルタリングをどのように行うのか(自分自身やMS系URLを止めたらアウトです)検討・設計する必要があり、大変な思いをすると思います。
Microsoft Entra Internet Accessでなにができるのか?を理解すると、まずはいいかと思います。以下の資料をみてみてはいかがでしょうか?