Azure PortalなどからKey Vaultを削除したけれども課金が継続する、ということですが、Key Vaultはデフォルトで論理削除であり、物理削除までの期間はデフォルトで90日です。
https://learn.microsoft.com/ja-jp/azure/key-vault/general/soft-delete-overview
通常は論理削除すると課金されませんが、以下に記載の通り、HSMキーの場合は課金される場合があります。
オブジェクトが HSM キーである場合は、過去 30 日間にキー バージョンが使用されていると、'HSM で保護されたキー' の 1 か月あたり、キー バージョンあたりの課金が適用されます。 その後は、オブジェクトが削除済み状態になり、それに対して操作を実行できないため、課金は適用されません。
サブスクリプションオーナー権限があるなら、強制削除(パージ)されてはいかがでしょうか。論理削除されたキー コンテナーをCLIでパージするには、以下のコマンドを使ってください。
https://learn.microsoft.com/ja-jp/cli/azure/keyvault?view=azure-cli-latest#az-keyvault-purge
ただし、消去保護が有効にされている場合、「削除されたコンテナーを保持する日数」で指定された期間はパージ操作を許可されているサービスプリンシパルでも削除できません。リテンション期間を満了すると自動的にパージされます。
https://docs.microsoft.com/azure/key-vault/general/soft-delete-overview#purge-protection