Note
Foundry のマネージド コンピューティングは現在プレビュー段階です。 このプレビューはサービス レベル アグリーメントなしで提供されており、運用環境ではお勧めしません。 特定の機能がサポートされていないか、機能が制限されている可能性があります。 詳細については、「 Microsoft Azure プレビューの追加使用条件」を参照してください。
マネージド コンピューティング (プレビュー) は、Microsoft Foundry のデプロイの種類であり、仮想マシンのプロビジョニング、Kubernetes クラスターの運用、コンテナー イメージの構築、モデル提供ランタイムの所有を必要とせずに、専用 GPU 容量でオープンソース モデルをホストします。 Microsoftは、GPU トポロジ、ランタイム、コンテナー イメージ、セキュリティ修正プログラムの適用を所有しています。 ワークロードに合ったモデル、デプロイ テンプレート、アクセラレータ ファミリ、スケーリング動作を選択します。
マネージド コンピューティングでは、Foundry の他のデプロイの種類と同じ Foundry リソース、プロジェクト、エンドポイント、認証、ネットワーク構成、SDK、可観測性、課金サーフェスが使用されます。 マネージド コンピューティングを使用してモデルをデプロイした後、アプリケーション コードは他の Foundry モデルと同じです。展開名のみが変更されます。
この記事では、Foundry のマネージド コンピューティング デプロイの種類、使用する概念 (モデル インスタンス、デプロイ テンプレート、アクセラレータ ファミリ、ランタイム)、デプロイ可能なカタログ、推論エンドポイント、スケーリング、課金とクォータ、アクセス制御、および現在の制限について説明します。 詳細なデプロイ手順については、「 マネージド コンピューティングを使用してオープンソース モデルをデプロイする」を参照してください。
マネージド コンピューティングが Foundry に適合する場所
Foundry には、3 種類のデプロイが用意されています。 マネージド コンピューティングは、専用 GPU 容量のオープンソース モデルに使用するデプロイの種類です。
| 展開の種類 | サービス内容 | Billing | 最適な用途 |
|---|---|---|---|
| 標準のトークンごとの従量課金 | Azure で販売されている Foundry モデル | 入力トークンと出力トークンごと | 導入までの障壁が最も低い方法: ホスト型モデルにおけるトラフィックの急増に対して、容量計画が行われていない。 |
| 割り当てられたスループット | Azureが販売する鋳造モデル | 予約済みスループット ユニット | Azure で販売されている特定の Foundry モデルに対し、予測可能な持続的な負荷をかけ、一貫したレイテンシーを維持します。 |
| マネージド コンピューティング | Foundry カタログのオープン ソースモデルとコミュニティ モデル | アクセラレータファミリーごとの1時間あたり | Foundry で管理されるランタイム、プライベート ネットワーク、および他のデプロイの種類と同じ SDK を使用して、専用 GPU でオープンソース モデルをホストする。 |
3 つのデプロイの種類はすべて、1 つの Foundry エンドポイント、同じ認証パターン (Microsoft Entra IDとキー)、同じ SDK、同じ可観測性サーフェス、および 1 つの課金を共有します。 1 つの Foundry プロジェクトに 3 つのデプロイの種類をすべて混在させ、同じクライアント コードから呼び出すことができます。
主な概念
このセクションでは、Foundry でマネージド コンピューティング デプロイを使用する前に理解しておく必要がある主要な概念について説明します。
モデル インスタンス
モデル インスタンスは、マネージド コンピューティングでのデプロイの単位です。 仮想マシン SKU またはノードのサイズは選択しません。代わりに、ワークロードをモデルの用語で記述し、Foundry は下の GPU トポロジを選択します。 インスタンスでは、選択したモデルとデプロイ テンプレートに応じて、1 つまたは複数のアクセラレータを使用できます。 デプロイをスケーリングするには、モデル インスタンスの数 (デプロイ SKU の capacity 値) を変更します。
デプロイ テンプレート
デプロイ テンプレートは、特定のモデルの実行方法をエンコードする名前付きのバージョン管理された資産です。 テンプレートのピン:
- サービス ランタイム (vLLM や SGLang など)。
- アクセラレータ ファミリとインスタンスあたりの数 (たとえば、1 つの H100 80 GB、または 2 つの A100 80 GB)。
- サポートされているコンテキストの長さと量子化の選択肢。
- ツール呼び出しと推論パーサー、スコアリング パス、正常性プローブ、要求コンカレンシー、モデル固有のコンテキスト拡張設定などのランタイム固有のチューニング。
デプロイのスクリプトを作成するときは、テンプレート ID を参照し、Foundry が残りの部分を処理します。 通常、カタログ内の各モデルには、アクセラレータ ファミリ、コンテキストの長さ、待機時間とスループットをトレードオフする複数のテンプレートが付属しています。 たとえば、 qwen3-32b モデルでは、次の 4 つのテンプレートが並べて公開されます。
| Template | Runtime | アクセラレータ | Context |
|---|---|---|---|
qwen--qwen3-32b--40k-nvidia-a100 |
vLLM | 1 × A100 80 GB | 40 K |
qwen--qwen3-32b--40k-nvidia-h100 |
vLLM | 1 × H100 80 GB | 40 K |
qwen--qwen3-32b--128k-nvidia-2xa100 |
vLLM | 2 × A100 80 GB | 128 K |
qwen--qwen3-32b--128k-nvidia-2xh100 |
vLLM | 2 × H100 80 GB | 128 K |
テンプレートの選択だけが、モデルがどのように実行されるかを決める唯一の設定項目です。
アクセラレータ ファミリ
マネージド コンピューティング デプロイは、特定の仮想マシン SKU ではなく、 アクセラレータ ファミリを対象としています。 サポートされているファミリは次のとおりです。
- NVIDIA A100 80 GB (
A100_80GB) - NVIDIA H100 80 GB (
H100_80GB) - AMD MI300X 192 GB (
MI_300_192GB)
クォータは、リージョンごとにアクセラレータ ファミリごとに付与されます。
モデル ランタイム
マネージド コンピューティングでは、各モデルが、Microsoft が構築、スキャン、署名、パッチ適用を行うサービング ランタイム上で実行されます。 コンテナーの操作や再構築は行いません。 ランタイム ポートフォリオは、モデル アーキテクチャごとに選択されます。
| Runtime | 利用目的 | Notes |
|---|---|---|
| vLLM | 高スループットの LLM サービス | 連続バッチ処理、PagedAttention、テンソル並列処理、LoRA ホット スワップ。 ほとんどの大規模言語モデルの既定値です。 |
| SGLang | 構造化出力 LLM サービス | エージェント型およびツール使用ワークロード向けの JSON、正規表現、文法制約付き生成。 |
| TensorRT-LLM | NVIDIA最適化LLMサービング | レイテンシまたはスループットで TRT-LLM が優位なモデルファミリー向けの低レイテンシ NVIDIA 推論。 |
| NVIDIA NIM | NVIDIA 推論マイクロサービス | NVIDIA公開モデル向けのNIM API互換性を備えたTensorRT-LLMバックエンド |
| テキスト埋め込み推論 (TEI) | 埋め込み、リランカー、分類器 | ホット パスを埋め込んで取得するためのアクセラレータ固有のカーネル。 |
| llama.cpp | CPU と小規模 GPU によるサービング | 同じ OpenAI 互換 API の背後にある GGUF 量子化モデル。 |
| hf-serve | ビジョン、オーディオ、セグメント化、その他のトランスフォーマーネイティブ パイプライン | LLM と埋め込みの高速パス以外のモダリティ向けの Hugging Face のマルチモデルサーバー。 |
実行時のアップグレードと CVE 修正プログラムは、お客様のライブ デプロイに自動的に適用されます。 ランタイム更新プログラムを取得するためにモデルを再デプロイすることはありません。
サポートされているモデル
Foundry のマネージド コンピューティングを使用して、Foundry モデル カタログの Hugging Face Collection からモデルをデプロイし、 azure-huggingface レジストリから提供することができます。 これらのモデルには、次の属性があります。
- 毎週キュレーションされ、更新されます。 Hugging Face エコシステムのトレンド モデルは、コミュニティが公開すると継続的に追加されます。 カタログは、テキスト、ビジョン、オーディオ、マルチモーダル モデル (チャットとエージェント用の LLM およびビジョン言語モデル)、自動音声認識 (ASR)、音声翻訳、埋め込み、セグメント化、画像生成にまたがっています。
- SafeTensors のみ。信頼されていないコードはありません。 コレクション内のすべてのモデルがスクリーニングされます。 読み込み時にサードパーティのPythonを実行する必要があるリポジトリ (
trust_remote_codeパターン) は修復または除外されます。 - 事前に配置された重み。 モデルの重みは、Hugging Face から 1 回プルされ、検証され、モデルが提供されるリージョンのMicrosoftマネージド Azure ストレージに格納されます。 コンテナー イメージは、Microsoftマネージド レジストリに格納されます。 そのため、 マネージド コンピューティング デプロイでは、Hugging Face Hub への送信ネットワーク アクセスは必要ありません 。エグレスなしで完全プライベート ネットワークにデプロイできます。
- ライセンス メタデータは保持されます。 各カタログ モデル カードは、アップストリーム ライセンスをキャプチャして表示します。 Microsoftのエンタープライズ配布ポリシーに対するライセンス レビューは、キュレーション中に行われます。
モデルキュレーション パイプライン
Hugging Face コレクション内のすべてのモデルは、カタログに表示される前に、5 段階のキュレーション パイプラインを通過します。
- トレンド モデルの識別: Microsoftは、コミュニティシグナル、パートナー要求、顧客の需要に基づいてトレンド モデルを識別します。
-
コンプライアンスとセキュリティの画面: 各モデルは、
trust_remote_codeパターンとカスタム実行可能コードのライセンス レビューと検査を受けます。 - ランタイム コンテナー イメージのビルド、スキャン、公開: Microsoft によってビルドされ、CVE スキャンが実施され、署名され、Microsoft が管理するレジストリに公開されます。
- 重みをアップロードしてAzureストレージをセキュリティで保護する: モデル カードに対して検証され、モデルが提供されるリージョンに格納されます。
- 検証と発行: すべてのモデル、ランタイム、アクセラレータの組み合わせが API の準拠とパフォーマンスについてテストされた後、ワンクリックでデプロイ パスを使用してカタログに発行されます。
推論エンドポイント
モデルをマネージド コンピューティングにデプロイすると、トークンごとの支払いおよびプロビジョニングされたスループットデプロイで使用されるのと同じ 統合 Foundry プロジェクト エンドポイント でモデルを推論できるようになります。
基本エンドポイントには、パターン https://<account>.services.ai.azure.comがあります。
エンドポイント ルート
マネージド コンピューティング デプロイは、統合エンドポイント上の 2 つのルート ファミリを介して呼び出すことができます。 選択するルートは、基になるモデルとランタイムが OpenAI と互換性のある API を公開するかどうかによって異なります。
| Route | Path | 対象 | Behavior |
|---|---|---|---|
| マネージド デプロイ ルート (OSS) | <endpoint>/managed-deployments/<deployment-name>/ |
すべての管理対象コンピュート デプロイメント | 独自の SDK に付属する特注モデルを含め、マネージド コンピューティングにデプロイされたすべてのモデルに対して機能します。
/chat/completionsを公開するモデルは、このパスでクライアント base_urlをポイントすることで、OpenAI SDK を使用してこのルートを介して呼び出すこともできます。 |
| OpenAI互換の経路 | <endpoint>/openai/v1/ |
ランタイムが OpenAI互換 API を提供するマネージド コンピュート デプロイ（例: vLLM、SGLang、TensorRT-LLM、チャットまたは埋め込みを提供する llama.cpp） | OpenAI SDK は、このパスにbase_urlを設定し、要求ペイロードの フィールドにmodelを渡すことによって、デプロイを呼び出すことができます。 要求が、基になるモデルまたはランタイムが OpenAI と互換性のあるサーフェスをサポートしていないデプロイ名を持つこのルートを対象とする場合、ランタイムは HTTP 404 を返します。 |
重要なポイント :
- マネージド コンピューティングデプロイはすべて、
https://<account>.services.ai.azure.com/managed-deployments/<deployment-name>/ルートで到達可能です - 実行環境が OpenAI 互換である展開も、同様に
https://<account>.services.ai.azure.com/openai/v1/のルート経由でアクセス可能です。 - クライアント コードを他の Foundry デプロイと共有する場合は、OpenAI ルートを使用します。
- カスタム SDK または非 OpenAI API を出荷するモデルには、マネージド デプロイ ルートを使用します。
Tip
チャット完了マネージド コンピューティングデプロイは、管理接続モデルとして Foundry エージェントに追加し、他の Foundry モデルと同じ認証、エンドポイント、可観測性を使用して、同じ OpenAI SDK を使用して Foundry Responses API を介して呼び出すこともできます。
エンドポイント認証
マネージド コンピューティング デプロイでは、Foundry エンドポイントの残りの部分と同じ認証パターンが使用されます。
- Microsoft Entra ID (推奨)。
https://ai.azure.com/.defaultスコープのトークンを取得し、Authorizationヘッダーでベアラー トークンとして渡します。 Entra IDを使用してマネージド コンピューティング デプロイを呼び出すには、呼び出し元 ID に Foundry アカウント スコープの Foundry User ロールが必要です。 トークン ベース モードの OpenAI SDK とDefaultAzureCredentialは、マネージド コンピューティング固有の構成なしで動作します。 - アカウント API キー。 Foundry アカウント キーを
Authorization: Bearer <key>として渡します。api_key引数を設定すると、OpenAI SDK によってこのフォームのキーが自動的に送信されます。 キーは、同じアカウントでのトークンごとの支払いおよび PTU デプロイの場合と同じアクセス権をマネージド コンピューティング デプロイで付与します。
どちらの認証オプションも、両方のエンドポイント ルートで機能します。 エンド ツー エンドのクライアント コード サンプル (Entra ID または API キーを含む OpenAI SDK) については、「テスト要求の送信を参照してください。
スケーリング
マネージド コンピューティング デプロイをスケーリングするには、モデル インスタンスの数を変更します。 デプロイ SKU に capacity 値を設定すると、Foundry はそれに応じて GPU 数を調整します。 GPU の合計数は、モデル インスタンスの数に、選択したデプロイ テンプレートで定義されたインスタンスごとの GPU を乗算した値と等しくなります。 Foundry では、ノードのサイズ設定や VM ファミリの選択は求められません。
課金、クォータ、デプロイメントの範囲
マネージド コンピューティングは、 アクセラレータごとに 1 時間ごとに課金されます。 VM ベースのインフラストラクチャとは異なり、GPU サーバー全体をレンタルし、モデルが使用しているかどうかに関係なく、ボックス内のすべての GPU に対して料金を支払う場合、モデル インスタンスのマネージド コンピューティング料金が発生します。 Foundry では、各モデルを実際に必要な GPU の数 (1 つ、2 つ、4 つ、または 8 個) に合わせて適切なサイズに設定するため、ワークロードの横に座っているアイドル アクセラレータの料金は支払われません。 デプロイのコストは次のとおりです。
モデル インスタンスあたりのアクセラレータ × モデル インスタンス数 × 実行時間（時間数） × 時間単価
時間単位のレートは、アクセラレータ ファミリ (A100、H100、MI300X) とデプロイ スコープによって異なります。 現在の価格については、Azure料金計算ツールを参照してください。
配備の範囲
マネージド コンピューティング (プレビュー) では現在、 デプロイ SKU 名 GlobalManagedComputeによって設定されたグローバルデプロイがサポートされています。 グローバルデプロイを使用すると、最も広範なアクセラレータ容量を最も低いレートで実現できます。
Quota
マネージド コンピューティング クォータは、Foundry クォータ プロセスを通じてリージョンごとにアクセラレータ ファミリごとに付与されます。 マネージド コンピューティング クォータは、Azure VM クォータとは別です。 Azure VM クォータは、特定のリージョン VM SKU に関連付けられたサービスとしてのインフラストラクチャ割り当てですが、マネージド コンピューティングはマネージド PaaS オファリングです。 既存のAzure VM クォータは、マネージド コンピューティングデプロイには適用できません。
使用状況の表示、プロジェクトへのコストの割り当て、クォータの要求の詳細については、Microsoft Foundry のコストを計画および管理する および クォータを管理および増やす を参照してください。
アクセス制御
マネージド コンピューティングでは、Foundry のロールベースのアクセス制御 (RBAC) モデルが使用されます。 マネージド コンピューティングデプロイの作成、読み取り、更新、削除に必要なAzureリソース プロバイダー操作のセットについては、マネージド コンピューティング コントロール プレーン操作のMicrosoft Foundry のロールベースのアクセス制御と、各操作を許可する組み込みロールに関するページに記載されています。
一目でわかる
- Cognitive Services 共同作成者 (または Foundry 所有者 / Foundry アカウント所有者) は、マネージド コンピューティング デプロイでの完全な作成、読み取り、更新、削除を許可します。
- Cognitive Services ユーザー と Foundry ユーザーは 、デプロイへの読み取り専用アクセス権を付与します。
- Foundry Project Manager は、デプロイとアクセラレータの使用状況データへの読み取りアクセスを許可しますが、作成または削除は許可しません。
統合 Foundry エンドポイントでの推論 (データ プレーン) は、Foundry アカウント スコープに Foundry User を割り当てて、Microsoft Entra IDを使用してデプロイを呼び出すことで、標準の Foundry パターンに従います。
制限事項
マネージド コンピューティングは パブリック プレビュー段階です。 運用環境のワークロードをデプロイする前に、次の点に注意してください。
- Content フィルター処理: 組み込みのAzure AI Content Safety フィルターは、パブリック プレビューのマネージド コンピューティング データ パスの一部ではありません。 要求レベルまたは応答レベルのフィルター処理が必要な場合は、アプリケーションから直接 Azure AI Content Safety API を呼び出します。
- リージョンの可用性: マネージド コンピューティングがグローバル スコープで起動します。 Data Zone のデプロイと追加リージョンは順次展開中です。現在の提供状況については、一般提供状況マトリックスを参照してください。
- 価格: アクセラレータ ファミリとリージョン別の時間単位の料金、予約容量、コミットメント割引は、プレビュー段階のマネージド コンピューティング デプロイ向けに進化しています。 現在の料金については、 Azure 料金計算ツールを参照してください。