この記事では、Azure Databricks Model Serving の制限事項とリージョンの可用性と、サポートされているエンドポイントの種類について説明します。
リソースとペイロードの制限
Model Serving では、信頼性の高いパフォーマンスを確保するために既定の制限が適用されます。 これらの制限に関するフィードバックがある場合は、Databricks アカウント チームにお問い合わせください。
このセクションの制限は、カスタム モデルと AI エージェント エンドポイントにのみ適用されます。 Foundation Model API と外部モデルのリソースとペイロードの制限については、 Foundation Model API のレート制限とクォータに関するページを参照してください。
カスタム モデルと AI エージェント
| 特徴量 | 粒度 | 制限 |
|---|---|---|
| エンドポイント | ワークスペースごと | 1000. 増やすには、Databricks アカウント チームにお問い合わせください。 |
| 1秒あたりのクエリ数 (QPS) | エンドポイントあたり | ルート最適化の使用による300,000。 1024 のコンカレンシーが不十分な場合は、Databricks アカウント チームに連絡して増やしてください。 |
| 1秒あたりのクエリ数 (QPS) | ワークスペースごと | ルート最適化を使用して 300,000。 非ルート最適化の場合は 200。小規模な開発ユース ケースにのみ推奨されます。 |
| プロビジョニング済みのコンカレンシー | モデルごと | 1024 オプションのカスタム と ルート最適化。 増やすには、Databricks アカウント チームにお問い合わせください。 |
| プロビジョニング済みのコンカレンシー | ワークスペースごと | 4096. 増やすには、Databricks アカウント チームにお問い合わせください。 |
| 作成/更新操作 | ワークスペースごと | 5 分で 50。 |
| ペイロードのサイズ | リクエストに応じて | 16 MB。 AI エージェント エンドポイントの場合、制限は 4 MB です。 |
| 要求/応答サイズ | リクエストに応じて | 1 MB を超える要求/応答はログに記録されません。 |
| モデルの実行時間 | リクエストに応じて | 297 秒 |
| CPU エンドポイント モデルのメモリ使用量 | エンドポイントあたり | 4 GB |
| GPU エンドポイント モデルのメモリ使用量 | エンドポイントあたり | GPU の種類によって異なります |
| 環境変数 | サービス済みモデルごと | 30. 増やすには、Databricks アカウント チームにお問い合わせください。 |
| オーバーヘッド待機時間 | リクエストに応じて | ルートの最適化で 20 ミリ秒未満。 |
:::
ネットワークとセキュリティの制限事項
- Model Serving エンドポイントは、アクセス制御によって保護され、IP 許可リストや PrivateLink など、ワークスペース上に構成されたネットワーク関連のイングレス ルールを尊重します。
- プライベート接続 (Azure Private Link など) は、プロビジョニングされたスループットを使用するエンドポイントまたはカスタム モデルにサービスを提供するエンドポイントを提供するモデルでのみサポートされます。
- 既定では、Model Serving は外部エンドポイント (Azure OpenAI など) への Private Link をサポートしていません。 この機能のサポートは、リージョンごとに評価および実装されます。 詳細については、Azure Databricks アカウント チームにお問い合わせください。
- 運用環境のデプロイが不安定になるリスクがあるため、Model Serving では、既存のモデル イメージにセキュリティ パッチが提供されません。 最新のパッチは、新しいモデル バージョンから作成された新しいモデル イメージに含まれています。 詳細については、Databricks アカウント チームにお問い合わせください。
コンプライアンス セキュリティ プロファイル標準: CPU ワークロード
次の表に、CPU ワークロードの主要なモデル サービス機能でサポートされているコンプライアンス セキュリティ プロファイルのコンプライアンス標準を示します。
注
これらのコンプライアンス標準では、最新の 30 日以内に提供されたコンテナーを構築する必要があります。 Databricks は、ユーザーに代わって古いコンテナーを自動的に再構築します。 ただし、この自動ジョブが失敗した場合は、次のようなイベント ログ メッセージが表示され、エンドポイントがコンプライアンス要件内に収まるようにする方法に関するガイダンスが提供されます。
"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."
| リージョン | ロケーション | HIPAA | HITRUST（ヒートラスト） | PCI-DSS | IRAP | CCCS ミディアム (Protected B) | 英国 Cyber Essentials Plus |
|---|---|---|---|---|---|---|---|
australiacentral |
オーストラリア中部 | ||||||
australiacentral2 |
AustraliaCentral2 | ||||||
australiaeast |
オーストラリア東部 | ✓ | ✓ | ✓ | |||
australiasoutheast |
オーストラリア南東部 | ||||||
brazilsouth |
ブラジル南部 | ✓ | ✓ | ✓ | |||
canadacentral |
カナダ中部 | ✓ | ✓ | ✓ | |||
canadaeast |
カナダ東部 | ||||||
centralindia |
CentralIndia | ✓ | ✓ | ✓ | |||
centralus |
セントラルUS | ✓ | ✓ | ✓ | |||
chinaeast2 |
ChinaEast2 | ||||||
chinaeast3 |
ChinaEast3 | ||||||
chinanorth2 |
ChinaNorth2 | ||||||
chinanorth3 |
ChinaNorth3 | ||||||
eastasia |
EastAsia | ✓ | ✓ | ✓ | |||
eastus |
イーストUS | ✓ | ✓ | ✓ | |||
eastus2 |
EastUS2 | ✓ | ✓ | ✓ | |||
francecentral |
FranceCentral | ✓ | ✓ | ✓ | |||
germanywestcentral |
ドイツ中西部 | ✓ | ✓ | ✓ | |||
japaneast |
JapanEast | ✓ | ✓ | ✓ | |||
japanwest |
JapanWest | ||||||
koreacentral |
KoreaCentral | ✓ | ✓ | ✓ | |||
mexicocentral |
MexicoCentral | ||||||
northcentralus |
NorthCentralUS | ✓ | ✓ | ✓ | |||
northeurope |
NorthEurope | ✓ | ✓ | ✓ | |||
norwayeast |
ノルウェー東部 | ||||||
qatarcentral |
カタールセントラル | ||||||
southafricanorth |
南アフリカ北部 | ||||||
southcentralus |
SouthCentralUS | ✓ | ✓ | ✓ | |||
southeastasia |
東南アジア | ✓ | ✓ | ✓ | |||
southindia |
南インド | ||||||
swedencentral |
スウェーデンセントラル | ✓ | ✓ | ✓ | |||
switzerlandnorth |
スイス北部 | ✓ | ✓ | ✓ | |||
switzerlandwest |
スイス西部 | ||||||
uaenorth |
UAENorth | ✓ | ✓ | ✓ | |||
uksouth |
UKSouth | ✓ | ✓ | ✓ | ✓ | ||
ukwest |
UKWest | ||||||
westcentralus |
WestCentralUS | ||||||
westeurope |
西ヨーロッパ | ✓ | ✓ | ✓ | |||
westindia |
WestIndia | ||||||
westus |
WestUS | ✓ | ✓ | ✓ | |||
westus2 |
WestUS2 | ✓ | ✓ | ✓ | |||
westus3 |
WestUS3 | ✓ | ✓ | ✓ |
Foundation Model API の制限
基盤モデルと外部モデルのリソースとペイロードの制限など、Foundation Model API の詳細については、「 Foundation Model API のレート制限とクォータ」を参照してください。
利用可能なリージョン
注
サポートされていないリージョンにエンドポイントが必要な場合は、Azure Databricks アカウントチームにお問い合わせください。
ワークスペースがモデルサービスをサポートするリージョンにデプロイされているが、サポートされていないリージョンの コントロール プレーンによって提供されている場合 ワークスペースはモデルサービスをサポートしません。 このようなワークスペースでサービスを提供するモデルを使用しようとすると、ワークスペースがサポートされていないことを示すエラー メッセージが表示されます。 詳細については、Azure Databricks アカウント チームにお問い合わせください。
各モデル サービス機能のリージョン別の可用性の詳細については、「 モデル サービス機能の可用性」を参照してください。
Databricks でホストされる基盤モデルのリージョンの可用性については、 Databricks でホストされている Foundation モデルを参照してください。