Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
In diesem Artikel werden die Einschränkungen und die Regionsverfügbarkeit für Azure Databricks Model Serving und unterstützte Endpunkttypen zusammengefasst.
Grenzwerte für Ressourcen und Nutzlast
Model Serving erzwingt Standardgrenzwerte, um eine zuverlässige Leistung sicherzustellen. Wenn Sie Feedback zu diesen Grenzwerten haben, wenden Sie sich an Ihr Databricks-Kontoteam.
Die Grenzwerte in diesem Abschnitt gelten nur für benutzerdefinierte Modell- und KI-Agent-Endpunkte . Informationen zu Foundation-Modell-APIs und Ressourcen- und Nutzlastgrenzwerten für externe Modelle finden Sie unter Foundation Model-APIs-Ratelimits und -Kontingente.
Benutzerdefinierte Modelle und KI-Agents
| Merkmal | Granularität | Begrenzung |
|---|---|---|
| Endpunkte | Pro Arbeitsbereich | 1000. Wenden Sie sich an Ihr Databricks-Kontoteam, um Ihr Kontingent zu erhöhen. |
| Abfragen pro Sekunde (QPS) | Pro Endpunkt | 300.000 mithilfe der Routenoptimierung. Wenn die Parallelität von 1024 nicht ausreicht, wenden Sie sich an Ihr Databricks-Kontoteam, um die Parallelität zu erhöhen. |
| Abfragen pro Sekunde (QPS) | Pro Arbeitsbereich | 300.000 unter Verwendung der Routenoptimierung. 200 für nicht routenoptimierte Anwendungsfälle, empfohlen nur für kleine Entwickleranwendungsfälle. |
| Bereitgestellte Parallelität | Pro Modell | 1024 mit benutzerdefinierter Option und Routenoptimierung. Wenden Sie sich an Ihr Databricks-Kontoteam, um zu erhöhen. |
| Bereitgestellte Parallelität | Pro Arbeitsbereich | 4096. Wenden Sie sich an Ihr Databricks-Kontoteam, um das Limit zu erhöhen. |
| Erstellen/Aktualisieren von Vorgängen | Pro Arbeitsbereich | 50 in 5 Minuten. |
| Größe der Nutzdaten | Auf Anfrage | 16 MB. Für KI-Agent-Endpunkte beträgt der Grenzwert 4 MB. |
| Anforderungs-/Antwortgröße | Auf Anfrage | Jede Anforderung/Antwort über 1 MB wird nicht protokolliert. |
| Dauer der Modellausführung | Auf Anfrage | 297 Sekunden |
| Arbeitsspeicherauslastung des CPU-Endpunktmodells | Pro Endpunkt | 4 GB |
| Arbeitsspeicherauslastung des GPU-Endpunktmodells | Pro Endpunkt | Hängt vom GPU-Typ ab |
| Umgebungsvariablen | Pro bereitgestelltes Modell | 30. Wenden Sie sich an Ihr Databricks-Kontoteam, um zu erhöhen. |
| Overheadwartezeit | Auf Anfrage | Weniger als 20 Millisekunden mit Routenoptimierung. |
:::
Netzwerk- und Sicherheitsbeschränkungen
- Modellbereitstellungsendpunkte werden durch die Zugriffssteuerung geschützt und berücksichtigen netzwerkbezogene Eingangsregeln, die im Arbeitsbereich konfiguriert sind, z. B. Listen zugelassener IP-Adressen und Private Link.
- Private Konnektivität (z. B. Azure Private Link) wird nur für Modellbereitstellungsendpunkte unterstützt, die den bereitgestellten Durchsatz oder Endpunkte verwenden, die benutzerdefinierte Modelle bereitstellen.
- Standardmäßig unterstützt die Modellbereitstellung keine private Verknüpfung mit externen Endpunkten (z. B. Azure OpenAI). Die Unterstützung für diese Funktionalität wird pro Region ausgewertet und implementiert. Wenden Sie sich an Ihr Azure Databricks-Kontoteam, um weitere Informationen zu erfahren.
- Model Serving stellt keine Sicherheitspatches für vorhandene Modellimages bereit, da das Risiko einer Destabilisierung von Produktionsbereitstellungen besteht. Ein neues Modellimage, das aus einer neuen Modellversion erstellt wurde, enthält die neuesten Patches. Wenden Sie sich an Ihr Databricks-Kontoteam, um weitere Informationen zu erfahren.
Einhaltung der Sicherheitsprofilstandards: CPU-Belastung
In der folgenden Tabelle sind die unterstützten Standards für die Einhaltung von Sicherheitsprofilen für die Kernfunktion Model Serving bei CPU-Workloads aufgeführt.
Hinweis
Diese Compliance-Standards erfordern, dass bereitgestellte Container innerhalb der letzten 30 Tage erstellt wurden. Databricks erstellt automatisch veraltete Container in Ihrem Auftrag neu. Wenn dieser automatisierte Auftrag jedoch fehlschlägt, wird eine Ereignisprotokollmeldung wie die folgende angezeigt und enthält Anleitungen, wie Sie sicherstellen können, dass Ihre Endpunkte die Complianceanforderungen einhalten:
"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."
| Region | Standort | HIPAA | HITRUST | PCI-DSS | IRAP | CCCS Medium (Schutzstufe B) | UK Cyber Essentials Plus |
|---|---|---|---|---|---|---|---|
australiacentral |
Australien, Mitte | ||||||
australiacentral2 |
Australia Central 2 | ||||||
australiaeast |
AustralienOsten | ✓ | ✓ | ✓ | |||
australiasoutheast |
Australien,Südosten | ||||||
brazilsouth |
Brasilien,Süden | ✓ | ✓ | ✓ | |||
canadacentral |
CanadaCentral | ✓ | ✓ | ✓ | |||
canadaeast |
Kanadaost | ||||||
centralindia |
CentralIndia | ✓ | ✓ | ✓ | |||
centralus |
Zentral-USA | ✓ | ✓ | ✓ | |||
chinaeast2 |
ChinaEast2 | ||||||
chinaeast3 |
ChinaOst3 | ||||||
chinanorth2 |
ChinaNord2 | ||||||
chinanorth3 |
ChinaNord3 | ||||||
eastasia |
Asien, Osten | ✓ | ✓ | ✓ | |||
eastus |
Ost-USA | ✓ | ✓ | ✓ | |||
eastus2 |
EastUS2 | ✓ | ✓ | ✓ | |||
francecentral |
FranceCentral | ✓ | ✓ | ✓ | |||
germanywestcentral |
DeutschlandWestZentral | ✓ | ✓ | ✓ | |||
japaneast |
JapanEast | ✓ | ✓ | ✓ | |||
japanwest |
JapanWest | ||||||
koreacentral |
KoreaCentral | ✓ | ✓ | ✓ | |||
mexicocentral |
MexicoCentral | ||||||
northcentralus |
NorthCentralUS | ✓ | ✓ | ✓ | |||
northeurope |
Europa, Norden | ✓ | ✓ | ✓ | |||
norwayeast |
Norwegen Ost | ||||||
qatarcentral |
KatarCentral | ||||||
southafricanorth |
Südafrika, Nord | ||||||
southcentralus |
USA, Süden-Mitte | ✓ | ✓ | ✓ | |||
southeastasia |
Südostasien | ✓ | ✓ | ✓ | |||
southindia |
Südindien | ||||||
swedencentral |
SchwedenCentral | ✓ | ✓ | ✓ | |||
switzerlandnorth |
SchweizNorden | ✓ | ✓ | ✓ | |||
switzerlandwest |
SchweizWesten | ||||||
uaenorth |
UAENorth | ✓ | ✓ | ✓ | |||
uksouth |
UKSouth | ✓ | ✓ | ✓ | ✓ | ||
ukwest |
UKWest | ||||||
westcentralus |
WestCentralUS | ||||||
westeurope |
Europa, Westen | ✓ | ✓ | ✓ | |||
westindia |
WestIndia | ||||||
westus |
WestUS | ✓ | ✓ | ✓ | |||
westus2 |
WestUS2 | ✓ | ✓ | ✓ | |||
westus3 |
WestUS3 | ✓ | ✓ | ✓ |
Foundation Model-APIs-Grenzwerte
Ausführliche Informationen zu Foundation-Modell-APIs, einschließlich Ressourcen- und Nutzlastgrenzwerten für Foundation- und externe Modelle, finden Sie unter Foundation Model-APIs-Ratenlimits und -Kontingente.
Regionale Verfügbarkeit
Hinweis
Wenn Sie einen Endpunkt in einer nicht unterstützten Region benötigen, wenden Sie sich an Ihr Azure Databricks-Kundenteam.
Wenn Ihr Arbeitsbereich in einer Region bereitgestellt wird, die Modellbereitstellung unterstützt, aber von einer Steuerebene in einer nicht unterstützten Region bedient wird, unterstützt der Arbeitsbereich die Modellbereitstellung nicht. Wenn Sie versuchen, die Modellbereitstellung in einem solchen Arbeitsbereich zu verwenden, wird in einer Fehlermeldung angezeigt, dass Ihr Arbeitsbereich nicht unterstützt wird. Wenden Sie sich an Ihr Azure Databricks-Kontoteam, um weitere Informationen zu erfahren.
Weitere Informationen zur regionalen Verfügbarkeit der einzelnen Model Serving-Features finden Sie unter Verfügbarkeit von Features für die Modellbereitstellung.
Informationen zur Verfügbarkeit der vom Databricks gehosteten Foundation-Modellregion finden Sie unter Foundation-Modelle, die auf Databricks gehostet werden.