Anmerkung
Der Zugriff auf diese Seite erfordert eine Genehmigung. Du kannst versuchen, dich anzumelden oder die Verzeichnisse zu wechseln.
Der Zugriff auf diese Seite erfordert eine Genehmigung. Du kannst versuchen , die Verzeichnisse zu wechseln.
In diesem Artikel werden die Einschränkungen und die Regionsverfügbarkeit für die Mosaic AI Model Serving und die unterstützten Endpunkttypen zusammengefasst.
Grenzwerte für Ressourcen und Nutzlast
Mosaic AI Model Serving legt Standardgrenzwerte fest, um eine zuverlässige Leistung sicherzustellen. Wenn Sie Feedback zu diesen Grenzwerten haben, wenden Sie sich an Ihr Databricks-Kontoteam.
In der folgenden Tabelle finden Sie eine Übersicht über die Grenzwerte für Ressourcen und Payloads für Modellbereitstellungsendpunkte.
| Merkmal | Granularität | Begrenzung |
|---|---|---|
| Größe der Nutzdaten | Auf Anfrage | 16 MB. Für Endpunkte, die Foundation-Modelle, externen Modelleoder KI-Agenten bedienen, beträgt der Grenzwert 4 MB. |
| Anforderungs-/Antwortgröße | Auf Anfrage | Jede Anforderung/Antwort über 1 MB wird nicht protokolliert. |
| Abfragen pro Sekunde (QPS) | Pro Arbeitsbereich | 200. Aktivieren Sie für höhere QPS die Routenoptimierung. |
| Dauer der Modellausführung | Auf Anfrage | 297 Sekunden |
| Arbeitsspeicherauslastung des CPU-Endpunktmodells | Pro Endpunkt | 4 GB |
| Arbeitsspeicherauslastung des GPU-Endpunktmodells | Pro Endpunkt | Größer oder gleich dem zugewiesenen GPU-Speicher, abhängig von der Größe der GPU-Workload |
| Bereitgestellte Parallelität | Pro Modell und arbeitsbereich | 200-Parallelität. Kann erhöht werden, indem Sie sich an Ihr Databricks-Kontoteam wenden. |
| Overheadwartezeit | Auf Anfrage | Weniger als 50 Millisekunden |
| Init-Skripte | Initialisierungsskripts werden nicht unterstützt. | |
| Grenzwerte für Foundation-Modell-APIs | Pro Arbeitsbereich | Ausführliche Informationen zu Pay-per-Token und bereitgestellten Durchsatzgrenzwerten finden Sie unter Foundation Model-APIs- und Kontingente . |
Netzwerk- und Sicherheitsbeschränkungen
- Modellbereitstellungsendpunkte werden durch die Zugriffssteuerung geschützt und berücksichtigen netzwerkbezogene Eingangsregeln, die im Arbeitsbereich konfiguriert sind, z. B. Listen zugelassener IP-Adressen und Private Link.
- Private Konnektivität (z. B. Azure Private Link) wird nur für Modellbereitstellungsendpunkte unterstützt, die den bereitgestellten Durchsatz oder Endpunkte verwenden, die benutzerdefinierte Modelle bereitstellen.
- Standardmäßig unterstützt die Modellbereitstellung keine private Verknüpfung mit externen Endpunkten (z. B. Azure OpenAI). Die Unterstützung für diese Funktionalität wird pro Region ausgewertet und implementiert. Wenden Sie sich an Ihr Azure Databricks-Kontoteam, um weitere Informationen zu erfahren.
- Model Serving stellt keine Sicherheitspatches für vorhandene Modellimages bereit, da das Risiko einer Destabilisierung von Produktionsbereitstellungen besteht. Ein neues Modellimage, das aus einer neuen Modellversion erstellt wurde, enthält die neuesten Patches. Wenden Sie sich an Ihr Databricks-Kontoteam, um weitere Informationen zu erfahren.
Einhaltung der Sicherheitsprofilstandards: CPU-Belastung
In der folgenden Tabelle sind die unterstützten Standards für die Einhaltung von Sicherheitsprofilen für die Kernfunktion Model Serving bei CPU-Workloads aufgeführt.
Hinweis
Diese Compliance-Standards erfordern, dass bereitgestellte Container innerhalb der letzten 30 Tage erstellt wurden. Databricks erstellt automatisch veraltete Container in Ihrem Auftrag neu. Wenn dieser automatisierte Auftrag jedoch fehlschlägt, wird eine Ereignisprotokollmeldung wie die folgende angezeigt und enthält Anleitungen, wie Sie sicherstellen können, dass Ihre Endpunkte die Complianceanforderungen einhalten:
"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."
| Region | Standort | HIPAA | HITRUST | PCI-DSS | IRAP | CCCS Medium (Schutzstufe B) | UK Cyber Essentials Plus |
|---|---|---|---|---|---|---|---|
australiacentral |
Australien, Mitte | ||||||
australiacentral2 |
Australia Central 2 | ||||||
australiaeast |
AustralienOsten | ✓ | ✓ | ✓ | |||
australiasoutheast |
Australien,Südosten | ||||||
brazilsouth |
Brasilien,Süden | ✓ | ✓ | ✓ | |||
canadacentral |
CanadaCentral | ✓ | ✓ | ✓ | |||
canadaeast |
Kanadaost | ||||||
centralindia |
CentralIndia | ✓ | ✓ | ✓ | |||
centralus |
Zentral-USA | ✓ | ✓ | ✓ | |||
chinaeast2 |
ChinaEast2 | ||||||
chinaeast3 |
ChinaOst3 | ||||||
chinanorth2 |
ChinaNord2 | ||||||
chinanorth3 |
ChinaNord3 | ||||||
eastasia |
Asien, Osten | ✓ | ✓ | ✓ | |||
eastus |
Ost-USA | ✓ | ✓ | ✓ | |||
eastus2 |
EastUS2 | ✓ | ✓ | ✓ | |||
francecentral |
FranceCentral | ✓ | ✓ | ✓ | |||
germanywestcentral |
DeutschlandWestZentral | ✓ | ✓ | ✓ | |||
japaneast |
JapanEast | ✓ | ✓ | ✓ | |||
japanwest |
JapanWest | ||||||
koreacentral |
KoreaCentral | ✓ | ✓ | ✓ | |||
mexicocentral |
MexicoCentral | ||||||
northcentralus |
NorthCentralUS | ✓ | ✓ | ✓ | |||
northeurope |
Europa, Norden | ✓ | ✓ | ✓ | |||
norwayeast |
Norwegen Ost | ||||||
qatarcentral |
KatarCentral | ||||||
southafricanorth |
Südafrika, Nord | ||||||
southcentralus |
USA, Süden-Mitte | ✓ | ✓ | ✓ | |||
southeastasia |
Südostasien | ✓ | ✓ | ✓ | |||
southindia |
Südindien | ||||||
swedencentral |
SchwedenCentral | ✓ | ✓ | ✓ | |||
switzerlandnorth |
SchweizNorden | ✓ | ✓ | ✓ | |||
switzerlandwest |
SchweizWesten | ||||||
uaenorth |
UAENorth | ✓ | ✓ | ✓ | |||
uksouth |
UKSouth | ✓ | ✓ | ✓ | ✓ | ||
ukwest |
UKWest | ||||||
westcentralus |
WestCentralUS | ||||||
westeurope |
Europa, Westen | ✓ | ✓ | ✓ | |||
westindia |
WestIndia | ||||||
westus |
WestUS | ✓ | ✓ | ✓ | |||
westus2 |
WestUS2 | ✓ | ✓ | ✓ | |||
westus3 |
WestUS3 | ✓ | ✓ | ✓ |
Foundation Model-APIs-Grenzwerte
Ausführliche Informationen zu Foundation Model-APIs finden Sie unter:
- Grenzwerte und Kontingente: Grenzwerte und Kontingente von Foundation-Modell-APIs – Umfasst TPM-Grenzwerte, regionale Verfügbarkeit und modellspezifische Einschränkungen
- Compliance und Sicherheit: Compliance und Sicherheit von Foundation-Modell-APIs – Umfasst Compliancestandards, Datenverarbeitung und Sicherheitsanforderungen
Regionale Verfügbarkeit
Hinweis
Wenn Sie einen Endpunkt in einer nicht unterstützten Region benötigen, wenden Sie sich an Ihr Azure Databricks-Kundenteam.
Wenn Ihr Arbeitsbereich in einer Region bereitgestellt wird, die Modellbereitstellung unterstützt, aber von einer Steuerebene in einer nicht unterstützten Region bedient wird, unterstützt der Arbeitsbereich die Modellbereitstellung nicht. Wenn Sie versuchen, die Modellbereitstellung in einem solchen Arbeitsbereich zu verwenden, wird in einer Fehlermeldung angezeigt, dass Ihr Arbeitsbereich nicht unterstützt wird. Wenden Sie sich an Ihr Azure Databricks-Kontoteam, um weitere Informationen zu erfahren.
Weitere Informationen zur regionalen Verfügbarkeit der einzelnen Model Serving-Features finden Sie unter Verfügbarkeit von Features für die Modellbereitstellung.
Informationen zur Verfügbarkeit der vom Databricks gehosteten Foundation-Modellregion finden Sie unter Foundation-Modelle, die auf Databricks gehostet werden.