Modellmegjelenítési korlátok és régiók

Ez a cikk a Mozaik AI-modell szolgáltatására és a támogatott végponttípusokra vonatkozó korlátozásokat és régiók rendelkezésre állását foglalja össze.

Korlátozások

A Mozaik AI-modell kiszolgálása alapértelmezett korlátokat szab a megbízható teljesítmény biztosításához. Ha visszajelzést szeretne küldeni ezekről a korlátokról, forduljon a Databricks-fiók csapatához.

Az alábbi táblázat összefoglalja a végpontokat kiszolgáló modell erőforrás- és hasznos adatkorlátozásait.

Szolgáltatás	Részletesség	Korlát
Hasznos adat mérete	Kérelmenként	16 MB
Lekérdezések másodpercenként (QPS)	Munkaterületenként	200, de 3000-re vagy többre növelhető a Databricks-fiók elérésével
Modell végrehajtási időtartama	Kérelmenként	120 másodperc
CPU-végpontmodell memóriahasználata	Végpontonként	4 GB
GPU-végpontmodell memóriahasználata	Végpontonként	A hozzárendelt GPU-memória nagyobb vagy egyenlő, a GPU számítási feladatainak méretétől függ
Kiosztott egyidejűség	Munkaterületenként	200 egyidejűség. A Databricks-fiók elérésével növelhető.
Többletterhelés késése	Kérelmenként	Kevesebb mint 50 ezredmásodperc
Alapmodell API-k (jogkivonatonkénti fizetés) díjkorlátjai	Munkaterületenként	A következő korlátok növeléséhez forduljon a Databricks-fiók csapatához. * A DBRX Instruct modell legfeljebb 1 lekérdezés másodpercenként. * Más csevegési és befejezési modellek alapértelmezett sebességkorlátja 2 lekérdezés másodpercenként. * A beágyazási modellek alapértelmezés szerint másodpercenként 300 bemenetet ágyaznak be.
Alapmodell API-k (kiosztott átviteli sebesség) sebességkorlátjai	Munkaterületenként	Ugyanaz, mint a fent felsorolt QPS-korlátot kiszolgáló modell.

A modellkiszolgáló végpontokat hozzáférés-vezérlés védi, és tiszteletben tartja a munkaterületen konfigurált, hálózattal kapcsolatos bejövő szabályokat, például az IP-engedélyezési listákat és a Private Linket.

További korlátozások is léteznek:

• Lehetséges, hogy egy munkaterületet egy támogatott régióban helyeznek üzembe, de egy másik régióban lévő vezérlősík szolgálja ki. Ezek a munkaterületek nem támogatják a modellkiszolgálót, ezért hibaüzenet jelenik meg, amely szerint a munkaterület nem támogatott. További információért forduljon az Azure Databricks-fiók csapatához.
• A modellkiszolgáló nem támogatja az init szkripteket.
• A modellkiszolgáló alapértelmezés szerint nem támogatja a külső végpontokhoz (például az Azure OpenAI-hoz) való privát kapcsolatot. Ennek a funkciónak a támogatását régiónként értékelik ki és implementálják. További információért forduljon az Azure Databricks-fiók csapatához.

Alapmodell API-k korlátai

Feljegyzés

Az alapmodell API-k biztosításának részeként a Databricks az adatokat azon a régión kívül is feldolgozhatja, ahonnan az adatok származnak, de nem a megfelelő földrajzi helyen kívül.

Az alapmodell API-k számítási feladataira vonatkozó korlátok a következők:

• A kiosztott átviteli sebesség támogatja a HIPAA megfelelőségi profilt, és megfelelőségi tanúsítványt igénylő számítási feladatokhoz kell használni. A jogkivonatonkénti fizetéses számítási feladatok nem HIPAA-nak vagy megfelelőségi biztonsági profilnak megfelelőek.
• Az alapmodell API-k végpontjai esetében csak a munkaterület rendszergazdái módosíthatják a szabályozási beállításokat, például a sebességkorlátokat. A sebességkorlátok módosításához kövesse az alábbi lépéseket:
  1. Nyissa meg a kiszolgáló felhasználói felületét a munkaterületen a kiszolgálóvégpontok megtekintéséhez.
  2. A szerkeszteni kívánt Alapmodell API-k végpontjának kebab menüjében válassza a Részletek megtekintése lehetőséget.
  3. A végpontok részletes lapjának jobb felső részén található kebab menüben válassza a Sebességkorlát módosítása lehetőséget.
• A DBRX-modellarchitektúra kiosztott átviteli sebességű számítási feladatokhoz való használatához a kiszolgálóvégpontnak az alábbi régiók egyikében kell lennie:
  • eastus
  • eastus2
  • westus
  • centralus
  • westeurope
  • northeurope
  • australiaeast
  • canadacentral
  • brazilsouth

Régió rendelkezésre állása

Feljegyzés

Ha nem támogatott régióban igényel végpontot, forduljon az Azure Databricks-fiók csapatához.

A szolgáltatások regionális elérhetőségéről további információt a korlátozott regionális rendelkezésre állású funkciók című témakörben talál .