Przepustowość wnioskowania dla skalowania modeli

Stopniowo zwiększ ruch do modelu przez Unity Gateway podczas wdrażania obciążenia roboczego lub przełączania modeli. Te wytyczne dotyczą modeli własnościowych i modeli o otwartych wagach dostarczanych przez Azure Databricks oraz modeli dostępnych za pośrednictwem połączonych dostawców zewnętrznych.

Stopniowo zwiększaj ruch

Dostępna wydajność zależy od modelu, dostawcy, regionu i trybu udostępniania. Żądania mogą napotykać tymczasowe błędy związane z pojemnością usługi, nawet gdy ruch pozostaje w granicach skonfigurowanych limitów szybkości. Samo zwiększenie limitu nie rezerwuje pojemności obsługi (Serving Capacity).

Aby zwiększyć przepustowość:

1. Sprawdź skonfigurowane limity szybkości usługi oraz limity dla modelu lub zewnętrznego dostawcy. Oszacuj wskaźniki tokenów wejściowych i wyjściowych oraz jednoczesne żądania, w tym reprezentatywne rozmiary promptów i odpowiedzi.
2. Zacznij od znanego stabilnego poziomu ruchu. Przy nowym obciążeniu zacznij od małego, reprezentatywnego obciążenia.
3. Zwiększ ruch małymi krokami. Utrzymuj każdy poziom stabilny, monitorując wskaźnik skuteczności żądań, opóźnienia, zużycie tokenów, głębokość kolejki oraz błędy ograniczania przepustowości lub pojemności. Zwiększ ponownie tylko wtedy, gdy obciążenie jest stabilne i spełnia cele operacyjne aplikacji.
4. Jeśli ograniczanie przepustowości, błędy pojemności lub opóźnienia przekroczą dopuszczalne możliwości aplikacji, wstrzymaj zwiększanie ruchu i wróć do ostatniego stabilnego poziomu ruchu. Ogranicz współbieżność i umieść w kolejce lub odłóż pracę o niższym priorytecie.

Wybierz wielkość kroków i okresy obserwacji w zależności od obciążenia pracą oraz wytycznych dla modelu lub dostawcy. Powtarzaj tę weryfikację przy zmianie modeli, regionów lub wydajności obsługi.

Obsłuż błędy dławienia i błędy związane z pojemnością

Sprawdź zarówno status HTTP, jak i ciało błędu z API, które wywołujesz. Kody błędów i komunikaty mogą się różnić między zunifikowanymi API a natywnymi API dostawców.

Response	Znaczenie i działanie
429 Too Many Requests	Skonfigurowany limit żądań lub ograniczanie po stronie usługi podrzędnej uniemożliwiają realizację żądania. Niektórzy dostawcy również ograniczają gwałtowne wzrosty ruchu. Zidentyfikuj limit z ciała błędu, zmniejsz częstotliwość żądań i stopniowo zwiększ ruch. Jeśli błąd wymaga zmiany limitu lub rozliczeń, najpierw usuń tę przyczynę przed ponowną próbą.
503 Service Unavailable	Usługa lub model tymczasowo nie jest w stanie obsłużyć żądania. Może się to zdarzyć podczas wzrostu ruchu, także poniżej skonfigurowanych limitów szybkości. Spróbuj ponownie w ramach określonego limitu i wstrzymaj zwiększanie, jeśli błędy będą się powtarzać.
Inne błędy związane z przeciążeniem po stronie dostawcy	Niektóre API dostawcy wykorzystują inne odpowiedzi, takie jak 529, w przypadku tymczasowego przeciążenia. Postępuj zgodnie ze wskazówkami dotyczącymi błędów dla używanego dostawcy i interfejsu API.

Sam błąd pojemności nie potwierdza, że trwa automatyczne skalowanie, ani nie wskazuje, kiedy pojemność staje się dostępna.

Skonfiguruj ponowienia

• Szanuj nagłówek Retry-After , gdy odpowiedź go zawiera. W przeciwnym razie ponów próbę w przypadku przejściowych błędów ograniczania i pojemności z wykładniczym wycofywaniem i losowym jitterem.
• Ogranicz liczbę prób i łączny czas, aby zmieścić się w budżecie opóźnień aplikacji. Jeśli błędy się utrzymają, ogranicz ruch zamiast dodawać kolejne ponowienia.
• Sprawdź zachowanie mechanizmu ponawiania w SDK przed dodaniem ponawiania na poziomie aplikacji. Uwzględnij powtórki między warstwami, żeby nie mnożyły obciążenia.
• Obsługa błędów po rozpoczęciu odpowiedzi streamingowej w odbiorcy streamu. Odtwarzanie żądania po otrzymaniu wyjścia może zduplikować wyjście lub wykonać tę samą pracę.

W przypadku utrzymujących się błędów skontaktuj się z zespołem obsługi konta Databricks, podając identyfikatory żądań, znaczniki czasu, nazwy modeli i dostawców, obserwowane wskaźniki tokenów, konkurencję oraz harmonogram zwiększania ruchu. W przypadku połączonych zewnętrznych dostawców sprawdź także status usług i limity kont dostawcy.

Wnioskowanie wsadowe

Do dużych obciążeń offline z obsługiwanymi modelami korzystaj z AI Functions, które zarządzają równoległością, powtórkami i skalowaniem. Stosuj się do ich wskazówek dotyczących inferencji wsadowej, zamiast stosować osobną pętlę powtórek do każdego wiersza.