Przygotuj agenta Databricks Apps do wdrożenia produkcyjnego

Po utworzeniu agenta i wdrożeniu go w Databricks Apps wdrażaj go produkcyjnie w następującej kolejności:

Strona Description
1. Skonfiguruj CI/CD dla agenta Databricks Apps Zautomatyzuj wdrożenia Databricks Apps z GitHub Actions. Używa federacji tożsamości obciążeń (bez długoterminowych sekretów) oraz gotowego przepływu pracy na start, dostępnego w szablonach agentów.
2. Przeprowadź test obciążeniowy agenta Databricks Apps Znajdź maksymalną wartość QPS, którą agent może obsłużyć. Uruchom test obciążeniowy ze stopniowym zwiększaniem obciążenia aż do nasycenia na wersji agenta z pozorowanym modelem LLM, aby odizolować przepustowość infrastruktury Databricks Apps od opóźnień modelu.
3. Zarządzaj wykorzystaniem LLM za pomocą Unity AI Gateway Kierowanie wywołań usługi LLM za pośrednictwem bramy AI aparatu Unity. Scentralizuj uprawnienia, przypisuj koszty do poszczególnych aplikacji, przełączaj modele oraz sprawdzaj lub odtwarzaj ruch bez modyfikowania kodu agenta.

Informacje o ogólnym procesie CI/CD dla aplikacji Databricks, który nie jest specyficzny dla agentów, można znaleźć w CI/CD for Databricks Apps with GitHub Actions.