Uaktualnianie przepływów pracy uczenia maszynowego do modeli docelowych w wykazie aparatu Unity

W tym artykule wyjaśniono, jak migrować i uaktualniać istniejące przepływy pracy usługi Databricks w celu używania modeli w wykazie aparatu Unity.

Wymagania

Wymagane uprawnienia

Aby wykonać trenowanie modelu, wdrażanie lub przepływ pracy wnioskowania w katalogu aparatu Unity, podmiot zabezpieczeń z uruchomionym przepływem pracy musi mieć USE CATALOG uprawnienia i USE SCHEMA w wykazie i schemacie, który przechowuje model.

Wymagane są również następujące uprawnienia:

• Aby utworzyć model, podmiot zabezpieczeń musi mieć CREATE MODEL uprawnienia.
• Aby załadować lub wdrożyć model, podmiot zabezpieczeń musi mieć EXECUTE uprawnienia do zarejestrowanego modelu.

Tylko właściciel zarejestrowanego modelu może wykonać następujące czynności:

• Utwórz nową wersję modelu.
• Ustaw alias w zarejestrowanym modelu.

Wymagania dotyczące obliczeń

Zasób obliczeniowy określony dla przepływu pracy musi mieć dostęp do wykazu aparatu Unity. Zobacz Tryby dostępu.

Tworzenie przepływów pracy uczenia równoległego, wdrażania i wnioskowania

Aby uaktualnić przepływy pracy trenowania i wnioskowania modelu do katalogu aparatu Unity, usługa Databricks zaleca przyrostowe podejście, w którym tworzysz potok równoległego trenowania, wdrażania i wnioskowania, który korzysta z modeli w wykazie aparatu Unity. Gdy wyniki są wygodne przy użyciu wykazu aparatu Unity, można przełączyć odbiorców podrzędnych, aby odczytać dane wyjściowe wnioskowania wsadowego lub zwiększyć ruch kierowany do modeli w wykazie aparatu Unity w obsługujących punkty końcowe.

Przepływ pracy trenowania modelu

Sklonuj przepływ pracy trenowania modelu. Upewnij się, że podmiot zabezpieczeń uruchamiający przepływ pracy i obliczenia określone dla przepływu pracy spełniają wymagania.

Następnie zmodyfikuj kod trenowania modelu w sklonowanym przepływie pracy. Może być konieczne sklonowanie notesu uruchamianego przez przepływ pracy lub utworzenie nowej gałęzi git w sklonowanym przepływie pracy. Wykonaj następujące kroki , aby zainstalować wymaganą wersję biblioteki MLflow i skonfigurować klienta tak, aby był przeznaczony dla katalogu aparatu Unity w kodzie trenowania. Następnie zaktualizuj kod trenowania modelu, aby zarejestrować modele w katalogu aparatu Unity. Zobacz Trenowanie i rejestrowanie modeli zgodnych z wykazem aparatu Unity.

Przepływ pracy wdrażania modelu

Sklonuj przepływ pracy wdrażania modelu. Upewnij się, że podmiot zabezpieczeń uruchamiający przepływ pracy i obliczenia określone dla przepływu pracy spełniają wymagania.

Jeśli masz logikę walidacji modelu w przepływie pracy wdrażania, zaktualizuj ją, aby załadować wersje modelu z interfejsu użytkownika. Użyj aliasów do zarządzania wdrożeniami modelu produkcyjnego.

Przepływ pracy wnioskowania modelu

Przepływ pracy wnioskowania wsadowego

Sklonuj przepływ pracy wnioskowania wsadowego. Upewnij się, że podmiot zabezpieczeń uruchamiający przepływ pracy i obliczenia określone dla przepływu pracy spełniają wymagania.

Przepływ pracy obsługujący model

Jeśli używasz usługi Mosaic AI Model Serving, nie musisz klonować istniejącego punktu końcowego. Zamiast tego użyj funkcji podziału ruchu, aby rozpocząć kierowanie małego ułamka ruchu do modeli w wykazie aparatu Unity. Podczas przeglądania wyników przy użyciu wykazu aparatu Unity zwiększ ilość ruchu do momentu ponownego przekierowania całego ruchu.

Podwyższanie poziomu modelu w różnych środowiskach

Promowanie modelu w różnych środowiskach działa inaczej z modelami w wykazie aparatu Unity. Aby uzyskać szczegółowe informacje, zobacz Podwyższanie poziomu modelu w różnych środowiskach.

Używanie elementów webhook zadań do ręcznego zatwierdzania wdrożenia modelu

Usługa Databricks zaleca zautomatyzowanie wdrażania modelu, jeśli to możliwe, przy użyciu odpowiednich testów i testów podczas procesu wdrażania modelu. Jeśli jednak konieczne jest wykonanie ręcznych zatwierdzeń w celu wdrożenia modeli produkcyjnych, możesz użyć powiadomień zadań , aby wywołać zewnętrzne systemy ciągłej integracji/ciągłego wdrażania w celu żądania ręcznego zatwierdzenia wdrożenia modelu po pomyślnym zakończeniu zadania trenowania modelu. Po ręcznym zatwierdzeniu system ciągłej integracji/ciągłego wdrażania może następnie wdrożyć wersję modelu w celu obsługi ruchu, na przykład przez ustawienie aliasu "Champion" na nim.