Wdrażanie modeli podstaw generowania sztucznej inteligencji

W tym artykule opisano obsługę generowania i wykonywania zapytań dotyczących modeli podstawowych sztucznej inteligencji i llM przy użyciu obsługi modeli usługi Databricks.

Ważne

Aby zapoznać się z samouczkiem wprowadzającym dotyczącym wykonywania zapytań względem modelu podstawowego w usłudze Databricks, zobacz Wprowadzenie do wykonywania zapytań dotyczących maszyn LLM w usłudze Databricks.

Co to są modele podstawowe?

Modele podstawowe to duże modele uczenia maszynowego wstępnie wytrenowane z zamiarem dostosowania ich do bardziej szczegółowych zadań interpretacji języka i generowania. Te modele są używane do rozróżniania wzorców w danych wejściowych na potrzeby generowania obciążeń sztucznej inteligencji i LLM.

Obsługa modeli usługi Databricks obsługuje obsługę modeli podstawowych i wykonywanie zapytań przy użyciu następujących możliwości:

• Podstawowe interfejsy API modelu. Ta funkcja sprawia, że najnowocześniejsze otwarte modele są dostępne dla twojego punktu końcowego obsługującego model. Te modele są nadzorowanymi architekturami modeli podstawowych, które obsługują zoptymalizowane wnioskowanie. Modele podstawowe, takie jak DBRX Instruct, Llama-2-70B-chat, BGE-Large i Mistral-7B są dostępne do natychmiastowego użycia z cenami płatności za token, a obciążenia, które wymagają gwarancji wydajności i dostrojonych wariantów modelu można wdrożyć z aprowizowaną przepływnością.
• Modele zewnętrzne. Są to modele hostowane poza platformą Databricks. Punkty końcowe obsługujące modele zewnętrzne mogą być centralnie zarządzane, a klienci mogą ustanowić limity szybkości i kontrolę dostępu dla nich. Przykłady obejmują modele podstawowe, takie jak GPT-4 OpenAI, Claude Anthropic i inne.

Wymagania

Aby uzyskać dostęp do modeli podstawowych i wykonywać zapytania przy użyciu usługi Databricks Model Serving, zapoznaj się z wymaganiami dotyczącymi poszczególnych funkcji.

• Wymagania interfejsu API modelu foundation.
• Wymagania dotyczące modeli zewnętrznych.

Tworzenie podstawowego modelu obsługującego punkt końcowy

Zobacz Tworzenie podstawowego modelu obsługującego punkty końcowe

Wykonywanie zapytań względem modelu podstawowego

• Zobacz Modele podstaw zapytań
• Wnioskowanie wsadowe przy użyciu interfejsów API modelu foundation

Dodatkowe zasoby

• Wprowadzenie do wykonywania zapytań dotyczących usługi LLMs w usłudze Databricks
• Tworzenie podstawowego modelu obsługującego punkty końcowe
• Modele podstaw zapytań