Generowanie sztucznej inteligencji i dużych modeli językowych (LLMs) w usłudze Azure Databricks

Ten artykuł zawiera omówienie generowania sztucznej inteligencji w usłudze Databricks oraz linki do przykładowych notesów i pokazów.

Co to jest generowanie sztucznej inteligencji?

Generowanie sztucznej inteligencji to typ sztucznej inteligencji skoncentrowany na możliwości komputerów do używania modeli do tworzenia zawartości, takiej jak obrazy, tekst, kod i syntetyczne dane.

Generowanie aplikacji sztucznej inteligencji opiera się na dużych modelach językowych (LLM) i modelach podstawowych.

• LlMs to modele uczenia głębokiego, które używają ogromnych zestawów danych i trenują je w celu wykonywania zadań przetwarzania języka. Tworzą nowe kombinacje tekstu, które naśladują język naturalny na podstawie danych treningowych.
• Modele podstawowe to duże modele uczenia maszynowego wstępnie wytrenowane z zamiarem dostosowania ich do bardziej szczegółowych zadań interpretacji języka i generowania. Te modele są używane do rozróżniania wzorców w danych wejściowych.

Po ukończeniu tych modeli procesów uczenia się razem generują statystycznie prawdopodobne dane wyjściowe po wyświetleniu monitu i mogą być stosowane do wykonywania różnych zadań, w tym:

• Generowanie obrazów na podstawie istniejących lub użycie stylu jednego obrazu w celu zmodyfikowania lub utworzenia nowego obrazu.
• Zadania mowy, takie jak transkrypcja, tłumaczenie, generowanie pytań/odpowiedzi oraz interpretacja intencji lub znaczenia tekstu.

Ważne

Chociaż wiele modeli LLM lub innych modeli generacyjnych sztucznej inteligencji ma zabezpieczenia, nadal mogą generować szkodliwe lub niedokładne informacje.

Generowanie sztucznej inteligencji ma następujące wzorce projektowe:

• Monitowanie inżynieryjne: tworzenie wyspecjalizowanych monitów o wskazówki dotyczące zachowania usługi LLM
• Pobieranie rozszerzonej generacji (RAG): łączenie modułu LLM z zewnętrznym pobieraniem wiedzy
• Dostrajanie: dostosowanie wstępnie wytrenowanego modułu LLM do określonych zestawów danych domen
• Wstępne szkolenie: trenowanie modułu LLM od podstaw

Opracowywanie generowania sztucznej inteligencji i funkcji LLM w usłudze Azure Databricks

Usługa Azure Databricks łączy cykl życia sztucznej inteligencji z zbierania i przygotowywania danych, programowania modeli i operacji LLMOps, obsługi i monitorowania. Poniższe funkcje są specjalnie zoptymalizowane pod kątem ułatwiania tworzenia aplikacji generacyjnych sztucznej inteligencji:

• Wykaz aparatu Unity na potrzeby zapewniania ładu, odnajdywania, przechowywania wersji i kontroli dostępu do danych, funkcji, modeli i funkcji.
• MLflow na potrzeby śledzenia programowania modeli i oceny LLM.
• Inżynieria cech i obsługa.
• Obsługa modelu usługi Databricks na potrzeby wdrażania usługi LLMs. Możesz skonfigurować model obsługujący punkt końcowy specjalnie na potrzeby uzyskiwania dostępu do modeli podstawowych:
  • Najnowocześniejsze otwarte maszyny LLM przy użyciu interfejsów API modelu foundation.
  • Modele innych firm hostowane poza usługą Databricks. Zobacz Modele zewnętrzne w usłudze Databricks Model Serving.
• Wyszukiwanie wektorów usługi Databricks udostępnia bazę danych wektorów z możliwością wykonywania zapytań, która przechowuje wektory osadzania i można je skonfigurować do automatycznej synchronizacji z baza wiedzy.
• Lakehouse Monitoring for data monitoring and tracking model prediction quality and drift using automatic payload logging with inference tables (Monitorowanie usługi Lakehouse na potrzeby monitorowania i śledzenia jakości przewidywania modelu i dryfu przy użyciu automatycznego rejestrowania ładunków z tabelami wnioskowania).
• AI Playground do testowania modeli podstawowych z obszaru roboczego usługi Databricks. Możesz monitować, porównywać i dostosowywać ustawienia, takie jak monit systemowy i parametry wnioskowania.
• Trenowanie modelu foundation do dostosowywania modelu podstawowego przy użyciu własnych danych w celu zoptymalizowania wydajności określonej aplikacji.

Dodatkowe zasoby

• Zobacz Pobieranie rozszerzonej generacji (RAG) w usłudze Azure Databricks.
  • Zobacz Tworzenie czatbota Q&A przy użyciu rozwiązań LLama2 i Databricks.
• Aby uzyskać informacje na temat korzystania z modeli rozpoznawania twarzy w usłudze Databricks, zobacz Hugging Face Transformers (Hugging Face Transformers).
• Repozytorium databricks-ml-examples w usłudze GitHub zawiera przykładowe implementacje state-of-the-art (SOTA) LLMs.