Generatív AI és nagy nyelvi modellek (LLM-ek) az Azure Databricksben

Ez a cikk áttekintést nyújt a Databricks generatív MI-éről, és hivatkozásokat tartalmaz példajegyzetfüzetekre és bemutatókra.

Mi az a generatív AI?

A Generatív AI egyfajta mesterséges intelligencia, amely arra összpontosít, hogy a számítógépek modelleket használva olyan tartalmakat hozzanak létre, mint a képek, a szöveg, a kód és a szintetikus adatok.

A Generatív AI-alkalmazások nagy nyelvi modellekre (LLM-ekre) és alapmodellekre épülnek.

• Az LLM-ek olyan mélytanulási modellek, amelyek nagy adathalmazokat használnak fel és tanítanak be, hogy kimagasló teljesítményt nyújtsunk a nyelvfeldolgozási feladatokban. Új szövegkombinációkat hoznak létre, amelyek a betanítási adatok alapján utánozzák a természetes nyelvet.
• Az alapmodellek olyan nagy ml-modellek, amelyek előre betanításra kerülnek azzal a szándékkal, hogy pontosabb nyelvi megértési és létrehozási feladatokhoz finomhangolják őket. Ezek a modellek a bemeneti adatok mintáinak megkülönböztetésére használhatók.

Miután ezek a modellek befejezték a tanulási folyamatokat, statisztikailag valószínű kimeneteket generálnak, amikor a rendszer kéri őket, és különböző feladatok elvégzésére használhatók, például:

• A rendszerképek létrehozása meglévők alapján, vagy egy kép stílusának használata új kép módosításához vagy létrehozásához.
• Beszédfeladatok, például átírás, fordítás, kérdés/válasz generálása, valamint a szöveg szándékának vagy jelentésének értelmezése.

Fontos

Bár számos LLM vagy más generatív AI-modell rendelkezik védelemekkel, továbbra is káros vagy pontatlan információkat hozhatnak létre.

A Generatív AI a következő tervezési mintákkal rendelkezik:

• Parancssori tervezés: Speciális kérések létrehozása az LLM viselkedésének irányításához
• Bővített generáció (RAG) lekérése: LLM kombinálása külső tudáslekéréssel
• Finomhangolás: Előre betanított LLM-nek adott tartomány adatkészletekhez való igazítása
• Előzetes betanítás: LLM betanítása az alapoktól

Generatív AI-k és LLM-ek fejlesztése az Azure Databricksben

Az Azure Databricks egyesíti az AI életciklusát az adatgyűjtéstől és az előkészítéstől a modellfejlesztésen és az LLMOpson át a kiszolgálásig és a monitorozásig. A következő funkciók kifejezetten a generatív AI-alkalmazások fejlesztésének megkönnyítésére vannak optimalizálva:

• Unity-katalógus az adatok, szolgáltatások, modellek és függvények szabályozásához, felderítéséhez, verziószámozásához és hozzáférés-vezérléséhez.
• MLflow a modellfejlesztés nyomon követéséhez és az LLM-kiértékeléshez.
• Szolgáltatástervezés és -szolgáltatás.
• Databricks Model Serving az LLM-ek üzembe helyezéséhez. A végpontot kiszolgáló modellt konfigurálhatja kifejezetten az alapmodellek eléréséhez:
  • State-of-the-art open LLMs using Foundation Model API-k
  • A Databricksen kívül üzemeltetett külső modellek. Lásd a külső modelleket a Databricks-modellkiszolgálóban.
• A Databricks Vector Search egy lekérdezhető vektoradatbázist biztosít, amely beágyazási vektorokat tárol, és konfigurálható úgy, hogy automatikusan szinkronizálja a tudásbázis.
• Lakehouse Monitorozás adatmonitorozáshoz és modell előrejelzési minőségéhez és sodródásához automatikus hasznos adatok naplózásával , következtetési táblákkal.
• AI Playground a Databricks-munkaterület alapmodelljeinek teszteléséhez. Kérheti, összehasonlíthatja és módosíthatja a beállításokat, például a rendszer parancssori és következtetési paramétereit.

További erőforrások

• Lásd: Retrieveal Augmented Generation (RAG) az Azure Databricksben.
  • Lásd: Q&A-csevegőrobot létrehozása az LLama2 és a Databricks használatával.
• A Face-modellek öleléséről a Databricksben az Arcformálók ölelése című témakörben talál további információt.
• A GitHub databricks-ml-examples adattára a legmodernebb (SOTA) LLM-ek példamegvalósításait tartalmazza.