MI és gépi tanulás a Databricks platformon

Mesterséges intelligencia és gépi tanulási alkalmazásokat hozhat létre, helyezhet üzembe és kezelhet a Mosaic AI-vel, amely egy integrált platform, amely egyesíti a teljes AI-életciklust az adat-előkészítéstől a termelési monitorozásig.

Az első lépésekhez szükséges oktatóanyagokért tekintse meg a mi- és gépi tanulási oktatóanyagokat.

Generatív AI-alkalmazások létrehozása

Nagyvállalati szintű, generatív AI-alkalmazások, például finomhangolt LLM-ek, AI-ügynökök és lekéréses kiterjesztett generáció fejlesztése és üzembe helyezése.

Tulajdonság	Leírás
AI-játszótér	Generatív AI-modellek prototípusa és tesztelése kód nélküli gyors tervezéssel és paraméterhangolással.
Agent Bricks	Egyszerű, kód nélküli megközelítés a tartományspecifikus, kiváló minőségű AI-ügynökrendszerek létrehozásához és optimalizálásához a gyakori AI-használati esetekhez.
Alapmodellek	A modern LLM-eket, köztük a Meta Llama, az Antropikus Claude és az OpenAI GPT-t biztonságos, skálázható API-kkal szolgálja ki.
Mozaik AI-ügynök keretrendszere	Éles minőségű ügynökök létrehozása és üzembe helyezése, beleértve a RAG-alkalmazásokat és a többügynök-rendszereket a Pythonnal.
MLflow és GenAI	A Minőség mérése, javítása és monitorozása a GenAI-alkalmazások teljes életciklusa során AI-alapú metrikák és átfogó nyomkövetési megfigyelhetőség használatával.
Vektorkeresés	A beágyazási vektorok tárolása és lekérdezése automatikus szinkronizálással a tudásbázisba RAG-alkalmazásokhoz.
Alapmodell finomhangolása	Testre szabhatja az alapmodelleket a saját adataival, hogy optimalizálja az adott alkalmazások teljesítményét.

Klasszikus gépi tanulási modellek betanítása

Gépi tanulási modellek létrehozása automatizált eszközökkel és együttműködési fejlesztési környezetekkel.

Tulajdonság	Leírás
AutoML	Automatikusan kiváló minőségű modelleket hozhat létre minimális kóddal automatizált funkciófejlesztéssel és hiperparaméter-finomhangolással.
Databricks Runtime for ML	Előre konfigurált fürtök TensorFlow, PyTorch, Keras és GPU-támogatással a mélytanulás fejlesztéséhez.
MLflow-nyomkövetés	Kövesse nyomon a kísérleteket, hasonlítsa össze a modell teljesítményét, és kezelje a teljes modellfejlesztési életciklust.
Funkciófejlesztés	Szolgáltatások létrehozása, kezelése és kiszolgálása automatizált adatfolyamokkal és funkciófelderítéssel.
Databricks-jegyzetfüzetek	Együttműködési fejlesztési környezet a Python, az R, a Scala és az SQL támogatásával az ML-munkafolyamatokhoz.

Mélytanulási modellek betanítása

Mélytanulási modellek fejlesztéséhez használjon beépített keretrendszereket.

Tulajdonság	Leírás
Elosztott betanítás	Példák elosztott mélytanulásra a Ray, a TorchDistributor és a DeepSpeed használatával.
Ajánlott eljárások a Databricks mély tanulásához	Ajánlott eljárások a Databricks mély tanulásához.
PyTorch	Egycsomópontos és elosztott betanítás a PyTorch használatával.
TensorFlow	Egycsomópontos és elosztott betanítás a TensorFlow és a TensorBoard használatával.
Referenciamegoldások	Referenciamegoldások a mély tanuláshoz.

Modellek üzembe helyezése és kiszolgálása

Modellek üzembe helyezése éles környezetben skálázható végpontokkal, valós idejű következtetéssel és nagyvállalati szintű monitorozással.

Tulajdonság	Leírás
Modellkiszolgálás	Egyéni modellek és LLM-ek skálázható REST-végpontokként való üzembe helyezése automatikus skálázással és GPU-támogatással.
AI-átjáró	Szabályozhatja és monitorozhatja a generatív AI-modellekhez való hozzáférést a használatkövetés, a hasznos adatok naplózása és a biztonsági vezérlők használatával.
Külső modellek	A Databricksen kívül üzemeltetett külső modellek integrálása egységes irányítással és monitorozással.
Alapmodell API-k	A Databricks által üzemeltetett, korszerű nyitott modellek elérése és lekérdezése.

Ml-rendszerek monitorozása és szabályozása

A modellminőség, az adatintegritás, valamint az átfogó monitorozási és szabályozási eszközöknek való megfelelőség biztosítása.

Tulajdonság	Leírás
Unity-katalógus	Az adatok, szolgáltatások, modellek és függvények szabályozása egységes hozzáférés-vezérléssel, vonalkövetéssel és felderítéssel.
Lakehouse Felügyelet	Automatikus riasztásokkal és kiváltó okok elemzésével monitorozza az adatminőséget, a modell teljesítményét és az előrejelzés eltérését.
MLflow modellek számára	A generatív AI-alkalmazások nyomon követése, kiértékelése és monitorozása a fejlesztési életciklus során.

Gépi tanulási munkafolyamatok gyártásba állítása

A gépi tanulási műveletek méretezése automatizált munkafolyamatokkal, CI/CD integrációval és éles üzemre kész csővezetékekkel.

Feladatok	Leírás
Modellregisztrációs adatbázis	A modellverziók, jóváhagyások és üzembe helyezések kezelése központosított modell életciklus-felügyelettel.
Lakeflow-feladatok	Automatizált munkafolyamatok és éles üzemre kész ETL-folyamatok létrehozása az ML-adatfeldolgozáshoz.
Ray on Databricks	Az ml-számítási feladatok skálázása elosztott számítástechnikával a nagy léptékű modell betanításához és következtetéséhez.
MLOps-munkafolyamatok	Teljes körű MLOps implementálása automatizált betanítási, tesztelési és üzembehelyezési folyamatokkal.
Git-integráció	A verziókövetési ML-kód és -jegyzetfüzetek zökkenőmentes Git-integrációval és együttműködésen alapuló fejlesztéssel.