MI és gépi tanulás a Databricks platformon

Mesterséges intelligencia és gépi tanulási alkalmazásokat hozhat létre, helyezhet üzembe és kezelhet a Mosaic AI-vel, amely egy integrált platform, amely egyesíti a teljes AI-életciklust az adat-előkészítéstől a termelési monitorozásig.

Az első lépésekhez szükséges oktatóanyagokért tekintse meg a mi- és gépi tanulási oktatóanyagokat.

Generatív AI-alkalmazások létrehozása

Nagyvállalati szintű, generatív AI-alkalmazások, például finomhangolt LLM-ek, AI-ügynökök és lekéréses kiterjesztett generáció fejlesztése és üzembe helyezése.

Feature	Description
AI-játszótér	Generatív AI-modellek prototípusa és tesztelése kód nélküli gyors tervezéssel és paraméterhangolással.
Agent Bricks	Egyszerű megközelítés tartományspecifikus, kiváló minőségű AI-ügynökrendszerek létrehozásához és optimalizálásához a gyakori AI-használati esetekhez.
Alapmodellek	A modern LLM-eket, köztük a Meta Llama, az Antropikus Claude és az OpenAI GPT-t biztonságos, skálázható API-kkal szolgálja ki.
Ügynök-keretrendszer	Éles minőségű ügynökök létrehozása és üzembe helyezése, beleértve a RAG-alkalmazásokat és a többügynök-rendszereket a Pythonnal.
MLflow a GenAI-hoz	A Minőség mérése, javítása és monitorozása a GenAI-alkalmazások teljes életciklusa során AI-alapú metrikák és átfogó nyomkövetési megfigyelhetőség használatával.
Vektorkeresés	A beágyazási vektorok tárolása és lekérdezése automatikus szinkronizálással a tudásbázisba RAG-alkalmazásokhoz.
Kiszolgáló nélküli GPU-számítás	Egyéni modellek betanításához és finomhangolásához testre szabhatja az egy- és többcsomópontos mélytanulási számítási feladatokat kedvenc keretrendszereivel, és a legszínesebb hatékonyságot, teljesítményt és minőséget érheti el.
Alapmodell finomhangolása	Testre szabhatja az alapmodelleket a saját adataival, hogy optimalizálja az adott alkalmazások teljesítményét.

Klasszikus gépi tanulási modellek betanítása

Gépi tanulási modellek létrehozása automatizált eszközökkel és együttműködési fejlesztési környezetekkel.

Feature	Description
AutoML	Automatikusan kiváló minőségű modelleket hozhat létre minimális kóddal automatizált funkciófejlesztéssel és hiperparaméter-finomhangolással.
Databricks Runtime for ML	Előre konfigurált fürtök TensorFlow, PyTorch, Keras és GPU-támogatással a mélytanulás fejlesztéséhez.
MLflow-nyomkövetés	Kövesse nyomon a kísérleteket, hasonlítsa össze a modell teljesítményét, és kezelje a teljes modellfejlesztési életciklust.
Funkciófejlesztés	Szolgáltatások létrehozása, kezelése és kiszolgálása automatizált adatfolyamokkal és funkciófelderítéssel.
Databricks-jegyzetfüzetek	Együttműködési fejlesztési környezet a Python, az R, a Scala és az SQL támogatásával az ML-munkafolyamatokhoz.

Mélytanulási modellek betanítása

Mélytanulási modellek fejlesztéséhez használjon beépített keretrendszereket.

Feature	Description
Elosztott betanítás	Példák elosztott mélytanulásra a Ray, a TorchDistributor és a DeepSpeed használatával.
Ajánlott eljárások a Databricks mély tanulásához	Ajánlott eljárások a Databricks mély tanulásához.
PyTorch	Egycsomópontos és elosztott betanítás a PyTorch használatával.
TensorFlow	Egycsomópontos és elosztott betanítás a TensorFlow és a TensorBoard használatával.
Referenciamegoldások	Referenciamegoldások a mély tanuláshoz.

Modellek üzembe helyezése és kiszolgálása

Modellek üzembe helyezése éles környezetben skálázható végpontokkal, valós idejű következtetéssel és nagyvállalati szintű monitorozással.

Feature	Description
Modell szolgáltatás	Egyéni modellek és LLM-ek skálázható REST-végpontokként való üzembe helyezése automatikus skálázással és GPU-támogatással.
AI-átjáró	Szabályozhatja és monitorozhatja a generatív AI-modellekhez való hozzáférést a használatkövetés, a hasznos adatok naplózása és a biztonsági vezérlők használatával.
Külső modellek	A Databricksen kívül üzemeltetett külső modellek integrálása egységes irányítással és monitorozással.
Alapmodell API-k	A Databricks által üzemeltetett, korszerű nyitott modellek elérése és lekérdezése.

Ml-rendszerek monitorozása és szabályozása

A modellminőség, az adatintegritás, valamint az átfogó monitorozási és szabályozási eszközöknek való megfelelőség biztosítása.

Feature	Description
Unity-katalógus	Az adatok, szolgáltatások, modellek és függvények szabályozása egységes hozzáférés-vezérléssel, vonalkövetéssel és felderítéssel.
Adatprofilozás	Automatikus riasztásokkal és kiváltó okok elemzésével monitorozza az adatminőséget, a modell teljesítményét és az előrejelzés eltérését.
Anomáliadetektálás	Az adatok frissességének és teljességének monitorozása a katalógus szintjén.
MLflow modellekhez	A generatív AI-alkalmazások nyomon követése, kiértékelése és monitorozása a fejlesztési életciklus során.

Gépi tanulási munkafolyamatok gyártásba állítása

A gépi tanulási műveletek méretezése automatizált munkafolyamatokkal, CI/CD integrációval és éles üzemre kész csővezetékekkel.

Feature	Description
Modellek a Unity Katalógusban	A Unity Katalógusban található modellregisztrációs adatbázis használatával központosított szabályozást és a modell életciklusának kezelését, beleértve az üzembe helyezéseket is.
Lakeflow-feladatok	Automatizált munkafolyamatok és éles üzemre kész ETL-folyamatok létrehozása az ML-adatfeldolgozáshoz.
Ray a Databricksen	Az ml-számítási feladatok skálázása elosztott számítástechnikával a nagy léptékű modell betanításához és következtetéséhez.
MLOps-munkafolyamatok	Teljes körű MLOps implementálása automatizált betanítási, tesztelési és üzembehelyezési folyamatokkal.
Git-integráció	A verziókövetési ML-kód és -jegyzetfüzetek zökkenőmentes Git-integrációval és együttműködésen alapuló fejlesztéssel.