Fogalmak: Adatelemzés és gépi tanulás a Azure Databricks

Az adatelemzés és a gépi tanulás (DS és ML) elemzéseket nyer ki, és prediktív modelleket épít ki az adatokból. A DS és az ML magában foglalják az interaktív feltárást és modellezést, valamint az automatizált üzemi rendszereket is. A klasszikus ml olyan technikákat tartalmaz, mint a besorolás, a regresszió, az anomáliadetektálás, az előrejelzés és a javaslat.

A modern mélytanulási és AI-módszerek technikailag az ML típusai. Ez a szakasz a mély tanulást ismerteti. Az AI-ról lásd: Fogalmak: AI az Azure Databricksen.

Az ML életciklusa

A gépi tanulás életciklusa a nyers adatoktól az élesben működő modellig, majd onnan a monitorozáson és az újratanításon keresztül vissza, a teljes folyamatot átfogja. A fő szakaszok a következők:

1. Határozza meg a használati eset körét az előrejelzési cél, a sikermutatók és az éles üzem követelményeinek meghatározásával.
2. Az adateloszlások, a prediktív jelek és az adatminőségi problémák modellezés előtti megértéséhez futtasson feltáró adatelemzést (EDA).
3. Adatok és szolgáltatások előkészítése egy szolgáltatástárolóban.
4. Modellek betanítása és kísérletek nyomon követése, kísérlet metaadatainak naplózása elemzéshez és üzembe helyezéshez.
5. Értékelje ki a modell minőségét a visszatartott adatok és az érdekelt felek feltételei alapján.
6. Regisztrálja, helyezze átmeneti környezetbe, és tesztelje a modelleket, mielőtt éles környezetbe léptetné őket.
7. Üzembe helyezés éles környezetbe valós idejű végpontokra vagy kötegelt inferenciafeladatokban.
8. Monitorozás és újratanítás , hogy a modellek alkalmazkodjanak az adatok vagy a felhasználói viselkedés módosításához.

Az egyes szakaszokhoz tartozó útmutatót a gépi tanulás életciklusában találja.

AI által támogatott fejlesztés és üzemeltetés

Azure Databricks genie code-ot, egy AI-asszisztenst integrál a jegyzetfüzetek és a munkaterület között. Fejlesztésre, hibakeresésre és folyamatban lévő műveletekre használhatja, a vállalati környezet speciális ismeretére támaszkodva. Lásd: Genie Code használata adatelemzéshez.

A Genie Code-ot a munkafolyamat minden lépésénél használhatja:

• Kezdje a Genie-csevegéssel a munkaterület és a Unity Katalógus releváns modelljeinek, adatainak és funkcióinak felderítéséhez.
• A Genie Code használatával folyamatokat prototípusként használhat a featurizáláshoz, a modell betanításához és finomhangolásához, kiértékeléséhez és üzembe helyezéséhez.
• Elemezze a modellkiszolgálási végpontokat a Genie Code segítségével az éles környezetben előforduló problémák diagnosztizálásához és kivizsgálásához.

Külső kódolási eszközökkel is fejleszthet és tarthat fenn ml-folyamatokat Azure Databricks. Lásd az AI-kódolási asszisztensek ügynöki készségeit.

Mi az ml-platform?

Az ML-platform a kombinált infrastruktúra, az eszközkezelés és a szabályozási réteg, amely támogatja a teljes ml-életciklust a nyers adatoktól az éles modellekig. A jól megtervezett ML-platform egyetlen szabályozott rendszerben köti össze az adatelemzést, az interaktív adatelemzést és az éles gépi tanulást.

A fő összetevők a következők:

• Adategységek, például fájlok, táblák, feldolgozási folyamatok és szolgáltatástárolók
• Kísérletezési eszközök, például jegyzetfüzetek és vizualizációk egyszerű együttműködéssel és AI-támogatással
• Betanítási infrastruktúra testreszabható környezetekkel és rugalmas számítási erőforrásokkal
• Kötegelt és valós idejű kiszolgálást támogató üzembehelyezési és felügyeleti infrastruktúra, üzemi irányítópultokkal és riasztásokkal
• MLOps- és irányítási eszközök orchesztrációhoz, CI/CD-hez, leszármazáskövetéshez, hozzáférés-kezeléshez és auditnaplózáshoz

A fő szabályozási képességek a következők:

• Az adatok és a gépi tanulási eszközök egységes szabályozása. További információ: What is Unity Catalog?.
• Modellvégpontok egységes szabályozása. További információ az AI Gatewayen a végpontok kiszolgálásához.
• Egységesített biztonsági megközelítés. További információ a Databricks AI Security szolgáltatásról.
• Az adatok és az ml-eszközök egységes felügyelete. További információ az adminisztrációról.

Lásd még Azure Databricks adatelemzési és gépi tanulási képességeket és Azure Databricks architektúrát.

Gépi tanulás vs. mélytanulás vs. AI

A gépi tanulás (ML), a mély tanulás (DL) és az AI közötti határok homályosak lehetnek. Ez az útmutató az ml-ről és a mély tanulásról szól, de a következő platformfunkciók mind a három paradigmát támogatják:

• A Model Serving támogatja a klasszikus ML-, mélytanulási és egyéni AI-modelleket valós idejű és kötegelt következtetéshez is.
• ai_query Mindhárom paradigma esetében támogatja az SQL-lekérdezéseket és a kötegelt következtetési számítási feladatokat.

• Az AI-futtatókörnyezet és a GPU-kompatibilis Databricks-futtatókörnyezet Machine Learning támogatja mind a három paradigma betanítását és finomhangolását.

• Az MLflow-kísérletkövetés mindhárom paradigma futásait és kísérleteit követi nyomon.
• A Databricks AI Search mindhárom paradigma strukturálatlan adatait szolgálja ki.

További erőforrások

• Gépi tanulási életciklus – A gépi tanulási életciklus szakaszai és ajánlott eljárásai
• Azure Databricks adatelemzési és gépi tanulási képességek – Azure Databricks gépi tanulási képességek munkafolyamatok szerint
• AI a Databricksen – Használati esetek, ügyfelek és egyéb erőforrások