Megosztás a következőn keresztül:

Mi az Azure Machine Learning?

  • Cikk

Az Azure Machine Learning egy felhőalapú szolgáltatás a gépi tanulási (ML) projekt életciklusának felgyorsítására és kezelésére. Az ML-szakemberek, az adattudósok és a mérnökök a mindennapi munkafolyamataikban használhatják modellek betanítása és üzembe helyezése, valamint gépi tanulási műveletek (MLOps) kezelésére.

Létrehozhat egy modellt a Machine Learningben, vagy használhat egy nyílt forráskódú platformról készült modellt, például a PyTorchot, a TensorFlow-t vagy a scikit-learnt. Az MLOps-eszközök segítenek a modellek monitorozásában, újratanításában és újbóli üzembe helyezésében.

Tipp.

Ingyenes próbaverzió! Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot. Próbálja ki az Azure Machine Learning ingyenes vagy fizetős verzióját. Azure-szolgáltatásokra elkölthető krediteket kap. A kreditek felhasználása után megtarthatja a fiókját, és tovább használhatja azt az ingyenes Azure-szolgáltatásokkal. A bankkártyáját semmilyen költség nem terheli, hacsak Ön kifejezetten nem módosítja beállításait ennek engedélyezéséhez.

Kiknek készült az Azure Machine Learning?

A Machine Learning azoknak a személyeknek és csapatoknak szól, akik a szervezeten belül implementálják az MLOps-t, hogy az ML-modelleket biztonságos és auditálható éles környezetben éles környezetbe helyezzék.

Az adattudósok és az ml-mérnökök eszközökkel felgyorsíthatják és automatizálhatják mindennapi munkafolyamataikat. Az alkalmazásfejlesztők eszközöket használhatnak a modellek alkalmazásokba vagy szolgáltatásokba való integrálásához. A platformfejlesztők a tartós Azure Resource Manager API-k által támogatott, robusztus eszközkészletet használhatnak a fejlett gépi tanulási eszközök létrehozásához.

A Microsoft Azure-felhőben dolgozó vállalatok jól ismert biztonsági és szerepköralapú hozzáférés-vezérlést használhatnak az infrastruktúrához. Beállíthat egy projektet, amely megtagadja a védett adatokhoz való hozzáférést, és kiválasztja a műveleteket.

Hatékonyság a csapat minden tagja számára

Az ML-projektekhez gyakran van szükség olyan csapatra, amely változatos képességekkel rendelkezik az összeállításhoz és a karbantartáshoz. A Machine Learning olyan eszközökkel rendelkezik, amelyek lehetővé teszik a következőket:

  • Együttműködés a csapattal megosztott jegyzetfüzeteken, számítási erőforrásokon, kiszolgáló nélküli számításon, adatokon és környezeteken keresztül

  • Modellek fejlesztése a méltányosság és a magyarázhatóság, a nyomon követés és az auditálás érdekében a megfelelőségi követelmények teljesítéséhez

  • Az ML-modellek gyorsan és egyszerűen üzembe helyezhetők nagy méretekben, és az MLOps segítségével hatékonyan kezelhetik és szabályozhatják őket

  • Gépi tanulási számítási feladatok futtatása bárhol, beépített irányítással, biztonsággal és megfelelőséggel

Az igényeinek megfelelő, többkompatibilis platformeszközök

Az ML-csapat minden tagja használhatja az előnyben részesített eszközöket a feladat elvégzéséhez. Akár gyors kísérleteket, hiperparaméter-finomhangolást, folyamatépítést vagy következtetéskezelést futtat, használhat ismerős interfészeket, például:

Miközben finomítja a modellt, és együttműködik másokkal a Machine Learning-fejlesztési ciklus többi részében, megoszthatja és megkeresheti a projektek eszközeit, erőforrásait és metrikáit a Machine Learning Studio felhasználói felületén.

Studio

A Machine Learning Studio több szerzői élményt is kínál a projekt típusától és a korábbi gépi tanulási élmény szintjétől függően anélkül, hogy bármit telepítenie kellene.

  • Jegyzetfüzetek: Saját kód írása és futtatása felügyelt Jupyter Notebook-kiszolgálókon, amelyek közvetlenül integrálva vannak a studióban. Vagy nyissa meg a jegyzetfüzeteket a VS Code-ban, a weben vagy az asztalon.

  • Futtatási metrikák vizualizációja: A kísérletek elemzése és optimalizálása vizualizációval.

    Képernyőkép egy betanítási futtatás metrikáiról.

  • Azure Machine Learning-tervező: A tervező használatával kódírás nélkül taníthat be és helyezhet üzembe ML-modelleket. Húzza az adathalmazokat és összetevőket az ML-folyamatok létrehozásához.

  • Automatizált gépi tanulási felhasználói felület: Megtudhatja, hogyan hozhat létre automatizált gépi tanulási kísérleteket egy könnyen használható felülettel.

  • Adatcímkézés: A Machine Learning-adatok címkézésével hatékonyan koordinálhatja a képfeliratozási vagy szövegcímkézési projekteket .

LLM-ekkel és Generatív AI-vel végzett munka

Az Azure Machine Learning olyan eszközöket tartalmaz, amelyekkel nagy nyelvi modellek (LLM-ek) segítségével fejleszthet Generatív AI-alkalmazásokat. A megoldás tartalmaz egy modellkatalógust, egy gyors folyamatot és egy eszközkészletet az AI-alkalmazások fejlesztési ciklusának gördülékenyebbé tételéhez.

Az Azure Machine Learning Studio és az Azure AI Studio egyaránt lehetővé teszi az LLM-ekkel való munkát. Ebben az útmutatóban meghatározhatja , hogy melyik stúdiót érdemes használnia.

Modellkatalógus

Az Azure Machine Learning Studióban található modellkatalógus a Generatív AI-alkalmazások készítését lehetővé tevő modellek széles skálájának felderítésére és használatára használható. A modellkatalógus több száz modellt tartalmaz olyan modellszolgáltatóktól, mint az Azure OpenAI szolgáltatás, a Mistral, a Meta, a Cohere, az Nvidia, az Ölelés arc, beleértve a Microsoft által betanított modelleket. A Microsofttól eltérő szolgáltatóktól származó modellek nem Microsoft-termékek, a Microsoft termékfeltételeiben meghatározottak szerint, és a modellben megadott feltételekre is vonatkoznak.

Folyamat kérése

Az Azure Machine Learning parancssori folyamata egy olyan fejlesztési eszköz, amely a nagyméretű nyelvi modellek (LLM-ek) által működtetett AI-alkalmazások teljes fejlesztési ciklusának gördülékenyebbé tételét teszi lehetővé. A prompt folyamat átfogó megoldást kínál, amely leegyszerűsíti az AI-alkalmazások prototípus-készítési, kísérletezési, iterálási és üzembe helyezési folyamatát.

Nagyvállalati felkészültség és biztonság

A Machine Learning integrálva van az Azure-felhőplatformmal, hogy biztonságot adjon az ML-projekteknek.

A biztonsági integrációk a következők:

  • Azure Virtual Networks hálózati biztonsági csoportokkal.
  • Az Azure Key Vaultban biztonsági titkos kulcsokat menthet, például a tárfiókok hozzáférési adatait.
  • Az Azure Container Registry virtuális hálózat mögött van beállítva.

További információ : Oktatóanyag: Biztonságos munkaterület beállítása.

Azure-integrációk a teljes megoldásokhoz

Az Azure-szolgáltatásokkal való egyéb integrációk támogatják az ML-projekteket a végétől a végéig. Ezek közé tartoznak például az alábbiak:

Fontos

Az Azure Machine Learning nem tárolja vagy dolgozza fel az adatokat azon a régión kívül, ahol üzembe helyezi.

Gépi tanulási projekt munkafolyamata

A modelleket általában egy célokkal és célokkal rendelkező projekt részeként fejlesztik. A projektek gyakran több személyt is érintenek. Ha adatokkal, algoritmusokkal és modellekkel kísérletezik, a fejlesztés iteratív.

Projekt életciklusa

A projekt életciklusa projektenként változhat, de gyakran így néz ki.

A machine learning projekt életciklusát bemutató ábra

A munkaterületek rendszereznek egy projektet, és lehetővé teszik az együttműködést számos olyan felhasználó számára, aki egy közös cél érdekében dolgozik. A munkaterület felhasználói egyszerűen megoszthatják a futtatásuk eredményeit a kísérletezésből a stúdió felhasználói felületén. Vagy használhatnak verziószámozott objektumokat olyan feladatokhoz, mint a környezetek és a tárhivatkozások.

További információ: Azure Machine Learning-munkaterületek kezelése.

Ha egy projekt készen áll az üzembe helyezésre, a felhasználók munkája automatizálható egy ML-folyamatban, és ütemezés vagy HTTPS-kérés alapján aktiválható.

Modelleket helyezhet üzembe a felügyelt következtetési megoldásban valós idejű és kötegtelepítések esetén is, így a modellek üzembe helyezéséhez általában szükséges infrastruktúra-kezelést absztrakcióval oldhatja meg.

Modellek betanítása

Az Azure Machine Learningben futtathatja a betanítási szkriptet a felhőben, vagy létrehozhat egy modellt az alapoktól. Az ügyfelek gyakran hoznak létre nyílt forráskódú keretrendszerekben létrehozott és betanított modelleket, hogy üzembe tudják helyezni őket a felhőben.

Nyitott és együttműködő

Az adattudósok olyan modelleket használhatnak az Azure Machine Learningben, amelyeket közös Python-keretrendszerekben hoztak létre, például:

  • PyTorch
  • TensorFlow
  • scikit-learn
  • XGBoost
  • LightGBM

Egyéb nyelvek és keretrendszerek is támogatottak:

  • R
  • .NET

További információ: Nyílt forráskódú integráció az Azure Machine Learningdel.

Automatizált featurizáció és algoritmusválasztás

Egy ismétlődő, időigényes folyamat során a klasszikus gépi tanulásban az adattudósok előzetes tapasztalatot és intuíciót használnak a megfelelő adat featurizáció és algoritmus kiválasztásához a betanításhoz. Az automatizált gépi tanulás (AutoML) felgyorsítja ezt a folyamatot. Ezt a Machine Learning Studio felhasználói felületén vagy a Python SDK-on keresztül használhatja.

További információ: Mi az automatizált gépi tanulás?

Hiperparaméter-optimalizálás

A hiperparaméter optimalizálása vagy a hiperparaméter finomhangolása fárasztó feladat lehet. A Machine Learning automatizálhatja ezt a feladatot tetszőleges paraméteres parancsok esetében, a feladatdefiníció kis módosításával. Az eredmények a stúdióban jelennek meg.

További információ: Hiperparaméterek hangolása.

Többcsomópontos elosztott betanítás

A mélytanulási és néha klasszikus gépi tanulási betanítási feladatokra vonatkozó képzés hatékonysága drasztikusan javítható többcsomópontos elosztott betanításokkal. Az Azure Machine Learning számítási fürtöi és a kiszolgáló nélküli számítás a legújabb GPU-lehetőségeket kínálják.

Az Azure Machine Learning Kubernetes, az Azure Machine Learning számítási fürtök és a kiszolgáló nélküli számítás segítségével támogatott:

  • PyTorch
  • TensorFlow
  • MPI

Az MPI-disztribúciót használhatja Horovodhoz vagy egyéni többcsomópontos logikához. Az Apache Spark kiszolgáló nélküli Spark-számítási és csatolt Synapse Spark-készleten keresztül támogatott, amelyek Azure Synapse Analytics Spark-fürtöket használnak.

További információ: Elosztott betanítás az Azure Machine Learning használatával.

Kínosan párhuzamos betanítás

Az ML-projektek méretezéséhez kínosan párhuzamos modellbetanításra lehet szükség. Ez a minta gyakori az olyan helyzetekben, mint az előrejelzési kereslet, ahol egy modell betanítása számos üzletben lehetséges.

Modellek üzembe helyezése

A modell éles üzembe helyezéséhez üzembe kell helyeznie a modellt. Az Azure Machine Learning által felügyelt végpontok elvonják a köteg- vagy valós idejű (online) modell pontozásához (következtetéshez) szükséges infrastruktúrát.

Valós idejű és kötegelt pontozás (következtetés)

A kötegelt pontozás vagy kötegelt következtetés magában foglalja egy végpont meghívását az adatokra való hivatkozással. A kötegvégpont aszinkron módon futtatja a feladatokat, hogy párhuzamosan dolgozza fel az adatokat a számítási fürtökön, és további elemzés céljából tárolja az adatokat.

A valós idejű pontozás vagy online következtetés magában foglalja egy végpont meghívását egy vagy több modelltelepítéssel, és közel valós idejű választ kap HTTPS-en keresztül. A forgalom több üzemelő példányra osztható, ami lehetővé teszi az új modellverziók tesztelését azáltal, hogy kezdetben bizonyos mennyiségű forgalmat átirányít, majd növeli az új modell iránti bizalmat.

További információk:

MLOps: DevOps gépi tanuláshoz

Az ML-modellekhez készült DevOps( más néven MLOps) az éles modellek fejlesztésének folyamata. A modell életciklusának a betanítástól az üzembe helyezésig naplózhatónak kell lennie, ha nem reprodukálható.

Ml-modell életciklusa

A gépi tanulási modell életciklusát bemutató ábra * MLOps.

További információ az MLOpsról az Azure Machine Learningben.

MLOP-ket engedélyező integrációk

A Machine Learning a modell életciklusának szem előtt tartásával készült. A modell életciklusát egy adott véglegesítésre és környezetre is naplózhatja.

Az MLOps engedélyezésének néhány fő funkciója a következők:

  • git integráció.
  • MLflow-integráció.
  • Gépi tanulási folyamat ütemezése.
  • Azure Event Grid-integráció egyéni eseményindítókhoz.
  • A CI/CD-eszközök, például a GitHub Actions vagy az Azure DevOps egyszerű használata.

A Machine Learning monitorozási és naplózási funkciókat is tartalmaz:

  • Feladatösszetevők, például kódpillanatképek, naplók és egyéb kimenetek.
  • A feladatok és az eszközök, például a tárolók, az adatok és a számítási erőforrások közötti vonalvezetés.

Ha Apache Airflow-t használ, az airflow-provider-azure-machinelearning csomag egy olyan szolgáltató, amely lehetővé teszi munkafolyamatok beküldését az Azure Machine Learningbe az Apache AirFlow-ból.

Kapcsolódó tartalom

Az Azure Machine Learning használatának megkezdése: