Mi az automatizált gépi tanulás (AutoML)?

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

Az automatizált gépi tanulás( más néven automatizált gépi tanulás vagy AutoML) automatizálja a gépi tanulási modellek fejlesztésének időigényes, iteratív feladatait. Az automatizált gépi tanulással az adattudósok, elemzők és fejlesztők nagy léptékűen, hatékonysággal és termelékenységgel készíthetnek gépi tanulási modelleket, miközben fenntartják a modell minőségét. Az Azure Machine Learning automatizált gépi tanulása a Microsoft Research részleg áttörésén alapul.

• A kódokkal jártos ügyfelek számára telepítse az Azure Machine Learning Python SDK-t. Ismerkedés az oktatóanyaggal : Objektumészlelési modell (előzetes verzió) betanítása az AutoML és a Python használatával.

Hogyan működik az AutoML?

A betanítás során az Azure Machine Learning számos folyamatot hoz létre párhuzamosan, amelyek különböző algoritmusokat és paramétereket próbálnak ki. A szolgáltatás a funkcióválasztásokkal párosított ML-algoritmusokon keresztül iterál. Minden iteráció egy képzési eredménypontszámmal rendelkező modellt hoz létre. Minél jobb az optimalizálni kívánt metrika pontszáma, annál jobban illeszkedik az adatokhoz a modell. A folyamat leáll, ha megfelel a kísérletben meghatározott kilépési feltételeknek.

Az Azure Machine Learning használatával az alábbi lépésekkel tervezheti meg és futtathatja automatizált gépi tanulási kísérleteit:

1. Azonosítsa a megoldandó ml-problémát : besorolás, előrejelzés, regresszió, számítógépes látás vagy NLP.

2. Válasszon egy kódelső vagy egy kód nélküli studio webes felületet: Azok a felhasználók, akik előnyben részesítik a kódelső élményt, használhatják az Azure Machine Learning SDKv2-t vagy az Azure Machine Learning CLIv2-t. Ismerkedés az oktatóanyaggal : Objektumészlelési modell betanítása az AutoML és a Python használatával. A korlátozott vagy kód nélküli élményt előnyben részesítő felhasználók használhatják a webes felületet az Azure Machine Learning Studióban a következő címenhttps://ml.azure.com: . Ismerkedés az oktatóanyaggal : Besorolási modell létrehozása automatizált gépi tanulással az Azure Machine Learningben.

3. Adja meg a címkézett betanítási adatok forrását: Az adatok az Azure Machine Learningbe való eljuttatása számos különböző módon.

4. Az automatizált gépi tanulási paraméterek konfigurálása: Állítsa be az iterációk számát különböző modelleken, hiperparaméter-beállításokon, speciális előfeldolgozási és featurizációs beállításokon, valamint a legjobb modell meghatározásakor kiértékelendő metrikákon.

5. Küldje el a betanítási feladatot.

6. Tekintse át az eredményeket.

Az alábbi ábra ezt a folyamatot szemlélteti.

A naplózott feladat adatait is megvizsgálhatja, amelyek a feladat során összegyűjtött metrikákat tartalmazzák. A betanítási feladat létrehoz egy Python szerializált objektumot (.pkl fájlt), amely tartalmazza a modellt és az adatok előfeldolgozását.

Bár a modellépítés automatizált, azt is megtudhatja, hogy mennyire fontosak vagy relevánsak a létrehozott modellek.

Mikor érdemes használni az AutoML-t: besorolás, regresszió, előrejelzés, számítógépes látás és NLP

Az automatizált gépi tanulást akkor használja, ha azt szeretné, hogy az Azure Machine Learning betanítson és hangoljon önnek egy modellt a megadott célmetrika használatával. Az automatizált gépi tanulás demokratizálja a gépi tanulási modell fejlesztési folyamatát, és adatelemzési szakértelemtől függetlenül lehetővé teszi felhasználói számára a teljes körű gépi tanulási folyamat azonosítását bármilyen probléma esetén.

Az ml-szakemberek és a fejlesztők az iparágakban az automatizált gépi tanulást a következő célra használhatják:

• Ml-megoldások implementálása széles körű programozási ismeretek nélkül
• Időt és erőforrásokat takaríthat meg
• Adatelemzési ajánlott eljárások alkalmazása
• Agilis problémamegoldás biztosítása

Osztályozás

A besorolás a felügyelt tanulás olyan típusa, amelyben a modellek elsajátítják a betanítási adatok használatát, és alkalmazzák ezeket a tanulásokat az új adatokra. Az Azure Machine Learning kifejezetten ezekhez a feladatokhoz kínál jellemzőkre bontást, például mély neurális hálózati szövegek jellemzőkre bontását a besoroláshoz. A featurizálási lehetőségekről további információt az Adatok featurizálása című témakörben talál. Az AutoML által támogatott algoritmusok listáját a támogatott algoritmusok között is megtalálhatja.

A besorolási modellek fő célja annak előrejelzése, hogy mely kategóriákba tartoznak az új adatok a betanítási adatokból származó tanulságok alapján. Gyakori besorolási példák a csalások észlelése, a kézírás-felismerés és az objektumészlelés.

Ebben a Python-jegyzetfüzetben egy példa a besorolásra és az automatizált gépi tanulásra: Bank Marketing.

Regresszió

A besoroláshoz hasonlóan a regressziós feladatok is gyakori felügyelt tanulási feladatok. Az Azure Machine Learning a regressziós problémákra jellemző featurizációt kínál. További információ a featurizációs lehetőségekről. Az AutoML által támogatott algoritmusok listáját a támogatott algoritmusok között is megtalálhatja.

A besorolástól eltérően, ahol az előrejelzett kimeneti értékek kategorikusak, a regressziós modellek numerikus kimeneti értékeket jeleznek előre független prediktorok alapján. A regresszió célja, hogy segítsen a független prediktorváltozók közötti kapcsolat felállításában azáltal, hogy megbecsüli, milyen hatással van egy változó a többire. A modell például előre jelezheti az autó árát olyan jellemzők alapján, mint a gázhasználat és a biztonsági minősítés.

Tekintse meg az alábbi Python-jegyzetfüzetek előrejelzéseinek regresszióját és automatizált gépi tanulását: Hardverteljesítmény.

Idősoros előrejelzés

Az előrejelzések minden vállalkozás fontos részét képezik, legyen szó bevételről, leltárról, értékesítésről vagy vásárlói keresletről. Automatizált gépi tanulással kombinálhatja a technikákat és a megközelítéseket, és egy ajánlott, kiváló minőségű idősor-előrejelzést kaphat. Az AutoML által támogatott algoritmusok listáját a Támogatott algoritmusok című témakörben találja.

Egy automatizált idősoros kísérlet többváltozós regressziós problémaként kezeli a problémát. A múltbeli idősorértékek "kimutatása" több dimenziót jelent a regresszor számára más prediktorokkal együtt. Ez a megközelítés a klasszikus idősoros módszerekkel ellentétben azzal az előnnyel jár, hogy a betanítás során természetesen több környezeti változót és azok egymáshoz való viszonyát is beépíti. Az automatizált gépi tanulás egyetlen, de gyakran belsőleg elágazó modellt tanul az adathalmaz és az előrejelzési horizont összes eleméhez. Így több adat áll rendelkezésre a modellparaméterek becsléséhez, és lehetővé válik az általánosítás a nem látott adatsorokra.

A speciális előrejelzési konfiguráció a következőket tartalmazza:

• Ünnepészlelés és jellemzőkre bontás
• Idősorok és DNN-tanulók (Auto-ARIMA, Prophet, ForecastTCN)
• Számos modell támogatása csoportosítással
• Gördülő eredetű keresztérvényesítés
• Konfigurálható időeltolódás
• Gördülő ablak aggregált jellemzői

Az előrejelzés és az automatizált gépi tanulás példájáért tekintse meg ezt a Python-jegyzetfüzetet: Energiaigény.

Számítógépes látástechnológia

A számítógépes látási feladatok támogatása lehetővé teszi a képadatokra betanított modellek egyszerű létrehozását olyan forgatókönyvek esetében, mint a képbesorolás és az objektumészlelés.

Ezzel a képességgel a következő lehetőségeket használhatja:

• Zökkenőmentesen integrálható az Azure Machine Learning adatcímkézési funkciójával.
• Címkézett adatok használata képmodellek létrehozásához.
• Optimalizálja a modell teljesítményét a modellalgoritmus megadásával és a hiperparaméterek finomhangolásával.
• Töltse le vagy telepítse az eredményként kapott modellt webszolgáltatásként az Azure Machine Learningben.
• Nagy léptékben történő üzemeltetés az Azure Machine Learning MLOps és ML Pipelines képességeinek kihasználásával.

Az Azure Machine Learning Python SDK-val AutoML-modelleket készíthet látási feladatokhoz. Az eredményként kapott kísérletezési feladatokat, modelleket és kimeneteket az Azure Machine Learning Studio felhasználói felületén érheti el.

Megtudhatja, hogyan állíthat be AutoML-betanítást számítógépes látásmodellekhez.

Kép forrása: http://cs231n.stanford.edu/slides/2021/lecture_15.pdf

A képek esetében az automatizált gépi tanulás az alábbi számítógépes látástechnológiai feladatokat támogatja:

Feladat	Leírás
Többosztályos képbesorolás	Olyan feladatok, ahol egy kép osztálycsoportból csak egyetlen címkével van besorolva – például minden kép "macska" vagy "kutya" vagy "kacsa" képeként van besorolva.
Többcímkés képbesorolás	Olyan feladatok, amelyekben egy kép egy vagy több címkével rendelkezhet egy címkekészletből – például egy kép "macska" és "kutya" címkével is ellátható.
Objektumészlelés	A képeken lévő objektumok azonosítására és az egyes objektumok határolókerettel való megkeresésére szolgáló feladatok, például az összes kutya és macska megkeresése a képen, és határolókeret rajzolása mindegyik körül.
Példányszegmentálás	A képeken látható objektumok képpontszintű azonosítására használható feladatok, amelyek egy sokszöget rajzolnak a kép egyes objektumai köré.

Természetes nyelvi feldolgozás: NLP

Az automatizált gépi tanulás természetes nyelvi feldolgozási (NLP) feladatainak támogatása lehetővé teszi a szöveges adatokon betanított modellek egyszerű létrehozását a szövegbesoroláshoz és az elnevezett entitásfelismerési forgatókönyvekhez. Az Azure Machine Learning Python SDK-n keresztül automatizált, gépi tanulással betanított NLP-modelleket készíthet. Az eredményként kapott kísérletezési feladatokat, modelleket és kimeneteket az Azure Machine Learning Studio felhasználói felületén érheti el.

Az NLP-képesség a következőket támogatja:

• Teljes körű mély neurális hálózati NLP-képzés a legújabb előre betanított BERT-modellekkel
• Zökkenőmentes integráció az Azure Machine Learning-adatok címkézésével
• Címkézett adatok használata NLP-modellek létrehozásához
• Többnyelvű támogatás 104 nyelven
• Elosztott betanítás a Horovod használatával

Megtudhatja, hogyan állíthat be AutoML-betanítást NLP-modellekhez.

Betanítási, érvényesítési és tesztelési adatok

Az automatizált gépi tanulással megadhatja a betanítási adatokat az ML-modellek betanításához, és megadhatja, hogy milyen típusú modellérvényesítést hajtson végre. Az automatizált gépi tanulás a betanítás részeként elvégzi a modellérvényesítést. Az automatizált gépi tanulás érvényesítési adatok felhasználásával hangolja a modell hiperparamétereit az alkalmazott algoritmus alapján, hogy megtalálja a betanítási adatoknak leginkább megfelelő kombinációt. A hangolás minden iterációja esetében azonban ugyanazokat az érvényesítési adatokat használják, ami modellértékelési torzítást vezet be, mivel a modell folyamatosan fejlődik, és illeszkedik az érvényesítési adatokhoz.

Annak ellenőrzéséhez, hogy az ilyen torzítások nem alkalmazhatók-e a végleges ajánlott modellre, az automatizált gépi tanulás támogatja a tesztadatok használatát az automatizált gépi tanulás által a kísérlet végén javasolt végső modell kiértékeléséhez. Ha tesztadatokat ad meg az AutoML-kísérlet konfigurációjának részeként, a rendszer alapértelmezés szerint teszteli ezt az ajánlott modellt a kísérlet végén (előzetes verzió).

Fontos

A modellek tesztelése egy tesztadatkészlettel a létrehozott modellek kiértékeléséhez előzetes verziójú funkció. Ez a funkció egy kísérleti előzetes verziójú funkció, amely bármikor változhat.

Megtudhatja, hogyan konfigurálhat AutoML-kísérleteket tesztadatok (előzetes verzió) használatára az SDK-val vagy az Azure Machine Learning Studióval.

Jellemzőmérnökség

A szolgáltatásfejlesztés az adatok tartományismeretével olyan funkciókat hoz létre, amelyek segítenek az ml-algoritmusok jobb megismerésében. Az Azure Machine Learningben a skálázási és normalizálási technikák segítenek a funkciófejlesztésben. Ezeket a technikákat és a jellemzők előállítását együttesen jellemzők előállításának nevezzük.

Automatizált gépi tanulási kísérletek esetén a featurizáció automatikusan megtörténik, de az adatok alapján testre is szabhatja. További információ a featurizációról (SDK v1) és arról, hogy az AutoML hogyan segít megelőzni a modellek túlillesztését és kiegyensúlyozatlan adatait .

Feljegyzés

Az automatizált gépi tanulási featurizációs lépések, például a funkció normalizálása, a hiányzó adatok kezelése és a szöveg numerikussá alakítása az alapul szolgáló modell részévé válnak. Ha a modellt előrejelzésekhez használja, a betanítás során alkalmazott featurizációs lépések automatikusan érvényesek lesznek a bemeneti adatokra.

A featurizáció testreszabása

Más funkciótervezési technikákat is használhat, például kódolást és átalakításokat.

Engedélyezze ezt a beállítást a következőkkel:

• Azure Machine Learning Studio: Engedélyezze az automatikus featurizációt a További konfiguráció megtekintése szakaszban az alábbi lépésekkel.

• Python SDK: Adja meg a featurizációt az AutoML-feladatobjektumban . További információ a featurizáció engedélyezéséről.

Együttes modellek

Az automatizált gépi tanulás támogatja az alapértelmezés szerint engedélyezett együttes modelleket. Az együttes tanulás javítja a gépi tanulási eredményeket és a prediktív teljesítményt azáltal, hogy több modellt kombinál egyetlen modell helyett. Az együttes iterációk a feladat végleges iterációiként jelennek meg. Az automatizált gépi tanulás a szavazati és a halmozási együttes metódusokat is használja a modellek kombinálására:

• Szavazás: Az előrejelzés az előrejelzett osztály valószínűségeinek súlyozott átlaga (besorolási tevékenységek esetén) vagy az előrejelzett regressziós célok (regressziós tevékenységek esetén) alapján várható.
• Halmozás: Heterogén modellek kombinálása és metamodell betanítása az egyes modellek kimenete alapján. Az aktuális alapértelmezett metamodellek a logisticRegression a besorolási tevékenységekhez, az ElasticNet pedig a regressziós/előrejelzési tevékenységekhez.

A Caruana-együttes kiválasztási algoritmusa rendezett együttes inicializálásával dönti el, hogy mely modelleket használja az együttesen belül. Magas szinten ez az algoritmus inicializálja az együttest legfeljebb öt, a legjobb egyéni pontszámmal rendelkező modellel, és ellenőrzi, hogy ezek a modellek a legjobb pontszám 5%-os küszöbértékén belül vannak-e a gyenge kezdeti együttes elkerülése érdekében. Ezután minden egyes együttes iterációhoz hozzáad egy új modellt a meglévő együtteshez, és kiszámítja az eredményként kapott pontszámot. Ha egy új modell javítja a meglévő együttes pontszámát, az együttes úgy frissül, hogy az új modellt is tartalmazza.

Az automatikus gépi tanulás alapértelmezett együttes beállításainak módosításához tekintse meg az AutoML-csomagot .

AutoML &ONNX

Az Azure Machine Learning segítségével automatizált gépi tanulással létrehozhat egy Python-modellt, és onnx formátumra konvertálhatja. Miután a modellek ONNX formátumban vannak, különböző platformokon és eszközökön futtathatja őket. További információ az ML-modellek ONNX-sel való felgyorsításáról.

Ebben a Jupyter-jegyzetfüzet-példában megtudhatja, hogyan konvertálhat ONNX formátumra. Megtudhatja, hogy mely algoritmusok támogatottak az ONNX-ben.

Az ONNX-futtatókörnyezet a C#-ot is támogatja, így az automatikusan létrehozott modellt a C#-alkalmazásaiban használhatja anélkül, hogy újra kellene kódolnia, vagy hogy bevezetné a REST-végpontok által okozott hálózati késedelmet. További információ az AutoML ONNX-modell használatáról egy .NET-alkalmazásban az ONNX-modellek ML.NET és az ONNX runtime C# API-val való következtetésével.

Következő lépések

Az AutoML használatához használja az alábbi erőforrásokat.

Oktatóanyagok és útmutatók

Az oktatóanyagok átfogó, bevezető példái az AutoML-forgatókönyvekhez.

• Az első kódért kövesse az oktatóanyagot: Objektumészlelési modell betanítása autoML-vel és Pythonnal.

• Alacsony vagy kód nélküli élményért tekintse meg az Oktatóanyagot: Besorolási modell betanítása kód nélküli AutoML-vel az Azure Machine Learning Studióban.

Az útmutatók részletesebben ismertetik az automatizált gépi tanulás funkcióit. Például,

• Automatikus betanítási kísérletek beállításainak konfigurálása

  • Kód nélkül az Azure Machine Learning Studióban.
  • Python SDK-vel.

• Megtudhatja, hogyan taníthat be számítógépes látásmodelleket a Pythonnal.

• Megtudhatja, hogyan tekintheti meg a létrehozott kódot az automatizált ML-modellekből (SDK v1).

Jupyter-jegyzetfüzetminták

Tekintse át a részletes kódmintákat és használati eseteket az automatizált gépi tanulási minták GitHub-jegyzetfüzettárában.

Python SDK-referencia

Az AutoML-feladatosztály referenciadokumentációjával mélyítse el az SDK tervezési mintáival és osztályspecifikációival kapcsolatos szakértelmét.

Feljegyzés

Az automatizált gépi tanulási képességek más Microsoft-megoldásokban is elérhetők, például ML.NET, HDInsight, Power BI és SQL Server.