Nagy léptékű előrejelzés: számos modell és elosztott betanítás

Ez a cikk a nagy mennyiségű előzményadat előrejelzési modelljeinek betanításáról szól. Az AutoML-ben a betanítási előrejelzési modellekre vonatkozó utasításokat és példákat a beállított AutoML idősor-előrejelzési cikkünkben találja.

Az idősor adatai nagyok lehetnek az adatsorok száma, az előzménymegfigyelések száma vagy mindkettő miatt. Számos modell és hierarchikus idősor vagy HTS skálázási megoldás az előző forgatókönyvhöz, ahol az adatok nagy számú idősorból állnak. Ezekben az esetekben előnyös lehet a modell pontossága és méretezhetősége az adatok csoportokba való particionálása és nagyszámú független modell párhuzamos betanítása a csoportokon. Ezzel szemben vannak olyan forgatókönyvek, amelyekben egy vagy kevés nagy kapacitású modell jobb. Az elosztott DNN-betanítás erre az esetre vonatkozik. A cikk további részében áttekintjük a forgatókönyvekkel kapcsolatos fogalmakat.

Számos modell

Az AutoML számos modellösszetevője lehetővé teszi több millió modell párhuzamos betanítása és kezelése. Tegyük fel például, hogy számos üzlethez rendelkezik előzmény értékesítési adatokkal. Számos modell használatával indíthat párhuzamos AutoML-betanítási feladatokat az egyes áruházakban, ahogyan az alábbi ábrán is látható:

A számos modell betanítási összetevője egymástól függetlenül alkalmazza az AutoML modellelsöprését és kiválasztását az ebben a példában szereplő minden áruházra. Ez a modell függetlensége támogatja a méretezhetőséget, és előnyös lehet a modell pontossága, különösen akkor, ha az üzletek eltérő értékesítési dinamikával rendelkeznek. Az egyetlen modellel való megközelítés azonban pontosabb előrejelzéseket eredményezhet, ha gyakori értékesítési dinamikák állnak fenn. Az esetről további részleteket az elosztott DNN-betanítási szakaszban talál.

Konfigurálhatja az adatparticionálást, a modellek AutoML-beállításait és számos modell betanítási feladatának párhuzamosságát. Példákért tekintse meg a modellösszetevőkről szóló útmutatót.

Hierarchikus idősor-előrejelzés

Az üzleti alkalmazásokban gyakran előfordul, hogy az idősorok beágyazott attribútumokkal rendelkeznek, amelyek hierarchiát alkotnak. A földrajzi és termékkatalógus attribútumai gyakran beágyazottak, például. Vegyünk egy példát, ahol a hierarchia két földrajzi attribútummal, állapot- és tárolóazonosítóval, valamint két termékattribútummal, kategóriával és termékváltozatmal rendelkezik:

Ezt a hierarchiát az alábbi diagram szemlélteti:

Fontos, hogy a levél (termékváltozat) szintjén lévő értékesítési mennyiségek hozzáadják az összesített értékesítési mennyiségeket az állam és a teljes értékesítési szinteken. A hierarchikus előrejelzési módszerek megőrzik ezeket az összesítési tulajdonságokat a hierarchia bármely szintjén értékesített mennyiség előrejelzésekor. Az ezzel a tulajdonsággal kapcsolatos előrejelzések összhangban vannak a hierarchiával.

Az AutoML a hierarchikus idősorok (HTS) alábbi funkcióit támogatja:

• Betanítás a hierarchia bármely szintjén. Egyes esetekben a levélszintű adatok zajosak lehetnek, de az aggregátumok kezelhetőbbek lehetnek az előrejelzéshez.
• Pont-előrejelzések lekérése a hierarchia bármely szintjén. Ha az előrejelzési szint "alatta" van a képzési szintnek, akkor a képzési szint előrejelzései az átlagos előzményarányok vagy a korábbi átlagok arányai alapján lesznek összesítve. A betanítási szintek előrejelzései az összesítési struktúra szerint vannak összegezve, ha az előrejelzési szint "magasabb" a betanítási szintnél.
• Kvantilis/valószínűségi előrejelzések lekérése a betanítási szinten vagy az alatt lévő szintekre vonatkozóan. A jelenlegi modellezési képességek támogatják a valószínűségi előrejelzések összesítését.

Az AutoML HTS-összetevői számos modellre épülnek, így a HTS számos modell skálázható tulajdonságait osztja meg. Példákért tekintse meg a HTS-összetevőkről szóló útmutató szakaszt.

Elosztott DNN-betanítás (előzetes verzió)

Fontos

Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik.

További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

A nagy mennyiségű előzménymegfigyeléseket és/vagy nagy számú kapcsolódó idősort tartalmazó adatforgatókönyvek skálázható, egymodelles megközelítést használhatnak. Ennek megfelelően az AutoML támogatja az elosztott betanítást és a modellkeresést a temporális konvolúciós hálózati (TCN) modelleken, amelyek az idősoradatok mély neurális hálózatának (DNN) egy típusa. Az AutoML TCN-modellosztályáról további információt a DNN-cikkünkben talál.

Az elosztott DNN-betanítás olyan adatparticionálási algoritmussal éri el a méretezhetőséget, amely tiszteletben tartja az idősorok határait. Az alábbi ábra egy egyszerű példát mutat be két partícióval:

A betanítás során a DNN-adatbetöltők az egyes számítási terheléseken pontosan azt végzik el, amire szükségük van a visszaterjesztés iterációjának elvégzéséhez; a teljes adatkészlet soha nem lesz beolvasva a memóriába. A partíciók tovább vannak elosztva több számítási mag (általában GPU-k) között, esetleg több csomóponton a betanítás felgyorsítása érdekében. A számítások közötti koordinációt a Horovod-keretrendszer biztosítja.

Következő lépések

• További információ az AutoML beállításáról egy idősorozat-előrejelzési modell betanításához.
• Ismerje meg, hogyan használja az AutoML a gépi tanulást az előrejelzési modellek létrehozásához.
• Az AutoML-ben való előrejelzés mélytanulási modelljeinek megismerése