Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Azure DevOps Services
Ez a cikk az Azure folyamatos integrációs és folyamatos kézbesítési (CI/CD) adatfolyamait, valamint az adatelemzés szempontjából fontosságukat ismerteti.
Az adatfolyamok a következőre használhatók:
- Adatok betöltése különböző adatforrásokból.
- Az adatok feldolgozása és átalakítása.
- Mentse a feldolgozott adatokat egy átmeneti helyre, ahol mások felhasználhatják őket.
A vállalati adatfolyamok összetettebb forgatókönyvekké fejlődhetnek több forrásrendszerrel és különböző támogatott alárendelt alkalmazásokkal.
Az adatfolyamok a következőt biztosítják:
- Konzisztencia, az adatok konzisztens formátummá alakításával a felhasználók számára.
- Hibacsökkentés automatizált adatfolyamok használatával az adatok manipulálásakor felmerülő emberi hibák kiküszöbölésére.
- Hatékonyság az adatfeldolgozás átalakítására fordított idő csökkentésével.
Az adatfolyamok lehetővé teszik, hogy az adatszakértők az alapvető feladataikra összpontosítsanak, elemzéseket nyerjenek az adatokból, és segítsék a vállalkozásokat a jobb döntések meghozatalában.
Folyamatos integráció és folyamatos teljesítés (CI/CD)
A folyamatos integráció és a folyamatos teljesítés (CI/CD) egy szoftverfejlesztési megközelítés, amelyben minden fejlesztő közösen dolgozik a kód megosztott kódtárában. A fejlesztők módosításokat hajtanak végre, az automatizált folyamatok kódhibákat észlelnek. A CI/CD használatának eredménye gyorsabb fejlesztési életciklus, alacsonyabb hibaarányokkal.
CI/CD-adatfolyamok az adatelemzésben
A gépi tanulási modellek létrehozása hasonló a hagyományos szoftverfejlesztéshez, mert az adattudósok kódot írnak a gépi tanulási modellek betanítása és pontszáma érdekében. A kódon alapuló hagyományos szoftverekkel ellentétben azonban az adatelemzési gépi tanulási modellek mindkét kódon alapulnak, például algoritmusokon és hiperparamétereken, valamint a modellek betanításakor használt adatokon. A legtöbb adattudós szerint az idejük 80%-át adatelőkészítéssel, tisztítással és funkciófejlesztéssel töltik.
A gépi tanulási modellek minőségének biztosítása érdekében a modell teljesítményének összehasonlítására és fenntartására olyan technikákat is használnak, mint az A/B-tesztelés. Az A/B tesztelés általában egy vezérlőmodellt és egy vagy több kezelési modellt használ.
Egyszerre több gépi tanulási modell is használható, így a gépi tanulási modellek CI/CD-je összetettebbé válhat. A CI/CD-adatfolyamat elengedhetetlen ahhoz, hogy az adatelemzési csapat időben minőségi gépi tanulási modelleket szállítson a vállalatnak.