Megosztás a következőn keresztül:

DataOps-ellenőrzőlista

  • Cikk

A DataOps az adatelemzés életciklus-megközelítése. Agilis eljárásokat használ az eszközök, a kód és az infrastruktúra vezénylésére, hogy a jobb biztonság mellett gyorsan magas minőségű adatokat nyújtsanak. A DataOps-folyamatok implementálása és egyszerűsítése során vállalkozása egyszerűbben és költséghatékonyabban tud elemzési elemzéseket nyújtani. Ez lehetővé teszi fejlett adattechnikák bevezetését, amelyek feltárhatják az elemzéseket és az új lehetőségeket. Használja ezt az ellenőrzőlistát kiindulási pontként a DataOps-folyamat értékeléséhez.

Adatszabályozás és személyek

Adatszabályozás

  • A rendszer központi helyet használ az adatforrások regisztrálásához.
  • Az adatsorok és a metaadatok elérhetők.
  • Az adatok könnyen felderíthetők a felhasználók számára, és a bizalmas adatok biztonságban lesznek.
  • Az adatok és a biztonsági tisztviselők láthatják, hogyan használják az adatokat, ki rendelkezik hozzáféréssel, és hol találhatók bizalmas adatok.

Definiált, egyértelmű szerepkörök

  • A mérnökök, tesztelők, adattudósok, műveletek, adatelemzők, üzleti felhasználók és adattisztviselők mind együttműködnek, és megértik a projektben betöltött szerepüket.
  • A rendszer azonosítja az érintetteket, és ön tisztában van azzal, hogy mi motiválja az érdekelt feleket az adatvezérelt döntések meghozatalára.

Használati esetek az adatáthelyezéshez

  • A streamelési, interaktív és kötegelt elemzések használati esetei megoldódnak.
  • Az egyes esetek különböző adattípusai tisztázva vannak, és a metrikák az adatvezérelt döntések motiválására vannak meghatározva.

Adateszközök

  • Az adatok könnyebb eléréséhez, megosztásához, elemzéséhez és biztonságossá tételéhez szükséges adateszközök azonosíthatók vagy fejleszthetők.

Biztonság és megfelelőség

  • Minden erőforrást, átvitel alatt álló adatot és inaktív adatot auditáltunk, és megfelelt a vállalati biztonsági szabványoknak.

Fejlesztés

Folyamattervezési minták

  • Az adatfolyamok újrafelhasználásra és paraméterezésre vannak tervezve.
  • A folyamatok megoldják a kinyerési, átalakítási, betöltési (ETL) problémákat.

Központosított betöltés

  • A központosított platform minden külső és belső adatforráshoz üzemeltet folyamatokat. Ez lehetővé teszi az adatáthelyezés egyszerűbb kezelését, monitorozását, biztonságát és szabványosítását.
  • Az adatok kezelésével kapcsolatos költségek is központosítva vannak. A központi vezérlés segít minimalizálni a költségeket és maximalizálni a hatékonyságot.

Központosított számítások

  • A központi csapat meghatározza a metrikákat, és meghatározza a metrikák kiszámításának módját. Ez lehetővé teszi a szervezet konzisztenciáját, és korlátozza a számítások frissítésének helyét. Emellett létrehoz egy forrást a metrikák definícióihoz, szabályozásához, teszteléséhez és minőségellenőrzéséhez.

Adat absztrakció

  • A jelentéskészítés adat absztrakciós réteget használ. Ez lehetővé teszi a konzisztens üzleti terminológia használatát, az adatok egyszerűsített nézetét, valamint az adatfelhasználókra gyakorolt minimális hatást, amikor az adatok új verziói elérhetővé válnak.

Forrásvezérlő

  • Az adatokhoz kapcsolódó infrastruktúrát, adatbázis-sémákat és eljárásokat, ETL-folyamatokat és jelentéseket kódként kezeli a rendszer, és egy adattárban kezeli.
  • Minden módosítás üzembe helyezése és tesztelése fejlesztési, tesztelési, elfogadási és éles (DTAP) veremen keresztül történt.

Tesztelés és kiadás

DTAP-környezetek

  • Az éles környezetet utánzó nem éles környezetek érhetők el.
  • A buildeket és az üzembe helyezéseket éles leküldés előtt futtatjuk és teszteljük a nem éles környezetben.
  • A fejlesztők minden környezetben reprodukálható eredményeket érhetnek el.

Vizsgálat

  • Az egység-, a végpontok közötti és a regressziós tesztek meghatározott gyakorisággal és időközönként futnak.
  • Minden teszt forrásvezérlés alatt áll, és egy buildelési és üzembe helyezési folyamat részeként fut.
  • Az üzembe helyezés utáni végfelhasználói bevitelt szívesen látjuk, és szükség szerint beépítjük a tesztelésbe.

Folyamat létrehozása és üzembe helyezése

  • A kapus folyamat módosításokat helyez üzembe az éles környezetben.
  • A módosításokat a fejlesztési és tesztelési környezetekben teszteljük. A módosítások az éles környezetbe való ugrás előtt hitelesítve lesznek. Ez a folyamat a lehető legautomatizálható.

Figyelés

Riasztás és szervizelés

  • A rendszer riasztást küld az esetleges hibákról.
  • Gyorsan válaszolhat a visszajelzésekre, és gyorsan kezelheti a felmerülő problémákat.
  • A folyamatok megfigyelhetők.

Hatékonyság

  • Az adatáthelyezés hatékony.
  • Az infrastruktúra méretezhető a kötet és a sebesség igényeinek megfelelően.
  • Az adatok lehetőség szerint újra felhasználhatók.

Statisztikai folyamatvezérlés (SPC)

  • Az SPC az adatfolyamok figyelésére és szabályozására szolgál.
  • A folyamatok kimenetével meghatározhatja az adatfolyam következő lépését.

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.

Fő szerző:

A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.

Következő lépések