Az AI és az analitika adatfeldolgozási szabványai

Az egységes adatplatform a konzisztens betöltési, átalakítási és közzétételi szabványoktól függ, így a vezetők megbízhatnak az adatokban az elemzés és az AI számára. Ajánlás: Szervezeti szintű szabványokat hozhat létre, amelyek szabályozzák, hogy milyen adatok kerülnek a OneLake-be, hogyan finomítják a csapatok az adatokat, és hogyan érik el a szabályozott adattermékek a fogyasztókat (lásd az 1. ábrát). A javaslat alkalmazásához használja ezt a cikket ellenőrzőlistaként:

A működési szabványok beállításának három fő lépését bemutató ábra. Először állítsa be az adatfeldolgozási szabványokat, például az adatok áthelyezését a bronz, ezüst és arany rétegeken. Másodszor állítsa be a különböző Microsoft-szolgáltatások adattermékeinek védelmére vonatkozó biztonsági szabványokat. Harmadszor, állítsa be az adattermékekre vonatkozó fogyasztási és életciklus-szabványokat. 1. ábra. Az adatok működési szabványainak beállításának három lépése.

1. Adatbetöltési szabványok beállítása

A OneLake a Microsoft Fabricben az elemzések és az AI központi adattavaként működik, ezért a vezetőknek szabályozniuk kell, hogy mi kerüljön be. Ajánlás: Állítson be egyértelmű határokat, hogy a csapatok csak a meghatározott üzleti eredményeket támogató adatokat foglalhassák le. A javaslat alkalmazásához használja az alábbi ellenőrzőlistát.

  1. Milyen adatokat egyesít? Az adategyesítés a OneLake-ben olyan adatok kiválasztását jelenti, amelyek egy mérhető üzleti eredményhez kötött adatterméket támogatnak. Ajánlott eljárások: Csak akkor hozzon be adatokat a OneLake-be, ha támogatja az adatterméket, és üzleti értéket ad hozzá. Az adatbetöltést ne technikai, hanem termékdöntésként kezelje. Döntési útmutató: Döntse el, hogy betölti-e az adatokat, amikor elmagyarázza vagy méri a vezetők által követett üzleti folyamatot vagy eredményt. Ha nincs aktív használati eset, az operatív rendszerekben vagy a részlegszintű tárolóban hagyja az adatokat. Ez a választási lehetőség csökkenti a tárolási költségeket és a szabályozási többletterhelést.

  2. Az együttműködés és a tudástartalmak megőrzése a Microsoft 365-ben. A Microsoft 365-adatok támogatják a Microsoft 365 Copilot-ügynököket. Ezek az ügynökök dokumentumokat, e-maileket és együttműködési összetevőket kérnek le a meglévő engedélyek tiszteletben tartása mellett. Lásd Microsoft 365 Copilot architektúra. Ajánlott eljárások: Használja a Microsoft 365-öt olyan tartalmak rekordrendszereként, amelyek elsődleges célja az együttműködés, a hivatkozás vagy a tudás lekérése. Az adatok előkészítéséhez használja a Microsoft 365 bevezetési útmutatót .

  3. Az operatív adatbázisok integrálása támogatott mintákon keresztül. Az operatív adatbázisok gyakran analitikus és AI-forgatókönyveket biztosítanak, de a közvetlen hozzáférés kockázatot és instabilitást okoz. Ajánlott eljárások: Használja a Microsoft Fabric által támogatott mintákat, például a virtuális hozzáférés billentyűparancsait és a replikált hozzáférés tükrözését . Az Azure-adatbázisok gyakran tükrözést igényelnek a megbízható integráció érdekében. Döntési útmutató: Válassza a gyorsbillentyűket, amikor a virtuális hozzáférés megfelel a teljesítményigényeknek. Akkor válassza a tükrözést, ha az elemzési teljesítmény, az elkülönítés vagy az alárendelt újrafelhasználás fizikai másolatot igényel a OneLake-ben.

  4. Meglévő adattavak integrálása. Számos szervezet már üzemeltet adattavakat, például az Azure Data Lake Storage-t (ADLS), a Google Cloud Storage-t vagy az Amazon S3-at. Ajánlott eljárások: A meglévő tavakat az egyesített adattulajdon részeként kezelje ahelyett, hogy azonnali migrálásra kényszerítenél. Használjon billentyűparancsokat vagy tükrözést. Döntési útmutató: Döntsön a felkészültség és a kockázat alapján. A duplikációk elkerülése érdekében válassza a billentyűparancsokat. Válassza a tükrözést, ha a konzisztencia, a teljesítmény vagy a megfelelőség meghaladja a duplikálás költségét.

  5. Az Azure Databricks kimenetek megjelenítése a OneLake-ben. Az Azure Databricks gyakran készít válogatott elemzési adatokat. Ajánlott eljárások: Tartsa a Databricks-folyamatokat a helyükön, és tegye láthatóvá a végleges Gold-eredményeket a OneLake-ben. Döntési útmutató: A replikáció elkerüléséhez és az igényeknek megfelelő táveléréshez válassza a billentyűparancsokat . Válassza a tükrözést , ha a szabályozási vagy fogyasztási minták helyi adatokat igényelnek.

  6. Különítse el a belső és a külső adatbevitelt. A belső elemzési adatok és a külső adatok eltérő vezérlőket igényelnek. Ajánlott eljárások: Hozzon létre külön munkaterületeket vagy tóterületeket külső adattermékekhez. Csak a jóváhagyott külső adathalmazokat tárolja ezeken a helyeken. Döntési útmutató: Döntse el, hogy az adatok támogatják-e a belső döntéseket vagy a külső megosztást. Válassza ki a fizikai elkülönítést a véletlen expozíció csökkentése és a biztonsági szabályzatok kényszerítése egyszerűsítése érdekében.

2. Adatátalakítási szabványok beállítása

Csak az első lépés az adatok beolvasása a OneLake-be. A valós érték abból ered, hogy a nyers adatokat kiváló minőségű, használatra kész adattermékekké alakítja át. A vezetők nem terveznek folyamatokat, de olyan platformokat és architekturális szabványokat határoznak meg, amelyek megakadályozzák a töredezettség kialakulását. Ajánlás: Szabványosítsa az átalakítási platformokat, és konzisztens finomítási architektúrát kényszerítsen ki. A javaslat alkalmazásához használja az alábbi ellenőrzőlistát:

2.1. A megfelelő adatplatform használata

A választott platform az adattermékekre vonatkozó üzemeltetési követelményeket állítja be Microsoft- és Azure-környezetekben. Ajánlás: Minden adattermék esetében egyensúlyba kell helyezni az egyszerűséget és az integrációt a speciális mérnöki képességek iránti igényekkel. A javaslat alkalmazásához használja az alábbi ellenőrzőlistát:

  1. Szövet (alapértelmezett) A Fabric integrált adatelemzési, elemzési és BI-motorokat biztosít, amelyek közvetlenül a OneLake-en működnek, amelyek a szervezet egységesített adatvagyonaként működnek. Ajánlott eljárások: A Fabric használata standard elemzésekhez, jelentéskészítéshez és adatelőkészítéshez. Előnyben részesíti a natív Fabric-motorokat, például a Gen2- és Spark-adatfolyamokat, valamint az SQL-t a hozzáférés-vezérlés, a vonalvezetés és a költségkezelés egyszerűsítése érdekében. Használja a OneLake-t egyetlen tárolási rétegként. Döntési útmutató: Válassza a Fabric megoldást, ha a követelmények megfelelnek a beépített képességeknek, és ha a vezetőség az egységes irányítást és számlázást értékeli. Az alacsonyabb működési költségekért cserébe korlátozott testreszabást fogad el.

  2. Azure Databricks. Sokan az Azure Databrickset részesítik előnyben. Támogatja a nagy léptékű feldolgozást és a fejlett gépi tanulási forgatókönyveket. Ajánlott eljárások: Folytassa a Databricks használatát, ha már létezik szakértelem vagy skálázás. A kimeneteket a OneLake-ben kell elhelyezni, vagy a OneLake-parancsikonokon keresztül kell csatlakoztatni, hogy a szabályozás, a biztonság és a feltárás központosított maradjon. Döntési útmutató: Válassza a Databricks-t, ha a Fabric nem felel meg az aktuális követelményeknek. Fogadja el a magasabb integrációs és készség-többletterhelést kompromisszumként.

  3. Platform tulajdonjogi határainak kikényszerítése. A platformhatárok egyértelmű törlése megakadályozza a duplikált költségeket és az inkonzisztens logikát a rendszerek között. Ajánlott eljárások: Az egyes számítási feladatok osztályainak felelősségét rendelheti hozzá egy platformhoz. A platformfüggetlen feldolgozás jóváhagyása előtt architekturális felülvizsgálatra van szükség. Döntési útmutató: Döntse el, hogy melyik platform rendelkezik betöltési, átalakítási és elemzési eredményekkel. Megakadályozza az azonos üzleti eredményt eredményező ismétlődő átalakításokat és átfedésben lévő folyamatokat.

2.2. Medallion-architektúra alkalmazása

A medallion architektúra az összes adattermékre kiterjedő megbízhatóságot, konzisztenciát és szabályozást hoz létre azáltal, hogy egyértelmű előrehaladást határoz meg a nyers adatoktól az üzleti használatra kész kimenetekig. Ajánlás: A OneLake-ben az összes adatterméknek követnie kell a bronz, ezüst és arany szerkezetet, továbbá kerülni kell a kiskapukat, amelyek megkerülik ezeket a rétegeket. A javaslat alkalmazásához használja az alábbi ellenőrzőlistát:

  1. Nevezzen meg egy bronzréteget a rekordrendszerként (nyers betöltési): A bronz réteg pontosan úgy rögzíti az adatokat, ahogy a OneLake-be érkezik, és megőrzi az eredeti forráshűséget. Ajánlott eljárások: Az adatokat csak hozzáfűzőként és nem módosíthatóként tárolhatja. Ebben a szakaszban tiltsa meg a javításokat vagy a bővítést. Követelmény, hogy minden bejövő adatkészlet először a bronz rétegbe kerüljön. Döntési útmutató: Döntse el, hogy a bronz csak azért létezik, hogy megőrizze az igazságot a forrásrendszerekből. Lassabb használhatóság elfogadása az auditálásért és a nyomon követhetőségért cserébe.

  2. Állítsa be az ezüstréteget megbízható megtekintésként. Az ezüstréteg érvényesített, szabványosított és tisztított adatokat tartalmaz, amelyekre a csapatok következetes elemzésre támaszkodnak. Ajánlott eljárások: Adatminőségi szabályok alkalmazása, formátumigazítás és alapszintű üzleti ellenőrzés. Egyértelműen dokumentálhatja az ezüst adatkészleteket, és szabályozási folyamatokon keresztül kezelheti a változásokat. Döntési útmutató: Válassza ki az ezüstet mérvadó tisztított rétegként. Tiltsa meg, hogy a csapatok egymástól függetlenül újrakonkuláljanak nyers adatokat, ami ütköző értelmezéseket hoz létre.

  3. Gold (üzleti környezet, adattermékek): Arany adathalmazok minősítése üzleti adattermékként. Az aranyréteg olyan szabályozott adattermékeket biztosít, amelyeket a vezetők döntésekhez, teljesítménykövetéshez és jelentéskészítéshez használnak. Ajánlott eljárások: Aranyadatok igazítása jóváhagyott üzleti definíciókhoz és metrikákhoz. A szerkezetek optimalizálása a fogyasztás céljából. Regisztráljon minden aranyadatkészletet adattermékként a Microsoft Purview-ban tulajdonosi, cél- és frissítési adatokkal. Döntési útmutató: Döntse el, hogy a csapatokban vagy döntésekhez használt adatkészleteknek arany színben kell lenniük. Elutasíthatja a nem felügyelt vagy nem hitelesített adathalmazokat, amelyek megkerülik a szabályozást.

  4. Fertőtlenített termékeket hozhat létre külső használatra. A külső megosztáshoz szándékosan el kell különülni a belső működési adatoktól. Ajánlott eljárások: Olyan válogatott adatkészletek létrehozása, amelyek eltávolítják vagy maszkolják a bizalmas mezőket, és szükség esetén csökkentik a részleteket. Tulajdonjogot rendelhet hozzá, és egyértelmű címkéket alkalmazhat, például nyilvános vagy külső használatot. Ezeket az adathalmazokat jóváhagyott helyeken tárolja. Döntési útmutató: A külső adathalmazok független termékként való kezelését választja. További szabályozási lépések elfogadása a jogi és biztonsági kockázatok csökkentése érdekében.

A Fabric olyan materializált tónézeteken keresztül támogatja ezt a modellt, amelyek automatikusan kezelhetik az átalakításokat. Lásd Medallion Lakehouse Architecture in Fabric. Az elemzési architektúrát a Microsoft Fabric végpontok közötti elemzésével kapcsolatos cikkben találhatja meg.

Táblázat. Példa medál architektúrára. Az aranyréteg két adathalmaz adatait egyesíti.

Dataset Réteg Példaadatok Mi történt
Értékesítési tranzakciók Bronz OrderID=984321 · StoreID=17 · Amount="1200" · TxnDate="2026-01-05T14:32:09Z" Ez a rekord pontosan az elküldött módon érkezett az értékesítési rendszerből. Az összeg szövegként van megadva. Az időbélyeg a rendszer formátumát követi. Nincs jelentés alkalmazva.
Ezüst OrderID=984321 · StoreID=17 · Amount=1200,00 · TxnDate=2026-01-05 A tranzakció szabványosított és érvényesítve van. Az összeg numerikus. A dátum a vállalati szabályokat követi. Az adatok mostantól megbízhatóak.
Tárolási referencia Bronz StoreID="17" · RegionName="EAST" Ez a rekord egy helymeghatározó rendszerből érkezett. A formázás a forrást tükrözi.
Ezüst StoreID=17 · Region=East Az áruházazonosítók összhangban vannak az értékesítési adatokkal. A régióértékek tiszták és konzisztenssek.
Napi bevétel régiónként Arany Region=East · Date=2026-01-05 · TotalRevenue=425000 Ez az érték ötvözi a Silver értékesítési tranzakciókat a Silver Store referenciaadataival. Az egyes rekordok összegzése egy üzleti kérdés megválaszolásához.

2.3. Fontolja meg az adaptív aranyréteget

Az adaptív arany a jövőbe tekintő szempontok közé tartozik. Az a gondolat, hogy AI-ügynököket használjon aranyrétegek létrehozására. Az ügynökök megfigyelhetik azokat a mintákat, amelyeket esetleg nem tud. Ha a felhasználók gyakran kérik a "leggyakoribb ügyfélproblémákat régiónként havonta", az AI-ügynökök ezt az adatkészletet is létrehozhatják. Ez a funkció jelenleg nem áll rendelkezésre a Microsoft Fabricben. Ehhez létre kell hozatni egy egyéni AI-ügynököt, amely a Fabric és a Power BI telemetrián működik.

3. Adattermék-közzétételi szabványok beállítása

A közzétételi szabványok határozzák meg, hogy szervezete hogyan teszi elérhetővé a megbízható adattermékeket a Microsoft Fabric OneLake és a Microsoft Purview segítségével. A cél az újrafelhasználás skálázása, az irányítás kikényszerítése és a kockázat csökkentése az elemzések és az AI-számítási feladatok esetében. Ajánlás: Hozzon létre egyetlen közzétételi szabványt, amely minden jóváhagyott adatterméket felderíthetővé, szabályozhatóvá és egyértelműen egy meghatározott célközönségnek szán a széles körű használat előtt. A javaslat alkalmazásához használja az alábbi ellenőrzőlistát:

  1. A kiadvány egységesítése a OneLake-katalóguson keresztül. A OneLake Catalog egységes hozzáférési felületet biztosít az adattermékekhez a Fabric és külső feldolgozási platformokon, például a Databricksben. Ajánlott eljárások: Használja a OneLake-t az összes jóváhagyott adattermék alapértelmezett végrehajtási és fogyasztási rétegeként. Kezelje a Microsoft Purview-t a cégirányítási és üzleti definíciók rekordrendszereként. Ez az igazítás lehetővé teszi, hogy a Power BI, a Fabric-adatügynökök és az Azure AI Search egységesen használja fel az adatokat, miközben lehetővé teszi a központosított szabályozási láthatóságot.

  2. Ellenőrizze a felderíthetőséget. A felderíthetőség biztosítja, hogy a döntéshozók és a fogyasztók nem hivatalos ismeretek nélkül találják meg a megbízható adattermékeket. Ajánlott eljárások: Konfigurálja a Fabric-munkaterület láthatóságát, hogy a releváns célközönségek felfedezhessék az elemeket. Nincs szükségük hozzáférésre, csak arra, hogy hozzáférést kérjenek. Engedélyezze a Purview hozzáférési kérelmek munkafolyamatait , hogy a felhasználók közvetlenül a katalógusból kérhessenek engedélyt. Döntési útmutató: Széles körű felderíthetőséget választhat, ha a cél a tartományok közötti újrafelhasználás. Korlátozott felderíthetőség kiválasztása szabályozási vagy titoktartási korlátozások alkalmazása esetén. Az eszközök elrejtése helyett a hozzáférés-vezérléssel is kiegyensúlyozza a láthatóságot.

  3. A metaadatok bővítésének meghatalmazása a közzétételkor. A metaadatok olyan környezetet biztosítanak, amely lehetővé teszi a vezetők számára az adattermék alkalmasságának, megbízhatóságának és újrafelhasználásának értékelését. Ajánlott eljárások: Leíró metaadatok megkövetelése a közzétételkor. A Fabric címkéivel üzleti tartomány vagy kezdeményezés szerint osztályozhatja a termékeket. Győződjön meg arról, hogy a leírások ismertetik a célt és az adattartományt. Ez a gyakorlat támogatja a katalóguskeresést, és javítja az újrafelhasználási bizalmat. Döntési útmutató: Döntse el, hogy a metaadat-követelmények minimálisak maradnak-e, vagy szabványos sémát kényszerítenek-e ki. Akkor válasszon standard sémát, ha a szervezet több tartományt üzemeltet, és konzisztenciára van szüksége. Válasszon egy könnyebb megközelítést a korai érettségi szakaszokhoz.

  4. Szükség esetén hagyja jóvá és tanúsítsa. Jóváhagyási és minősítési feltételek meghatározása. A jóváhagyás jelzi a megbízhatósági szintet és az irányítási érettséget a szervezet számára. Ajánlott eljárások: Az Előléptetett használatával jelezheti a tartomány által ajánlott termékeket. A Certified használatával jelezheti azokat a termékeket, amelyek hivatalos szabályozási felülvizsgálaton mentek át. Minősítés alkalmazása olyan Gold-adathalmazokra, amelyek támogatják a vezetői jelentéskészítést vagy a kritikus elemzéseket. A hálózati keretrendszer hitelesítési útmutatója a hitelesítés résznél. Döntési útmutató: Döntse el, hogy mely termékek igényelnek minősítést. Válassza a kötelező tanúsítványt a vezetői vagy szabályozási munkaterhelésekhez. Válassza az opcionális minősítést, ha a sebesség és a kísérletezés elsőbbséget élvez. Fogadja el a lassabb előkészítést, mint a nagyobb bizalom kompromisszumát.

  5. Közzététel adattermékként a Purview-ban. A Purview-adattermékek magasabb szintű nézetet biztosítanak, amely egy felügyelt termék életciklusába csoportosítja az objektumokat. Ajánlott eljárások: Hozzon létre egy Purview-adattermék-bejegyzést minden közzétett adattermékhez. Adja meg a termék nevét, leírását, tulajdonosait, minőségi állapotát és kapcsolódó eszközeit, például táblákat, modelleket és jelentéseket. Referenciaadat-termékek az egyesített katalógusban. Döntési útmutató: Döntse el, hogy a Purview-adattermékek szükségesek-e az összes közzétett eszközhöz, vagy csak a stratégiai termékekhez. Válassza ki a teljes lefedettséget, ha a portfólió láthatósága fontos. Válassza ki a szelektív lefedettséget, ha a szabályozási kapacitás korlátozott.

  6. Deklarálja a célközönséget és a használatot. A egyértelmű szándék megakadályozza a visszaélést, és támogatja a megfelelőséget az elemzési és AI-forgatókönyvekben. Ajánlott eljárások: Minden adatterméknek meg kell adnia a kívánt célközönséget és a támogatott számítási feladattípust. Belső, partneri vagy nyilvános használat megadása. MI, elemző, üzleti intelligencia vagy nyilvános webes forgatókönyvek azonosítása. Használja a Purview-metaadatokat, a szószedeti kifejezéseket és a bizalmassági címkéket , hogy következetesen kifejezze ezt a szándékot. Döntési útmutató: Döntse el, hogy a külső vagy az ügynök használata további jóváhagyást igényel-e. Szigorúbb jóváhagyást választhat, ha az adatok elhagyják a szervezeti határokat. A kockázat csökkentése érdekében fogadja el a lassabb közzétételt.

Következő lépés