Koristite bazu podataka za migraciju podataka

Ova referentna arhitektura naglašava stratešku ulogu baze podataka u velikim i složenim migracijama podataka. Umesto da prenosi podatke direktno iz izvornog sistema u ciljno okruženje, proces uvodi srednji sloj za postavljanje. Podaci se prvo unose u privremenu bazu podataka za migraciju, gde se podvrgavaju transformaciji i validaciji. Tek nakon završetka ovih koraka, podaci se učitavaju u Dataverse. Ovaj obrazac poboljšava kvalitet podataka, obezbeđuje integritet i smanjuje verovatnoću grešaka tokom procesa migracije.

Dijagram arhitekture

Tok podataka

• Ekstrakt: Podaci se izvlače iz izvornih sistema.
• Faza: Podaci se učitavaju u izvornu bazu podataka.
• Transform: Migracijske skripte obrađuju i transformišu podatke.
• Opterećenje: Transformisani podaci se učitavaju u bazu podataka odredišta.
• Potvrdite: Ekcel šabloni se koriste za validaciju glavnih podataka.
• Integrišite: Alati za migraciju podataka učitavaju podatke u Dataverse i datoteke u Azure Blob ili SharePoint.

Komponente

• Izvorni sistem: Originalni izvor podataka, koji može uključivati nasleđene baze podataka, ERP sisteme ili aplikacije koje nisu Microsoft.
• Postavljanje baze podataka: Privremena, srednja prodavnica podataka koja se koristi za unos, transformaciju i validaciju podataka pre konačne migracije. Ovaj sloj razdvaja izvorne i ciljne sisteme, omogućavajući kontrolisanu i revidiranu pripremu podataka.
• ETL / ELT proces: Ekstrakt, transformisanje i učitavanje (ili izdvajanje, učitavanje, transformisanje) cevovoda koji premeštaju podatke iz izvora u bazu podataka, primenjuju poslovna pravila i pripremaju ih za Dataverse.
• Referentni podaci: Podaci koji se koriste za validaciju i obogaćivanje glavnih podataka tokom migracije. Na primer, Ekcel šabloni glavnih podataka.
• Dataverse: Ciljni sistem u kojem se očišćeni i potvrđeni podaci na kraju učitavaju za upotrebu u aplikacijama Pover Platform.
• Skladištenje datoteka: Skladištenje nestrukturiranih podataka kao što su prilozi i dokumenti. Na primer, Azure Blob Storage ili SharePoint.

Detalji scenarija

Ova arhitektura dobro funkcioniše za scenarije u kojima:

• Izvorni sistem sadrži velike količine podataka ili složene relacijske strukture koje zahtevaju transformaciju pre unosa u Dataverse.
• Direktna migracija nije izvodljiva zbog problema sa kvalitetom podataka, neusklađenosti šeme ili potrebe za sprovođenjem poslovnih pravila.
• Proces migracije mora biti revidiran, ponovljiv i podržavati vraćanje ili ponovnu obradu određenih segmenata podataka.
• Organizacija zahteva fazni ili inkrementalni pristup migraciji, kao što je tokom modernizacije sistema ili projekta tranzicije oblaka.

Primeri slučajeva korišćenja

• Migriranje podataka o klijentima i transakcijama iz lokalnog ERP sistema u Dataverse za upotrebu u Pover Apps i Pover Automate.
• Konsolidacija podataka iz više nasleđenih sistema u jedinstveno Dataverse okruženje.
• Izvođenje obogaćivanja podataka pre učitavanja, kao što su geokodiranje adresa ili mapiranje nasleđenih kodova na nove taksonomije.

Belešku

Ovaj primer pretpostavlja da su analiza procesa i evaluacija rešenja već sprovedeni, i da je Dataverse identifikovan kao odgovarajuće odredište za podatke. Timovi uvek treba da procene da li je aplikacija prve strane, kao što je Dinamics 365 Finance and Operations (F &O), bolje usklađena sa poslovnim potrebama pre nego što nastavi sa prilagođenim implementacijama u Dataverse.

Saznajte više: Vodič za implementaciju Dinamics KSNUMKS

Ključne prednosti

• Osiguranje kvaliteta podataka: Sloj za postavljanje omogućava temeljnu validaciju i transformaciju pre nego što podaci stignu u proizvodno okruženje.
• Izolacija greške: Problemi se mogu identifikovati i rešiti u okruženju bez uticaja na izvorne ili ciljne sisteme.
• Skalabilnost: Podržava velike količine podataka i složenu logiku transformacije.
• Revizija: Omogućava praćenje istorije podataka i transformacije.

Pitanja na koja treba obratiti pažnju

Ova razmatranja implementiraju stubove Power Platform Vell-Architected, skup vodećih načela koja poboljšavaju kvalitet radnog opterećenja. Saznajte više u Microsoft Power Platform Vell-Architected.

Pouzdanost

• Dizajnirajte proces postavljanja i migracije kako biste bili otporni na neuspjehe. Implementirati logiku ponovnog pokušaja i kontrolne tačke u ETL cevovodima za rukovanje prolaznim greškama.
• Potvrdite potpunost i integritet podataka pre učitavanja podataka u Dataverse da biste izbegli delimične ili korumpirane migracije.

Bezbednost

• Primenite kontrolu pristupa zasnovanu na ulozi (RBAC) da biste ograničili pristup bazi podataka i alatima za migraciju.
• Šifrovanje podataka u mirovanju i u tranzitu, posebno kada rukuje osetljivim ili ličnim podacima.
• Prijavite i nadgledajte pristup okruženju za postavljanje i Dataverse kako biste podržali zahteve revizije i usklađenosti.

Efikasnost performansi

• Optimizujte logiku ekstrakcije podataka i transformacije kako biste smanjili vreme obrade i potrošnju resursa.
• Koristite batch obradu i paralelizam gde je to potrebno za efikasno rukovanje velikim količinama podataka.
• Pratite metrike performansi okruženja za postavljanje i prilagodite računarske resurse po potrebi.

Operativna izvrsnost

• Dokumentujte proces migracije, uključujući mapiranje podataka, pravila transformacije i logiku validacije.
• Implementirati automatizovane skripte za testiranje i validaciju kako bi se osigurala ponovljivost i smanjila ljudska greška.
• Koristite alate za orkestraciju kao što je Azure Data Factori za upravljanje i nadgledanje toka migracije od kraja do kraja.

Sledeći korak

Sledeći članak opisuje dokazani pristup za upravljanje migracijama velikih razmera. Jedan od najvećih izazova u složenim migracijama je praćenje učitanih podataka, rukovanje greškama i ponovni pokušaj neuspelih zapisa. Pošto ove migracije mogu trajati danima ili čak nedeljama, koristite faznu strategiju. Ova strategija migrira samo delta podatke tokom konačnog preokreta proizvodnje kako bi se smanjili poremećaji.

Planirajte faznu migraciju