Jaa

Käytä SQL-tietokantaa operatiivisena tietovarastona

Koskee Microsoft Fabricin SQL-tietokantaa✅

Tässä artikkelissa kuvataan, miten operatiivinen tietovarasto (ODS ) toteutetaan SQL-tietokannan avulla Fabricissa. Se tarjoaa arkkitehtonista ohjausta, suunnittelumalleja, työkuorman ominaisuuksia sekä Fabric-erityisiä huomioita turvallisen, suorituskykyisen ja hallitun ODS:n rakentamiseksi.

Kaavio SQL-tietokannan käyttötapauksesta Fabricissa operatiivisena tietovarastona (ODS).

Mikä on ODS?

Operatiivinen tietovarasto (ODS) on subjekteihinlähtöinen, integroitu ja lähes reaaliaikainen tallennus, joka yhdistää useiden operatiivisten järjestelmien tiedot kevyesti kuratoituun, normalisoituun malliin – tyypillisesti normalisoiduissa skeemoissa. Se tukee operatiivista raportointia, kevyttä analytiikkaa, API-palvelua sekä alavirran leviämistä analyyttisille kerroksille, kuten Fabric Warehouselle tai Fabric Lakehouselle.

ODS ei ole lähdepohjainen verkkotransaktioiden käsittelyjärjestelmä (OLTP) tai ulottuvuusvarasto.

Sen sijaan se toimii "kuumana, harmonisoituna totuutena" viimeiset N minuuttia, tuntia tai päivää, istuen lähdejärjestelmien ja analyyttisten alustojen välissä.

ODS:n keskeiset ominaisuudet

Microsoft Fabricin operatiivinen tietovarasto (ODS) on suunniteltu tarjoamaan lähes reaaliaikainen näkymä operatiivisesta datasta vahvoilla hallinnan ja suorituskyvyn takuilla.

  • Se vastaanottaa dataa useista lähdejärjestelmistä, ja viiveellä on vähä.
  • Skeema normalisoidaan tyypillisesti kolmannessa normaalimuodossa (3NF), jotta joustavuus ja jäljitettävyys tuettaisiin.
  • Datan laatua valvotaan duplikaation poistolla, identiteetin ratkaisemisella ja myöhässä saapuvien tai pehmeästi poistettujen tietueiden käsittelyllä, luoden luotettavan perustan operatiiviselle raportoinnille ja alavirran analytiikalle.
  • Palvelumalleihin kuuluvat SQL-pohjaiset kyselyt, toiminnalliset dashboardit, hälytykset ja rajapinnat, kun taas Fabricin hallintaominaisuudet varmistavat vaatimustenmukaisuuden ja turvallisuuden koko datan elinkaaren ajan.

SQL-tietokanta Fabricissa toimii turvallisena ja tehokkaana kanavana operatiivisen datan ja analytiikka-alustojen välillä.

Komponentit

Seuraavat komponentit osallistuvat SQL-tietokannan käyttöön Fabricissa operatiivisena tietovarastona:

  • Rajoitteet ja avaimet: Valvo liiketoimintalogiikkaa ja referentiaalista eheyttä (luonnolliset avaimet, sijaisavaimet, vieraat avaimet).
  • Identiteetin ratkaisu: Dedkuplikaatio eri lähteiden välillä; Soveltaa selviytymissääntöjä.
  • Palveleminen: Avaa GraphQL-päätepisteet ja/tai rakenna Power BI -dashboardeja.

Syöttö- ja työkuorman parhaat käytännöt

SQL-tietokannan ODS:n rakentaminen Fabricissa vaatii syöttöstrategioita, jotka tasapainottavat tuoreuden, luotettavuuden ja suorituskyvyn.

  • Erä- ja inkrementaaliset kuormat järjestetään tyypillisesti Fabric Data Pipelinesin kautta käyttämällä muutostietojen keräämistä mahdollistavia liittimiä, joissa on vesileimaus ja uudelleenyrityslogiikka johdonmukaisuuden varmistamiseksi.
    • Säädä putkistojen samanaikaisuutta niin, että SQL-tietokanta skaalautuu huippukuormituksissa samalla kun se täyttää palvelutason tavoitteet datan tuoreudessa.
    • Vesileimaus on tärkeä käsite inkrementaalisissa kopioprosesseissa. Se auttaa sinua helposti tunnistamaan, missä lisäkuorma viimeksi pysähtyi.
  • Suorita raskaita muunnoksia ylävirtaan Dataflow Gen2:ssa tai Spark Notebooksissa. Varaa SQL-kerros lopullisille MERGE toiminnoille, jotka valvovat rajoituksia ja ylläpitävät OLTP-tyyppistä suorituskykyä.
  • Käytä idempotentteja suunnittelumalleja, jotka yhdistävät muutosten tunnistuksen, vesileimauksen, T-SQL:N yhdistämisen ja ohjaustaulukot turvalliseen uudelleenkäynnistykseen ja toiminnalliseen kestävyyteen.

Moottori ja ympäristö

SQL-tietokanta Fabricissa perustuu samaan SQL-tietokantamoottoriin kuin Azure SQL Database, tarjoten tutun T-SQL-kokemuksen täydellä yhteensopivuudella standardien asiakastyökalujen kanssa.

Käyttämällä SQL Databasea Microsoft Fabricissa voit luoda kokonaisia työnkulkuja sisäänkäynnistä analytiikkaan käyttämällä Microsoft Fabricin muita ominaisuuksia:

  • Tietoputket
  • Tietovuo Gen2
  • Notebooks
  • Real-Time intelligence
  • Power BI
  • Kaikki käytössä virtaviivaistetulla DevOpsilla käyttämällä Git-pohjaista CI/CD:tä

Aiheeseen liittyvä sisältö

  • Last updated on