Käytä SQL-tietokantaa käänteisessä ETL:ssä

Koskee Microsoft Fabricin SQL-tietokantaa✅

Tässä artikkelissa kuvataan, miten SQL-tietokantaa käytetään Fabricissa käänteisenä ETL-kohteena Fabric-pohjaisessa tietovarassa. Se tarjoaa arkkitehtonista ohjausta, toiminnallisia malleja ja toteutuksen näkökulmia, joiden avulla kuratoidun datan siirtäminen analyyttisistä lähteistä (kuten Microsoft Fabric Data Warehouse tai Fabric Lakehouse) SQL-tietokantaan Fabricissa sovellusten, rajapintojen ja reaaliaikaisten kokemusten operatiivista käyttöä varten.

Mitä on käänteinen ETL Fabricissa?

Monet asiakkaat ovat investoineet merkittävästi aikaa ja vaivaa louhinta-, muunnos-, kuormitusprosessien (ETL) luomiseen, jotta raaka operatiivinen data muunnetaan tarkemmaksi analyyttiseksi dataksi, jota voidaan käyttää liiketoiminnan raportointiin. ETL-prosessin lopputuloksena on tyypillisesti analyyttinen varasto, kuten varasto tai järvivarasto, johon raportointikerros kuten Power BI pääsee käsiksi. Tämä arkkitehtuuri palvelee yrityskäyttäjiä hyvin, mutta raportointi on suhteellisen staattista ja oivalluksia voidaan saada vain ihmisen välittämällä. Reverse ETL:n avulla muunnetut tiedot voidaan syöttää takaisin operatiivisiin järjestelmiin, jotta sovellukset ja agentit voivat saada näkemyksiä analysoidusta datasta reaaliajassa. Käänteinen ETL työntää dataa faktoista ja ulottuvuuksista analyyttisissa varastoissa palvelukerrokseen, jossa siihen pääsee käsiksi päätepisteiden, kuten GraphQL :n, tai suoraan TDS-kyselyiden (Tabular Data Stream ) kautta.

Vaikka operatiivisia sovelluksia voi yhdistää suoraan varastoon tai järvenvarastoon, nämä tietovarastot on suunniteltu analyyttisiin työkuormiin. Operatiiviset tietovarastot, kuten SQL-tietokanta Fabricissa, on suunniteltu tukemaan transaktionaalisia kyselyitä ja tarjoavat paremman suorituskyvyn ja skaalautuvuuden operatiivisille työkuormille. Operatiiviset tietokannat tarjoavat myös mahdollisuuden rikastuttaa dataa vektoriupotuksilla ja lisämetatiedolla, mikä helpottaa vektori- ja hybridihakua sekä hakua täydentävää generointia (RAG).

• Tässä mallissa varasto tai järvitalo pysyy analyyttisena tietojärjestelmänä.
• SQL-tietokanta Fabricissa toimii operatiivisena varastona, joka tarjoaa matalan viiveen, tarkennetun indeksoinnin, tiukat data- ja suhderajoitukset sekä sovellustiimien odottavat SLA:t.

Yleiset käänteiset ETL-kohteet

Yleiset käänteiset ETL-kohteet edustavat tyypillisesti kuratoituja, arvokkaita dataviipaleita, joita operatiiviset järjestelmät voivat käyttää mahdollisimman vähäisellä muunnoksella. Nämä tavoitteet on suunniteltu tarjoamaan matalan viiveen pääsy luotettuun dataan säilyttäen samalla liiketoimintalogiikan analytiikkakerroksessa. Esimerkkeinä:

• Asiakas- ja käyttäjätiedot (esimerkiksi sitoutumismittarit kuten istuntojen aktiivisuus, ominaisuuksien käyttö ja vuorovaikutukset)
• Myynti- ja markkinointidata (esimerkiksi pisteytysmittareiden kuten ostotaipumus, sitoutumispisteet, todennäköisyys konversiota)
• Operatiiviset ja transaktiotiedot (esimerkiksi tilaus- ja varastotiedot, kuten varastotasot, tilaustila ja toimitusajat)
• AI/ML:stä johdettu data (esimerkiksi personoidut tuotesuositukset, ennakoivat pisteet kuten churn-riski tai upseller-taipumus, tai sentimenttianalyysi)

Datan siirtomekanismit

Prosessi alkaa määrittelemällä lähdedatasi, asettamalla kohteen ja valitsemalla sitten datan siirtomekanismin. Valitse yksi tai useampi seuraavista mekanismeista siirtääksesi dataa analytiikkavarastostasi SQL-tietokantaan Fabricissa.

Vihje

Yleissääntönä käytetään:

• Putket yksinkertaisiin kopiointiin ja ajoituksiin.
• Dataflows Gen2 low-code-muunnoksiin.
• Spark monimutkaiseen ja laajamittaiseen prosessointiin (mukaan lukien koneoppiminen).
• T-SQL:n ylittäminen on mahdollista, jotta operaatiot pysyvät SQL-keskeisinä, esimerkiksi yhdistämällä SQL-tietokannan taulu varaston tai SQL-analytiikan päätepisteen taulukkoon.

Mekanismi	Käyttö kun	Vahvuuksia	Näkökohdat
Fabric -tietoputkien	Tarvitset hallittuja, toistettavia kuormia (erä- tai mikroerä) datan kopiointitoimintoja	Ensiluokkainen integraatio; Tukee vesileimaamista ja tallennettuja menettelyjä	Samanaikaisuus; skaalaa SQL-tietokanta kuormituksen aikana
Tietovirta Gen2	Tarvitset low-code-datamuunnoksia ja parannettua prosessilogiikkaa	Yritysystävällinen; tukee pylväiden muotoilua ja puhdistusta	Pienempi läpäisykyky suurille tilavuuksille; Suunnitelman jakaminen
Spark (muistikirjat/työt)	Tarvitset monimutkaisia koodipohjaisia muunnoksia ja laajamittaisia muokkauksia	Täysi koodin hallinta; tehokkaat Delta-lukemat; JDBC:n kirjoitustuki	Tunnistautuminen ja eräajo; Vältä suuria kauppoja.
Cross-item T-SQL queries	Tarvitset tietokannan sisäisen SQL-siirron Fabric-kohteiden välillä	Vähäinen putkisto; SQL-natiivinen; Helppo aikatauluttaa

Viitearkkitehtuuri: käänteinen ETL SQL-tietokantaan Fabricissa

Fabricin käänteisen ETL:n viitearkkitehtuuri kokoaa yhteen olennaiset rakennuspalikat, joita tarvitaan kuratoidun analyyttisen datan operationalisoimiseksi. Se näyttää, miten data virtaa luotettavista analyyttisistä lähteistä muunnoskerrosten kautta rakenteelliseen SQL-tietokantaan. Operatiivinen tietokanta toimii rajapintana alavirran järjestelmille. Tämä malli varmistaa, että sovellukset, API:t ja raportointityökalut voivat päästä käsiksi matalan viiveen ja korkealaatuiseen dataan vaarantamatta analyyttisen järjestelmän eheyttä.

Tämän kulun ydinkomponentteja ovat:

• Lähde: Kuratoituja aineistoja Fabric Data Warehousesta tai Lakehousesta (Delta).
• Muunnokset: Käänteiset ETL-muunnokset, joita sovelletaan Pipelines-, Dataflow Gen2:n, Sparkin tai ristiin-elementtien T-SQL:n avulla.
• Kohde: SQL-tietokanta Fabricissa , jossa on määritelty laskeutuminen, historia (valinnainen), karanteeni ja palvelusskeemat.
• Kuluttajat: Sovellukset GraphQL :n tai TDS:n kautta, API:t ja Power BI reaaliaikaisiin hallintapaneeliin ja raportointiin.

Komponentit

Seuraavat komponentit osallistuvat SQL-tietokannan yleiseen käyttöprosessiin Fabricissa käänteisenä ETL-kohteena.

Palvelus- ja maihinnoususkeemat

• Kartoita lähdedata sopiviin laskeutumisskeemoihin SQL-tietokannassa Fabricissa.
• Voit halutessasi ylläpitää history skeemaa auditoitavuutta varten.
• Käytä quarantine skeemaa hylkäyksiin (datan laatuongelmiin).
• Määrittele skeema serving alavirran kulutukselle sopivilla rajoituksilla ja indeksoinnilla.

Hallinta

• Aikatauluta siirrot Fabricissa käyttämällä Pipelinesia, Dataflowsia tai Spark Jobsia.
• Käytä sisäänrakennettua aikataulutusta määrittääksesi rytmin, aloitusajan ja aikavyöhykkeen.
• Aikatauluta Spark-muistikirjat Fabric-portaalin tai API:n kautta.
• Seuraa päästä päähän -suorituksia Fabric Monitoring Hubissa.

Kulutus

• Altista dataa GraphQL-päätelaitteiden kautta tai T-SQL :n kautta TDS :n kautta käyttämällä asiakaskirjastoja, kuten ADO.NET (ja muita).
• Rakenna Power BI -dashboardit ja visualisoinnit suoraan SQL-tietokannan kautta Fabricissa.

Hallinto ja suojaus

• Käytä Microsoft Entra ID :tä todennukseen ja valtuutukseen.
• Yhdistä Fabric-työtilan roolit, käyttöoikeudet ja SQL-oikeudet yksityiskohtaista ohjausta varten.
• Valinnaisesti voit konfiguroida asiakkaan hallinnoimia avaimia lepotilassa olevan datan salaukseen.
• Auditoi pääsy ja suojaa siirron aikana olevia tietoja käyttämällä Private Linkiä.

Sovelluspalvelut

Kun olet kuratoinut ja päivittänyt dataa SQL-tietokannassa, keskity nopean ja luotettavan pääsyn mahdollistamiseen operatiivisille käyttäjille. Tässä yhteydessä sovelluspalvelu tarkoittaa luotettavien tietoaineistojen paljastamista matalaviiveisten rajapintojen kautta, jotka vastaavat nykyaikaisia sovellusmalleja.

Kun data on laskettu ja päivitetty SQL-tietokantaan Fabricissa:

• Toiminnallisten kuormien palvelemiseksi datan altistamiseksi GraphQL-päätelaitteiden tai TDS-protokollan kautta, joka kulutetaan ADO.NET - ja muiden asiakaskirjastojen kautta. Esimerkiksi tarjoa tuotetietoa, toimitusketjua tai asiakaspalvelun käyttötapauksia.
• Yhdistä aineisto Power BI :hen toimittaaksesi reaaliaikaiset dashboardit ja itsepalveluanalytiikkaa.

Kangaskohtaiset näkökohdat

SQL-tietokanta Fabricissa käyttää samaa SQL-tietokantamoottoria kuin Azure SQL Database ja sitä ohjataan, suojataan, laskutetaan ja operoidaan Fabric-portaalin kautta. Se tarjoaa myös sisäänrakennetun peilauksen Microsoft OneLakeentallennettuun Delta/Parquet-tiedostoihin, joihin pääsee käsiksi SQL-analytiikkapäätelaitteen kautta. Koska se on Microsoft Fabric -ympäristössä, suunnittelua tehdessäsi tulee ottaa huomioon muutamia seikkoja:

• Ominaisuuksien pariteetti: SQL-tietokanta Fabricissa lähestyy Azure SQL Databasea. Vahvista tarvitsemasi ominaisuudet tarkoitukseen sopivuuden varmistamiseksi ja seuraa tiekartan päivityksiä.
• Turvallisuusmalli: SQL-tietokanta Fabricissa käyttää vain Microsoft Entra ID -tunnistautumista. Suunnittele Pipelines-, Dataflow- ja Spark-tehtävien identiteetit sen mukaisesti.
• Replikaatio: SQL-tietokanta Fabricissa replikoi automaattisesti vain luku -datan OneLakeen. Tämä synkronointi on hyödyllinen raportointi- ja analyysitarpeissa, kun tietokanta pysyy käytettävissä luku- ja kirjoitustyökuormiin.

Aiheeseen liittyvä sisältö

• Käytä SQL-tietokantaa operatiivisena tietovarastona
• Käytä SQL-tietokantaa translyttisten sovellusten lähteenä
• Älykkäät sovellukset ja tekoäly