Siirtomenetelmät Azure Synapse Analyticsille, joilla on erilliset SQL-varannot Fabric tietovarastoen

Koskee:✅ Varasto Microsoft Fabricissa

Tässä artikkelissa kuvataan menetelmiä tietovarastojen siirtämiseen Azure Synapse Analytics omistetuissa SQL-pooleissa Microsoft Fabric tietovarasto.

Vihje

Lisätietoja siirron strategiasta ja suunnittelusta on kohdassa siirron suunnittelu: Azure Synapse Analytics, joka on omistettu Sql-varannot Fabric tietovarasto: lle.

Azure Synapse Analyticsista erillisistä SQL-varannoista siirtymiseen on tarjolla automatisoitu käyttökokemus käyttämällä Fabric Migration Assistant for tietovarasto -. Artikkelin lopussa on lisää manuaalisia siirtymisvaiheita.

Tässä taulukossa on yhteenveto tietojen rakenteen (DDL), tietokantakoodin (DML) ja tietojen siirtomenetelmien tiedoista. Laajennamme jokaista skenaariota tarkemmin myöhemmin tässä artikkelissa, joka on linkitetty Vaihtoehto-sarakkeeseen.

Vaihtoehdon numero Asetus Kuvaus Taito/mieltymys Skenaario
1 Tietotehdas Schema (DDL) -muunto
Tieto poiminta
Tietojen käsittely
ADF/Pipeline Yksinkertaistettu kaikki yhdessä rakenteessa (DDL) ja tietojen siirtämisessä. Suositellaan dimensiotaulukoille.
2 Data Factory, jossa on osio Schema (DDL) -muunto
Tieto poiminta
Tietojen käsittely
ADF/Pipeline Osiointivaihtoehtojen käyttö luku- ja kirjoitusiden rinnakkaisuuden lisäämiseksi ja siten, että siirtomäärä on kymmenkertainen verrattuna asetukseen 1, on suositeltavaa faktataulukoissa.
3 Data Factory ja nopeutettu koodi Schema (DDL) -muunto ADF/Pipeline Muunna ja siirrä rakenne (DDL) ensin, pura ja poimi ja COPY/Data Factory-funktiota käyttämällä sitä tietojen käyttämiseen optimaalisen yleisen käsittelytehon takaamiseksi.
4 Tallennetut toimintosarjat nopeutettu koodi Schema (DDL) -muunto
Tieto poiminta
Koodin arviointi
T-SQL Integroitua kehitysympäristöä käyttävä SQL-käyttäjä määrittää tarkemmin, mitä tehtäviä hän haluaa käsitellä. Käytä COPY/Data Factory -komentoa tietojen käyttämiseen.
5 SQL Database Project -laajennus Visual Studio Codelle Schema (DDL) -muunto
Tieto poiminta
Koodin arviointi
SQL-projekti SQL-tietokantaprojekti käyttöönottoa varten ja vaihtoehdon 4 integrointi. Käytä COPY- tai Data Factory -kohdetta tietojen käyttämiseen.
6 LUO ULKOINEN TAULUKKO VALITTUNA (CETAS) Tieto poiminta T-SQL Kustannustehokkaat ja suorituskykyiset tiedot poimivat Azure Data Lake Storage (ADLS) Gen2:een. Käytä COPY/Data Factory -komentoa tietojen käyttämiseen.
7 Siirtyminen dbt:n avulla Schema (DDL) -muunto
tietokantakoodin (DML) muuntaminen
dbt Nykyiset dbt-käyttäjät voivat muuntaa DDL- ja DML-muuntonsa dbt Fabric -sovittimen avulla. Tämän jälkeen sinun on siirrettävä tiedot muiden tässä taulukossa olevien asetusten avulla.

Valitse kuormitus alkuperäiselle siirrolle

Kun päätät, mistä aloittaa Synapsen omistetun SQL-poolin Fabric tietovarasto migraatioprojektissa, valitse työkuorma-alue, jossa voit:

  • Todista siirtymisen toimivuus Fabric tietovarasto tarjoamalla nopeasti uuden ympäristön hyödyt. Aloita pienestä ja yksinkertaisesti, ja valmistaudu useisiin pieniin muuttoihin.
  • Anna talon tekniselle henkilöstölle aikaa saada asiaankuuluvaa kokemusta prosesseista ja työkaluista, joita he käyttävät siirtyessään muille alueille.
  • Luo malli lisäsietosijainteja varten, jotka liittyvät lähteen Synapse-ympäristöön sekä käytössä olevat työkalut ja prosessit.

Vihje

Luo objektiluettelo, joka on siirrettävä, ja dokumentoi siirtoprosessi alusta loppuun, jotta se voidaan toistaa muille varatuille SQL-varannoille tai kuormituksille.

Alkuperäisessä siirrossa siirretyn datan määrän tulisi olla riittävän suuri osoittamaan Fabric tietovarasto-ympäristön kyvykkyyksiä ja hyötyjä, mutta ei liian suuri, jotta arvo olisi nopeasti osoittautunut. Koko 1-10 teratavun alueella on tyypillinen.

Siirtäminen Fabric Data Factoryn avulla

Tässä osiossa keskustellaan Data Factoryn vaihtoehdoista vähän koodia tai koodia käyttämättä olevalle persoonalle, jolle Azure Data Factory ja Synapse Pipeline ovat tuttuja. Tämä vetämisen ja poistamisen käyttöliittymäasetus tarjoaa yksinkertaisen vaiheen DDL:n muuntamiseen ja tietojen siirtämiseen.

Fabric Data Factory voi suorittaa seuraavat tehtävät:

  • Muunna skeema (DDL) Fabric tietovarasto syntaksiksi.
  • Luo skeema (DDL) Fabric tietovarasto.
  • Siirrä tiedot Fabric tietovarasto.

Vaihtoehto 1. Rakenteen/tietojen siirto – ohjattu kopiointitoiminto ja foreach-kopiointitoiminto

Tämä menetelmä käyttää Data Factory Copy Assistantia yhdistääkseen lähdekoodin omistettuun SQL-pooliin, muuntaa omistetun SQL-poolin DDL-syntaksin Fabric:ksi ja kopioida tiedot Fabric tietovarasto:ksi. Voit valita yhden tai useamman kohdetaulukon (TPC-DS tietojoukossa on 22 taulukkoa). Se luo ForEach-kohteen, joka käy läpi käyttöliittymässä valittujen taulukoiden luettelon ja kutkuttaa 22 rinnakkaista Kopioi toiminta -säikettä.

  • 22 SELECT-kyselyä (yksi kutakin valittua taulukkoa kohden) luotiin ja suoritettiin erillisessä SQL-varannossa.
  • Varmista, että sinulla on asianmukainen DWU ja resurssiluokka, jotta luodut kyselyt voidaan suorittaa. Tässä tapauksessa tarvitset vähintään DWU1000 staticrc10 , jotta enintään 32 kyselyä voidaan suorittaa 22 lähetetyn kyselyn käsittelemiseksi.
  • Data Factoryn suora kopiointi omistetun SQL-poolin datasta Fabric tietovarasto vaatii vaiheitusta. Nielemisprosessi koostuu kahdesta vaiheesta.
    • Ensimmäinen vaihe koostuu tietojen poimimisesta erillisestä SQL-varannosta ADLS:ään, ja sitä kutsutaan valmisteluksi.
    • Toinen vaihe vastaanottaa vaiheen datan Fabric tietovarasto. Suurin osa tietojen käsittelyajankohtasta on valmisteluvaiheessa. Valmistelulla on siis valtava vaikutus tietojen käsittelykykyyn.

Copy Wizardin käyttäminen ForAchhin luomiseen tarjoaa yksinkertaisen käyttöliittymän, jolla DDL muunnetaan ja valittujen taulukoiden vastaanotto omasta SQL-poolista Fabric tietovarasto yhdellä askeleella.

Se ei kuitenkaan ole optimaalinen kokonaissiirtomäärän kanssa. Valmistelun käyttövaatimus, tarve rinnakkaiseen lukemiseen ja kirjoittamiseen "Lähde vaiheeseen" -osavaihetta varten ovat suorituskykyviiveen päätekijä. Tätä asetusta kannattaa käyttää vain dimensiotaulukoissa.

Vaihtoehto 2. DDL/tietojen siirto - Putki osiovaihtoehdon avulla

Jos haluat parantaa siirtonopeutta suurempien faktataulukoiden lataamiseksi Fabric-putken avulla, on suositeltavaa käyttää kopiointitoimintoa kullekin faktataulukolle osiovaihtoehdon kanssa. Tämä tarjoaa parhaan suorituskyvyn Kopioi toiminto -toiminnossa.

Voit halutessasi käyttää lähdetaulukon fyysistä osiointia, jos se on käytettävissä. Jos taulukossa ei ole fyysistä osiointia, sinun on määritettävä osion sarake ja annettava minimi- ja enimmäisarvot dynaamisen osioinnin käyttämiseksi. Seuraavassa näyttökuvassa putken lähdeasetukset määrittävät dynaamisen osioalueen sarakkeen perusteella ws_sold_date_sk .

Näyttökuva putkesta, jossa on mahdollisuus määrittää perusavain tai dynaamisen osion sarakkeen päivämäärä.

Vaikka osion käyttö voi kasvattaa siirtomäärää valmisteluvaiheessa, on huomioitavaa tehdä asianmukaiset muutokset:

  • Osioalueesi mukaan se saattaa mahdollisesti käyttää kaikkia samanaikaisuuden ajanjaksoja, koska se saattaa luoda yli 128 kyselyä erilliseen SQL-varantoon.
  • Sinun täytyy skaalata minimiin DWU6000, jotta kaikki kyselyt voidaan suorittaa.
  • Esimerkiksi TPC-DS-taulukolle web_sales lähetettiin 163 kyselyä varattuun SQL-varantoon. DWU6000 suoritettiin 128 kyselyä, kun taas 35 kyselyä asetettiin jonoon.
  • Dynaaminen osio valitsee automaattisesti alueen osion. Tässä tapauksessa 11 päivän alue kullekin SELECT-kyselylle, joka on lähetetty varattuun SQL-varantoon. Esimerkki:
    WHERE [ws_sold_date_sk] > '2451069' AND [ws_sold_date_sk] <= '2451080')
    ...
    WHERE [ws_sold_date_sk] > '2451333' AND [ws_sold_date_sk] <= '2451344')
    

Faktataulukoiden tapauksessa suosittelemme, että käytät Data Factorya ja osiointitoimintoa siirtomäärän lisäämiseksi.

Kuitenkin lisääntyneet rinnakkaislukumäärät vaativat omistetun SQL-poolin skaalautumaan korkeampaan DWU:hun, jotta purkukyselyt voivat suorittaa. Hyödyntämällä osiointia nopeus paranee kymmenkertaisesti verrattuna osittamattomaan vaihtoehtoon. Voit kasvattaa DWU:ta saadaksesi lisäläpäisynopeutta laskentaresursseilla, mutta omistettu SQL-pooli sallii enintään 128 aktiivista kyselyä.

Lisätietoja Synapse DWU to Fabric -kartoituksesta löytyy aiheesta Blog: Mapping Azure Synapse dedicated SQL pools to Fabric tietovarasto -laskenta.

Vaihtoehto 3. DDL-siirto – ohjattu kopiointitoiminto toimintojen kopiointia varten

Kaksi edellistä vaihtoehtoa ovat erinomaiset tietojen siirtovaihtoehdot pienemmille tietokannoilla. Jos kuitenkin tarvitset suurempaa siirtomäärää, suosittelemme vaihtoehtoista vaihtoehtoa:

  1. Poimi tiedot erillisestä SQL-varannosta ADLS:ään, mikä vähentää vaiheen suorituskykyyn liittyviä kuormituskustannuksia.
  2. Käytä joko Data Factorya tai COPY-komentoa syöttääksesi datan varastoosi.

Voit jatkaa Data Factoryn käyttöä rakenteen (DDL) muuntamiseen. Ohjatun kopiointitoiminnon avulla voit valita tietyn taulukon tai Kaikki taulukot. Tämä siirtää rakenteen ja tiedot suunnittelussa yhdessä vaiheessa poimien rakenteen ilman rivejä käyttäen epätosi-ehtoa TOP 0 kyselylausekkeessa.

Seuraava koodiesimerkki kattaa rakenteen (DDL) siirtämisen Data Factoryen.

Koodiesimerkki: Schema (DDL) -siirto Data Factoryen

Voit käyttää Fabric Pipelinesia helposti siirtääksesi DDL:n (skeemat) taulukkoobjekteille mistä tahansa lähteestä (Azure SQL Database tai omistettu SQL-pooli. Tämä putkisto siirtää lähteelle omistetun SQL-poolitaulun skeeman (DDL) Fabric tietovarasto.

Fabric Data Factoryn näyttökuva, joka näyttää kullekin objektille johtavan hakuobjektin. Kunkin objektin sisällä on toimintoja, jotka siirretään DDL:lle.

Putken rakenne: parametrit

Tämä putki hyväksyy parametrin SchemaName, jonka avulla voit määrittää, mitkä rakenteet siirretään. Rakenne dbo on oletusarvo.

Kirjoita Oletusarvo-kenttään pilkuin eroteltu taulukkorakenteen luettelo, joka ilmaisee, mitkä rakenteet siirretään: 'dbo','tpch' anna kaksi dbo rakennetta ja .tpch

Kuvakaappaus Data Factorysta, jossa näkyy putkiston parametrit-välilehti. Nimikentässä 'SchemaName'. Oletusarvokentässä 'dbo','tpch' tarkoittaa, että nämä kaksi skeemaa tulisi siirtää.

Putken rakenne: hakutoiminto

Luo hakutoiminto ja määritä yhteys osoittamaan lähdetietokantaasi.

Asetukset-välilehdessä:

  • Määritä Tietosäilön tyypiksiUlkoinen.

  • Yhteys on Azure Synapse varattu SQL-varanto. Yhteystyyppi on Azure Synapse Analytics.

  • Käytä kyselyäon määritetty kyselyyn.

  • Kyselykenttä täytyy rakentaa dynaamisen lausekkeen avulla, jolloin parametria SchemaName voidaan käyttää kyselyssä, joka palauttaa listan kohdelähdetauluista. Valitse Kysely ja valitse sitten Lisää dynaaminen sisältö.

    Tämä lauseke LookUp-aktiviteetissa luo SQL-lausekkeen, joka lähettää kyselyjä järjestelmänäkymiin rakenne- ja taulukkoluettelon noutamiseksi. Se viittaa parametriin SchemaName mahdollistaakseen suodatuksen SQL-skeemoilla. Tämän tuloste on SQL-rakenteen ja taulukoiden matriisi, joita käytetään syötteenä ForEach-aktiviteetissa.

    Seuraavan koodin avulla voit palauttaa luettelon kaikista käyttäjätaulukoista rakenteen nimineen.

    @concat('
    SELECT s.name AS SchemaName,
    t.name  AS TableName
    FROM sys.tables AS t
    INNER JOIN sys.schemas AS s
    ON t.type = ''U''
    AND s.schema_id = t.schema_id
    AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
    ')
    

Kuvakaappaus Data Factorysta, jossa näkyy putkiston Asetukset-välilehti. 'Query'-painike valitaan ja koodi liitetään 'Query'-kenttään.

Putken rakenne: ForEach Loop

Määritä ForEach-silmukka-välilehdessä seuraavat asetukset:

  • Poista peräkkäinen käytöstä, jotta useita iteraatioita voidaan suorittaa samanaikaisesti.
  • Määritä Erän määrä -arvoksi50, mikä rajoittaa samanaikaisten iteraatioiden enimmäismäärää.
  • Kohteet-kentän on käytettävä dynaamista sisältöä lookup-toiminnan tulosteen viittaamiseen. Käytä seuraavaa koodikatkelmaan: @activity('Get List of Source Objects').output.value

Näyttökuva, jossa näkyy ForEach Loop Activityn asetusvälilehti.

Putken rakenne: Kopioi aktiviteetti ForEach-silmukan sisällä

Lisää ForEach-aktiviteettiin Kopioi aktiviteetti. Tämä menetelmä käyttää putkistoissa Dynamic Expression Languagea rakentaakseen SELECT TOP 0 * FROM <TABLE> a, joka siirtää vain skeeman ilman dataa varastoon.

Lähde-välilehdessä:

  • Määritä Tietosäilön tyypiksiUlkoinen.
  • Yhteys on Azure Synapse varattu SQL-varanto. Yhteystyyppi on Azure Synapse Analytics.
  • Määritä Käytä kyselyä -arvoksi Kysely.
  • Liitä Kysely-kenttään dynaamisen sisällön kysely ja käytä tätä lauseketta, joka palauttaa nolla riviä eli vain taulukon rakenteen:@concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName)

Näyttökuva Data Factorysta, joka näyttää Kopioi aktiviteetti -toiminnon Lähde-välilehden ForEach-silmukan sisällä.

Kohde-välilehdessä:

  • Määritä Tietosäilön tyypiksiTyötila.
  • Workspace-tietovarastotyyppi on tietovarasto ja tietovarasto on asetettu varastoon.
  • Kohdetaulukon rakenne ja taulukon nimi määritetään dynaamisen sisällön avulla.
    • Skeema viittaa nykyisen iteroinnin kenttään, SchemaName jossa on pätkä: @item().SchemaName
    • Taulukko viittaa TableName-nimeen ja katkelmaan: @item().TableName

Näyttökuva Data Factorysta, joka näyttää Kopioi aktiviteetti -välilehden Kohde-välilehden kunkin ForEach-silmukan sisällä.

Putken rakenne: Nielu

Osoita Sink-kohdan kohdalla Warehouseen ja viittaa Lähderakenteeseen ja Taulukon nimeen.

Kun olet suorittanut tämän putken, tietovarasto täytetään lähteen jokaisella taulukolla käyttäen asianmukaista rakennetta.

Siirtäminen käyttämällä tallennettuja toimintosarjoja Synapse-erillisessä SQL-varannossa

Tämä vaihtoehto käyttää tallennettuja toimintosarjoja Fabric-siirron suorittamiseen.

Koodinäytteet saat microsoft/fabric-migration-sivustolta GitHub.com. Tämä koodi jaetaan avoimen lähdekoodin muodossa, joten voit osallistua yhteistyöhön ja auttaa yhteisöä.

Mitä siirron tallennetut toimintosarjat voivat tehdä:

  • Muunna skeema (DDL) Fabric tietovarasto syntaksiksi.
  • Luo skeema (DDL) Fabric tietovarasto.
  • Poimi tiedot erillisestä Synapse-varannosta ADLS:ään.
  • Merkintä, jota ei tueta Fabric-syntaksi T-SQL-koodeille (tallennetut toimintosarjat, funktiot, näkymät).

Tämä on hyvä vaihtoehto niille, jotka:

  • T-SQL on tuttu.
  • Haluat käyttää integroitua kehitysympäristöä, kuten SQL Server Management Studiota (SSMS).
  • Haluat tarkempia hallintatoimintoja siihen, mitä tehtäviä he haluavat käsitellä.

Voit suorittaa tietyn tallennetun toimintosarjan rakenteen (DDL) muunnosta, tietokatkelmaa tai T-SQL-koodiarviointia varten.

Datan siirtoa varten sinun täytyy käyttää joko COPY INTO Fabric Data Factorya datan siirtämiseen varastoosi.

Siirtyminen SQL-tietokantaprojektien avulla

Microsoft Fabric tietovarasto on tuettu SQL Database Projects -laajennuksessa, joka on saatavilla Visual Studio Codessa.

Tämä laajennus on saatavilla Visual Studio Codessa. Tämä ominaisuus ottaa käyttöön ominaisuudet lähteen hallintaa, tietokantatestausta ja rakenteen vahvistamista varten.

Lisätietoja lähdekoodin hallinnasta löytyy kehitys - ja käyttöönoton yleiskatsauksesta.

Tämä on hyvä vaihtoehto niille, jotka haluavat käyttää SQL-tietokantaprojektia käyttöönotossaan. Tämä asetus integroi fabric-siirron tallennetut toimintosarjat SQL-tietokantaprojektiin saumattoman siirtokokemuksen tarjoamiseksi.

SQL-tietokantaprojekti voi:

  • Muunna skeema (DDL) Fabric tietovarasto syntaksiksi.
  • Luo skeema (DDL) Fabric tietovarasto.
  • Poimi tiedot erillisestä Synapse-varannosta ADLS:ään.
  • T-SQL-koodien (tallennetut toimintosarjat, funktiot, näkymät) syntaksi, jota ei tueta.

Datan siirrossa käytät sitten joko COPY INTO Data Factorya datan siirtämiseen varastoosi.

Microsoft Fabric CAT -tiimi on toimittanut joukon PowerShell-komentosarjoja, jotka käsittelevät rakenteen (DDL) ja tietokantakoodin (DML) poimimista, luomista ja käyttöönottoa SQL Database Projectin kautta. Jos haluat ohjeet SQL-tietokantaprojektin käyttöön hyödyllisten PowerShell-komentosarjojen kanssa, lue artikkeli Microsoft/Fabric-migration GitHub.com.

Lisätietoja SQL-tietokantaprojekteista löytyy kohdasta Aloita SQL Database Projects -laajennuksella ja Rakenna tietokantaprojekti komentoriviltä.

Tietojen siirtäminen CETAS-yhteyden avulla

T-SQL CREATE EXTERNAL TABLE AS SELECT (CETAS) -komento tarjoaa kustannustehokkaimman ja optimaalisen menetelmän tietojen poimimiseen Synapse-erillisistä SQL-varannoista Azure Data Lake Storage (ADLS) Gen2:een.

Mitä CETAS voi tehdä:

  • Poimi tiedot ADLS:iin.
    • Tämä vaihtoehto vaatii käyttäjiä luomaan skeeman (DDL) varastossasi ennen datan vastaanottamista. Harkitse tämän artikkelin vaihtoehtoja rakenteen (DDL) siirtämiseksi.

Tämän vaihtoehdon etuja ovat seuraavat:

  • Vain yksi kysely taulukkoa kohden lähetetään lähteen Synapse-erillistä SQL-varantoa vastaan. Tämä ei käytä kaikkia samanaikaisuuden ajanjaksoja, joten se ei estä samanaikaista asiakastuotannon ETL/kyselyä.
  • Skaalausta DWU6000 ei tarvita, koska kuhunkin taulukkoon käytetään vain yhtä samanaikaisuuspaikkaa, jotta asiakkaat voivat käyttää pienempiä DWUs-yksiköitä.
  • Purku suoritetaan rinnakkain kaikissa laskentasolmuissa, ja tämä on avain suorituskyvyn parantamiseen.

Käytä CETAS-koodausta tietojen purkamiseen ADLS:lle Parquet-tiedostoina. Parquet-tiedostot tarjoavat tehokkaan tietojen tallennuksen edun sarakejoukon pakkauksella, joka vaatii vähemmän kaistanleveyttä verkon läpi siirtymiseen. Lisäksi koska Fabric tallensi tiedot Delta-parquet-muodossa, tietojen käsittely on 2,5 kertaa nopeampi tekstitiedostomuotoon verrattuna, koska tietojen käsittelyn aikana ei ole muuntoa Delta-muodon kuormitukseksi.

CETAS-siirtomäärän suurentaminen:

  • Lisää rinnakkaisia CETAS-toimintoja, jolloin samanaikaisuuspaikkojen käyttö kasvaa mutta siirtomäärä kasvaa.
  • Skaalaa DWU Synapseille varatun SQL-varannon päälle.

Siirtäminen tietokannasta

Tässä osiossa keskustellaan dbt-vaihtoehdosta niille asiakkaille, jotka käyttävät dbt:tä nykyisessä Synapse-erillisessä SQL-varannon ympäristössään.

Mitä dbt voi tehdä:

  • Muunna skeema (DDL) Fabric tietovarasto syntaksiksi.
  • Luo skeema (DDL) Fabric tietovarasto.
  • Muunna tietokantakoodi (DML) Fabric-syntaksiksi.

Dbt-kehys luo DDL:n ja DML:n (SQL-komentosarjat) lennossa kunkin suorituksen yhteydessä. KUN mallitiedostot ilmaistaan SELECT-lausekkeissa, DDL/DML voidaan kääntää välittömästi mihin tahansa kohdeympäristöön muuttamalla profiilia (yhteysmerkkijonoa) ja sovitintyyppiä.

Dbt-sovelluskehys on koodi-ensimmäinen menetelmä. Tiedot on siirrettävä käyttämällä tässä asiakirjassa lueteltuja vaihtoehtoja, kuten CETAS tai COPY/Data Factory.

Microsoft Fabric tietovarasto:n dbt-sovitin mahdollistaa olemassa olevien dbt-projektien, jotka kohdistuivat eri alustoihin, kuten Synapsen omistetut SQL-poolit, Snowflake, Databricks, Google Big Query tai Amazon Redshift, siirtämisen varastoon yksinkertaisella konfiguraatiomuutoksella.

Aloittaaksesi dbt-projektin Fabric tietovarasto, katso Opastus: Aseta dbt Fabric tietovarasto. Tässä asiakirjassa luetellaan myös mahdollisuus siirtyä eri varastoista/ympäristöistä toiseen.

Datan vastaanotto Fabric tietovarasto

Fabric tietovarasto käsittelyyn käytä COPY INTO tai Fabric Data Factorya, mieltymyksesi mukaan. Molemmat menetelmät ovat suositeltuja ja parhaiten toimivia vaihtoehtoja, koska niillä on vastaava suorituskyky, kun otetaan huomioon edellytys, että tiedostot on jo poimittu Azure Data Lake Storage (ADLS) Gen2:een.

Sinun on otettava huomioon useita seikkoja, jotka varmistavat, että voit suunnitella prosessisi mahdollisimman hyväksi:

  • Fabric:n kohdalla ei ole resurssien kiistaa, kun ladataan useita taulukoita ADLS:stä Fabric tietovarasto:een samanaikaisesti. Tämän seurauksena suorituskyvyn heikkenemistä ei ole, kun ladataan rinnakkaisia säikeitä. Suurin käsittelynopeus rajoittuu vain Fabric-kapasiteettisi käsittelytehoon.
  • Fabric-kuormituksen hallinta mahdollistaa kuormitukselle ja kyselyille varattujen resurssien erottamisen. Resurssikiistaa ei ole, kun kyselyt ja tietojen lataaminen suoritetaan samanaikaisesti.