Siirtomenetelmät SQL Server Fabric tietovarasto

Sovellettavissa:✅ Varasto Microsoft Fabric

Tässä artikkelissa kuvataan menetelmiä tietovarastojen siirtämiseen SQL Server Microsoft Fabric tietovarasto.

Tip

Lisätietoja strategiasta ja suunnittelusta löytyy kohdasta Migration planning: SQL Server to Fabric tietovarasto.

Käytä Fabric Migration Assistant for tietovarasto saadaksesi automaattisen migraatiokokemuksen SQL Server:sta. Tämän artikkelin loppuosa kuvaa lisää manuaalisia siirtovaiheita.

Seuraava taulukko tiivistää menetelmät dataskeeman (DDL), tietokantakoodin (DML) ja datan siirtoon. Jokainen vaihtoehto kuvataan myöhemmin tässä artikkelissa.

Vaihtoehto	Menetelmä	Toiminnot	Taito tai mieltymys	Esimerkkitilanne
1	Tietotehdas	Skeeman muunnos Tietojen poiminta Tietojen käsittely	Data Factory -putki	Yksinkertaistettu skeema ja datan siirto. Suositellaan dimensiotaulukoille.
2	Data Factory osioinnilla	Skeeman muunnos Tietojen poiminta Tietojen käsittely	Data Factory -putki	Rinnakkaismigraatio suurille faktatauluille.
3	Skeema-ensimmäinen siirtymä	Skeeman muunnos	Data Factory -putki	Siirrä skeema ensin, ja sitten poimitaan ja vastaanotetaan dataa erikseen, jotta läpimenon hallinta paranee.
4	SQL-migraatioskriptit	Skeeman muunnos Tietojen poiminta Koodin arviointi	T-SQL	Käytä IDE:tä ja skriptejä migraatiotehtävien tarkkaan hallintaan.
5	SQL-tietokantaprojektit	Skeeman muunnos Koodin arviointi	SQL-projekti	Käytä tietokantaprojektia lähdekoodin hallintaan, arviointiin ja käyttöönottoon.
6	DBT	Skeeman muunnos Tietokantakoodin muunnos	dbt	Käytä olemassa olevaa DBT-projektia uudelleen muuttamalla sovitinta ja kohdekonfiguraatiota.

Valitse kuormitus alkuperäiselle siirrolle

Kun päätät, mistä aloittaa SQL Server Fabric tietovarasto -siirtymäprojektin, valitse työkuorma-alue, jossa voit:

• Todista siirtymisen toimivuus Fabric tietovarasto tarjoamalla nopeasti uuden ympäristön hyödyt. Aloita pienestä ja yksinkertaisesti, ja valmistaudu useisiin pieniin muuttoihin.
• Anna tekniselle henkilökunnalle aikaa hankkia relevanttia kokemusta prosesseista ja työkaluista, joita he käyttävät muiden kuormien siirtämiseen.
• Luo mallipohja myöhemmille migraatioille, joka on räätälöity SQL Server -ympäristöllesi, työkaluillesi ja prosesseillesi.

Tip

Luo inventaario siirtymiskohteista ja dokumentoi migraatioprosessi alusta loppuun, jotta se voidaan toistaa muille tietokannoille tai työkuormille.

Alkuperäisen siirtymän datamäärän tulisi olla riittävän suuri osoittamaan Fabric tietovarasto kyvykkyydet ja hyödyt, mutta tarpeeksi pieni, jotta arvo voidaan osoittaa nopeasti. Koko 1-10 teratavun alueella on tyypillinen.

Migraatio Fabric Data Factoryn avulla

Fabric Data Factory tarjoaa low-code-rajapinnan, joka voi muuntaa taulun DDL:n ja siirtää dataa SQL Server:stä.

Fabric Data Factory voi suorittaa seuraavat tehtävät:

• Muunna skeema (DDL) Fabric tietovarasto syntaksiksi.
• Luo skeemaobjektit Fabric tietovarasto.
• Siirrä tiedot Fabric tietovarasto.

Vaihtoehto 1. Skeema ja tietojen siirto kopio-avustajan avulla

Tämä menetelmä käyttää Data Factory Copy Assistantia yhdistääkseen lähdetieto SQL Server kantaan, muuntamaan taulukon DDL:n Fabric syntaksiksi ja kopioimaan tiedot Fabric tietovarasto. Voit valita yhden tai useamman lähdetaulukon. Generoitu putkisto käyttää ForAchify-toimintoa kopioidakseen valitut taulukot rinnakkain.

Kun konfiguroit kopiointitoiminnon:

• Käytä SQL Server -liitintä lähdeyhteyteen.
• Rajoita rinnakkaiskopiot tasolle, jonka lähdetietokanta ja verkko pystyvät ylläpitämään.
• Seuraa lähdekoodin prosessoria, I/O:ta, transaktiolokin käyttöä ja tuotantokuorman viivettä poimun aikana.

Suositeltu käyttö

Käytä Copy Assistantia yksinkertaiseen käyttöliittymään, joka muuntaa DDL:n ja vastaanottaa valitut taulukot yhdellä toiminnolla. Tämä menetelmä sopii hyvin ulottuvuustaulukoihin ja pienempiin työkuormiin.

Suurissa taulukoissa käytä osiointia luku- ja kirjoitusrinnakkaisuuden lisäämiseksi.

Vaihtoehto 2. Datan siirto osioinnin avulla

Suurille faktatauluille käytä Copy activity -toimintoa jokaiselle taululle ja määritä lähdekoodin osiointi. Käytä fyysisiä osioita, kun mahdollista, tai määritä dynaamisen alueen osiointi määrittämällä sopiva numeerinen tai päivämääräsarake sekä sen minimi- ja maksimiarvot.

Kun käytät osiointia:

• Valitse osiosarake, joka jakaa rivit tasaisesti.
• Vältä luomasta enemmän samanaikaisia lähdekyselyitä kuin SQL Server pystyy käsittelemään vaikuttamatta tuotantokuormiin.
• Testaa osiointialue ja rinnakkaiskopiointiasetukset edustavaa työkuormaa vastaan.
• Lisätään rinnakkaisuutta asteittain samalla kun seurataan lähdettä ja kohdetta.

Suositeltu käyttö

Käytä Data Factory -osiointia suurille faktatauluille, kun rinnakkainen poiminta parantaa läpimenoa. Kokoa erämäärä ja osioalueet lähdetietokannan resurssien ja verkon kapasiteetin mukaan.

Vaihtoehto 3. Skeema-ensimmäinen siirtymä

Suuremmissa tietokannoissa erotetaan skeeman siirto datan siirrosta:

1. Muunna ja luo taulukkoskeemat Fabric tietovarasto.
2. Extract source data into Azure Data Lake Storage (ADLS) Gen2.
3. Käytä Data Factorya tai COPY INTO -komentoa syöttääksesi vaiheitetun datan Fabric tietovarasto.

Näiden vaiheiden erottaminen antaa mahdollisuuden säätää uuton ja nautinnon itsenäisesti.

Skeeman migraatio Data Factoryn avulla

Voit käyttää Fabric-putkea siirtääksesi taulukkoskeemoja SQL Server:stä Fabric tietovarasto:een ilman rivien kopioimista.

Määritä putkiston parametrit

Luo parametri SchemaName , joka määrittää, mitkä skeemat siirretään. Käytä dbo oletuksena tai syötä pilkulla eroteltu lista, kuten 'dbo','sales'.

Määritä hakutoiminto

Luo hakutoiminto ja aseta sen yhteys lähdetietokantaan SQL Server -tietokantaan. Asetukset-välilehdessä:

• Määritä Tietosäilön tyypiksiUlkoinen.
• Valitse lähdekoodi SQL Server -yhteys.
• Aseta Käytä kyselyäkyselyksi.
• Lisää dynaaminen kysely, joka palauttaa lähdeskeeman ja taulujen nimet.

Käytä seuraavaa lauseketta kyselyn luomiseen:

@concat('
SELECT s.name AS SchemaName,
t.name AS TableName
FROM sys.tables AS t
INNER JOIN sys.schemas AS s
ON t.type = ''U''
AND s.schema_id = t.schema_id
AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
')

Määritä ForEach -toiminto

Asetukset-välilehdellä ForEach -toiminnolle:

• Poista Sequential käytöstä, jotta iteraatiot voivat suorittaa samanaikaisesti.
• Aseta erämäärä arvoksi, jonka lähdetietokanta pystyy ylläpitämään. Aloita konservatiivisella arvolla ja testaa sitä.
• Aseta kohteet arvoon @activity('Get List of Source Objects').output.value.

Määritä Copy activity

ForEach -aktiviteetin sisälle lisää Copy activity. Lähde-välilehdessä:

• Määritä Tietosäilön tyypiksiUlkoinen.
• Valitse lähdekoodi SQL Server -yhteys.
• Aseta Käytä kyselyäkyselyksi.
• Aseta Kysely niin, @concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName) että vain taulun metatiedot siirretään.

Kohde-välilehdessä:

• Määritä Tietosäilön tyypiksiTyötila.
• Aseta Workspace-tietovaraston tyyppitietovarasto ja valitse kohdevarasto.
• Aseta kohdeskeema arvoon @item().SchemaName.
• Aseta kohdetaulu arvoon @item().TableName.

Kun olet suorittanut putken, varmista, että Fabric tietovarasto sisältää jokaisen valitun taulukon odotetun skeeman kanssa.

Migraatio SQL-skripteillä

Käytä T-SQL- ja PowerShell-migraatioskriptejä, kun haluat tarkkaa hallintaa skeeman muunnokseen, datan poimimiseen ja koodin arviointiin.

Migraatioskriptit voivat:

• Muunna skeema (DDL) Fabric tietovarasto syntaksiksi.
• Luo skeemaobjektit Fabric tietovarasto.
• Poimaan data SQL Server:stä ADLS Gen2:een.
• Merkitse tueton T-SQL-syntaksi tallennetuissa proseduurissa, funktioissa ja näkymissä.

Microsoft Fabric CAT -tiimi tarjoaa migraatiokoodinäytteitä fabric-migration-repositoriossa.

Suositeltu käyttö

Käytä skriptejä, kun tunnet T-SQL:n, suosit integroitua kehitysympäristöä ja haluat hallita yksittäisiä migraatiotehtäviä. Käytä COPY INTO tai Data Factorya puretun datan vastaanottamiseen Fabric tietovarasto.

Siirtyminen SQL-tietokantaprojektien avulla

Fabric tietovarasto on tuettu SQL Database Projects -laajennuksessaVisual Studio Code.

SQL-tietokantaprojekti tarjoaa lähdekoodinhallinnan, tietokantatestauksen, skeeman validoinnin ja käyttöönoton ominaisuudet. Se voi:

• Muunna skeema (DDL) Fabric tietovarasto syntaksiksi.
• Luo skeemaobjektit Fabric tietovarasto.
• Arvioi tuetonta T-SQL-syntaksia tallennetuissa proseduurissa, funktioissa ja näkymissä.

Datan siirtoon käytä Data Factorya kopioimaan suoraan SQL Serveristä tai purkaa data ADLS Gen2:een ja lataa se COPY INTO Data Factoryn kautta.

SQL-tietokantaprojektien käytöstä migraatioskripteillä löydät läpipeluun fabric-migration-repositorysta.

Lisätietoja löytyy kohdista Aloita SQL Database Projects -laajennuksella ja Rakenna tietokantaprojekti komentoriviltä.

Migraatio dbt:n kanssa

Jos SQL Server data warehouse käyttää dbt:tä, voit käyttää dbt-sovitinta Fabric tietovarasto muuntaaksesi skeeman ja tietokantakoodin muuttamalla kohdeprofiilia ja sovitinta.

DBT-kehys generoi DDL- ja DML-skriptit mallitiedostoista. Sinun täytyy siirtää data erikseen käyttämällä Data Factorya tai muuta tämän artikkelin tietojen siirtovaihtoehtoa.

Aloittaaksesi katso Opastus: Aseta dbt Fabric tietovarasto.

Datan vastaanotto Fabric tietovarasto

Vaiheitetussa datassa käytä COPY INTO tai Fabric Data Factorya tiedostojen vastaanottamiseen ADLS Gen2:sta Fabric tietovarasto:een. Ota huomioon seuraavat ohjeet:

• Poimitaan suuria tauluja rinnakkain, kun lähdetietokannalla ja verkolla on riittävä kapasiteetti.
• Suosi Parquet-tiedostoja vähentääksesi tallennustilaa ja verkon käyttöä sekä parantaaksesi vastaanoton tehokkuutta.
• Lataa useita kohdetauluja samanaikaisesti, kun Fabric-kapasiteetti pystyy tukemaan työkuormaa.
• Seuraa sekä lähteen uuttoa että Fabric-kapasiteettia löytääksesi optimaalisen rinnakkaisuuden.

Liittyvä sisältö

• Fabric -siirtoavustaja tietovarastoon
• Luo varasto Microsoft Fabricissa
• Fabric tietovarasto suorituskykyohjeet
• turvallisuus tietovarastoinnissa Microsoft Fabric
• Microsoft Fabric migraatiokatsaus