Huomautus
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää kirjautua sisään tai vaihtaa hakemistoa.
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää vaihtaa hakemistoa.
Kopiointityö on Microsoft Fabric Data Factoryn go-to ratkaisu, joka yksinkertaistaa tietojen siirtämistä useista lähteistä useisiin kohteisiin – putkia ei tarvita. Kopiointityö tukee natiivisti useita toimitustyylejä, kuten joukkokopiointia, lisäävää kopiointia ja CDC (Change Data Capture) -replikointia, ja se tarjoaa joustavuutta käsitellä monenlaisia tiedonsiirtoskenaarioita – kaikki intuitiivisen ja helppokäyttöisen kokemuksen avulla. Olitpa uusi tietojen integroinnin käyttäjä tai haluat vain nopeamman tavan saada tiedot sinne, minne ne pitää siirtää, kopiointityö tarjoaa joustavan ja käyttäjäystävällisen ratkaisun.
Etuja
Kopioi työn etuja muihin tietojen siirtomenetelmiin verrattuna ovat muun muassa seuraavat:
- Helppokäyttöinen: Määritä ja valvo tietojen kopiointia yksinkertaisella, ohjatulla kokemuksella – teknistä asiantuntemusta ei tarvita.
- Tehokas: Kopioi vain uudet tai muuttuneet tiedot edellisestä ajosta säästääksesi aikaa ja resursseja minimaalisilla manuaalisilla vaiheilla.
- Joustava: Valitse siirrettävät tiedot, yhdistä sarakkeet, määritä tietojen kirjoitustapa ja ajoita työt suoritettavaksi kerran tai säännöllisesti.
- Korkea suorituskyky: Siirrä suuria tietomääriä nopeasti ja luotettavasti palvelimettoman, skaalautuvan järjestelmän ansiosta.
Voit myös käydä tietojen siirtostrategiassa nähdäksesi, miten kopiointityö vertautuu peilaus- ja kopiointitoimintaan putkissa.
Concepts
Kopiointitilat (täysi kopiointi, inkrementaalinen kopiointi)
Voit valita, miten tietosi kopioidaan lähteestä kohteeseen:
- Täysi kopio: Aina kun työ suoritetaan, se kopioi kaikki tiedot lähteestä kohteeseen.
- Lisäävä kopiointi: Ensimmäinen suoritus kopioi kaiken, ja seuraavat suoritukset siirtävät vain uusia tai muuttuneita tietoja edellisen suorituksen jälkeen.
Inkrementaalinen kopiointi (CDC, vesileima)
Inkrementaalisessa kopiossa jokainen ensimmäisen täyden kopion jälkeinen ajo siirtää vain muutokset:
- Tietokannat: Vain uudet tai päivitetyt rivit kopioidaan. Jos Change Data Capture (CDC) on käytössä, lisätyt, päivitetyt ja poistetut rivit sisällytetään.
- Tallennus: Vain tiedostot, joissa on uudempi LastModifiedTime, kopioidaan.
Kopiointityö seuraa ja hallitsee automaattisesti viimeisimmän onnistuneen suorituksen tilaa, jotta se tietää, mitä tietoja kopioidaan seuraavaksi.
- Tietokannat: Sinun on valittava lisäävä sarake kullekin taulukolle. Tämä sarake toimii merkkinä, joka kertoo kopiointityölle, mitkä rivit ovat uusia tai päivitettyjä edellisen suorituksen jälkeen. Yleensä sarake on päivämäärä- ja aika-arvo tai kasvava luku. Jos tietokannassa on CDC käytössä, sinun ei tarvitse valita saraketta – Kopiointityö tunnistaa muutokset automaattisesti.
- Tallennus: Kopiointityö vertaa lähdetallennustilassa olevien tiedostojen LastModifiedTime-arvoa edellisessä suorituksessa tallennettuihin arvoihin. Vain tiedostot, joissa on uudemmat aikaleimat, kopioidaan.
Katso lisätietoja Change Data Capture (CDC) -kohdasta Copy Job -kohdassa.
Kun kopiointityö epäonnistuu, sinun ei tarvitse huolehtia tietojen menetyksestä. Kopiointityö jatkuu aina edellisen onnistuneen suorituksen tilasta. Virhe ei muuta kopiointityön hallitsemaa tilaa.
Päivitysmenetelmät (liittäminen, korvaaminen, yhdistäminen)
Voit myös päättää, miten tiedot kirjoitetaan kohteeseen:
Oletusarvoisesti kopiointityö liittää uudet tiedot, joten säilytät täydellisen historian. Voit halutessasi yhdistää (päivittää aiemmin luodut rivit avainsarakkeella) tai korvata (korvata aiemmin luodut tiedot). Jos valitset Yhdistä, kopioi työ käyttää perusavainta oletusarvoisesti, jos sellainen on.
- Tietokantaan kopioitaessa: uusia rivejä lisätään taulukoihin. Tuetuissa tietokannoissa voit myös yhdistää tai korvata olemassa olevat tiedot.
- Tallennustilaan kopioitaessa: Uudet tiedot tallennetaan uusina tiedostoina. Jos samanniminen tiedosto on jo olemassa, se korvataan.
Kun teet lisäävän kopion lähteestä ja yhdistät kohteeseen, lähteen rivit lisätään tai päivitetään kohteeseen. Kun CDC-replikointi suoritetaan lähteestä ja yhdistetään kohteeseen, lähteen rivit lisätään, päivitetään tai poistetaan kohteeseen.
Palauta lisäävä kopio
Voit hallita lisäävää kopiota joustavasti, mukaan lukien mahdollisuus palauttaa se takaisin täyteen kopioon seuraavalla kerralla. Tämä on uskomattoman hyödyllistä, kun lähteen ja kohteen välillä on ristiriitaisia tietoja – voit yksinkertaisesti antaa kopiointityön suorittaa täyden kopion seuraavalla kerralla ongelman ratkaisemiseksi ja jatkaa sitten lisäpäivityksiä sen jälkeen.
Voit nollata inkrementaalisen kopioinnin joko koko työtä tai taulukkoa kohden, jolloin voit hallita sitä tarkasti. Voit esimerkiksi kopioida pienempiä taulukoita uudelleen vaikuttamatta suurempiin. Tämä tarkoittaa älykkäämpää vianmääritystä, vähemmän häiriöitä ja tehokkaampaa tiedonsiirtoa.
Joissakin tapauksissa, kun muokkaat kopiointityötä – esimerkiksi päivität lähdetaulukon lisäävää saraketta – kopiointityö palauttaa lisäävän kopion täydelliseksi kopioksi seuraavalla suorituksella. Tämä varmistaa tietojen yhdenmukaisuuden lähteen ja kohteen välillä.
Automaattinen taulukon luonti ja katkaisu kohteessa
Kopiointityö voi luoda taulukoita automaattisesti kohteeseen, jos niitä ei vielä ole. Jos kohdetaulukot ovat jo käytettävissä, voit valita ne kohteeksi. Joustavien sarakkeiden yhdistämismääritysasetusten avulla voit helposti määrittää, miten mallit yhdistetään lähdetaulukoista kohdetaulukoihin.
Automaattista taulukon luontia varten tuettuja yhdistimiä ovat muun muassa seuraavat:
- Paikallinen SQL Server
- Azure SQL -tietokanta
- Hallittu Azure SQL -esiintymä
- Synapse SQL -pooli
- SQL-tietokanta Fabricissa
- Fabric Lakehouse -taulukko
- Snowflake
Voit myös halutessasi katkaista kohdetiedot ennen täyttä latausta ja varmistaa, että niiden lähde ja kohde synkronoidaan täysin ilman kaksoiskappaleita.
Oletusarvon mukaan Kopioi-työ ei poista mitään tietoja kohteesta. Kun otat tämän vaihtoehdon käyttöön:
- Ensimmäinen lisäävän kopioinnin suoritus katkaisee kaikki kohteen tiedot ennen koko tietojoukon lataamista.
- Myöhemmät lisäävät kopiot jatkavat tietojen liittämistä tai yhdistämistä vaikuttamatta aiemmin luotuihin tietueisiin.
- Jos asiakkaat palauttavat myöhemmin lisäävän kopion täydelliseksi kopioksi, tämän vaihtoehdon ottaminen käyttöön tyhjentää kohteen uudelleen ennen lataamista.
Tämä lähestymistapa varmistaa, että kohde pysyy puhtaana, täysin synkronoituna ja ilman kaksoiskappaleita, mikä tarjoaa luotettavan perustan tietojen käsittelyratkaisulle.
Tuetut liittimet "Katkaise kohde ennen täyttä kopiointia" -vaihtoehdolle:
- Paikallinen SQL Server
- Azure SQL -tietokanta
- Hallittu Azure SQL -esiintymä
- Synapse SQL -pooli
- SQL-tietokanta Fabricissa
- Fabric Lakehouse -taulukko
- Snowflake
Suoritusasetukset (Suorita, Aikataulu, Tapahtuman käynnistin)
Sinulla on täysi joustavuus päättää, milloin kopiointityö suoritetaan – se voidaan suorittaa kerran tai aikataulun mukaan. Vaikka työ olisi ajoitettu, voit silti käynnistää sen manuaalisesti valitsemalla Suorita milloin tahansa. Lisäävässä kopiossa manuaalisesti käynnistetty työ siirtää edelleen vain edellisen suorituksen jälkeiset muutokset.
Kun kopiointityössä tuetaan useita aikatauluja , saat entistä paremman hallinnan. Yhdellä kopiointityöllä voi olla useita aikatauluja, esimerkiksi yksi suoritetaan päivittäin klo 6 aamulla ja toinen viikoittain sunnuntaisin. Kaikkia aikatauluja voidaan hallita suoraan samassa kopiointityössä, mikä tekee orkestroinnista yksinkertaisempaa, selkeämpää ja tehokkaampaa.
Jos käytät kopiointityöaktiviteettia putkessa, voit myös hyödyntää putken orkestrointi- ja käynnistinominaisuuksia. Tapahtumakäynnistimien avulla voit esimerkiksi käynnistää kopiointityötehtävän, kun tapahtuu tiettyjä tapahtumia, kuten Data Lake -tallennustilaan saapuvia uusia tiedostoja tai muutoksia tietokantaan.
Katso lisätietoja kopiointityötehtävästä.
Isännöintivaihtoehdot (VNet, paikallinen, pilvi)
Kopiointityön avulla voit siirtää tietoja mistä tahansa lähteestä mihin tahansa kohteeseen riippumatta siitä, ovatko tietosi paikallisia, pilvipalvelussa vai näennäisverkossa. Kopioi työ -yhteyssivulla voit valita useista isäntävaihtoehdoista, mukaan lukien paikallinen yhdyskäytävä tai VNet-yhdyskäytävä, jotta voit käyttää tietoja turvallisesti palomuurin takana tai virtuaaliverkossa.
Katso lisätietoja tietojen siirron suojaamisesta kopiointityön ja Virtual Network Data Gatewayn avulla.
Operationalisointi (GIT/CICD, muuttujakirjasto)
Voit käyttää lähteenhallintaa, jatkuvaa integrointia, jatkuvaa käyttöönottoa ja yhteistyöympäristöä onnistuneiden data-analytiikkaprojektien suorittamiseen kopiointityön avulla.
Lisäksi muuttujakirjaston tuen avulla voit parametroida yhteyksiä kopiointityössä. Tämä tehokas ominaisuus virtaviivaistaa CI/CD:tä ulkoistamalla yhteysarvot, jolloin voit ottaa saman kopiointityön käyttöön useissa ympäristöissä, kun taas muuttujakirjasto lisää oikean yhteyden kuhunkin vaiheeseen.
Katso lisätietoja kopiointityön CI/CD-levyltä.
Havaittavuus
Katso lisätietoja kohdasta Kopiointityön valvonta.
Alueen saatavuus
Kopiointityön käytettävyys alueessa on sama kuin Fabricilla.
Pricing
Saat tiedot hinnoittelusta Kopioi työ.
Tuetut liittimet
Kopiointityön avulla voit siirtää tietoja pilvipalvelutietosäilöjen välillä tai paikallisista lähteistä, jotka ovat palomuurin takana tai näennäisverkon sisällä yhdyskäytävän avulla. Kopiointityö tukee seuraavia tietosäilöjä lähteinä tai kohteina:
| Connector | Source | Destination | Luku – koko lataus | Lue - Lisäävä kuormitus (vesileimapohjainen) | Lue - CDC (esikatselu) | Kirjoita – Liitä | Kirjoitus – ohitus | Kirjoita - Upsert | Kirjoita - CDC-yhdistäminen |
|---|---|---|---|---|---|---|---|---|---|
| Azure SQL -tietokanta | 
|
|
|
|
|
|
|
|
|
| Oracle |
|
|
|
|
|
|
|
|
|
| Paikallinen SQL Server |
|
|
|
|
|
|
|
|
|
| Kankaan varasto |
|
|
|
|
|
|
|
|
|
| Fabric Lakehouse -taulukko |
|
|
|
|
|
|
|
|
|
| Fabric Lakehouse -tiedosto |
|
|
|
|
|
|
|
– | – |
| Amazon S3 |
|
|
|
|
|
|
|
– | – |
| Azure Data Lake Storage Gen2 |
|
|
|
|
|
|
|
– | – |
| Azure Blob -säilö |
|
|
|
|
|
|
|
– | – |
| Hallittu Azure SQL -esiintymä |
|
|
|
|
|
|
|
|
|
| Snowflake |
|
|
|
|
|
|
|
|
|
| Azure Synapse Analytics |
|
|
|
|
|
|
|
|
|
| Azure Data Explorer |
|
|
|
|
|
|
|
|
|
| Azure PostgreSQL |
|
|
|
|
|
|
|
|
|
| Google-pilvitallennus |
|
|
|
|
|
|
|
– | – |
| MySQL |
|
|
|
|
|
|
|
|
|
| Azure MySQL |
|
|
|
|
|
|
|
|
|
| PostgreSQL |
|
|
|
|
|
|
|
|
|
| SQL-tietokanta Fabricissa (esikatselu) |
|
|
|
|
|
|
|
|
|
| Amazon S3 -yhteensopiva |
|
|
|
|
|
|
|
– | – |
| SAP HANA |
|
|
|
|
|
|
|
|
|
| ODBC |
|
|
|
|
|
|
|
|
|
| Amazon RDS SQL Serverille |
|
|
|
|
|
|
|
|
|
| Google BigQuery |
|
|
|
|
|
|
|
|
|
| Salesforce |
|
|
|
|
|
|
|
|
|
| Salesforce-palvelun pilvipalvelu |
|
|
|
|
|
|
|
|
|
| Azure-taulukot |
|
|
|
|
|
|
|
|
|
| Azure Files |
|
|
|
|
|
|
|
– | – |
| SFTP |
|
|
|
|
|
|
|
– | – |
| FTP |
|
|
|
|
|
|
|
– | – |
| IBM Db2 -tietokanta |
|
|
|
|
|
|
|
|
|
| Vertica |
|
|
|
|
|
|
|
|
|
| ServiceNow |
|
|
|
|
|
|
|
|
|
| Oracle Cloud Storage |
|
|
|
|
|
|
|
– | – |
| MariaDB |
|
|
|
|
|
|
|
|
|
| Dataverse |
|
|
|
|
|
|
|
|
|
| Dynamics 365 |
|
|
|
|
|
|
|
|
|
| Dynamics CRM |
|
|
|
|
|
|
|
|
|
| Azure Cosmos DB for NoSQL |
|
|
|
|
|
|
|
|
|
| HTTP |
|
|
|
|
|
|
|
– | – |
| Azure Cosmos DB for MongoDB |
|
|
|
|
|
|
|
|
|
| MongoDB-atlas |
|
|
|
|
|
|
|
|
|
| Mongo DB |
|
|
|
|
|
|
|
|
|
| ODATA |
|
|
|
|
|
|
|
|
|
| SharePoint Online -luettelo |
|
|
|
|
|
|
|
|
|
| Dynamics AX |
|
|
|
|
|
|
|
|
|
| Azure-tekoälyhaku |
|
|
|
|
|
|
|
|
|
| Kansio |
|
|
|
|
|
|
|
– | – |
| Vihreä luumu |
|
|
|
|
|
|
|
|
|
| REST |
|
|
|
|
|
|
|
– | – |
| SAP-taulukko |
|
|
|
|
|
|
|
|
|
| SAP BW Open Hub |
|
|
|
|
|
|
|
|
|
| Kassandra |
|
|
|
|
|
|
|
|
|
| Informix |
|
|
|
|
|
|
|
|
|
| Amazon RDS Oraclelle |
|
|
|
|
|
|
|
|
|
| Microsoft Access |
|
|
|
|
|
|
|
|
|
| Presto |
|
|
|
|
|
|
|
|
|
Lähetä palautetta kangasideoista ja liity keskusteluun kangasyhteisössä.