Tässä artikkelissa on tietoja Microsoft Dataverse -taulukkotietojen vientiä Azure Synapse Analyticsiin ja Azure Data Lakeen koskevista usein kysytyistä kysymyksistä.
Voinko suorittaa datatiedostojen automaattisen poistamisen käytäntöjen luomisen, päivittämisen, poistamisen tai määrittämisen kaltaisia tehtäviä yhdistetyssä Azure-tallennustilassa?
Asiakkaan ei tule muokata datatiedostoja, eikä asiakastiedostoja tule sijoittaa tietokansioihin.
Huomautus
Pudottaaksesi käyttämättömiä ja vanhoja tietoja Data Lakesta hajottamatta Azure Synapse Linkiä sinun kannattaa harkita ominaisuuden Kysele ja analysoi vaiheittaisia päivityksiä käyttämistä
Voiko Synapse-työtilan linkittää olemassa olevaan Azure Synapse Link -profiiliin, jossa on vain Data Lake -tallennustila?
Kyllä. Lisää selaimesi osoiterivin loppuun ?athena.updateLake=true verkko-osoitteeseen, joka loppuu exporttodatalake. Jos valitset olemassa olevan profiilin Azure Synapse Link -aloitussivulla, näkyvissä on uusi toiminto laajennetussa Linkitä Azure Synapse Analytics -työtilaan -asetuksessa.
Miten voin käyttää pöytääni suhteita?
Monta moneen -suhteisiin pääsemiseksi suhde on käytettävissä taulukkona, jonka voit valita Lisää taulukoita -sivulta uutta linkkiä varten ja Hallinnoi taulukoita -sivulta olemassa olevaa linkkiä varten.
Miten voin saada arvioidut kustannukset ennen Azure Synapse Linkin lisäämistä?
Azure Synapse Link on Dataversen maksuton ominaisuus. Azure Synapse Link for Dataverse käyttäminen Dataversessa ei lisää kustannuksia. Ota kuitenkin huomioon Azure-palvelun mahdolliset seuraavat kustannukset:
- Tietojen tallennustila ADLS Gen2:ssä: Azure Storage Data Lake Gen2 -hinnoittelu | Microsoft Azure
- Tietojen kulutuksen kustannus (kuten Synapse Workspace): Hinnoittelu – Azure Synapse Analytics | Microsoft Azure Saat kattavat tiedot Microsoft Cost Managementista kohdasta Azuren kustannusten hallinnan suunnittelu – Microsoft Cost Management | Microsoft Learn
Mitä tapahtuu, kun sarake lisätään?
Kun taulukkoon lisätään lähteessä uusi sarake, se lisätään myös tiedoston loppuun vastaavan tiedosto-osioinnin kohteessa. Vaikka uusi sarake ei ennen sarakkeen lisäystä luoduilla riveillä, juuri lisätty sarake näkyy uusilla tai päivitetyillä riveillä.
Mitä tapahtuu, kun sarake poistetaan?
Kun sarake poistetaan lähteen taulukosta, saraketta ei poisteta kohteessa. Rivejä ei sen sijaan enää päivitetä ja ne merkitään tyhjäarvoisiksi samalla, kun aiemmat rivit säilytetään.
Mitä tapahtuu, jos muutan sarakkeen tietotyyppiä?
Sarakkeen tietotyypin muuttaminen on tärkeä muutos. Se edellyttää linkin poistamista ja linkittämistä uudelleen.
Mitä tapahtuu, kun rivi poistetaan?
Rivin poistaminen käsitellään eri tavalla valittujen tietojen kirjoitusvaihtoehtojen mukaan:
- Samaan sijaintiin päivittäminen: Tämä on oletustila, ja kun taulukon rivi poistetaan tässä tilassa, rivi poistetaan myös vastaavasta tietojen osioinnista Azure Data Lake -tallennustilassa. Tiedot siis poistetaan pysyvästi kohteesta.
- Vain lisäys: Kun Dataverse-taulukon rivi poistetaan tässä tilassa, sitä ei poisteta pysyvästi kohteesta. Sen sijaan rivi lisätään tiedostoon ja sen arvoksi määritetään isDeleted=True vastaavassa tietojen osioinnissa Azure Data Lake -tallennustilassa.
Miksi en näe sarakeotsikkoa viedyssä tiedostossa?
Azure Synapse Link seuraa Common Data Modelia määrittäessään tiedot ja niiden merkityksen jaettaviksi sovelluksille ja liiketoimintaprosesseille, kuten Microsoft Power Appsille, Power BI:lle, Dynamics 365:lle ja Azurelle. Metatiedot, kuten sarakeotsikko, tallennetaan jokaisessa CDM-kansiossa model.json-tiedostoon. Lisätietoja: Common Data Model ja Azure Data Lake Storage Gen2 | Microsoft Learn
Miksi Model.json-tiedosto kasvaa tai pitenee tietotyyppien osalta eikä säilytä Dataversessa tehtyjä määrityksiä?
Model.json säilyttää tietokannan pituuden sarakkeen koon mukaan. Dataversessa on tietokannan pituuskonsepti kutakin saraketta kohden. Jos luot sarakkeen, jonka koko on 200 ja myöhemmin vähennät sen kokoon 100, Dataverse sallii edelleen aiemmin luotujen tietojen käytössä olon Dataversessa. Tämä tehdään, kun DBLength-arvona säilytetään 200 MaxLength-arvona 100. Model.json-kohdassa näkyy `DBLength``, ja jos tätä käytetään jatkoprosesseissa, Dataverse-sarakkeille ei koskaan valmistella vähempää tilaa.
Mitä päivämäärä- ja aikamuotoja voidaan odottaa viedyissä Dataverse-taulukoissa?
Viedyissä Dataverse-taulukoissa voi olla kolmea erilaista päivämäärä- ja aikamuotoa.
| Sarakkeen nimi | Muotoile | Tietotyyppi | Esimerkki: |
|---|---|---|---|
| SinkCreatedOn ja SinkModifiedOn | M/d/yyyy H:mm:ss tt | datetime | 6/28/2021 4:34:35 PM |
| CreatedOn | yyyy-MM-dd'T'HH:mm:ss.sssssssXXX | datetimeOffset | 2018-05-25T16:21:09.0000000+00:00 |
| Kaikki muut sarakkeet | yyyy-MM-dd'T'HH:mm:ss'Z' | datetime | 2021-06-25T16:21:12Z |
Huomautus
CreatedOn-tietotyyppi muuttui datetime-tyypistä datetimeOffset-tyyppiin 29.7.2022. Jos haluat muokata taulukolle luotua tietotyypin muotoa ennen muutosta, pudota taulukko ja lue se.
Voit valita Dataversen päivämäärä- ja aikasarakkeen käyttäytymisen, joka päivittää tietotyypin muodon. Lisätietoja. Päivämäärä ja aika -sarakkeen toimintatapa ja muoto
Miksi näkyvissä on 1.csv- tai 1_001.csv-tiedostonimi joidenkin Dataverse-taulukoiden tavallisten osioitujen päivämäärä- ja aikatiedostojen nimien sijaan?
Näin voi tapahtua, kun valitaan vain lisäys -asiantuntijatila, eikä taulukoilla ole sallittua CreatedOn-saraketta. Blob-objektit on järjestetty tiedostoiksi, kuten 1.csv ja 2.csv (käyttämällä mukautettua ositusta, koska sallittua luontipäivää ei ole määritetty). Kun mikä tahansa ositus lähestyy MaxBlockPerBlobLimit-arvon 95 prosentin rajaa, järjestelmä luo automaattisesti uuden tiedoston. Tässä se on tiedosto 1_001.csv.
Milloin kannattaa käyttää vuosittaista ja milloin kuukausikohtaista osiointistrategiaa?
Jos Dataverse-taulukoiden tietomäärä on vuositasolla suuri, kuukausiosioinnin käyttäminen on suositeltavaa. Tällä tavoin tiedostot ovat pienempiä ja suorituskyky parempi. Lisäksi, jos Dataverse-taulukoiden rivejä päivitetään usein, jakaminen useisiin pienempiin tiedostoihin auttaa parantamaan suorituskykyä paikanaikaisten päivitysskenaarioiden tapauksessa.
Mikä on vain lisäys -tila ja mikä ero vain lisäys- ja paikallaan-päivitystiloilla on?
Vain lisäys -tilassa lisätiedot Dataverse-taulukoista lisätään vastaavaan tiedosto-osioon Data Lake -tallennustilassa. Lisätietoja: Lisämääritysten asetukset Azure Synapse Linkissä
Milloin käytetään historiallisen muutosnäkymän Vain lisäys -tilaa?
Vain lisäys -tila on suositusvaihtoehto kirjoitettaessa Dataverse-taulukon tietoja Data Lake -tallennustilaan, etenkin jos tietomäärät ovat osioinnissa suuria usein muuttuvien tietoja vuoksi. Myös tämä yritysasiakkaiden yleisesti käyttämä suositusratkaisu. Tämän tilan voi valita käytettäväksi myös skenaarioissa, joissa tarkoitus on arvioida muutokset lisäävästi Dataversesta ja käsitellä muutokset ETL-, tekoäly- ja koneoppimisskenaarioissa. Vain lisäys -tila sisältää muutoslokin viimeisten muutosten tai samaan sijaintiin päivittämisen sijaan. Lisäksi se ottaa käyttöön useita aikasarjoja tekoälyskenaarioista, kuten historiallisiin arvoihin perustuvien ennusteiden tai ennakoinnin analyysin.
Miten voin noutaa kunkin tietueen uusimman rivin ja jättää pois poistetut rivit, kun vien tietoja vain lisäys -tilassa?
Vain lisäys -tilassa tulisi tunnistaa tietueen viimeisin versio samalla tunnuksella käyttämällä kohteita VersionNumber ja SinkModifiedOn sitten käyttää isDeleted=0 viimeisimmässä versiossa.
Jos pudotan taulukon ja linkitän sen uudelleen, tekeekö VersionNumber muutoksia?
VersionNumber riviversiotietotyyppi, ja sitä muutetaan kaikkien toimintojen, myös pudotuksen ja uudelleenlinkityksen, jälkeen.
Miksi kaksoiskappaleita käytetään, kun tietoja viedään vain lisäys -tilassa?
Jos Azure Synapse Link for Dataverse ei saa Vain lisäys -tilassa Azure Data Lake -tallennustilalta tietojen vahvistuksesta esimerkiksi verkkoviiveen vuoksi, Azure Synapse Link yrittää tehdä nämä skenaariot uudelleen ja vahvistaa tiedot. Loppupään kulutuksesta tulisi tehdä joustava tätä skenaariota varten suodattamalla tiedot käyttämällä kohdetta SinkModifiedOn.
Miksi Sinkmodifiedon- ja Modifiedon-sarakkeissa näkyy eroja?
Tämä on odotettavissa. Modifiedon on päivämäärä ja aika tietueessa, jota muutetaan Dataversessa. Sinkmodifiedon on päivämäärä ja aika tietueessa, jota muutetaan Data Lake -tallennustilassa.
Mitä Dataverse-taulukoita vienti ei tue?
Taulukoita, joissa ei ole käytössä muutosten seurantaa, ei tueta seuraavien järjestelmätaulukoiden lisäksi:
- Liite
- Kalenteri
- Calendarrule
Huomautus
Voit lisätä tarkistustaulukon vientiä varten käyttämällä Azure Synapse Link for Dataversea. Tarkistustaulukon vientiä tuetaan kuitenkin vain Delta Lake -profiileissa.
Käytän Delta Lakeen vientiominaisuutta. Voinko pysäyttää Apache Spark -työn tai muuttaa suoritusaikaa?
Delta Lake -muunnostyö käynnistyy, kun määritetyllä aikavälillä muutetaan tietoja. Apache Spark -poolia ei voi lopettaa eikä keskeyttää. Voit kuitenkin muokata linkin luonnin jälkeistä aikaväliä kohdassa Taulukoiden hallinta > Aikavälin lisäasetukset.
Tukeeko Azure Synapse Link laskettuja sarakkeita?
Laskettuja sarakkeita tuetaan vain, kun hakukenttä sijaitsee samassa taulukossa. Tietopäivitykset tehdään vain, kun muutosten seuranta on käynnissä. Valinta-arvot muutetaan juuritaulukoissa vain, kun juuritaulukon tietueita muutetaan. Alkuperäisen taulukon avulla saadaan uusin arvo, jolloin arvo vastaa parhaiten valintakentän arvoa.
Mitkä Dataverse-taulukot käyttävät vain lisäys -tilaa oletusarvoisesti?
Kaikki taulukot, joilla ei ole createdOn-kenttää, synkronoidaan käyttämällä Vain liitos -tilaa oletusarvoisesti. Tämä sisältää suhdetaulukoita sekä ActivityParty-taulukon.
Miksi Azure Synapse Link for Dataverse edellyttää kaikkien resurssien olevan samalla alueella ja mitä voin tehdä asian hyväksi?
Erinomaisen suorituskyvyn ja pienen viiveen varmistaminen lähtevän liikenteen maksujen estämisen lisäksi Azure Synapse Link edellyttää kaikkien resurssien sijaitsevan samalla alueella. Jos käytät alueiden välistä skenaariota, voit
- siirtää Azure-resurssit ympäristön kanssa samalle alueelle.
- siirtää ympäristön samalle alueelle kuin Azure-resurssit ottamalla yhteyttä Microsoftin asiakastukeen.
- ottaa käyttöön Lukuoikeus – maantieteellisesti vikasietoiseksi hajautettu tallennus (RA-GRS) -ratkaisun Azure Data Lakessa ja replikoida Azure-tiedot läheiselle alueelle. Lisätietoja: Toissijaisen alueen tietojen lukuoikeus
- Käytä Azure Synapse -putkia tai Azure Data Factorya Azure-resurssien tietojen kopioimiseksi yhdeltä alueelta toisen alueen Azure-resursseihin.
Miksi näkyvissä on Polun hakemiston sisältöä ei voi luetteloida -virheilmoitus?
- Dataverse-tiedot tallennetaan yhdistettyyn tallennustilan säilöön. Tallennustilan blob-objektin tietojen osallistuja -rooli on linkitettävä tallennustilan tiliin, jotta luku- ja kyselytoiminnot voidaan suorittaa Synapse Workspacen avulla.
- Jos päätät viedä Delta Lake -muodossa olevia tietoja, CSV-tiedostosi poistetaan Delta Lake -muunnoksen jälkeen. Sinun on kyseltävä tietoja, joissa on non_partitioned-taulukkoja, Synapse Workspacen avulla.
Miksi näyttöön tulee virhesanoma - ei voi ladata kerralla, koska tiedosto on puutteellinen tai sitä ei voi lukea (**Vain CSV-tiedosto**)?
Dataversen tiedot voivat muuttua jatkuvasti luonti-, päivitys- ja poistotapahtumien kautta. Virheen syynä on se, että taustalla olevaa tiedostoa muutetaan, kun luet siitä tietoja. Jos taulukoissa on keskeytyksettä muutoksia, muuta kulutusputkesi käyttämään tilannevedostietoja (jaetut taulukot) kulutukseen. Lisätietoja: Palvelimettoman SQL-varannon vianmääritys
Miten Azure Synapse Linkiä voi käyttää tärkeiden tietojen arkistoinnissa?
Azure Synapse Link for Dataverse on suunniteltu analytiikkaa varten. Asiakkaiden kannattaa käyttää pitkäaikaista säilytystä arkistoinnissa. Lisätietoja: Dataversen tietojen pitkäaikaisen säilytyksen yleiskatsaus