See artikkel annab infot korduma kippuvatele küsimustele Microsoft Dataverse tabeliandmete eksportimise kohta Azure Synapse Analyticsisse Azure Data Lake’i.
Kas ühendatud Azure’i salvestusruumis olevatele andmefailidele saab käsitsi toiminguid teha, näiteks luua, värskendada, kustutada või määrata automaatse delegeerimise poliitikaid?
Klient ei tohiks andmefaile muuta ja andmekaustadesse ei tohi paigutada kliendifaile.
Märkus
Aegunud ja seisvate andmete andmejärve viskamiseks ilma neid rikkumata Azure Synapse Link kaaluge funktsiooni Päring kasutamist ja analüüsige astmelisi värskendusi
Kuidas saan oma tabeliseostele juurde pääseda?
Mitmele-mitmele seostele juurdepääsemiseks on seos saadaval tabelina, et valida uue lingi jaoks lehelt Tabelite lisamine ja olemasoleva lingi jaoks tabelitest haldamine .
Märkus
Kõik seoseandmed on vaikimisi ainult lisarežiimis, kui need on kirjutatud CSV-vormingus.
Kuidas saada hinnangulisi kulusid enne lisamist Azure Synapse Link?
Azure Synapse Link on tasuta funktsioon koos Dataverse. Kasutamisega Azure Synapse Link for Dataverse ei kaasne lisatasusid Dataverse. Arvestage siiski Azure’i teenuse võimalike kuludega:
- Andmete talletamine Gen2-s Azure Data Lake Storage : Azure’i salvestusruumi andmed Gen2-järve hinnakujundus | Microsoft Azure
- Andmetarbimise maksumus (nt Synapse Workspace): Hinnakujundus - Azure Synapse Analytics | Microsoft Azure Microsofti kuluhalduse põhjaliku teabe leiate aadressilt: Azure’i kulude haldamise plaanimine – Microsofti kuluhaldus | Microsoft Learn
Mis juhtub veeru lisamisel?
Kui lisate allika tabelisse uue veeru, lisatakse see ka faili lõppu vastava failisektsiooni sihtpunkti. Kui ridu, mis olid olemas enne veeru lisamist, uues veerus ei kuvata, siis uutel või värskendatud ridadel kuvatakse äsja lisatud veerg.
Mis juhtub veeru kustutamisel?
Kui kustutate allika tabelist veeru, ei kukutata veergu sihtkohast. Ridu enam ei värskendata ja need tähistatakse nullväärtusega, samal ajal kui eelmised read on säilitatud.
Mis juhtub, kui muudate veeru andmetüüpi?
Veeru andmetüübi muutmine on murranguline muudatus ning peate linkimise tühistama ja uuesti linkima.
Mis juhtub rea kustutamisel?
Rea kustutamist käsitletakse erinevalt, võttes aluseks teie valitud andmekirjutussuvandid.
- Kohapealne värskendus CSV-vormingus: see on vaikerežiim. Kui kustutate selles režiimis tabelirea, kustutatakse see rida ka Azure’i andmejärve vastavast andmesektsioonist. Teisisõnu, andmed kustutatakse sihtkohast püsivalt.
- Ainult lisamine CSV-vormingu ja kausta astmelise värskendamisega: selles režiimis, kui Dataverse tabelirida kustutatakse, pole seda sihtkohast raske kustutada. Selle asemel lisatakse rida ja seadistatakse failile Azure
isDeleted=TrueData Lake’i vastavas andmesektsioonis. - Ekspordi Delta järve vormingusse: Azure Synapse Link teostab andmete pehme kustutamise järgmise delta sünkroonimistsükli ajal, millele järgneb kõva kustutamine 30 päeva pärast.
Miks ma ei näe eksporditud failis veerupäist?
Azure Synapse Link järgib ühist andmemudelit, et võimaldada andmete jagamist ja nende jagamist rakenduste ja äriprotsesside vahel, nagu Microsoft Power Apps Dynamics Power BI 365 ja Azure. Igas CDM-kaustas salvestatakse metaandmed, nagu veerupäis, model.json faili. Lisateave: Ühine andmemudel ja Azure Data Lake Storage Gen2 | Microsoft Learn
Miks Model.json-faili pikkus andmetüüpide puhul suureneb või muutub ega säilita seda, mis on määratletud Dataverse?
Model.json säilitab andmebaasi pikkuse veeru suuruse jaoks. Dataverse on iga veeru jaoks andmebaasi pikkuse mõiste. Kui loote veeru suurusega 200 ja vähendate seda hiljem 100-le, Dataverse võimaldab see siiski teie olemasolevaid andmeid kasutada Dataverse. Ta teeb seda, hoides DBLength 200 ja MaxLength 100 juures. See, mida näete Model.json, on DBLength ja kui kasutate seda allavoolu protsesside jaoks, ei reserv te kunagi oma Dataverse veergude jaoks vähem ruumi.
Märkus
Memoväljad on määratletud nii, et varchar(max) nende maksimaalne vaikepikkus on 9999.
Milliseid kuupäeva- ja kellaajavorminguid on eksporditud Dataverse tabelites oodata?
Eksporditud Dataverse tabelites on kolm kuupäeva ja kellaaja vormingut.
| Veeru nimi | Vorming | Andmete tüüp | Näide |
|---|---|---|---|
| SinkCreatedOn ja SinkModifiedOn | K/p/aaaa T:mm:ss tt | datetime | 6/28/2021 4:34:35 PM |
| CreatedOn | aaaa-KK-pp'T'TT:mm:ss.sssssssXXX | datetimeOffset | 2018-05-25T16:21:09.0000000+00:00 |
| Kõik muud veerud | aaaa-KK-pp'T'TT:mm:ss'Z' | datetime | 2021-06-25T16:21:12Z |
Märkus
CreatedOn andmetüüp on muudetud datetime datetimeOffset 29.07.2022. Enne muudatust loodud tabeli andmetüübivormingu redigeerimiseks pukseerige ja lugege tabel ette.
Saate valida erinevad veerukäitumised kuupäeva Dataverse ja kellaaja veeru jaoks, mis värskendab andmetüübi vormingut. Lisateave: Kuupäeva ja kellaaja veeru funktsioon ja vorming
Miks ma näen mõne Dataverse tabeli puhul tavaliste kuupäeva- ja kellaajajaotusega failinimede asemel 1.csv või 1_001.csv failinimesid?
Seda käitumist eeldatakse, kui valite ainult lisanduse ekspordirežiimi ja teil on tabelid ilma kehtiva veeruta CreatedOn . Blobid on korraldatud sellisteks failideks nagu 1.csv, 2.csv (kasutades kohandatud partitsioonimist kehtiva loomiskuupäeva puudumise tõttu). Kui mõni partitsioon läheneb 95% -le MaxBlockPerBlobLimitist, genereerib süsteem automaatselt uue faili - illustreeritud siin kui 1_001.csv.
Millal peaksin kasutama iga-aastaseid või igakuiseid partitsioonstrateegiaid?
Dataverse tabelites, kus andmemaht on aasta jooksul suur, on soovitatav kasutada kuupõhiseid partitsioone. Selle tulemuseks on väiksemad failid ja suurem jõudlus. Lisaks, kui tabelite ridu Dataverse värskendatakse sageli, aitab mitmeks väiksemaks failiks jagamine kohapealsete värskendusstsenaariumide korral jõudlust parandada. Delta Lake on saadaval ainult aastase partitsiooniga tänu oma suurepärasele jõudlusele võrreldes CSV-vorminguga.
Mis on ainult lisamisrežiim ja mis on ainult lisamise ja kohapealse värskendusrežiimi vahel?
Ainult lisamise režiimis lisatakse tabelite lisaandmed Dataverse järve vastavale failisektsioonile. Lisateave: Täpsemad konfiguratsioonisuvandid Azure Synapse Link
Millal kasutada muudatuste ajaloovaate jaoks ainult lisamisrežiimi?
Lõpurežiim on soovitatud võimalus kirjutada Dataverse tabeliandmed järve, eriti kui andmemahud on partitsioonides suured ja sageli vahetuvate andmetega. Samuti on see levinud ja väga soovitatav variant ettevõtteklientide jaoks. Lisaks saate valida selle režiimi kasutamise stsenaariumide puhul, kus kavatsetakse astmeliselt üle vaadata Dataverse -i ja protsessimuudatusi ETL-i, AI-i ja ML-i stsenaariumitele. Lõpurežiim pakub muudatuste ajalugu vaid viimase muudatuse või kohapealse värskenduse asemel ja võimaldab mitneid aja seeriaid AI stsenaariumitele nagu varasematel väärtustel põhinev prognoos või ennustamine.
Kuidas tuua iga kirje kõige ajakohasem rida ja välistada kustutatud read, kui ekspordin andmeid ainult lisamisrežiimis?
Ainult lisamisrežiimis peaksite tuvastama sama ID-ga kirje uusima versiooni, kasutades VersionNumber seda ja SinkModifiedOn seejärel rakendama isDeleted=0 uusimale versioonile.
Miks ma näen duplikeeritud versiooninumbreid, kui ekspordin andmeid ainult lisandusrežiimis?
Ainult lisarežiimi puhul, kui Azure Synapse Link for Dataverse te ei saa Azure’i andmejärvest kinnitust, et andmed on kinnitatud mis tahes põhjusel, näiteks võrguviivituste tõttu, Azure Synapse Link proovib neid stsenaariume uuesti ja seob andmed uuesti. Järgmise etapi tarbimine tuleks muuta selle stsenaariumi suhtes vastupidavaks, filtreerides andmeid kasutades SinkModifiedOn.
Miks ma näen erinevusi veergudes Sinkmodifiedon ja Modifiedon?
See on ootuspärane. Modifiedon on kuupäev, millal kirjet muudetakse Dataverse; Sinkmodifiedon on kuupäev ja kellaaeg, millal kirjet andmejärves muudetakse.
Millised Dataverse tabelid pole eksportimisel toetatud?
Lisaks järgmistele süsteemitabelitele ei toetata ühtegi tabelit, kus muudatuste jälitus pole lubatud.
- Attachment (Manus)
- Kalender
- Calendarrule
Märkus
Audititabeli saate eksportimiseks lisada, kasutades Azure Synapse Link for Dataverse. Audititabeli eksporti toetatakse aga ainult Delta järve profiilidega.
Kasutan deltajärve ekspordi funktsiooni, kas saan töö peatada Apache Spark või täitmisaega muuta?
Delta järve teisendustöö käivitatakse, kui konfigureeritud ajavahemikus muudeti andmeid. Basseini peatamiseks või peatamiseks Apache Spark pole võimalust. Siiski saate muuta ajavahemikku pärast lingi loomist jaotises Tabelite haldamine > täpsem ajavahemik.
Kas see Azure Synapse Link toetab otsinguveergusid?
Otsinguveerud koosnevad ID-st ja väärtusest. Otsinguväärtused muutuvad ainult juurtabelis. Otsinguveeru väärtuse paremaks kajastamiseks soovitame uusima väärtuse saamiseks ühendada algse juurtabeliga.
Kas Azure Synapse Link see toetab arvutatud veerge?
Arvutatud Dataverse veergudes säilitatakse ainult valemiteave ja tegelik väärtus sõltub alustabeli veerust. Seega toetatakse arvutatud veerge ainult siis, kui kõik veerud asuvad samas eksporditud tabelis.
Millised Dataverse tabelid kasutavad vaikimisi ainult lisamisrežiimi?
Kõik tabelid, millel pole välja createdOn, sünkroonitakse vaikimisi ainult lisamisrežiimi abil. See hõlmab seoste tabeleid ja tabelit ActivityParty.
Miks ma näen tõrketeadet - teel oleva kataloogi sisu ei saa loendis kuvada?
- Dataverse Andmed salvestatakse ühendatud salvestuskonteinerisse. Synapse Workspace’i kaudu lugemis- ja päringutoimingute tegemiseks vajate lingitud salvestusruumi kontol rolli "Storage Blob Data Contributor".
- Kui otsustate eksportida andmed Delta Lake’i vormingus, puhastatakse teie CSV-fail pärast Delta Lake’i teisendamist. Peate esitama andmeid non_partitioned tabelitega Synapse Workspace’i kaudu.
Miks kuvatakse tõrketeade – seda ei saa hulgilaadida, kuna fail on puudulik või seda ei saanud lugeda (ainult CSV-fail)?
Dataverse’i andmeid saab alati loomise, värskendamise ja kustututamise kannete kaudu muuta. Selle tõrke põhjuseks on aluseks oleva faili muutmine, kui loete sellest andmeid. Seega muutke pidevate muudatustega tabelite puhul oma tarbimistoru nii, et see kasutaks tarbimiseks hetktõmmis andmeid (jaotatud tabelid). Lisateave: Serverita SQL-i basseini tõrkeotsing
Kuidas kasutada Azure Synapse Link kriitiliste andmete arhiivimist?
Azure Synapse Link for Dataverse on mõeldud analüütika eesmärgil. Soovitame klientidel kasutada arhiivide jaoks pikaajalist säilitamist. Lisateave: Dataverse pikaajalise andmete säilitamise ülevaade
Miks ma ei näe andmejärves andmete muudatusi, kui kirjed on kustutatud Dataverse?
Mis tahes otsese SQL-kõne puhul kirje Azure Synapse Link for Dataverse eemaldamiseks ei käivitu teenus BPO-s. Kustutamist ei kutsuta. Näidisfunktsiooni leiate teemast Päritud juurdepääsu puhastamine.