Бұл мақалада Microsoft Dataverse кесте деректерін Azure Synapse Analytics және Azure Data Lake қызметтеріне экспорттау туралы жиі қойылатын сұрақтарға қатысты ақпарат беріледі.
Қосылған Azure жадындағы деректер файлдары үшін автоматты жою саясаттарын жасау, жаңарту, жою немесе орнату сияқты тапсырмаларды қолмен орындай аламын ба?
Деректер файлдарын тұтынушы өзгертпеуі керек және деректер қалталарында тұтынушы файлдары орналаспауы керек.
Ескерім
Деректер көліндегі ескірген және тоқтап тұрған деректерді Azure Synapse Link бұзбай тастау үшін Сұрау мүмкіндігін пайдалануды және қосымша жаңартуларды талдауды қарастыру керек.
Synapse жұмыс кеңістігін тек деректер көлі бар бар Azure Synapse Link профильмен байланыстыра аламын ба?
Иә. Веб-шолғыштың мекенжай жолағында ?athena.updateLake=true exporttodalake деп аяқталатын веб-мекенжайға қосыңыз. Бар профильді Azure Synapse Link басты бетінен таңдаған кезде, кеңейтілген опцияда жаңа әрекетті көресіз Azure Synapse Analytics Жұмыс кеңістігіне сілтеме.
Кестелік қатынастарға қалай қол жеткізе аламын?
«Көптен көпке» қатынасына қол жеткізу үшін қатынас жаңа сілтеме үшін Кестелерді қосу беттен және таңдау үшін кесте ретінде қолжетімді болады. Алдын ала бар сілтеме үшін кестелерді басқару.
Azure Synapse Link қоспас бұрын болжалды шығындарды қалай алуға болады?
Azure Synapse Link Dataverse тегін мүмкіндік болып табылады. Azure Synapse Link for Dataverse пайдалану Dataverse бойынша қосымша ақы алынбайды. Дегенмен, Azure қызметі үшін ықтимал шығындарды қарастырыңыз:
- ADLS Gen2 ішіндегі деректерді сақтау: Azure Storage Data Lake Gen2 бағасы | Microsoft Azure
- Деректерді тұтыну құны (мысалы, Synapse Workspace): Баға - Azure Synapse Analytics | Microsoft Azure Microsoft шығындарын басқару туралы толық ақпаратты алу үшін мына сайтқа өтіңіз: Azure шығындарын басқаруды жоспарлаңыз - Microsoft Cost Management | Microsoft Learn
Мен бағанды қосқанда не болады?
Жаңа бағанды дереккөздегі кестеге қосқанда, ол сәйкес файл бөліміндегі тағайындалған орындағы файлдың соңына қосылады. Бағанды қосқанға дейін болған жолдар жаңа бағанды көрсетпесе, жаңа немесе жаңартылған жолдар жаңадан қосылған бағанды көрсетеді.
Мен бағанды жойған кезде не болады?
Бағанды көздегі кестеден жойған кезде, баған тағайындалған жерден түсірілмейді. Оның орнына, жолдар енді жаңартылмайды және алдыңғы жолдарды сақтаған кезде нөл деп белгіленеді.
Бағанның деректер түрін өзгертсем не болады?
Бағанның деректер түрін өзгерту үзіліссіз өзгеріс болып табылады және байланысты жою және қайта байланыстыру қажет.
Мен жолды жойған кезде не болады?
Жолды жою деректерді жазу опцияларының негізіне қарай әртүрлі өңделеді:
- Орнында жаңарту: бұл әдепкі режим және осы режимде кесте жолын жойған кезде, жол Azure Data Lake қызметіндегі деректер бөлігінен де жойылады. Басқаша айтқанда, деректерді мақсатты қалтадан жою қиындау болып табылады.
- Тек қосу: Бұл режимде, а Dataverse кесте жолы жойылғанда, оны тағайындалған жерден жою қиын емес. Оның орнына жол қосылады және Azure Data Lake қызметіндегі тиісті деректер бөлігіндегі файлға isDeleted=True ретінде орнатылады.
Неліктен мен экспортталған файлда баған тақырыбын көрмеймін?
Azure Synapse Link деректерге мүмкіндік беру және оның мағынасы Microsoft Power Apps, Power BI, Dynamics 365 және Azure сияқты қолданбалар мен бизнес процестерінде ортақ пайдалану үшін Жалпы деректер үлгісін бақылайды. Әрбір CDM қалтасында баған тақырыбы сияқты метадеректер model.json файлында сақталады. Қосымша ақпарат: Жалпы деректер үлгісі және Azure Data Lake Storage Gen2 | Microsoft Learn
Неліктен Model.json файлы деректер түрлері үшін ұзындығын ұлғайтады немесе өзгертеді және Dataverse ішінде анықталғанды сақтамайды?
Model.json баған өлшемі үшін дерекқор ұзындығын сақтайды. Dataverse әрбір баған үшін дерекқор ұзындығы туралы түсінік бар. Өлшемі 200 болатын бағанды жасап, кейінірек оны 100-ге дейін азайтсаңыз, Dataverse бар деректердің Dataverse ішінде болуына рұқсат береді. Ол мұны DBLength 200 және MaxLength мәнін 100-ге дейін сақтау арқылы жасайды. Model.json файлында көретіндеріңіз "DBLength" болып табылады және оны төменгі ағындық процестер үшін пайдалансаңыз, сіз ешқашан Dataverse бағандарыңыз үшін аз орын бермейсіз.
Экспортталатын Dataverse кестелерінде қандай күн мен уақыт форматтарын күтуге болады?
Экспортталатын Dataverse кестелерінде күтуге болатын үш күн мен уақыт форматы бар.
| Баған атауы | Пішім | Деректер түрі | Мысал |
|---|---|---|---|
| SinkCreatedOn және SinkModifiedOn | M/d/yyyy H:mm:ss tt | datetime | 6/28/2021 4:34:35 PM |
| CreatedOn | yyyy-MM-dd'T'HH:mm:ss.sssssssXXX | datetimeOffset | 2018-05-25T16:21:09.0000000+00:00 |
| Басқа барлық баған | yyyy-MM-dd'T'HH:mm:ss'Z' | datetime | 2021-06-25T16:21:12Z |
Ескерім
CreatedOn деректер түрі 29.07.2022 күні datetime мәнінен datetimeOffset түріне өзгертілді. Өзгеріске дейін жасалған кестенің деректер түрі пішімін өңдеу үшін кестені тастап, оқыңыз.
Деректер түрі пішімін жаңартатын Dataverse ішіндегі Күн мен уақыт бағанының әртүрлі баған әрекеттерін таңдауға болады. Қосымша ақпарат: Күн және уақыт бағанының әрекеті мен пішімі
Неліктен кейбір Dataverse кестелер үшін әдеттегі күн-уақыт бойынша бөлінген файл атауларының орнына 1.csv немесе 1_001.csv файл атауларын көріп тұрмын?
Бұл әрекет тек қосу үшін экспорттау режимін таңдағанда және жарамды CreatedOn бағаны жоқ кестелер болғанда күтіледі. Блобтар 1.csv, 2.csv (жарамды жасау күні болмауына байланысты реттелетін бөлімді қолдану) сияқты файлдарға ұйымдастырылған. Кез келген бөлім MaxBlockPerBlobLimit параметрінің 95%-ына жақындағанда, жүйе автоматты түрде жаңа файлды жасайды — мұнда 1_001.csv ретінде суреттелген.
Жылдық немесе айлық бөлік стратегиясын қашан қолдануым керек?
Жыл бойына деректер көлемі жоғары болатын Dataverse кестелері үшін ай сайынғы бөліктерді қолдануға кеңес береміз. Бұл файлдардың шағы болуына және өнімділіктің жақсаруына әкеледі. Сонымен қатар, Dataverse кестелердегі жолдар жиі жаңартылса, бірнеше кішірек файлдарға бөлу жергілікті жаңарту сценарийлері жағдайында өнімділікті жақсартуға көмектеседі.
Тек қосу режимі деген не және тек қосу режимі мен орнындағы жаңарту режимінің айырмашылығы неде?
Тек қосу режимінде Dataverse кестелердегі қосымша деректер көлдегі сәйкес файл бөліміне қосылады. Қосымша ақпарат алу үшін: Қосымша конфигурация параметрлері Azure Synapse Link
Өзгерістердің тарихи көрінісі үшін тек қосу режимін қашан пайдаланамын?
Тек үстеу режимі - Dataverse кесте деректерін деректер көліне жазудың ұсынылған нұсқасы, әсіресе деректер жиі өзгеретін бөлікте деректер көлемі үлкен болған кезде. Тағы да, бұл кәсіпорын тұтынушылары үшін жиі қолданылатын және өте ұсынылған нұсқа. Сонымен қатар осы режимді Dataverse бағдарламасындағы өзгертулерді біртіндеп қарауды көздейтін сценарийлер үшін және ETL, AI және ML сценарийлеріне өзгерістер енгізу үшін пайдалану мақсатында таңдауға болады. Тек үстеу режимі соңғы өзгерістердің немесе жергілікті жаңартудың орнына өзгеріс тарихын ұсынады және болжам немесе тарихи мәндерге негізделген болжау аналитикасы сияқты жасанды интеллект сценарийлерінен бірнеше уақыт серияларын қосады.
Деректерді тек қосу режимінде экспорттаған кезде әрбір жазбаның ең жаңа жолын қалай шығарып алуға және жойылған жолдарды алып тастауға болады?
Тек қосу режимінде VersionNumber және SinkModifiedOn одан кейін бірдей идентификаторы бар жазбаның соңғы нұсқасын анықтауыңыз керек. соңғы нұсқада isDeleted=0 қолданыңыз.
Кестені тастап, қайта байланыстырсам, VersionNumber қандай да бір өзгерістер енгізе ме?
VersionNumber жол нұсқасының деректер түрі болып табылады және кез келген әрекеттен кейін өзгертіледі, соның ішінде тастау және қайта байланыстыру.
Тек қосу режимін пайдаланып деректерді экспорттағанда неге қайталанатын нұсқа нөмірлерін көремін?
Тек қосу режимі үшін, егер Azure Synapse Link for Dataverse Azure деректер көлінен деректердің желілік кешігулер сияқты кез келген себептерге байланысты жасалғаны туралы растау алмаса, Azure Synapse Link осында әрекетті қайталайды. сценарийлер жасап, деректерді қайтадан орындаңыз. Төменгі ағынды тұтыну SinkModifiedOn көмегімен деректерді сүзу арқылы осы сценарийге төзімді болуы керек.
Неліктен мен Sinkmodifiedon және Modifiedon бағандарындағы айырмашылықтарды көріп тұрмын?
Бұл күтілуде. Modifiedon — жазба өзгертілетін күн уақыты Dataverse; Sinkmodifiedon — деректер көлінде жазба өзгертілген күн мен уақыт.
Қандай Dataverse кестелерге экспорттауға қолдау көрсетілмейді?
Өзгерістерді бақылау қосылмаған кез келген кестеге келесі жүйелік кестелерге қосымша қолдау көрсетілмейді:
- Тіркеме
- Күнтізбе
- Calendarrule
Ескерім
Экспортқа арналған аудит кестесін Azure Synapse Link for Dataverse арқылы қосуға болады. Дегенмен, аудит кестесін экспорттауға Delta Lake профильдері ғана қолдау көрсетіледі.
Мен Delta Lake мүмкіндігін экспорттауды пайдаланып жатырмын, Apache Spark тапсырманы тоқтата аламын ба немесе орындалу уақытын өзгерте аламын ба?
Delta Lake түрлендіру тапсырмасы конфигурацияланған уақыт аралығында деректер өзгерген кезде іске қосылады. Apache Spark пулды тоқтату немесе кідірту опциясы жоқ. Дегенмен, сілтеме жасалғаннан кейін уақыт аралығын кестелерді басқару > Жетілдірілген уақыт аралығы.
Azure Synapse Link есептелген бағандарды қолдайды ма?
Есептелген бағандарға іздеу өрісі бір кестеде орналасқанда ғана қолдау көрсетіледі. Деректер жаңартулары өзгерістерді қадағалау іске қосылғанда ғана орын алады: Түбірлік кестелердегі іздеу мәндері түбірлік кесте жазбалары өзгертілгенде ғана өзгереді. Іздеу өрісінің мәнін жақсырақ көрсету үшін соңғы мәнді алу үшін бастапқы кестеге қосылу ұсынылады.
Қандай Dataverse кестелер әдепкі бойынша тек қосу режимін пайдаланады?
CreateOn өрісі жоқ барлық кестелер әдепкі бойынша тек қосу режимі арқылы синхрондалады. Бұған қатынас кестелері, сондай-ақ ActivityParty кестесі кіреді.
Неліктен барлық ресурстардың бір аймақта болуы үшін Azure Synapse Link for Dataverse қажет және бұл жағдайда мен не істей аламын?
Шығу төлемдерін болдырмауға қосымша жоғары өнімділік пен төмен кідірісті қамтамасыз ету үшін Azure Synapse Link барлық ресурстардың бір аймақта орналасуын талап етеді. Егер сізде аймақаралық сценарий болса, келесі әрекеттерді орындай аласыз:
- Azure ресурстарын ортамен бірдей аймаққа жылжыту.
- Microsoft қолдау қызметіне хабарласу арқылы ортаны Azure ресурстарымен бір аймаққа жылжыту.
- Azure деректерін жақын аймаққа көшіру үшін, Azure Data Lake қызметінде Оқуға рұқсаты бар "Гео-артық сақтау орны" (RA-GRS) параметрін қосыңыз. Қосымша ақпарат: Қосымша аймақтағы деректерді оқу рұқсаты
- Деректерді бір аймақтағы Azure ресурстарынан екіншісіндегі Azure ресурстарына көшіру үшін, Azure Synapse конвейерін немесе Azure Data Factory қызметін пайдаланыңыз.
Неліктен мен қате туралы хабарды көремін - Жолдағы каталогтың мазмұнын тізімге енгізу мүмкін емес?
- Dataverse деректер қосылған сақтау контейнерінде сақталады. Synapse Workspace арқылы оқу және сұрау әрекеттерін орындау үшін сізге байланыстырылған сақтау тіркелгісінде "Storage Blob Data Contributor" рөлі қажет.
- Деректерді Delta Lake пішімімен экспорттауды таңдасаңыз, CSV файлыңыз Delta Lake түрлендіруінен кейін тазартылады. Synapse Workspace арқылы бөлінбеген кестелері бар деректерді сұрау керек.
Неліктен қате туралы хабарды көремін - файл толық емес немесе оқу мүмкін болмағандықтан жаппай жүктеу мүмкін емес (**CSV файлы ғана**)?
Dataverse деректер жасау, жаңарту және жою транзакциялары арқылы үнемі өзгеріп отырады. Бұл қате негізгі файлдан деректерді оқыған кезде өзгертілгендіктен туындайды. Осылайша, үздіксіз өзгерістері бар кестелер үшін тұтыну үшін сурет деректерін (бөлімделген кестелер) пайдалану үшін тұтыну құбырын өзгертіңіз. Қосымша ақпарат: Серверсіз SQL пулының ақаулықтарын жою
Маңызды деректерді мұрағаттау үшін Azure Synapse Link қалай пайдалануға болады?
Azure Synapse Link for Dataverse аналитикалық мақсаттарға арналған. Тұтынушыларға мұрағат мақсаттары үшін ұзақ мерзімді сақтауды пайдалануды ұсынамыз. Қосымша ақпарат: Dataverse Деректерді ұзақ мерзімді сақтауға шолу