Azure Data Lake के साथ एक Azure Synapse लिंक बनाएँ Dataverse

आप विभिन्न विश्लेषण परिदृश्यों को सक्षम करने के लिए अपने डेटा को Gen2 से कनेक्ट करने के लिए लिंक का उपयोग कर सकते हैं। Azure Synapse Microsoft Dataverse Azure Data Lake Storage यह लेख आपको बताता है कि निम्नलिखित कार्य कैसे करना है:

1. लिंक सेवा के साथ अपने डेटा को अपने Gen2 खाते से कनेक्ट करें। Dataverse Azure Data Lake Storage Azure Synapse
2. लिंक में शामिल Dataverse तालिकाओं को प्रबंधित करें. Azure Synapse
3. अपने Azure Synapse लिंक पर नज़र रखें.
4. अपना Azure Synapse लिंक अनलिंक करें.
5. अपना Azure Synapse लिंक पुनः लिंक करें.
6. Azure Data Lake में अपना डेटा देखें और फ़ाइल संरचना को समझें.

नोट

Azure Synapse Dataverse के लिए लिंक को पहले डेटा लेक में निर्यात के रूप में जाना जाता था। इस सेवा का मई 2021 से प्रभावी होने पर फिर से नाम रखा गया था और यह Azure Data Lake के साथ-साथ Azure Synapse Analytics को डेटा निर्यात करना जारी रखेगा.

पूर्वावश्यकताएँ

• Azure Data Lake Storage Gen2: आपके पास एक Azure Data Lake Storage Gen2 खाता और स्वामी और स्टोरेज ब्लॉब डेटा योगदानकर्ता भूमिका पहुँच होनी चाहिए। आपके संग्रहण खाते को आरंभिक सेटअप और डेल्टा सिंक दोनों के लिए पदानुक्रमित नामस्थान सक्षम करना होगा. संग्रहण खाता कुंजी पहुँच की अनुमति दें केवल आरंभिक सेटअप के लिए आवश्यक है.

नोट

• संग्रहण खाता आपके टेनेंट के समान ही टेनेंट में बनाया जाना चाहिए. Microsoft Entra Power Apps
• चयनित IP पतों से पहुँच प्रदान करने के लिए लिंक किए गए संग्रहण खाते के लिए चयनित वर्चुअल नेटवर्क और IP पतों से सक्षम सेट करने के लिए, आपको प्रबंधित पहचान के साथ एक लिंक बनाना होगा। अपने Azure डेटा लेक संग्रहण के साथ Azure के लिए प्रबंधित पहचान का उपयोग करें (प्रबंधित पहचान सेट अप किए बिना, आपको प्रारंभिक सेटअप और डेल्टा सिंक दोनों के लिए Azure संसाधनों के लिए सार्वजनिक नेटवर्क पहुँच सक्षम करनी होगी।) Azure Synapse
• हम दृढ़ता से अनुशंसा करते हैं कि आप इस उद्देश्य के लिए चयनित स्टोरेज खाते पर सॉफ्ट डिलीट सुविधा को सक्षम करें। सॉफ्ट डिलीट को सक्षम करने से आप आकस्मिक डेटा डिलीट होने की स्थिति में तेजी से डेटा रिकवर कर सकते हैं।
• आपके पास संग्रहण खाते के साथ संसाधन समूह तक रीडर भूमिका पहुँच होनी चाहिए.
• परिवेश को Azure Data Lake Storage Gen2 से जोड़ने के लिए, आपके पास Dataverse सिस्टम व्यवस्थापक सुरक्षा भूमिका होनी चाहिए.
• केवल वे टेबल जिनमें चेंज ट्रैकिंग सक्षम है, निर्यात की जा सकती हैं.
• एक एकल परिवेश के अंतर्गत लिंक प्रोफाइल का निर्माण अधिकतम 10 तक सीमित है। Azure Synapse Dataverse

Dataverse को Azure Data Lake Storage Gen2 से कनेक्ट करें

1. लॉग इन करें Power Apps और अपना पसंदीदा वातावरण चुनें।

2. बाएँ नेविगेशन फलक पर, Azure Synapse लिंक का चयन करें. यदि Azure Synapse लिंक साइड पैनल पैन में दिखाई नहीं देता है, तो …अधिक चुनें और सभी खोजें चुनें। Azure Synapse लिंक डेटा प्रबंधन अनुभाग में है।

3. कमांड बार पर, + डेटा लेक के लिए नया लिंक चुनें.

4. सदस्यता, संसाधन समूह, और संग्रहण खाता का चयन करें. सुनिश्चित करें कि संग्रहण खाता पूर्वापेक्षाएँ अनुभाग में निर्दिष्ट आवश्यकताओं को पूरा करता है. अगला चुनें.

   नोट

   पर्यावरण को डेटा झील से जोड़ने के भाग के रूप में, आप लिंक सेवा को अपने संग्रहण खाते तक पहुँच प्रदान करते हैं। Azure Synapse सुनिश्चित करें कि आपने Azure डेटा लेक स्टोरेज खाता बनाने और कॉन्फ़िगर करने की पूर्वावश्यकताओं का पालन किया है, और स्टोरेज खाते पर स्वयं को एक स्वामी की भूमिका प्रदान की है. ... इसके अतिरिक्त, आप Power Platform डेटाफ़्लो सेवा को अपने स्टोरेज खाते में एक्सेस प्रदान करते हैं. अधिक जानकारी: डेटाफ़्लो के साथ स्वयं-सेवा डेटा तैयारी.

5. वे तालिकाएँ जोड़ें जिन्हें आप निर्यात करना चाहते हैं, और फिर सहेजें चुनें. ट्रैकिंग बदलें के साथ सक्षम टेबल को निर्यात किया जा सकता है. अधिक जानकारी: परिवर्तन ट्रैकिंग सक्षम करें.

   

आप अपनी Azure सदस्यता में एक परिवेश से एकाधिक Azure डेटा लेक तक लिंक बनाने के लिए इस आलेख में दिए गए चरणों का पालन कर सकते हैं. इसी तरह, आप एक ही टेनेंट के भीतर, कई परिवेशों से उसी एक Azure Data Lake तक एक लिंक बना सकते हैं.

नोट

लिंक फॉर सेवा को एक आउट-ऑफ-द-बॉक्स सुविधा के रूप में सहजता से एकीकृत किया गया है। Azure Synapse Dataverse Power Platform यह डेटा भंडारण और शासन के लिए निर्धारित सुरक्षा और शासन मानकों को पूरा करता है। Power Platform अधिक जानकारी: डेटा संग्रहण और प्रशासन

लिंक सेवा द्वारा निर्यातित डेटा को ट्रांज़िट के समय ट्रांसपोर्ट लेयर सिक्योरिटी (TLS) 1.2 या उच्चतर का उपयोग करके एन्क्रिप्ट किया जाता है और शेष अवस्था में Gen2 में एन्क्रिप्ट किया जाता है। Azure Synapse Azure Data Lake Storage इसके अतिरिक्त, ब्लॉब संग्रहण में परिवर्तनीय डेटा भी निष्क्रिय अवस्था में एन्क्रिप्ट किया जाता है. Azure Data Lake Storage Gen2 में एन्क्रिप्शन आपको अपने डेटा को सुरक्षित रखने में, एंटरप्राइज़ सुरक्षा नीतियों को लागू करने में और विनियामक अनुपालन आवश्यकताओं को पूरा करने में मदद करता है. अधिक जानकारी: Azure डेटा एन्क्रिप्शन-एट-रेस्ट

Data Lake में टेबल डेटा प्रबंधित करें

Azure Synapse लिंक सेट अप करने के बाद, आप निर्यात की जाने वाली तालिकाओं को दो में से किसी एक तरीके से प्रबंधित कर सकते हैं:

• Power Apps निर्माता पोर्टल Azure Synapse लिंक क्षेत्र पर, एक या अधिक लिंक की गई तालिकाओं को जोड़ने या निकालने के लिए कमांड बार पर तालिकाएँ प्रबंधित करें का चयन करें.

• Power Apps निर्माता पोर्टल तालिकाएँ क्षेत्र पर, तालिका के आगे … चुनें और फिर उस लिंक किए गए डेटा लेक का चयन करें जहाँ आप तालिका डेटा निर्यात करना चाहते हैं.

  

अपने Azure Synapse लिंक की निगरानी करें

Azure Synapse लिंक सेट अप करने के बाद, आप Azure Synapse तालिकाएँ टैब के अंतर्गत लिंक की निगरानी कर सकते हैं।

• वहां उन तालिकाओं की सूची होगी जो चयनित Azure Synapse लिंक का हिस्सा हैं।
• सिंक स्थिति विभिन्न चरणों से होकर गुजरती है। NotStarted यह इंगित करता है कि तालिका सिंक होने की प्रतीक्षा कर रही है। एक बार जब तालिका का प्रारंभिक सिंक पूरा हो जाता है, तो एक पोस्ट प्रोसेसिंग चरण होता है जहां वृद्धिशील अपडेट नहीं होंगे। आपके डेटा के आकार के आधार पर इसमें कई घंटे लग सकते हैं। जैसे-जैसे वृद्धिशील अपडेट होने लगेंगे, अंतिम सिंक की तारीख नियमित रूप से अपडेट की जाएगी.
• गणना स्तंभ लिखी गई संख्या पंक्तियों को दर्शाता है। जब केवल संलग्न करें को नहीं पर सेट किया जाता है, तो यह रिकॉर्डों की कुल संख्या होती है। जब केवल जोड़ें को हां पर सेट किया जाता है, तो यह परिवर्तनों की कुल संख्या होती है।
• केवल जोड़ें और विभाजन रणनीति स्तंभ विभिन्न उन्नत कॉन्फ़िगरेशन का उपयोग दिखाते हैं।

Azure Synapse लिंक को अनलिंक करना

1. अनलिंक करने के लिए इच्छित Azure Synapse लिंक का चयन करें.

2. कमांड बार से डेटा लेक अनलिंक करें का चयन करें.

3. दोनों डेटा लेक फ़ाइल सिस्टम को हटाने के लिए, डेटा लेक फ़ाइल सिस्टम हटाएँ का चयन करें।

4. हां चुनें, और सब कुछ अनलिंक और डिलीट होने के लिए कुछ मिनट प्रतीक्षा करें।

Azure Synapse लिंक को फिर से लिंक करना

अगर आपने अनलिंक करते समय फ़ाइल सिस्टम को हटा दिया है, तो उसी data lake को फिर से जोड़ने के लिए ऊपर दिए गए चरणों का पालन करें. यदि आपने अनलिंक करते समय फ़ाइल सिस्टम को नहीं हटाया है, तो आपको पुनः लिंक करने के लिए डेटा साफ़ करना होगा:

1. Azure Data Lake पर जाएँ.

2. Dataverse कंटेनर हटाएं.

3. Power Apps पर जाएं, और data lake को फिर से लिंक करें.

Azure Data Lake Storage Gen2 में अपना डेटा देखें

1. वांछित Azure Synapse लिंक का चयन करें, और फिर शीर्ष पैनल से Azure डेटा लेक पर जाएँ का चयन करें.

2. फ़ाइल सिस्टम विस्तृत करें, और उसके बाद dataverse-environmentName-organizationUniqueName का चयन करें.

model.json फ़ाइल, इसके नाम और संस्करण के साथ, उन टेबल की सूची देती है जिन्हें Data Lake में निर्यात किया गया है. model.json फाइल में प्रारंभिक सिंक स्थिति और सिंक समापन समय भी होता है.

एक फ़ोल्डर जिसमें स्नैपशॉट अल्पविराम-सीमांकित (CSV प्रारूप) की फ़ाइलें शामिल हैं, को Data Lake में निर्यात की गई प्रत्येक टेबल के लिए प्रदर्शित किया जाता है.

Synapse वर्कस्पेस को किसी मौजूदा से लिंक करें Azure Synapse प्रोफ़ाइल को केवल डेटा लेक से लिंक करें

1. वेब ब्राउज़र के एड्रेस बार में, ?athena.updateLake=true exporttodatalake के साथ समाप्त होने वाले वेब पते में जोड़ें।

2. Azure Synapse लिंक क्षेत्र से किसी मौजूदा प्रोफ़ाइल का चयन करें, और फिर विस्तारित विकल्प का चयन करें।

3. कार्यस्थान से लिंक करें Azure Synapse Analytics चुनें और सब कुछ लिंक होने के लिए कुछ मिनट दें।

स्नैपशॉट का लगातार अपडेट

Microsoft Dataverse डेटा में क्रिएट, अपडेट और डिलीट व्यवहारों द्वारा लगातार परिवर्तन हो सकता है. स्नैपशॉट में उस डेटा की रीड-ओनली कॉपी होती है जिसे नियमित अंतराल में अद्यतन किया जाता है, इस मामले में, प्रत्येक घंटे में. इससे यह सुनिश्चित होता है कि किसी बिंदु पर, डेटा एनालिटिक्स उपभोक्ता लेक में डेटा को विश्वसनीय ढंग से उपयोग कर सकता है.

जब टेबल को प्रारंभिक निर्यात के हिस्से के रूप में जोड़ा जाता है, तो Data Lake में संबंधित फ़ोल्डरों के नीचे टेबल डेटा को table.csv फ़ाइलों में लिखा जाता है. यह T1 अंतराल है, जहां table-T1.csv नामक एक स्नैपशॉट केवल-पठन योग्य फ़ाइल बनाई जाती है—उदाहरण के लिए, Account-T1.csv या Contacts-T1.csv—बनाई जाती है। इसके अलावा, इन स्नैपशॉट फ़ाइलों को चिह्नित करने के लिए model.json फाइल अपडेट की जाती है. model.json खोलकर, आप स्नैपशॉट के ब्यौरे देख सकते हैं.

Account.csv विभाजित फाइल और Data Lake में स्नैपशॉट फोल्डर का उदाहरण इस प्रकार है.

Dataverse में परिवर्तनों को ट्रिकल फ़ीड इंजन का उपयोग करते हुए लगातार संबंधित CSV फ़ाइलों को भेजा जाता है. यह T2 अंतराल है जहाँ एक दूसरी स्नैपशॉट लिया जाता है. table-T2.csv—उदाहरण के लिए, Accounts-T2.csv या Contacts-T2.csv (यह मानते हुए कि तालिका में परिवर्तन हैं) —और model.json को नई स्नैपशॉट फ़ाइलों में अपडेट किया जाता है। कोई भी नया व्यक्ति जो T2 से स्नैपशॉट डेटा को देखता है, से नई स्नैपशॉट फाइलें दिखाई जाती है. इस तरह, मूल स्नैपशॉट देखने वाला पुरानी स्नैपशॉट T1 फ़ाइलों पर काम करना जारी रख सकता है जबकि नए देखने वाले नवीनतम अद्यतन पढ़ सकते हैं. यह उन परिदृश्यों में उपयोगी है जिनमें लंबे समय तक डाउनस्ट्रीम प्रक्रियाएं चल रही हैं.

नोट

नई स्नैपशॉट फ़ाइल केवल तभी बनाई जाती है जब कोई डेटा अपडेट होता है। केवल नवीनतम पांच स्नैपशॉट फ़ाइलें ही रखी जाती हैं। स्थिर डेटा स्वचालित रूप से आपके Azure Data Lake Storage Gen 2 खाते से हटा दिया जाता है।

यहाँ model.json फाइल का एक उदाहरण दिया गया है जो हमेशा नवीनतम समय-मुद्रित एकाउंट स्नैपशॉट फाइल दिखाता है.

अब आगे क्या है?

Azure Synapse लिंक फॉर Dataverse सेवा का सफलतापूर्वक उपयोग करने के बाद, जानें कि आप डिस्कवर हब के साथ अपने डेटा का विश्लेषण और उपभोग कैसे कर सकते हैं। डिस्कवर हब तक पहुंचने के लिए, Power Apps>Azure Synapse लिंक पर जाएं। अपनी लिंक की गई सेवा चुनें और फिर डिस्कवर हब टैब चुनें। यहां आपको अपने डेटा से अधिकतम मूल्य प्राप्त करने में मदद करने के लिए अनुशंसित उपकरण और क्यूरेटेड दस्तावेज़ मिल सकते हैं।

भी देखें

डेटा लेक में डेटा का विश्लेषण करें Dataverse Power BI

Azure डेटा फ़ैक्टरी के साथ डेटा लेक में डेटा इंजेस्ट करें Dataverse

Azure Synapse उन्नत कॉन्फ़िगरेशन के लिए लिंक Dataverse

Azure Synapse लिंक FAQ