डेल्टा टेबल से कनेक्ट करें Azure Data Lake Storage

डेल्टा तालिकाओं में डेटा से कनेक्ट करें और इसे अंदर लाएं। Dynamics 365 Customer Insights - Data

डेल्टा प्रारूप में संग्रहीत डेटा से जुड़ने के मुख्य कारण:

• समय और प्रयास बचाने के लिए डेल्टा स्वरूपित डेटा को सीधे आयात करें।
• अपने लेकहाउस डेटा की प्रतिलिपि को रूपांतरित करने और संग्रहीत करने से जुड़ी गणना और भंडारण लागत को समाप्त करें।
• डेल्टा संस्करण द्वारा प्रदान किए गए डेटा अंतर्ग्रहण की विश्वसनीयता को स्वचालित रूप से सुधारें। Customer Insights - Data

समर्थित डेटाब्रिक्स सुविधाएँ और संस्करण

Customer Insights - Data 2 या उससे पहले के 'minReaderVersion' के साथ डेटाब्रिक्स सुविधाओं का समर्थन करता है। जिन डेटाब्रिक्स सुविधाओं के लिए डेटाब्रिक्स रीडर संस्करण 3 या बाद के संस्करण की आवश्यकता होती है, वे समर्थित नहीं हैं। तालिका समर्थित और असमर्थित डेटाब्रिक्स सुविधाओं को दर्शाती है।

समर्थित सुविधा	असमर्थित सुविधाएँ
बुनियादी कार्यक्षमता	विलोपन वेक्टर
डेटा फ़ीड बदलें	तरल क्लस्टरिंग
बाधाओं की जाँच करें	तालिका विशेषताएँ लिखें
स्तंभ मैपिंग	टाइमस्टैम्पNTZ
कॉलम उत्पन्न करें	प्रकार चौड़ीकरण
पहचान स्तंभ	वेरिएंट
पंक्ति ट्रैकिंग
तालिका विशेषताएँ पढ़ें
वर्दी

अधिक जानें: डेटाब्रिक्स डेल्टा लेक सुविधा संगतता का प्रबंधन कैसे करता है?

पूर्वावश्यकताएँ

• Azure Data Lake Storage उसी टेनेंट और Azure क्षेत्र में होना चाहिए, जैसा Customer Insights - Data है.

• Customer Insights - Data सर्विस प्रिंसिपल के पास स्टोरेज खाते तक पहुंचने के लिए स्टोरेज ब्लॉब डेटा सहयोगी अनुमतियाँ होनी चाहिए. अधिक जानकारी के लिए, देखें स्टोरेज खाते तक पहुँचने के लिए सेवा प्रिंसिपल को अनुमतियाँ प्रदान करें.

• जो उपयोगकर्ता डेटा स्रोत को सेट या अपडेट करता है, उसे Azure Data Lake Storage खाते पर कम से कम स्टोरेज ब्लॉब डेटा रीडर अनुमतियों की आवश्यकता होती है।

• ऑनलाइन सेवाओं में संग्रहीत डेटा उस स्थान से भिन्न स्थान पर संग्रहीत किया जा सकता है जहां डेटा संसाधित या संग्रहीत किया जाता है। ऑनलाइन सेवाओं में संग्रहीत डेटा को आयात या उससे कनेक्ट करके, आप सहमत होते हैं कि डेटा स्थानांतरित किया जा सकता है। Microsoft ट्रस्ट सेंटर पर अधिक जानें.

• Customer Insights - Data डेटाब्रिक्स रीडर संस्करण 2 का समर्थन करता है। डेल्टा तालिकाएं उन सुविधाओं का उपयोग करती हैं जिनके लिए डेटाब्रिक्स रीडर संस्करण 3 या उससे ऊपर की आवश्यकता होती है, समर्थित नहीं हैं। अधिक जानें: समर्थित डेटाब्रिक्स सुविधाएँ.

• डेल्टा तालिकाएं स्टोरेज कंटेनर के किसी फ़ोल्डर में होनी चाहिए तथा कंटेनर रूट निर्देशिका में नहीं होनी चाहिए। उदाहरण के लिए:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• आपके Azure Data Lake Storage में डेटा डेल्टा तालिकाओं में होना चाहिए. Customer Insights - Data वृद्धिशील प्रसंस्करण के लिए नवीनतम परिवर्तनों की पहचान करने के लिए तालिका के इतिहास में संस्करण गुण पर निर्भर करता है।

डेल्टा डेटा से कनेक्ट करें Azure Data Lake Storage

1. डेटा>डेटा स्रोत पर जाएं.

2. डेटा स्रोत जोड़ें चुनें.

3. Azure Data Lake Delta तालिकाएँ चुनें.

   

4. एक डेटा स्रोत नाम और एक वैकल्पिक विवरण दर्ज करें. नाम को डाउनस्ट्रीम प्रक्रियाओं में संदर्भित किया जाता है और डेटा स्रोत बनाने के बाद इसे बदलना संभव नहीं है।

5. अपने स्टोरेज को कनेक्ट करने के लिए निम्न में से कोई एक विकल्प चुनें.

   • Azure सदस्यता: सदस्यता और फिर संसाधन समूह और संग्रहण खाता का चयन करें.
   • Azure संसाधन: संसाधन Id दर्ज करें.

6. वैकल्पिक रूप से, यदि आप Azure Private Link के माध्यम से किसी संग्रहण खाते से डेटा अंतर्ग्रहण करना चाहते हैं, तो निजी लिंक सक्षम करें का चयन करें. अधिक जानकारी के लिए, निजी लिंक देखें।

7. उस कंटेनर का नाम चुनें जिसमें आपके डेटा का फ़ोल्डर है, और अगला चुनें.

8. डेल्टा तालिकाओं में डेटा वाले फ़ोल्डर पर जाएँ और उसका चयन करें। फिर, अगला चुनें. उपलब्ध तालिकाओं की सूची प्रदर्शित होती है।

9. उन तालिकाओं का चयन करें जिन्हें आप शामिल करना चाहते हैं.

10. चयनित तालिकाओं के लिए जहां प्राथमिक कुंजी परिभाषित नहीं है, आवश्यक प्राथमिक कुंजी के अंतर्गत प्रदर्शित होता है . इनमें से प्रत्येक तालिका के लिए:

    1. आवश्यक चुनें. संपादन तालिका पैनल प्रदर्शित होता है.
    2. प्राथमिक कुंजी चुनें. प्राथमिक कुंजी तालिका के लिए एक अद्वितीय विशेषता है। एक मान्य प्राथमिक कुंजी होने के लिए, इसमें डुप्लिकेट मान, गुम हुए मान या शून्य मान शामिल नहीं होने चाहिए. स्ट्रिंग, पूर्णांक और GUID डेटा प्रकार विशेषताएँ प्राथमिक कुंजी के रूप में समर्थित हैं।
    3. पैनल को सहेजने और बंद करने के लिए बंद करें का चयन करें.

    

11. किसी भी स्तंभ पर डेटा प्रोफाइलिंग सक्षम करने के लिए, तालिका के लिए स्तंभों की संख्या का चयन करें। विशेषताएँ प्रबंधित करें पृष्ठ प्रदर्शित होता है.

    

    1. संपूर्ण तालिका या विशिष्ट स्तंभों के लिए डेटा प्रोफाइलिंग का चयन करें. डिफ़ॉल्ट रूप से, डेटा प्रोफ़ाइलिंग के लिए कोई तालिका सक्षम नहीं होती है।
    2. पूर्ण चयन करें.

12. सहेजें चुनें. डेटा स्रोत पेज खुलता है जो ताज़ा करने स्थिति में नया डेटा स्रोत दिखाता है।

    टिप

    कार्यों और प्रक्रियाओं के लिए स्थितियाँ हैं। अधिकांश प्रक्रियाएं अन्य अपस्ट्रीम प्रक्रियाओं पर निर्भर करती हैं, जैसे कि डेटा स्रोत और डेटा प्रोफाइलिंग रीफ्रेश।

    प्रगति विवरण फलक खोलने और कार्यों की प्रगति देखने के लिए स्थिति का चयन करें। कार्य रद्द करने के लिए, फलक के नीचे कार्य रद्द करें का चयन करें।

    प्रत्येक कार्य के अंतर्गत, आप अधिक प्रगति जानकारी के लिए विवरण देखें का चयन कर सकते हैं, जैसे कि प्रसंस्करण समय, अंतिम प्रसंस्करण तिथि, तथा कार्य या प्रक्रिया से संबंधित कोई भी लागू त्रुटियाँ और चेतावनियाँ। सिस्टम में अन्य प्रक्रियाओं को देखने के लिए पैनल के नीचे सिस्टम स्थिति देखें का चयन करें।

डेटा लोड होने में समय लग सकता है। सफल रिफ्रेश के बाद, अंतर्ग्रहण किए गए डेटा की समीक्षा तालिकाएँ पृष्ठ से की जा सकती है।

स्कीमा परिवर्तन प्रबंधित करें

जब डेल्टा फ़ोल्डर्स डेटा स्रोत के स्कीमा में कोई कॉलम जोड़ा या हटाया जाता है, तो सिस्टम डेटा का पूर्ण रिफ्रेश चलाता है। पूर्ण रिफ्रेश में वृद्धिशील रिफ्रेश की तुलना में सभी डेटा को संसाधित करने में अधिक समय लगता है।

एक स्तंभ जोड़ें

जब डेटा स्रोत में कोई कॉलम जोड़ा जाता है, तो रिफ्रेश होने पर जानकारी स्वचालित रूप से डेटा में जुड़ जाती है। Customer Insights - Data यदि तालिका के लिए एकीकरण पहले से ही कॉन्फ़िगर किया गया है, तो नए कॉलम को एकीकरण प्रक्रिया में जोड़ा जाना चाहिए।

1. ग्राहक डेटा चरण से, तालिकाएँ और स्तंभ चुनें चुनें और नया स्तंभ चुनें.

2. एकीकृत डेटा दृश्य चरण में, सुनिश्चित करें कि स्तंभ को ग्राहक प्रोफ़ाइल से बाहर नहीं रखा गया है. बहिष्कृत का चयन करें और कॉलम को पुनः जोड़ें।

3. एकीकृत प्रोफ़ाइल में अद्यतन चलाएँ चरण में, ग्राहक प्रोफ़ाइल और निर्भरताएँ एकीकृत करें का चयन करें.

कॉलम बदलें या हटाएँ

जब किसी कॉलम को डेटा स्रोत से हटा दिया जाता है, तो सिस्टम अन्य प्रक्रियाओं में निर्भरता की जांच करता है। यदि स्तंभों पर कोई निर्भरता है, तो सिस्टम रिफ्रेश को रोक देता है और एक त्रुटि प्रदान करता है जो यह संकेत देता है कि निर्भरता को हटाया जाना चाहिए। ये निर्भरताएं आपको उन्हें ढूंढने और हटाने में मदद करने के लिए एक अधिसूचना में प्रदर्शित होती हैं।

स्कीमा परिवर्तन को मान्य करें

डेटा स्रोत रिफ्रेश होने के बाद, डेटा >तालिकाएँ पृष्ठ पर जाएँ। डेटा स्रोत के लिए तालिका का चयन करें और स्कीमा सत्यापित करें।

डेल्टा झील समय यात्रा और डेटा ताज़ा

डेल्टा लेक टाइम ट्रैवल एक टाइमस्टैम्प या संस्करण संख्या के आधार पर तालिका संस्करणों के माध्यम से क्वेरी करने की क्षमता है। डेल्टा फ़ोल्डरों में किए गए परिवर्तन संस्करणबद्ध होते हैं, और कौन से डेटा को संसाधित करना है, इसका ट्रैक रखने के लिए डेल्टा फ़ोल्डर संस्करणों का उपयोग किया जाता है। Customer Insights - Data नियमित डेल्टा तालिका रिफ्रेश में, अंतिम रिफ्रेश के बाद से सभी डेटा तालिका संस्करणों से डेटा खींचा जाता है। जब तक सभी संस्करण मौजूद हैं, केवल परिवर्तित तत्वों को संसाधित कर सकते हैं और तेजी से परिणाम दे सकते हैं। Customer Insights - Data समय यात्रा के बारे में अधिक जानें.

उदाहरण के लिए, यदि ग्राहक अंतर्दृष्टि - डेटा आपके डेल्टा फ़ोल्डर डेटा के संस्करण 23 के साथ अंतिम बार सिंक्रनाइज़ किया गया है, तो यह संस्करण 23 और संभवतः बाद के संस्करणों को उपलब्ध होने की उम्मीद करता है। यदि अपेक्षित डेटा संस्करण उपलब्ध नहीं हैं, तो डेटा सिंक्रनाइज़ेशन विफल हो जाता है और इसके लिए मैन्युअल पूर्ण डेटा रीफ़्रेश की आवश्यकता होती है. यदि आपके डेल्टा फ़ोल्डर का डेटा हटा दिया गया था और फिर पुनः बनाया गया था, तो डेटा सिंक्रनाइज़ेशन विफल हो सकता है। या यदि संस्करण उन्नत होने के दौरान आप लंबे समय तक अपने डेल्टा फ़ोल्डरों से कनेक्ट नहीं हो सके। Customer Insights - Data

संपूर्ण डेटा रिफ्रेश की आवश्यकता से बचने के लिए, हम अनुशंसा करते हैं कि आप एक उचित इतिहास बैकलॉग बनाए रखें, जैसे कि 15 दिन।

डेल्टा टेबल फ़ोल्डर पर मैन्युअल रूप से पूर्ण डेटा रिफ्रेश चलाएं

पूर्ण रिफ्रेश डेल्टा प्रारूप में तालिका से सभी डेटा लेता है और इसे डेल्टा तालिका संस्करण शून्य (0) से पुनः लोड करता है। डेल्टा फ़ोल्डर स्कीमा में परिवर्तन से स्वचालित पूर्ण रिफ्रेश ट्रिगर हो जाता है। पूर्ण रिफ्रेश को मैन्युअल रूप से ट्रिगर करने के लिए, निम्नलिखित चरणों का पालन करें।

1. डेटा>डेटा स्रोत पर जाएं.

2. Azure Data Lake Delta तालिकाएँ डेटा स्रोत चुनें.

3. वह तालिका चुनें जिसे आप रिफ्रेश करना चाहते हैं. संपादन तालिका फलक प्रदर्शित होता है.

   

4. एक बार पूर्ण रिफ्रेश चलाएँ चुनें.

5. रिफ्रेश चलाने के लिए सहेजें चुनें. डेटा स्रोत पृष्ठ खुलता है, जिसमें डेटा स्रोत को ताज़ा स्थिति में दिखाया जाता है, लेकिन केवल चयनित तालिका ही ताज़ा हो रही है।

6. यदि लागू हो तो अन्य तालिकाओं के लिए भी यही प्रक्रिया दोहराएं।

डेटा सिंक्रनाइज़ेशन विफलता

यदि आपके डेल्टा फ़ोल्डर का डेटा हटा दिया गया था और फिर पुनः बनाया गया था, तो डेटा सिंक्रनाइज़ेशन विफल हो सकता है। या यदि संस्करण उन्नत होने के दौरान आप लंबे समय तक अपने डेल्टा फ़ोल्डरों से कनेक्ट नहीं हो सके। Customer Insights - Data उस स्थिति के प्रभाव को न्यूनतम करने के लिए, जहां आंतरायिक डेटा पाइपलाइन विफलता के कारण पूर्ण रिफ्रेश की आवश्यकता उत्पन्न होती है, हम अनुशंसा करते हैं कि आप एक उचित इतिहास बैकलॉग बनाए रखें, जैसे कि 15 दिन।

अगले कदम

• डेटा एकीकरण अवलोकन