התחבר לטבלאות דלתא ב- Azure Data Lake Storage

התחבר לנתונים בטבלאות Delta והכנס אותם אל Dynamics 365 Customer Insights - Data.

הסיבות עיקריות להתחבר לנתונים המאוחסנים בפורמט Delta:

• ייבא ישירות נתונים בפורמט Delta כדי לחסוך זמן ומאמץ.
• הסר את עלויות החישוב והאחסון הכרוכות בשינוי ואחסון של עותק של נתוני המאגר שלך.
• שפר באופן אוטומטי את המהימנות של קליטת נתונים ל- Customer Insights - Data שמתקבלת על-ידי ניהול גירסאות ‏דלתא.

תכונות וגרסאות של Databricks נתמכות

Customer Insights - Data תומך בתכונות Databricks עם 'minReaderVersion' של 2 ומעלה. תכונות Databricks הדורשות Databricks קורא גרסה 3 ואילך אינן נתמכות. הטבלה מציגה את התכונות הנתמכות והלא נתמכות של Databricks.

תכונות נתמכות	תכונות לא נתמכות
פונקציונליות בסיסית	וקטורים מחיקה
שנה פיד נתונים	מקבץ נוזלים
בדוק אילוצים	תכונות טבלה לכתוב
מיפוי עמודות	חותמת זמן NTZ
צור עמודות	סוג מתרחב
עמודות זהות	משתנה
מעקב אחר שורות
תכונות טבלה קריאה
אָחִיד

למידע נוסף: כיצד Databricks מנהל את תאימות התכונות של Delta Lake?.

‏‫דרישות מוקדמות‬

• ה- Azure Data Lake Storage חייב להיות באותו דייר ואזור Azure כמו ה- Customer Insights - Data.

• למנהל שירות Customer Insights - Data צריכות להיות הרשאות של "תורם נתונים של Blob אחסון" כדי לגשת לחשבון האחסון. למידע נוסף, ראה הענקת הרשאות גישה למנהל השירות עבור חשבון האחסון.

• המשתמש שמגדיר או מעדכן את מקור הנתונים צריך לפחות הרשאות קריאה של Storage Blob Data בחשבון Azure Data Lake Storage.

• נתונים המאוחסנים בשירותים מקוונים עשויים להיות מאוחסנים במיקום אחר מאשר המיקום שבו הנתונים מעובדים או מאוחסנים.  על-ידי ייבוא או התחברות לנתונים המאוחסנים בשירותים מקוונים, אתה מסכים להעברה של נתונים אלה. למידע נוסף ב-Microsoft Trust Center.

• Customer Insights - Data תומך בקורא Databricks גרסה 2. טבלאות Delta המשתמשות בתכונות הדורשות קורא Databricks גרסה 3 ומעלה אינן נתמכות. למידע נוסף: תכונות נתמכות של Databricks.

• טבלאות Delta צריכות להיות בתיקייה במיכל האחסון והן לא יכולות להימצא בספריית השורש של המיכל. לדוגמה:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• הנתונים ב- Azure Data Lake Storage צריכים להיות בטבלאות Delta. Customer Insights - Data מסתמך על מאפיין הגרסה בהיסטוריית הטבלה כדי לזהות את השינויים האחרונים לעיבוד מצטבר.

התחבר לנתוני Delta מ- Azure Data Lake Storage

1. עבור אל נתונים>מקורות נתונים.

2. בחר הוסף מקור נתונים.

3. בחר טבלאות Azure Data Lake Delta.

   

4. הזן שם מקור נתונים ותיאור אופציונלי. תהליכים במורד הזרם מתייחסים אל השם, ולא ניתן לשנותו אחרי שיוצרים את מקור הנתונים.

5. בחר אחת מהאפשרויות הבאות עבור חבר את האחסון שלך באמצעות.

   • מנוי Azure: בחר את ה מנוי ולאחר מכן את קבוצת המשאבים ו חשבון אחסון.
   • Azure resource: הזן את מזהה המשאב.

6. לחלופין, אם ברצונך לעבד נתונים מחשבון אחסון דרך קישור פרטי של Azure, בחר אפשר קישור פרטי. למידע נוסף, ראה קישורים פרטיים.

7. בחר את השם של הגורם המכיל שבו נמצאת תיקיית הנתונים שלך ובחר הבא.

8. נווט אל התיקיה המכילה את הנתונים בטבלאות Delta ובחר אותה. לאחר מכן בחר הבא. מוצגת רשימה של טבלאות זמינות.

9. בחר את הטבלאות שברצונך לכלול.

10. עבור טבלאות נבחרות שבהן לא הוגדר מפתח ראשי, המילה נדרש מוצגת מתחת למפתח ראשי. עבור כל אחת מהטבלאות הללו:

    1. בחר נדרש. מוצג הלוח ערוך טבלה.
    2. בחר מפתח ראשי. המפתח הראשי הוא תכונה ייחודית לטבלה. כדי שתכונה תהיה מפתח ראשי חוקי, היא לא יכולה לכלול ערכים כפולים, ערכים חסרים או ערכי null. התכונות של סוגי הנתונים 'מחרוזות', 'מספר שלם' ו-'GUID' נתמכות כמפתחות ראשיים.
    3. בחר סגור כדי לשמור ולסגור את הלוח.

    

11. כדי לאפשר פרופיל נתונים בכל אחת מהעמודות, בחר את מספר העמודות בטבלה. מוצג הדף ניהול תכונות.

    

    1. בחר פרופיל נתונים עבור כל הטבלה או עבור עמודות ספציפיות. כברירת מחדל, אף טבלה לא תופעל עבור יצירת פרופיל נתונים.
    2. בחר סיום.

12. בחר שמור. הדף מקורות נתונים נפתח ומציג את מקור נתונים החדש במצב ריענון.

    טיפ

    למשימות ותהליכים יש מצבים. רוב התהליכים מסתמכים על תהליכים אחרים במעלה הזרם, כגון מקורות נתונים ורענון של יצירת פרופיל נתונים.

    בחר את המצב כדי לפתוח את החלונית פרטי התקדמות והצג את התקדמות המשימות. כדי לבטל את המשימה, בחר בטל את המשימה בחלק התחתון של החלונית.

    תחת כל משימה, אפשר לבחור באפשרות הצג פרטים כדי לקבל פרטים נוספים על ההתקדמות, כגון זמן העיבוד, תאריך העיבוד האחרון וכל השגיאות והאזהרות הרלוונטיות הקשורות משימה או לתהליך. בחר הצג את מצב המערכת בתחתית הלוח כדי לראות תהליכים אחרים במערכת.

טעינת נתונים עשויה להימשך זמן מה. לאחר רענון מוצלח, ניתן לסקור את הנתונים שעובדו בדף טבלה.

ניהול שינויי סכימה

כאשר עמודה מתווספת או מוסרת מהסכימה של מקור נתונים של תיקיות Delta, המערכת מפעילה רענון מלא של הנתונים. רענון מלא לוקח יותר זמן כדי לעבד את כל הנתונים מאשר רענון מצטבר.

הוספת עמודה

כאשר עמודה מתווספת למקור נתונים, המידע מתווסף אוטומטית לנתונים ב- Customer Insights - Data לאחר שמתרחש רענון. אם האיחוד כבר מוגדר עבור הטבלה, יש להוסיף את העמודה החדשה לתהליך האיחוד.

1. בשלב נתוני לקוחות, בחר באפשרות בחר טבלאות ועמודות ובחר את העמודה החדשה.

2. בשלב תצוגת נתונים מאוחדת, ודא שהעמודה אינה נכללת בפרופיל הלקוח. בחר לא נכלל וקרא את העמודה.

3. בשלב ‏‫הפעל עדכונים בפרופיל לקוח מאוחד‬, בחר ‏‫איחוד פרופילי לקוחות ויחסי תלות‬.

שינוי או הסרת עמודה

כאשר עמודה מוסרת ממקור נתונים, המערכת בודקת יחסי תלות בתהליכים אחרים. אם יש תלות בעמודות, המערכת מפסיקה את הרענון ומספקת שגיאה המציינית שיש להסיר את יחסי התלות. יחסי התלות הללו מוצגים בהודעה כדי לעזור לך לאתר ולהסיר אותם.

אימות שינוי סכימה

לאחר רענון מקור הנתונים, עבור אל הדף נתונים>טבלאות . בחר את הטבלה עבור מקור נתונים ואמת את הסכימה.

מסע בזמן ורענון נתונים באגם Delta

מסע בזמן של אגם Delta היא היכולת לבצע שאילתות דרך גרסאות טבלה המבוססות על חותמת זמן או מספר גרסה. שינויים בתיקיות Delta הם בגרסה, ו- Customer Insights - Data משתמש בגרסאות תיקיית Delta כדי לעקוב אחר הנתונים שיש לעבד. ברענון טבלת Delta רגיל, נתונים נשלפים מכל גרסאות טבלת הנתונים מאז הרענון האחרון. כל עוד כל הגרסאות קיימות, Customer Insights - Data יכול לעבד רק את הרכיבים שהשתנו ולספק תוצאות מהירות יותר. למידע נוסף על מסע בזמן.

לדוגמה, אם Customer Insights – Data סונכרן לאחרונה עם גרסה 23 של נתוני תיקיית Delta שלך, הוא מצפה למצוא גרסה 23 ואולי גרסאות עוקבות זמינות. אם גרסאות הנתונים הצפויות אינן זמינות, סנכרון הנתונים נכשל ודורש רענון נתונים מלא ידני. סנכרון הנתונים עלול להיכשל אם נתוני תיקיית Delta שלך נמחקו ולאחר מכן נוצרו מחדש. או אם Customer Insights - Data לא הצליח להתחבר לתיקיות Delta שלך למשך תקופה ממושכת בזמן שהגירסאות התקדמו.

כדי למנוע את הצורך ברענון נתונים מלא, אנו ממליצים לשמור על צבר היסטוריה סביר, כגון 15 ימים.

הפעלה ידנית של רענון נתונים מלא בתיקיית טבלת Delta

רענון מלא לוקח את כל הנתונים מטבלה בפורמט Delta וטוען אותם מחדש מגרסה אפס של טבלת Delta ‏(0). שינויים בסכימת תיקיית Delta מפעילים רענון מלא אוטומטי. כדי להפעיל ידנית רענון מלא, בצע את השלבים הבאים.

1. עבור אל נתונים>מקורות נתונים.

2. בחר את מקור הנתונים טבלאות Azure Data Lake Delta.

3. בחר את הטבלה שברצונך לרענן. החלונית ערוך טבלה מופיעה.

   

4. בחר הפעל רענון מלא חד-פעמי.

5. בחר שמור כדי להפעיל את הרענון. הדף מקורות נתונים נפתח ומציג את מקור הנתונים במצב רענון, אבל רק הטבלה שנבחרה עוברת רענון.

6. חזור על התהליך עבור טבלאות אחרות, אם רלוונטי.

כשל ב‏סנכרון נתונים

סנכרון הנתונים עלול להיכשל אם נתוני תיקיית Delta שלך נמחקו ולאחר מכן נוצרו מחדש. או אם Customer Insights - Data לא הצליח להתחבר לתיקיות Delta שלך למשך תקופה ממושכת בזמן שהגירסאות התקדמו. כדי למזער את ההשפעה כאשר כשל לסירוגין בצנרת הנתונים יוצר את הצורך ברענון מלא, אנו ממליצים לשמור על צבר היסטוריה סביר, כגון 15 ימים.

‏‫השלבים הבאים‬

• סקירה כללית של איחוד נתונים