תרגיל - שימוש בנתונים ערבול של Azure Data Factory
התכונה Power Query בתוך Azure Data Factory מאפשרת לך לעבוד עם נתונים ולסדר אותם. זהו אובייקט שניתן להוסיף למעצב בד הציור כפעילות בצינור Azure Data Factory כדי לבצע הכנת נתונים ללא קוד. היא מאפשרת לאנשים שאינם מתכנסים עם טכנולוגיות הכנת הנתונים המסורתיות, כגון Spark או SQL Server, ושפות כגון Python ו- T-SQL להכנת נתונים בקנה מידה איטרבי בענן.
התכונה Power Query משתמשת בממשק סוג רשת להכנת נתונים בסיסית, בדומה לאתטיקה של Excel, המכונה 'עורך Mashup מקוון'. העורך גם מאפשר למשתמשים מתקדמים יותר לבצע הכנת נתונים מורכבת יותר באמצעות נוסחאות. תחילה עליך ליצור שירות מקושר למקור הנתונים לפני שתוכל לגשת לנתונים
הנוסחאות פועלות עם Power Query Online והופכת את הפונקציות M של Power Query לזמינים עבור משתמשי מפעל נתונים. לאחר מכן, Power Query מתרגם את שפת M שנוצרה על-ידי Online Mashup Editor לקוד זעיר לביצוע קנה מידה של ענן.
יכולת זו מאפשרת למהנדסי נתונים ולאנליסטים של נתונים לחקור ולהכין ערכות נתונים באופן אינטראקטיבי. בנוסף, הם יכולים לעבוד באופן אינטראקטיבי עם שפת M ולעיין בתוצאה בתצוגה מקדימה לפני הצגתה בהקשר של קו צינור רחב יותר.
כדי להוסיף פעילות Power Query ב- Azure Data Factory, לחץ על סמל החיבור ובחר Power Query בחלונית משאבי היצרן.
הוסף ערכת נתונים של מקור עבור זרימת הנתונים הזורם ובחר ערכת נתונים של כיור. מקורות הנתונים הבאים נתמכים.
| מחבר | תבנית נתונים | סוג אימות |
|---|---|---|
| אחסון Azure Blob | CSV, פרקט | מפתח חשבון |
| Azure Data Lake Storage Gen1 | CSV | מנהל שירות |
| Azure Data Lake Storage Gen2 | CSV, פרקט | מפתח חשבון, מנהל שירות |
| Azure SQL Database | אימות SQL | |
| Azure Synapse Analytics | אימות SQL |
לאחר שבחרת מקור, לחץ על צור.
פעולה זו פותחת את עורך Mashup המקוון.
הוא מורכב מהרכיבים הבאים:
רשימת ערכת נתונים.
פעולה זו תספק את ערכות הנתונים שהוגדרו כמקור עבור שילוב הנתונים.
סרגל הכלים של הפונקציה Wrangling.
סרגל הכלים מכיל מגוון של פונקציות ערבול נתונים שהמשתמש יכול לגשת אליו כדי לטפל בנתונים, כולל:
- ניהול עמודות.
- ממיר טבלאות.
- צמצום שורות.
- מוסיף עמודות.
- שילוב טבלאות.
כל פריט הוא תלוי-הקשר והוא מכיל פונקציות משנה ספציפיות לו.
כותרות עמודות.
כמו גם את היכולת לשנות את שמות העמודות, לחיצה באמצעות לחצן העכבר הימני על העמודה תציג פריטים תלויי-הקשר לניהול עמודות.
הגדרות.
פעולה זו מאפשרת לך להוסיף או לערוך מקורות נתונים ושוורי נתונים ולשנות את ההגדרה עבור משימת הנתונים המשתתפת.
חלון שלבים.
חלון זה מציג את השלבים שהוחלו על פלט ה- Wrangling. בדוגמה בגרפיקה, השלב בשם "מקור" הוחל על פלט Wrangling בשם "UserQuery".
רשימת פלט של Power Query.
פירוט הפלט של ערבול הנתונים שהוגדר.
לחצן 'פרסם'.
מאפשר לך לפרסם את העבודה שנוצרה.
ניתן להוסיף משימה של Power Query במעצב בד הציור בדיוק כמו משימת העתקת פעילות, או משימה של מיפוי זרימת נתונים, ובאפשרותך לנהל ולנטר אותה באותו אופן.
