הסבר שיטות המרה של Azure Data Factory
בדיוק כפי ש- Azure Data Factory מספק מגוון שיטות לפתרון נתונים, הוא מספק גם מגוון שיטות לביצוע המרות. באפשרותך לבחור שיטה שתואמת לערכות הכישורים של הצוות שלך או לנצל טכנולוגיות קיימות שכבר נמצאות באחוזת הנתונים שלך. קיימת גם הזדמנות לבצע המרות מבלי לכתוב קוד כלל באמצעות 'מיפוי זרימת נתונים'.
המרת נתונים באמצעות מיפוי זרימת נתונים
מיפוי זרימות נתונים מספק סביבה לבניית מגוון רחב של המרות נתונים באופן חזותי ללא צורך בקוד. זרימות הנתונים שנוצרות מבוצעות לאחר מכן באשכולות Apache Spark מוקצה באופן אוטומטי בעת ביצוע זרימת נתוני המיפוי. מיפוי זרימות נתונים מספק גם את היכולת לנטר את ביצוע ההמרות כדי שתוכל לראות כיצד ההמרות מתקדמות, או להבין שגיאות שעלולות להתרחש
המרת נתונים באמצעות משאבי חישוב
Azure Data Factory יכול גם לקרוא למשאבי חישוב כדי להמיר נתונים על-ידי שירות פלטפורמת נתונים שעשוי להתאים יותר למשימה. דוגמה מצוינת לכך היא ש- Azure Data Factory יכול ליצור צינור לפלטפורמות נתונים אנליטיות כגון מאגרי Spark במופע Azure Synapse Analytics כדי לבצע חישוב מורכב באמצעות python. דוגמה נוספת עשויה להיות שליחת נתונים למופע Azure SQL Database כדי לבצע פרוצדורה מאוחסנת באמצעות Transact-SQL. קיים מגוון רחב של משאבי חישוב, והפעילויות המשויכות שהם יכולים לבצע כפי שמוצג בטבלה הבאה:
| סביבת חישוב | פעילויות |
|---|---|
| אשכול HDInsight לפי דרישה או אשכול HDInsight משלך | כוורת, חזיר, ספארק, MapReduce, Hadoop Streaming |
| Azure Batch | פעילויות מותאמות אישית |
| מכונה של סטודיו למידת מכונה של Azure | פעילויות למידה: ביצוע אצווה ומשאב עדכון |
| Azure Machine Learning | צינור ביצוע למידת מכונה של Azure |
| Azure Data Lake Analytics | Data Lake Analytics U-SQL |
| Azure SQL, Azure SQL Data Warehouse, SQL Server | מאוחסנת |
| Azure Databricks | מחברת, ג'אר, Python |
| הפונקציה Azure | פעילות פונקציה של Azure |
המרת נתונים באמצעות חבילות SQL Server Integration Services (SSIS)
לארגונים רבים יש עשורים של השקעה בפיתוח בחבילות SSIS המכילות הן את לוגיקת ההסתעפות והן את הטרנספורמציה של מאגרי נתונים מקומיים ובענן. Azure Data Factory מספק את היכולת להרים ולה להזיז עומס עבודה קיים של SSIS, על-ידי יצירת Azure-SSIS Integration Runtime לביצוע חבילות SSIS במקור. השימוש ב- Azure-SSIS Integration Runtime יאפשר לך לפרוס ולנהל את חבילות SSIS הקיימות שלך ללא שינוי מועט או ללא שינוי באמצעות כלים מוכרים כגון SQL Server Data Tools (SSDT) ו- SQL Server Management Studio (SSMS), בדיוק כמו שימוש ב- SSIS מקומי.