זיהוי עומסי עבודה של Azure Databricks

  • 3 דקות

Azure Databricks מציע יכולות עבור עומסי עבודה שונים, כולל למידת מכונה ומודלים לשפה גדולה (LLM), מדעי הנתונים, הנדסת נתונים, בינה עסקית ואחסון נתונים בעיבוד זרימה.

הנדסת נתונים

Azure Databricks מספק יכולות למדענים ומהנדסים של נתונים שיש לשתף פעולה במשימות מורכבות של עיבוד נתונים. הוא מספק סביבה משולבת עם Apache Spark לעיבוד נתונים גדולים בבית אגם של נתונים, ותומך בשפות מרובות, כולל Python, R, Scala ו- SQL. הפלטפורמה מסייעת לחקור נתונים, להמחשה ול הפיתוח של קווי צינור של נתונים.

דיאגרמה של Databricks data ingestion & data sources screen.

למידת מכונה

Azure Databricks תומך בבנייה, הדרכה ופריסה של מודלים של למידת מכונה בקנה מידה גדול. היא כוללת את MLflow, פלטפורמת קוד פתוח לניהול מחזור החיים של למידת מכונה, כולל התנסות, שכפל ופריסה. הוא תומך גם במסגרות למידת מכונה שונות, כגון TensorFlow, PyTorch ו- Scikit-learn, מה שהופך אותו לרב-תכליתי עבור משימות למידת מכונה שונות.

דיאגרמה של מסך למידת מכונה של Databricks.

SQL

אנליסטי נתונים שמקיימים אינטראקציה בעיקר עם נתונים באמצעות SQL יכולים להשתמש במחסנים של SQL ב- Azure Databricks. ממשק המשתמש של Azure Databricks Workspace מספק עורך SQL מוכר, לוחות מחוונים וכלי תצוגה חזותית אוטומטיים כדי לנתח ולהציג נתונים באופן חזותי ישירות בתוך Azure Databricks. עומס עבודה זה אידיאלי להפעלה של שאילתות אד-הוק מהירות ויצירת דוחות מערכות נתונים גדולות.

דיאגרמה של מסך עורך DatabricksSQL.

הערה

מחסני SQL כלולים ברמת הפרימיום (ומעלה). סביבת עבודה רגילה אינה מספקת מחסני SQL.