עצב פתרון שילוב נתונים וניתוח באמצעות Azure Synapse Analytics
Azure Synapse Analytics שילוב תכונות של ניתוח נתונים גדולים, אחסון נתונים ארגוני ושילוב נתונים. השירות מאפשר לך להפעיל שאילתות על נתונים ללא שרת או נתונים בקנה מידה גדול. Azure Synapse תומך בלילת נתונים, חקירה, טרנספורמציה וניהול, ותמיכה בניתוח עבור כל צרכי הבינה העסקית ולמידת המכונה שלך.
דברים שכדאי לדעת על Azure Synapse Analytics
Azure Synapse Analytics מיישם ארכיטקטורת עיבוד מקביל מסיבי (MPP) ויש לו את המאפיינים הבאים.
ארכיטקטורת Azure Synapse Analytics כוללת בקרת ו מאגר של צמתי מחושבים.
צומת הבקרה הוא המוח של הארכיטקטורה. החזית מקיים אינטראקציה עם כל היישומים. צמתי החישוב מספקים את העוצמה החישובית. הנתונים לעיבוד מפוזרים בצורה שווה בין הצמתים.
אתה שולח שאילתות בצורה של משפטי Transact-SQL, ו- Azure Synapse Analytics מפעיל אותן.
Azure Synapse משתמש בטכנולוגיה בשם PolyBase המאפשרת לך לאחזר ולבצע שאילתה על נתונים ממקורות יחסיים ולא ארגוניים. באפשרותך לשמור את הנתונים שנקראו כטבלאות SQL בתוך שירות Azure Synapse.
רכיבי Azure Synapse Analytics
Azure Synapse Analytics מורכב מחמשת הרכיבים:
- של Azure Synapse SQL: Synapse SQL מציע מודלים של משאבים ללא שרת ומודלים ייעודיים לעבודה עם ארכיטקטורה מבוססת צמתים. לקבלת ביצועים ועלויות ניתנים לחיזוי, באפשרותך ליצור מאגרי SQL ייעודיים. עבור עומסי עבודה לא רגילים או לא מתוכננים, באפשרותך להשתמש בנקודות הקצה של SQL הזמינות תמיד, ללא שרת.
- Azure Synapse Spark: מאגר זה הוא אשכול של שרתים שפועלים ב- Apache Spark כדי לעבד נתונים. אתה כותב את לוגיקת עיבוד הנתונים שלך באמצעות אחת מארבע השפות הנתמכות: Python, Scala, SQL ו- C# (באמצעות .NET for Apache Spark). Apache Spark for Azure Synapse משלב את Apache Spark (מנגנון הנתונים הגדול של קוד פתוח המשמש להכנת נתונים, הנדסת נתונים, ETL ולמידת מכונה).
- Azure Synapse Pipelines: Azure Synapse Pipelines מחיל את היכולות של Azure Data Factory. קווי צינור הם שירות שילוב הנתונים וה- ETL מבוסס הענן, המאפשר לך ליצור זרימות עבודה מונחות נתונים לתזמור תנועת נתונים ולהמיר נתונים בקנה מידה גדול. באפשרותך לכלול פעילויות הממירות את הנתונים במהלך ההעברה, או לשלב נתונים ממקורות מרובים יחד.
- Azure Synapse Link: רכיב זה מאפשר לך להתחבר ל- Azure Cosmos DB. באפשרותך להשתמש בו כדי לבצע ניתוח בזמן אמת על-פני הנתונים התפעוליים המאוחסנים במסד נתונים של Azure Cosmos DB.
- Azure Synapse Studio: רכיב זה הוא IDE מבוסס-אינטרנט שניתן להשתמש בו באופן מרכזי כדי לעבוד עם כל היכולות של Azure Synapse Analytics. באפשרותך להשתמש ב- Azure Synapse Studio כדי ליצור מאגרי SQL ו- Spark, להגדיר ולהפעיל קווי צינור ולהגדיר קישורים למקורות נתונים חיצוניים.
אפשרויות אנליטיות
Azure Synapse Analytics תומך במגוון תרחישים אנליטיים. בעת סקירת הטבלה, שקול כיצד התרחישים חלים על הארגון Tailwind Traders.
| ניתוח | תרחיש | תיאור |
|---|---|---|
| תיאורי | מה קורה? | Azure Synapse מחיל את יכולת מאגר ה- SQL היי ייעודית המאפשרת לך ליצור מחסן נתונים עקבי כדי לנתח מה נוספות. באפשרותך להשתמש במאגר SQL ללא שרת כדי להכין נתונים מקבצים המאוחסנים באגם נתונים כדי ליצור מחסן נתונים באופן אינטראקטיבי. |
| אבחון | מדוע זה קורה? | באפשרותך להשתמש ביכולת מאגר SQL ללא שרת בתוך Azure Synapse כדי לחקור באופן אינטראקטיבי נתונים בתוך אגם נתונים. בריכות SQL ללא שרת יכולות לאפשר למשתמש לחפש במהירות נתונים אחרים שעשויים לעזור לו להבין מדוע אחרות. |
| לחיזוי | מה צפוי לקרות? | Azure Synapse Analytics משתמש במנוע Apache Spark המשולב שלו וב- Azure Synapse Spark כדי לבצע ניתוח חזויות. היא משלבת פעולה זו עם שירותים אחרים, כגון Azure Machine Learning Services ו- Azure Databricks כדי לעזור לך להשיב בעתיד נוספות. |
| תיאורי | מה צריך לעשות? | באפשרותך להשתמש בניתוח תיאורי בזמן אמת או קרוב לנתונים בזמן אמת כדי לעזור לך לזהות פתרונות עבור אנשי איזו פעולה. Azure Synapse Analytics מספק יכולת זו באמצעות Apache Spark ו- Azure Synapse Link, ועל-ידי שילוב טכנולוגיות זרימה כגון Azure Stream Analytics. |
תרחיש עסקי
בוא נבחן תרחיש שבו החברה משרתת לקוחות עם מידע על שוק המניות. עליך לספק שילוב של עיבוד אצווה וזרימה כדי לתמוך בתשתית Tailwind Traders. הנתונים up-to-the-the-second עשויים לשמש כדי לסייע בניטור בזמן אמת, כאשר נדרשת החלטה מיידית כדי לקבל החלטות מושכלות לגבי קנייה או מכירה של שניות מפוצלות. נתונים היסטוריים חשובים באותה מידה לתצוגת מגמות בביצועים. איזה סוג של מחסן נתונים ופתרון שילוב נתונים מומלץ לספק גישה לזרמי הנתונים הגולמיים ולמידע העסקי המוכן הנגזר מנתונים אלה? באמצעות Azure Synapse Analytics, באפשרותך להוסיף נתונים ממקורות חיצוניים ולאחר מכן להמיר ול לצבור נתונים אלה לתבנית המתאימה לעיבוד ניתוחים.
דברים שיש לשקול בעת בחירת Azure Data Factory או Azure Synapse Analytics
הטבלה הבאה משווה קריטריונים של פתרונות אחסון לשימוש ב- Azure Data Factory לעומת Azure Synapse Analytics. סקור את הקריטריונים ושקול איזה פתרון הוא מיטבי עבור Tailwind Traders.
| השווה | Azure Data Factory | Azure Synapse Analytics |
|---|---|---|
| שיתוף נתונים | ניתן לשתף נתונים בין מפעלי נתונים שונים | לא נתמך |
| תבניות פתרון | תבניות פתרון מסופקות עם גלריית התבניות של Azure Data Factory | תבניות פתרון מסופקות במרכז הידע של סביבת העבודה של Synapse |
| שילוב שילוב ריצה זרימות אזורים | זרימות נתונים חוצות אזורים נתמכות | לא נתמך |
| ניטור נתונים | ניטור נתונים משולב עם Azure Monitor | יומני אבחון זמינים ב- Azure Monitor |
| צג Spark Jobs עבור זרימת נתונים | לא נתמך | ניתן לנטר משימות Spark עבור זרימת נתונים באמצעות בריכות Synapse Spark |
Azure Synapse Analytics הוא פתרון אידיאלי לתרחישים רבים אחרים. שקול את האפשרויות הבאות:
- שקול מגוון מקורות נתונים. כאשר יש לך מקורות נתונים שונים המשתמשים ב- Azure Synapse Analytics עבור פעילויות ETL וזרימת נתונים ללא קוד.
- שקול להשתמש בלמידת מכונה. כאשר עליך ליישם פתרונות למידת מכונה באמצעות Apache Spark, באפשרותך להשתמש ב- Azure Synapse Analytics לתמיכה מוכללת עבור למידת מכונה של Azure.
- לשקול שילוב אגם נתונים. כאשר יש לך נתונים קיימים המאוחסנים באגם נתונים ואתה זקוק לשילוב עם Azure Data Lake ומקורות קלט אחרים, Azure Synapse Analytics מספק שילוב חלק בין שני הרכיבים.
- לשקול ניתוח בזמן אמת. כאשר אתה זקוק לניתוח בזמן אמת, באפשרותך להשתמש בתכונות כגון Azure Synapse Link כדי לנתח נתונים בזמן אמת ולהציע תובנות.