הבנת כלי תנועת הנתונים הזמינים

  • 8 דקות

נקודת קצה של REST היא משאב שימושי לייבוא נתונים למסד הנתונים של Azure SQL. עם זאת, כלים אחרים להעברת נתונים כוללים את Azure Data Factory (ADF),תוכנית העתקה בצובר (BCP), אשף הייבוא והייצוא של SQL Server וקבצי Script ב- Azure CLI וב- PowerShell. כלים אלה מציעים אפשרויות שונות להעברת נתונים, כל אחת מתאימה לתרחישים שונים.

ביחידה זו נראה דוגמאות שלב אחר שלב לחלק מהכלים הללו, בעוד שאחרים יוסברו בפירוט.

שימוש ב-SQL Data Sync כדי לסנכרן נתונים

סינכרון נתונים של SQL הוא תכונה במסד הנתונים של Azure SQL המאפשרת לך לסנכרן נתונים בין מסדי נתונים מרובים, הן בענן והן בסביבה המקומית. יכולת זו חיונית לשמירה על עקביות נתונים ולהפעלת תרחישי ענן היברידי. SQL Data Sync הוא שירות הבנוי על Azure SQL Database המאפשר לך לסנכרן נתונים נבחרים באופן דו-כיווני בין מסדי נתונים מרובים. הוא משתמש בטופולוגיית רכזת וחישור, שבה מסד נתונים אחד משמש כמרכז ואחרים כחברים. מסד הנתונים של הרכזת חייב להיות מסד נתונים של Azure SQL, בעוד שמסדי נתונים חברים יכולים להיות מסדי נתונים של Azure SQL או מסדי נתונים של SQL Server.

דיאגרמה המציגה ארכיטקטורת סינכרון נתונים של SQL.

הגדרת SQL Data Sync

  1. יצירת קבוצת סינכרון: כדי להגדיר סינכרון נתונים, היכנס לפורטל Azure ונווט אל מסד הנתונים של Azure SQL. במקטע ניהול נתונים , בחר סינכרון למסדי נתונים אחרים. לאחר מכן, בחר קבוצת סינכרון חדשה וקבע את תצורת הגדרות קבוצת הסינכרון, כולל שם קבוצת הסינכרון ומסד הנתונים של המטה-נתונים של הסינכרון.

    צילום מסך המציג כיצד ליצור קבוצת סינכרון נתונים בפורטל Azure.

  2. הוסף חברי סינכרון: כדי להוסיף את מסדי הנתונים שברצונך לסנכרן, באפשרותך לכלול מסדי נתונים אחרים של Azure SQL או מסדי נתונים מקומיים של SQL Server. עבור מסדי נתונים מקומיים, עליך להתקין ולהגדיר סוכן סינכרון מקומי.

  3. קביעת תצורה של הגדרות סינכרון: כדי להגדיר את סכימת הסינכרון, ציין את הטבלאות והעמודות לסינכרון. הגדר את כיוון הסינכרון (דו-כיווני, רכזת לחבר או חבר לרכזת) ואת תדירות הסינכרון. לבסוף, בחר מדיניות לפתרון התנגשויות (הרכזת מנצחת או חבר מנצח) כדי לטפל בהתנגשויות נתונים.

  4. ניטור וניהול סנכרון: כדי לנטר את מצב הסינכרון ואת יומני הרישום, השתמש בפורטל Azure. בדוק אם יש שגיאות סינכרון ופתור אותן לפי הצורך.

השתמש ב- Azure Data Factory כדי לטפל בנתונים ב- Azure SQL Database

Azure Data Factory (ADF) הוא שירות שילוב נתונים מבוסס ענן המנוהל במלואו המאפשר לך ליצור זרימות עבודה מונחות נתונים לצורך תיאום ואוטומציה של תנועת נתונים והמרת נתונים. הוא תומך במגוון רחב של מקורות נתונים ויעדים ובתהליכי חילוץ-טרנספורמציה-עומס היברידיים מורכבים (ETL), חילוץ-עומס-טרנספורמציה (ELT), מה שהופך אותו לכלי רב-תכליתי למשימות שילוב נתונים.

עם מזין המסמכים האוטומטי, תוכל לעצב תהליך תיאום ושילוב נתונים משלך.

  1. יצירת משאב Data Factory: זהו המשאב שמתמצת את כל פעילויות שילוב הנתונים והטרנספורמציה.

    • בפורטל Azure, נווט אל צור משאב וחפש את "מפעלי נתונים".
    • מלא את הפרטים הנדרשים, כגון המנוי, קבוצת המשאבים והאזור, ולאחר מכן בחר צור.

  2. צור שירותים מקושרים: שירותים מקושרים משמשים להגדרת פרטי החיבור עבור מקורות נתונים ויעדים.

    • ב- Azure Data Factory, בחר נהל ולאחר מכן בחר שירותים מקושרים.
    • צור שירות מקושר חדש עבור Azure SQL Database על-ידי מתן פרטי החיבור הדרושים.

  3. צור מערכי נתונים: מערכי נתונים מייצגים את מבני הנתונים בתוך מאגרי הנתונים שבהם משתמשות הפעילויות בצנרת.

    • ב- Azure Data Factory, עבור אל הכרטיסיה מחבר .
    • בחר + (פלוס) ובחר סל נתונים.
    • בחר את סוג מאגר הנתונים (לדוגמה, Azure SQL Database, Azure Blob Storage). כמו כן, ספק את פרטי החיבור הדרושים ומאפייני ערכת הנתונים.

  4. צור צינור: קווי צינור הם קיבוצים לוגיים של פעילויות המבצעות יחידת עבודה.

    • ב- Azure Data Factory, בחר מחבר וצור קו צינור חדש.
    • הוסף פעילות העתק נתונים לקו הצינור כדי להעתיק נתונים מערכת הנתונים המקורית לערכת הנתונים המהווה יעד.

  5. הפעל את הצינור: הפעלת קו הצינור מבצעת את סדרת הפעילויות שהגדרת.

    • הפעל את קו הצינור כדי להתחיל בתהליך העתקת הנתונים.
    • נטר את הפעלת קו הצינור כדי לוודא שהנתונים מיובאים בהצלחה.

שימוש ב- BACPAC לייבוא וייצוא נתונים

קובץ BACPAC הוא למעשה קובץ ZIP עם סיומת של .bacpac, המכיל את סכימת מסד הנתונים והנתונים. הוא משמש למטרות העברת מסדי נתונים, גיבוי ואחסון בארכיון. באפשרותך לייצא מסד נתונים לקובץ BACPAC ולאחסן אותו ב- Azure Blob Storage או באופן מקומי, ולאחר מכן לייבא אותו בחזרה ל- Azure SQL Database, Azure SQL Managed Instance או SQL Server. כמו כן, אתה יכול להשתמש בקבצי BACPAC כדי לייבא רק תת-קבוצה של הנתונים. גמישות זו מאפשרת גישה מותאמת יותר לתנועת נתונים.

באפשרותך לייבא ולייצא נתונים באמצעות קבצי BACPAC באמצעות פורטל Azure ו- SQL Server Management Studio (SSMS), אך באפשרותך גם להשתמש בכלי השירות SQLPackage.

הפעל את הפקודה לדוגמה הבאה כדי לייבא נתונים לקובץ BACPAC באמצעות SQLPackage. החלף <ServerName>את , <DatabaseName>, <UserName>, <Password>, ובסקריפטים <PathToBacpacFile> הבאים בשם השרת, שם מסד הנתונים, אישורי המשתמש והנתיב לקובץ BACPAC.

sqlpackage.exe /Action:Import /tsn:<ServerName> /tdn:<DatabaseName> /tu:<UserName> /tp:<Password> /sf:<PathToBacpacFile>

הפעל את הפקודה הבאה לדוגמה כדי לייצא נתונים לקובץ BACPAC באמצעות SQLPackage.

sqlpackage.exe /Action:Export /ssn:<ServerName> /sdn:<DatabaseName> /su:<UserName> /sp:<Password> /tf:<PathToBacpacFile>

השתמש בתוכנית העתקה בצובר (BCP)

כלי BCP הוא כלי שורת פקודה מייצא טבלאות לקבצים כדי שתוכל לייבא אותן. השתמש בגישה זו כדי לעבור ממסד נתונים יחיד של SQL למופע מנוהל של SQL וברקע.

שימוש באשף הייבוא והייצוא של SQL Server

אשף הייבוא והייצוא של SQL Server הוא כלי גרפי ב-SSMS לייבוא וייצוא של נתונים בין SQL Server למקורות נתונים רבים. יתרון של אשף הייבוא והייצוא של SQL Server הוא שהוא משתמש ב-SQL Server Integration Services (SSIS) כדי להעתיק נתונים. SSIS הוא כלי הניתן להגדרה ליצירת תהליכי חילוץ, המרה וטעינה (ETL) שניתן להפעיל הן במופעי SQL Server והן במופעי Azure SQL Database.

השתמש ב- Azure CLI וב- PowerShell

באפשרותך להשתמש בקבצי Script הן ב- Azure CLI והן ב- PowerShell כדי להפוך תהליכי ייבוא וייצוא לאוטומטיים. שימוש בסקריפטים לייבוא או ייצוא מתאים לשילוב בקווי צינור CI/CD, אולם כל סקריפט דורש רמה גבוהה של התאמה אישית בהשוואה לשיטות אחרות.

לקבלת מידע נוסף על כלים אחרים הזמינים לייצוא וייבוא נתונים, ראה ייבוא וייצוא של נתונים מ- SQL Server וממסד הנתונים של Azure SQL.