فهم أدوات حركة البيانات المتوفرة

  • 8 دقائق

نقطة نهاية REST هي مورد مفيد لاستيراد البيانات إلى قاعدة بيانات Azure SQL. ومع ذلك، تتضمن الأدوات الأخرى لحركة البيانات Azure Data Factory (ADF) وبرنامج النسخ المجمع (BCP) ومعالج استيراد وتصدير SQL Server والبرامج النصية في Azure CLI وPowerShell. توفر هذه الأدوات خيارات مختلفة لحركة البيانات، كل منها مناسب لسيناريوهات مختلفة.

في هذه الوحدة، سنرى أمثلة خطوة بخطوة لبعض هذه الأدوات، بينما سيتم شرح الأدوات الأخرى بالتفصيل.

استخدام SQL Data Sync لمزامنة البيانات

SQL Data Sync هي ميزة في قاعدة بيانات Azure SQL تسمح لك بمزامنة البيانات عبر قواعد بيانات متعددة، سواء في السحابة أو في الموقع. هذه الإمكانية ضرورية للحفاظ على تناسق البيانات وتمكين سيناريوهات السحابة المختلطة. SQL Data Sync هي خدمة مبنية على قاعدة بيانات Azure SQL تتيح لك مزامنة البيانات المحددة ثنائية الاتجاه عبر قواعد بيانات متعددة. ويستخدم تخطيط الشبكة المحورية، حيث تعمل قاعدة بيانات واحدة كمركز والبعض الآخر كأعضاء. يجب أن تكون قاعدة بيانات المركز قاعدة بيانات Azure SQL، بينما يمكن أن تكون قواعد بيانات الأعضاء إما قواعد بيانات Azure SQL أو قواعد بيانات SQL Server.

رسم تخطيطي يوضح بنية SQL Data Sync.

إعداد مزامنة بيانات SQL

  1. إنشاء مجموعة مزامنة: لإعداد مزامنة البيانات، سجل الدخول إلى مدخل Microsoft Azure وانتقل إلى قاعدة بيانات Azure SQL. ضمن قسم إدارة البيانات، حدد مزامنة إلى قواعد بيانات أخرى. ثم حدد مجموعة مزامنة جديدة وقم بتكوين إعدادات مجموعة المزامنة، بما في ذلك اسم مجموعة المزامنة وقاعدة بيانات تعريف المزامنة.

    لقطة شاشة توضح كيفية إنشاء مجموعة مزامنة البيانات في مدخل Microsoft Azure.

  2. إضافة أعضاء المزامنة: لإضافة قواعد البيانات التي تريد مزامنتها، يمكنك تضمين قواعد بيانات Azure SQL الأخرى أو قواعد بيانات SQL Server المحلية. بالنسبة لقواعد البيانات المحلية، تحتاج إلى تثبيت وتكوين عامل مزامنة محلي.

  3. تكوين إعدادات المزامنة: لتعريف مخطط المزامنة، حدد الجداول والأعمدة المراد مزامنتها. تعيين اتجاه المزامنة (ثنائي الاتجاه أو لوحة وصل إلى عضو أو عضو إلى مركز) وتكرار المزامنة. وأخيرا، اختر نهج حل التعارض (فوز المركز أو فوز الأعضاء) لمعالجة تعارضات البيانات.

  4. مراقبة المزامنة وإدارتها: لمراقبة حالة المزامنة وسجلاتها، استخدم مدخل Microsoft Azure. تحقق من وجود أي أخطاء مزامنة وحلها حسب الحاجة.

استخدام Azure Data Factory لمعالجة البيانات في قاعدة بيانات Azure SQL

Azure Data Factory (ADF) هي خدمة تكامل بيانات مدارة بالكامل وقائمة على السحابة تسمح لك بإنشاء مهام سير عمل تعتمد على البيانات لتنسيق حركة البيانات وتحويل البيانات وأتمتتها. وهو يدعم مجموعة واسعة من مصادر البيانات والوجهات وعمليات الاستخراج والتحويل والتحميل المختلطة المعقدة (ETL)، واستخراج-تحميل-تحويل (ELT)، ما يجعلها أداة متعددة الاستخدامات لمهام تكامل البيانات.

باستخدام ADF، يمكنك تصميم عملية تنسيق البيانات والتكامل الخاصة بك.

  1. إنشاء مورد Data Factory: هذا هو المورد الذي يغلف جميع أنشطة تكامل البيانات وتحويلها.

    • في مدخل Microsoft Azure، انتقل إلى Create a resource وابحث عن "Data factories".
    • املأ التفاصيل المطلوبة مثل الاشتراك ومجموعة الموارد والمنطقة، ثم حدد إنشاء.

  2. إنشاء خدمات مرتبطة: يتم استخدام الخدمات المرتبطة لتعريف معلومات الاتصال لمصادر البيانات والوجهات.

    • في Azure Data Factory، حدد Manage ثم حدد Linked services.
    • إنشاء خدمة مرتبطة جديدة لقاعدة بيانات Azure SQL من خلال توفير تفاصيل الاتصال الضرورية.

  3. إنشاء مجموعات البيانات: تمثل مجموعات البيانات بنيات البيانات داخل مخازن البيانات التي تستخدمها الأنشطة في البنية الأساسية لبرنامج ربط العمليات التجارية.

    • في Azure Data Factory، انتقل إلى علامة التبويب Author .
    • حدد + (علامة الجمع) وحدد مجموعة البيانات.
    • اختر نوع مخزن البيانات (على سبيل المثال، قاعدة بيانات Azure SQL، تخزين Azure Blob). أيضا، قم بتوفير تفاصيل الاتصال الضرورية وخصائص مجموعة البيانات.

  4. إنشاء البنية الأساسية لبرنامج ربط العمليات التجارية: المسارات هي مجموعات منطقية للأنشطة التي تؤدي وحدة عمل.

    • في Azure Data Factory، حدد Author وأنشئ مسارا جديدا.
    • أضف نشاط Copy Data إلى المسار لنسخ البيانات من مجموعة البيانات المصدر إلى مجموعة البيانات الوجهة.

  5. تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية: يؤدي تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية إلى تنفيذ سلسلة الأنشطة التي قمت بتكوينها.

    • تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية لبدء عملية نسخ البيانات.
    • مراقبة تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية للتأكد من استيراد البيانات بنجاح.

استخدام BACPAC لاستيراد البيانات وتصديرها

ملف BACPAC هو في الأساس ملف ZIP مع ملحق .bacpac، يحتوي على مخطط قاعدة البيانات والبيانات. يتم استخدامه لأغراض ترحيل قاعدة البيانات والنسخ الاحتياطي والأرشفة. يمكنك تصدير قاعدة بيانات إلى ملف BACPAC وتخزينها في Azure Blob Storage أو محليا، ثم استيرادها لاحقا إلى قاعدة بيانات Azure SQL أو مثيل Azure SQL المدار أو SQL Server. يمكنك أيضا استخدام ملفات BACPAC لاستيراد مجموعة فرعية فقط من البيانات. تسمح هذه المرونة بنهج أكثر تخصيصا لحركة البيانات.

يمكنك استيراد البيانات وتصديرها باستخدام ملفات BACPAC باستخدام مدخل Microsoft Azure وSQL Server Management Studio (SSMS)، ولكن يمكنك أيضا استخدام الأداة المساعدة SQLPackage.

قم بتشغيل الأمر المثال التالي لاستيراد البيانات إلى ملف BACPAC باستخدام SQLPackage. استبدل <ServerName>و <DatabaseName><UserName><Password>و <PathToBacpacFile> في البرامج النصية التالية باسم الخادم الفعلي واسم قاعدة البيانات وبيانات اعتماد المستخدم ومسار ملف BACPAC.

sqlpackage.exe /Action:Import /tsn:<ServerName> /tdn:<DatabaseName> /tu:<UserName> /tp:<Password> /sf:<PathToBacpacFile>

قم بتشغيل الأمر المثال التالي لتصدير البيانات إلى ملف BACPAC باستخدام SQLPackage.

sqlpackage.exe /Action:Export /ssn:<ServerName> /sdn:<DatabaseName> /su:<UserName> /sp:<Password> /tf:<PathToBacpacFile>

استخدام برنامج النسخ المجمع (BCP)

الأداة المساعدة BCP هي أداة سطر أوامر تقوم بتصدير الجداول إلى الملفات حتى تتمكن من استيرادها. استخدم هذا الأسلوب للترحيل من قاعدة بيانات SQL واحدة إلى SQL Managed Instance والعودة.

استخدام معالج استيراد وتصدير SQL Server

SQL Server Import and Export Wizard هي أداة رسومية في SSMS لاستيراد البيانات وتصديرها بين SQL Server والعديد من مصادر البيانات. تتمثل إحدى مزايا معالج استيراد وتصدير SQL Server في أنه يستخدم SQL Server Integration Services (SSIS) لنسخ البيانات. SSIS هو أداة قابلة للتكوين للغاية لإنشاء عمليات الاستخراج والتحويل والتحميل (ETL) التي يمكن تشغيلها على كل من مثيلات SQL Server وAzure SQL Database.

استخدام Azure CLI وPowerShell

يمكنك استخدام البرامج النصية في كل من Azure CLI وPowerShell لأتمتة عمليات الاستيراد والتصدير. استخدام البرامج النصية للاستيراد أو التصدير مناسب للتكامل في تدفقات CI/CD، ومع ذلك يتطلب كل برنامج نصي درجة عالية من التخصيص مقارنة بالأساليب الأخرى.

لمعرفة المزيد حول الأدوات الأخرى المتاحة لتصدير البيانات واستيرادها، راجع استيراد البيانات وتصديرها من SQL Server وقاعدة بيانات Azure SQL.