تحميل البيانات باستخدام T-SQL

مكتمل

سيجد مطورو SQL أو مطورو المواطنين، الذين غالبا ما يكونون على دراية جيدة بمحرك SQL ويجيدون استخدام T-SQL، المستودع في Microsoft Fabric مواتيا.

وذلك لأن المستودع مدعوم بنفس محرك SQL المألوف لديهم، ما يمكنهم من إجراء استعلامات معقدة ومعالجتها للبيانات. تتضمن هذه العمليات تصفية البيانات وفرزها وتجميعها وضمها من جداول مختلفة. تسمح مجموعة واسعة من الوظائف والمشغلين لمحرك SQL بمزيد من التحليل المعقد للبيانات والتحويلات على مستوى قاعدة البيانات.

استخدام عبارة COPY

تعمل عبارة COPY كطريقة رئيسية لاستيراد البيانات إلى المستودع. يسهل استيعاب البيانات بكفاءة من حساب تخزين Azure خارجي.

يوفر مرونة، مما يسمح لك بتحديد تنسيق الملف المصدر، وتعيين موقع لتخزين الصفوف التي تم رفضها أثناء عملية الاستيراد، وتخطي صفوف الرأس، من بين خيارات أخرى قابلة للتكوين.

يعد خيار تخزين الصفوف المرفوضة بشكل منفصل مفيدا لتنظيف البيانات ومراقبة الجودة. يسمح لك بتحديد أي مشكلات في البيانات التي لم يتم استيرادها بنجاح والتحقيق فيها بسهولة.

للاتصال بحساب تخزين Azure، تحتاج إلى استخدام توقيع الوصول المشترك (SAS) أو مفتاح حساب التخزين (SAK).

معالجة الخطأ

يسمح خيار استخدام حساب تخزين مختلف لموقع ERRORFILE (REJECTED_ROW_LOCATION) بمعالجة الأخطاء وتصحيح الأخطاء بشكل أفضل. يسهل عزل أي مشكلات تحدث أثناء عملية تحميل البيانات والتحقيق فيها. ينطبق ERRORFILE فقط على CSV.

تحميل ملفات متعددة

تسمح القدرة على تحديد أحرف البدل والملفات المتعددة في مسار موقع التخزين لجملة COPY بمعالجة تحميل البيانات المجمعة بكفاءة. وهذا مفيد عند التعامل مع مجموعات البيانات الكبيرة الموزعة عبر ملفات متعددة.

يمكن تحديد مواقع ملفات متعددة فقط من نفس حساب التخزين والحاوية عبر قائمة مفصولة بفواصل.

COPY INTO my_table
FROM 'https://myaccount.blob.core.windows.net/myblobcontainer/folder0/*.csv, 
    https://myaccount.blob.core.windows.net/myblobcontainer/folder1/'
WITH (
    FILE_TYPE = 'CSV',
    CREDENTIAL=(IDENTITY= 'Shared Access Signature', SECRET='<Your_SAS_Token>')
    FIELDTERMINATOR = '|'
)

يوضح المثال التالي كيفية تحميل ملف PARQUET.

COPY INTO test_parquet
FROM 'https://myaccount.blob.core.windows.net/myblobcontainer/folder1/*.parquet'
WITH (
    CREDENTIAL=(IDENTITY= 'Shared Access Signature', SECRET='<Your_SAS_Token>')
)

تأكد من أن جميع الملفات لها نفس البنية (أي نفس الأعمدة بالترتيب نفسه) وأن هذه البنية تطابق بنية الجدول الهدف.

جدول التحميل من مستودعات ومستودعات أخرى

يمكنك تحميل البيانات من أصول بيانات مختلفة في مساحة عمل، مثل المستودعات والمستودعات الأخرى.

للإشارة إلى أصل البيانات، تأكد من استخدام تسمية من ثلاثة أجزاء لدمج البيانات من الجداول على أصول مساحة العمل هذه. يمكنك بعد ذلك استخدام CREATE TABLE AS SELECT (CTAS) وتحميل INSERT...SELECT البيانات في المستودع.

عبارة SQL	‏‏الوصف
CREATE TABLE AS SELECT	يسمح لك بإنشاء جدول جديد استنادا إلى إخراج عبارة SELECT . غالبا ما تستخدم هذه العملية لإنشاء نسخة من جدول أو لتحويل نتائج الاستعلامات المعقدة وتحميلها.
INSERT...SELECT	يسمح لك بإدراج بيانات من جدول في جدول آخر. يكون ذلك مفيدا عندما تريد نسخ البيانات من جدول إلى آخر دون إنشاء جدول جديد.

في سيناريو يحتاج فيه المحلل إلى بيانات من كل من المستودع وبحيرة، يمكنه استخدام هذه الميزة لدمج البيانات. يمكنهم بعد ذلك تحميل هذه البيانات المجمعة في المستودع للتحليل. تكون هذه الميزة مفيدة عند توزيع البيانات عبر العديد من الأصول في مساحة العمل.

ينشئ الاستعلام التالي جدولا جديدا في analysis_warehouse الذي يجمع بين البيانات من sales_warehouse و social_lakehouse باستخدام product_id كمفتاح مشترك. ويمكن بعد ذلك استخدام الجدول الجديد لإجراء مزيد من التحليل.

CREATE TABLE [analysis_warehouse].[dbo].[combined_data]
AS
SELECT *
FROM [sales_warehouse].[dbo].[sales_data] sales
INNER JOIN [social_lakehouse].[dbo].[social_data] social
ON sales.[product_id] = social.[product_id];

يتم دمج جميع المستودعات التي تشترك في نفس مساحة العمل في نفس خادم SQL المنطقي. إذا كنت تستخدم أدوات عميل SQL مثل SQL Server Management Studio، يمكنك بسهولة إجراء استعلام عبر قاعدة البيانات كما هو الحال في أي مثيل SQL Server.

MyWarehouse وSales كلاهما من أصول المستودع التي تشترك في نفس مساحة العمل.

إذا كنت تستخدم مستكشف العناصر من مساحة العمل للاستعلام عن المستودعات الخاصة بك، فستحتاج إلى إضافتها بشكل صريح. ستكون المستودعات المضافة مرئية أيضا من محرر الاستعلام المرئي.

يمكن تحميل البيانات بكفاءة في مستودع في Microsoft Fabric من خلال عبارة COPY، أو من مستودعات ومستودعات أخرى داخل نفس مساحة العمل، ما يسمح بإدارة البيانات وتحليلها بسلاسة.