البرنامج التعليمي: تشغيل خط أنابيب Delta Live Tables الأول

مقالة
07/17/2024

يوضح لك هذا البرنامج التعليمي كيفية تكوين مسار Delta Live Tables من التعليمات البرمجية في دفتر ملاحظات Databricks وتشغيل البنية الأساسية لبرنامج ربط العمليات التجارية عن طريق تشغيل تحديث البنية الأساسية لبرنامج ربط العمليات التجارية. يتضمن هذا البرنامج التعليمي مثالا للبنية الأساسية لبرنامج ربط العمليات التجارية لاستيعاب مجموعة بيانات نموذجية ومعالجتها باستخدام مثال التعليمات البرمجية باستخدام واجهات Python وSQL. يمكنك أيضا استخدام الإرشادات الواردة في هذا البرنامج التعليمي لإنشاء مسار مع أي دفاتر ملاحظات مع بناء جملة Delta Live Tables المعرفة بشكل صحيح.

يمكنك تكوين مسارات Delta Live Tables وتشغيل التحديثات باستخدام واجهة مستخدم مساحة عمل Azure Databricks أو خيارات الأدوات التلقائية مثل API أو CLI أو حزم أصول Databricks أو كمهمة في سير عمل Databricks. للتعرف على وظائف وميزات Delta Live Tables، توصي Databricks أولا باستخدام واجهة المستخدم لإنشاء البنية الأساسية لبرنامج ربط العمليات التجارية وتشغيلها. بالإضافة إلى ذلك، عند تكوين مسار في واجهة المستخدم، تقوم Delta Live Tables بإنشاء تكوين JSON للبنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك التي يمكن استخدامها لتنفيذ مهام سير العمل البرمجية.

لإظهار وظيفة Delta Live Tables، تقوم الأمثلة في هذا البرنامج التعليمي بتنزيل مجموعة بيانات متاحة للجمهور. ومع ذلك، لدى Databricks عدة طرق للاتصال بمصادر البيانات واستيعاب البيانات التي ستستخدمها المسارات التي تنفذ حالات الاستخدام في العالم الحقيقي. راجع استيعاب البيانات باستخدام جداول Delta Live.

المتطلبات

لبدء البنية الأساسية لبرنامج ربط العمليات التجارية، يجب أن يكون لديك إذن إنشاء نظام المجموعة أو الوصول إلى نهج نظام المجموعة الذي يحدد نظام مجموعة Delta Live Tables. يقوم وقت تشغيل Delta Live Tables بإنشاء نظام مجموعة قبل تشغيله للبنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك ويفشل إذا لم يكن لديك الإذن الصحيح.
لاستخدام الأمثلة في هذا البرنامج التعليمي، يجب تمكين كتالوج Unity لمساحة العمل الخاصة بك.
يجب أن يكون لديك الأذونات التالية في كتالوج Unity:
- READ VOLUME و، WRITE VOLUMEأو ALL PRIVILEGES، لوحدات my-volume التخزين.
- USE SCHEMA أو ALL PRIVILEGES للمخطط default .
- USE CATALOG أو ALL PRIVILEGES للكتالوج main .
لتعيين هذه الأذونات، راجع امتيازات مسؤول Databricks أو كتالوج Unity والعناصر القابلة للتأمين.
تستخدم الأمثلة في هذا البرنامج التعليمي وحدة تخزين كتالوج Unity لتخزين بيانات العينة. لاستخدام هذه الأمثلة، قم بإنشاء وحدة تخزين واستخدم أسماء كتالوج وحدة التخزين والمخطط ووحدات التخزين لتعيين مسار وحدة التخزين المستخدمة من قبل الأمثلة.

إشعار

إذا لم يتم تمكين كتالوج Unity لمساحة العمل الخاصة بك، يتم إرفاق دفاتر الملاحظات التي تحتوي على أمثلة لا تتطلب كتالوج Unity بهذه المقالة. لاستخدام هذه الأمثلة، حدد Hive metastore كخيار تخزين عند إنشاء البنية الأساسية لبرنامج ربط العمليات التجارية.

أين يمكنك تشغيل استعلامات Delta Live Tables؟

يتم تنفيذ استعلامات Delta Live Tables بشكل أساسي في دفاتر ملاحظات Databricks، ولكن لم يتم تصميم Delta Live Tables ليتم تشغيلها بشكل تفاعلي في خلايا دفتر الملاحظات. يؤدي تنفيذ خلية تحتوي على بناء جملة Delta Live Tables في دفتر ملاحظات Databricks إلى ظهور رسالة خطأ. لتشغيل الاستعلامات، يجب تكوين دفاتر الملاحظات كجزء من البنية الأساسية لبرنامج ربط العمليات التجارية.

هام

لا يمكنك الاعتماد على ترتيب تنفيذ دفاتر الملاحظات حسب الخلية عند كتابة استعلامات ل Delta Live Tables. تقوم Delta Live Tables بتقييم وتشغيل جميع التعليمات البرمجية المعرفة في دفاتر الملاحظات ولكن لديها نموذج تنفيذ مختلف عن أمر تشغيل الكل في دفتر الملاحظات.
لا يمكنك خلط اللغات في ملف التعليمات البرمجية المصدر ل Delta Live Tables واحد. على سبيل المثال، يمكن أن يحتوي دفتر الملاحظات على استعلامات Python أو استعلامات SQL فقط. إذا كان يجب استخدام لغات متعددة في البنية الأساسية لبرنامج ربط العمليات التجارية، فاستخدم دفاتر ملاحظات أو ملفات متعددة خاصة باللغة في المسار.

يمكنك أيضا استخدام تعليمة Python البرمجية المخزنة في الملفات. على سبيل المثال، يمكنك إنشاء وحدة Python يمكن استيرادها إلى مسارات Python أو تعريف وظائف Python المعرفة من قبل المستخدم (UDFs) لاستخدامها في استعلامات SQL. للتعرف على استيراد وحدات Python النمطية، راجع استيراد وحدات Python النمطية من مجلدات Git أو ملفات مساحة العمل. للتعرف على استخدام Python UDFs، راجع الوظائف العددية المعرفة من قبل المستخدم - Python.

مثال: استيعاب ومعالجة بيانات أسماء الأطفال في نيويورك

يستخدم المثال في هذه المقالة مجموعة بيانات متوفرة للجمهور تحتوي على سجلات أسماء الأطفال في ولاية نيويورك. توضح هذه الأمثلة استخدام مسار Delta Live Tables من أجل:

اقرأ بيانات CSV الأولية من مجموعة بيانات متاحة للجمهور في جدول.
اقرأ السجلات من جدول البيانات الأولية واستخدم توقعات Delta Live Tables لإنشاء جدول جديد يحتوي على بيانات نظيفة.
استخدم السجلات التي تم تنظيفها كإدخال لاستعلامات Delta Live Tables التي تنشئ مجموعات بيانات مشتقة.

توضح هذه التعليمة البرمجية مثالا مبسطا لبنية الميدالية. راجع ما هو تصميم lakehouse medallion؟.

يتم توفير تطبيقات هذا المثال لواجهات Python وSQL. يمكنك اتباع الخطوات لإنشاء دفاتر ملاحظات جديدة تحتوي على مثال التعليمات البرمجية، أو يمكنك التخطي إلى إنشاء مسار واستخدام أحد دفاتر الملاحظات المتوفرة في هذه الصفحة.

تنفيذ مسار Delta Live Tables باستخدام Python

يجب أن ترجع تعليمة Python البرمجية التي تنشئ مجموعات بيانات Delta Live Tables DataFrames. بالنسبة للمستخدمين غير المألوفين مع Python وDataFrames، توصي Databricks باستخدام واجهة SQL. راجع تنفيذ مسار Delta Live Tables باستخدام SQL.

يتم تنفيذ جميع واجهات برمجة تطبيقات Delta Live Tables Python في الوحدة النمطية dlt . يجب أن تقوم التعليمات البرمجية لمسار Delta Live Tables التي تم تنفيذها باستخدام Python باستيراد dlt الوحدة النمطية بشكل صريح في أعلى دفاتر ملاحظات وملفات Python. تختلف Delta Live Tables عن العديد من البرامج النصية ل Python بطريقة رئيسية: لا تستدعي الوظائف التي تقوم باستيعاب البيانات وتحويلها لإنشاء مجموعات بيانات Delta Live Tables. بدلا من ذلك، تقوم Delta Live Tables بتفسير وظائف مصمم الديكور من الوحدة النمطية dlt في جميع الملفات المحملة في البنية الأساسية لبرنامج ربط العمليات التجارية وإنشاء رسم بياني لتدفق البيانات.

لتنفيذ المثال في هذا البرنامج التعليمي، انسخ والصق تعليمة Python البرمجية التالية في دفتر ملاحظات Python جديد. أضف كل مثال على قصاصة برمجية إلى الخلية الخاصة بها في دفتر الملاحظات بالترتيب الموضح. لمراجعة خيارات إنشاء دفاتر الملاحظات، راجع إنشاء دفتر ملاحظات.

عند إنشاء مسار باستخدام واجهة Python، بشكل افتراضي، يتم تعريف أسماء الجداول بواسطة أسماء الوظائف. على سبيل المثال، ينشئ مثال Python التالي ثلاثة جداول باسم baby_names_rawو baby_names_preparedو.top_baby_names_2021 يمكنك تجاوز اسم الجدول باستخدام المعلمة name . راجع إنشاء جدول عرض أو تدفق مجسد في Delta Live Tables.

هام

لتجنب السلوك غير المتوقع عند تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية، لا تقم بتضمين التعليمات البرمجية التي قد يكون لها آثار جانبية في وظائفك التي تحدد مجموعات البيانات. لمعرفة المزيد، راجع مرجع Python.

استيراد الوحدة النمطية Delta Live Tables

يتم تنفيذ جميع واجهات برمجة تطبيقات Delta Live Tables Python في الوحدة النمطية dlt . قم باستيراد الوحدة النمطية dlt بشكل صريح في أعلى دفاتر ملاحظات وملفات Python.

يوضح المثال التالي هذا الاستيراد، جنبا إلى جنب مع عبارات الاستيراد ل pyspark.sql.functions.

import dlt
from pyspark.sql.functions import *

تنزيل البيانات

للحصول على البيانات لهذا المثال، يمكنك تنزيل ملف CSV وتخزينه في وحدة التخزين كما يلي:

import os

os.environ["UNITY_CATALOG_VOLUME_PATH"] = "/Volumes/<catalog-name>/<schema-name>/<volume-name>/"
os.environ["DATASET_DOWNLOAD_URL"] = "https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv"
os.environ["DATASET_DOWNLOAD_FILENAME"] = "rows.csv"

dbutils.fs.cp(f"{os.environ.get('DATASET_DOWNLOAD_URL')}", f"{os.environ.get('UNITY_CATALOG_VOLUME_PATH')}{os.environ.get('DATASET_DOWNLOAD_FILENAME')}")

استبدل <catalog-name>و <schema-name>و <volume-name> بأسماء الكتالوج والمخطط ووحدات التخزين لوحدة تخزين كتالوج Unity.

إنشاء جدول من الملفات في تخزين الكائنات

تدعم Delta Live Tables تحميل البيانات من جميع التنسيقات التي يدعمها Azure Databricks. راجع خيارات تنسيق البيانات.

@dlt.table يخبر المصمم Delta Live Tables بإنشاء جدول يحتوي على نتيجة DataFrame إرجاع بواسطة دالة. @dlt.table أضف مصمم الديكور قبل أي تعريف دالة Python يقوم بإرجاع Spark DataFrame لتسجيل جدول جديد في Delta Live Tables. يوضح المثال التالي استخدام اسم الدالة كاسم الجدول وإضافة تعليق وصفي إلى الجدول:

@dlt.table(
  comment="Popular baby first names in New York. This data was ingested from the New York State Department of Health."
)
def baby_names_raw():
  df = spark.read.csv(f"{os.environ.get('UNITY_CATALOG_VOLUME_PATH')}{os.environ.get('DATASET_DOWNLOAD_FILENAME')}", header=True, inferSchema=True)
  df_renamed_column = df.withColumnRenamed("First Name", "First_Name")
  return df_renamed_column

إضافة جدول من مجموعة بيانات المصدر في البنية الأساسية لبرنامج ربط العمليات التجارية

يمكنك استخدام dlt.read() لقراءة البيانات من مجموعات البيانات الأخرى المعلن عنها في مسار Delta Live Tables الحالي. يؤدي الإعلان عن جداول جديدة بهذه الطريقة إلى إنشاء تبعية تحلها Delta Live Tables تلقائيا قبل تنفيذ التحديثات. تتضمن التعليمات البرمجية التالية أيضا أمثلة على مراقبة جودة البيانات وإنفاذها مع التوقعات. راجع إدارة جودة البيانات باستخدام جداول Delta Live.

@dlt.table(
  comment="New York popular baby first name data cleaned and prepared for analysis."
)
@dlt.expect("valid_first_name", "First_Name IS NOT NULL")
@dlt.expect_or_fail("valid_count", "Count > 0")
def baby_names_prepared():
  return (
    dlt.read("baby_names_raw")
      .withColumnRenamed("Year", "Year_Of_Birth")
      .select("Year_Of_Birth", "First_Name", "Count")
  )

إنشاء جدول مع طرق عرض البيانات المحسنة

نظرا لأن Delta Live Tables تعالج التحديثات للبنية الأساسية لبرنامج ربط العمليات التجارية كسلسلة من الرسوم البيانية للتبعية، يمكنك الإعلان عن طرق العرض عالية الإثراء التي تعمل على تشغيل لوحات المعلومات وBI والتحليلات من خلال الإعلان عن الجداول بمنطق عمل محدد.

الجداول في Delta Live Tables مكافئة من الناحية المفاهيمية لطرق العرض المجسدة. على عكس طرق العرض التقليدية على Spark التي تقوم بتشغيل المنطق في كل مرة يتم فيها الاستعلام عن طريقة العرض، يخزن جدول Delta Live Tables أحدث إصدار من نتائج الاستعلام في ملفات البيانات. نظرا لأن Delta Live Tables تدير التحديثات لجميع مجموعات البيانات في البنية الأساسية لبرنامج ربط العمليات التجارية، يمكنك جدولة تحديثات البنية الأساسية لبرنامج ربط العمليات التجارية لمطابقة متطلبات زمن الانتقال لطرق العرض المجسدة ومعرفة أن الاستعلامات مقابل هذه الجداول تحتوي على أحدث إصدار من البيانات المتوفرة.

يوضح الجدول المحدد بواسطة التعليمات البرمجية التالية التشابه المفاهيمي لعرض مجسد مشتق من البيانات الأولية في البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك:

@dlt.table(
  comment="A table summarizing counts of the top baby names for New York for 2021."
)
def top_baby_names_2021():
  return (
    dlt.read("baby_names_prepared")
      .filter(expr("Year_Of_Birth == 2021"))
      .groupBy("First_Name")
      .agg(sum("Count").alias("Total_Count"))
      .sort(desc("Total_Count"))
      .limit(10)
  )

لتكوين مسار يستخدم دفتر الملاحظات، راجع إنشاء مسار.

تنفيذ مسار Delta Live Tables باستخدام SQL

توصي Databricks ب Delta Live Tables مع SQL كطريقة مفضلة لمستخدمي SQL لإنشاء مسارات ETL واستيعاب وتحويل جديدة على Azure Databricks. تعمل واجهة SQL ل Delta Live Tables على توسيع Spark SQL القياسي مع العديد من الكلمات الأساسية الجديدة والبنى والوظائف ذات القيمة الجدولية. تسمح هذه الإضافات إلى SQL القياسية للمستخدمين بالإعلان عن التبعيات بين مجموعات البيانات ونشر البنية الأساسية على مستوى الإنتاج دون تعلم أدوات جديدة أو مفاهيم إضافية.

بالنسبة للمستخدمين على دراية ب Spark DataFrames والذين يحتاجون إلى دعم للاختبار والعمليات الأكثر شمولا التي يصعب تنفيذها مع SQL، مثل عمليات البرمجة الوصفية، توصي Databricks باستخدام واجهة Python. راجع تنفيذ مسار Delta Live Tables باستخدام Python.

تنزيل البيانات

للحصول على البيانات لهذا المثال، انسخ التعليمات البرمجية التالية، والصقها في دفتر ملاحظات جديد، ثم قم بتشغيل دفتر الملاحظات. لمراجعة خيارات إنشاء دفاتر الملاحظات، راجع إنشاء دفتر ملاحظات.

%sh
wget -O "/Volumes/<catalog-name>/<schema-name>/<volume-name>/babynames.csv" "https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv"

استبدل <catalog-name>و <schema-name>و <volume-name> بأسماء الكتالوج والمخطط ووحدات التخزين لوحدة تخزين كتالوج Unity.

إنشاء جدول من الملفات في كتالوج Unity

بالنسبة لبقية هذا المثال، انسخ قصاصات SQL التالية والصقها في دفتر ملاحظات SQL جديد، منفصلا عن دفتر الملاحظات في القسم السابق. أضف كل مثال لمقتطف SQL إلى خليته الخاصة في دفتر الملاحظات بالترتيب الموضح.

تدعم Delta Live Tables تحميل البيانات من جميع التنسيقات التي يدعمها Azure Databricks. راجع خيارات تنسيق البيانات.

تستخدم CREATE OR REFRESH جميع عبارات Delta Live Tables SQL بناء الجملة والدلالات. عند تحديث مسار، تحدد Delta Live Tables ما إذا كان يمكن إنجاز النتيجة الصحيحة منطقيا للجدول من خلال المعالجة التزايدية أو إذا كانت إعادة الحساب الكاملة مطلوبة.

ينشئ المثال التالي جدولا عن طريق تحميل البيانات من ملف CSV المخزن في وحدة تخزين كتالوج Unity:

CREATE OR REFRESH MATERIALIZED VIEW baby_names_sql_raw
COMMENT "Popular baby first names in New York. This data was ingested from the New York State Department of Health."
AS SELECT Year, `First Name` AS First_Name, County, Sex, Count FROM read_files(
  '/Volumes/<catalog-name>/<schema-name>/<volume-name>/babynames.csv',
  format => 'csv',
  header => true,
  mode => 'FAILFAST')

استبدل <catalog-name>و <schema-name>و <volume-name> بأسماء الكتالوج والمخطط ووحدات التخزين لوحدة تخزين كتالوج Unity.

إضافة جدول من مجموعة بيانات المصدر إلى البنية الأساسية لبرنامج ربط العمليات التجارية

يمكنك استخدام live المخطط الظاهري للاستعلام عن البيانات من مجموعات البيانات الأخرى المعلن عنها في مسار Delta Live Tables الحالي. يؤدي الإعلان عن جداول جديدة بهذه الطريقة إلى إنشاء تبعية تحلها Delta Live Tables تلقائيا قبل تنفيذ التحديثات. live المخطط هو كلمة أساسية مخصصة يتم تنفيذها في Delta Live Tables يمكن استبدالها بمخطط هدف إذا كنت تريد نشر مجموعات البيانات الخاصة بك. راجع استخدام كتالوج Unity مع خطوط أنابيب Delta Live Tables ونشر البيانات من Delta Live Tables إلى Hive metastore.

تتضمن التعليمات البرمجية التالية أيضا أمثلة على مراقبة جودة البيانات وإنفاذها مع التوقعات. راجع إدارة جودة البيانات باستخدام جداول Delta Live.

CREATE OR REFRESH MATERIALIZED VIEW baby_names_sql_prepared(
  CONSTRAINT valid_first_name EXPECT (First_Name IS NOT NULL),
  CONSTRAINT valid_count EXPECT (Count > 0) ON VIOLATION FAIL UPDATE
)
COMMENT "New York popular baby first name data cleaned and prepared for analysis."
AS SELECT
  Year AS Year_Of_Birth,
  First_Name,
  Count
FROM live.baby_names_sql_raw;

إنشاء طريقة عرض بيانات ثرية

يستخدم الاستعلام التالي طريقة عرض مجسدة لإنشاء طريقة عرض ثرية من البيانات الأولية. على عكس طرق العرض التقليدية على Spark التي تشغل المنطق في كل مرة يتم فيها الاستعلام عن طريقة العرض، تخزن طرق العرض المجسدة أحدث إصدار من نتائج الاستعلام في ملفات البيانات. نظرا لأن Delta Live Tables تدير التحديثات لجميع مجموعات البيانات في البنية الأساسية لبرنامج ربط العمليات التجارية، يمكنك جدولة تحديثات البنية الأساسية لبرنامج ربط العمليات التجارية لمطابقة متطلبات زمن الانتقال لطرق العرض المجسدة ومعرفة أن الاستعلامات مقابل هذه الجداول تحتوي على أحدث إصدار من البيانات المتوفرة.

CREATE OR REFRESH MATERIALIZED VIEW top_baby_names_sql_2021
COMMENT "A table summarizing counts of the top baby names for New York for 2021."
AS SELECT
  First_Name,
  SUM(Count) AS Total_Count
FROM live.baby_names_sql_prepared
WHERE Year_Of_Birth = 2021
GROUP BY First_Name
ORDER BY Total_Count DESC
LIMIT 10;

لتكوين مسار يستخدم دفتر الملاحظات، تابع إنشاء مسار.

إنشاء مسار

إشعار

نظرا لأن موارد الحوسبة تتم إدارتها بالكامل لمسارات DLT بلا خادم، لا تتوفر إعدادات الحوسبة عند تحديد Serverless للبنية الأساسية لبرنامج ربط العمليات التجارية.
للحصول على معلومات حول الأهلية وتمكين البنية الأساسية لبرنامج ربط العمليات التجارية DLT بلا خادم، راجع تمكين الحوسبة بلا خادم.

تقوم Delta Live Tables بإنشاء مسارات عن طريق حل التبعيات المعرفة في دفاتر الملاحظات أو الملفات (تسمى التعليمات البرمجية المصدر أو المكتبات) باستخدام بناء جملة Delta Live Tables. يمكن أن يحتوي كل ملف تعليمة برمجية مصدر على لغة واحدة فقط، ولكن يمكنك خلط مكتبات من لغات مختلفة في البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك.

انقر فوق Delta Live Tables في الشريط الجانبي وانقر فوق Create Pipeline.
امنح البنية الأساسية لبرنامج ربط العمليات التجارية اسما.
(اختياري) لتشغيل البنية الأساسية لبرنامج ربط العمليات التجارية باستخدام مسارات DLT بلا خادم، حدد خانة الاختيار بلا خادم. عند تحديد بلا خادم، تتم إزالة إعدادات الحساب من واجهة المستخدم. راجع إنشاء مسارات مدارة بالكامل باستخدام Delta Live Tables مع حساب بلا خادم.
(اختياري) حدد إصدار منتج.
حدد Triggered ل Pipeline Mode.
تكوين دفتر ملاحظات واحد أو أكثر يحتوي على التعليمات البرمجية المصدر للبنية الأساسية لبرنامج ربط العمليات التجارية. في مربع النص مسارات ، أدخل المسار إلى دفتر ملاحظات أو انقر لتحديد دفتر ملاحظات.
حدد وجهة لمجموعات البيانات المنشورة بواسطة البنية الأساسية لبرنامج ربط العمليات التجارية، إما Hive metastore أو كتالوج Unity. راجع نشر مجموعات البيانات.
- Hive metastore:
  - (اختياري) أدخل موقع تخزين لبيانات الإخراج من البنية الأساسية لبرنامج ربط العمليات التجارية. يستخدم النظام موقعا افتراضيا إذا تركت موقع التخزين فارغا.
  - (اختياري) حدد مخطط الهدف لنشر مجموعة البيانات الخاصة بك إلى Hive metastore.
- كتالوج Unity: حدد كتالوج ومخطط هدف لنشر مجموعة البيانات الخاصة بك إلى كتالوج Unity.
(اختياري) إذا لم تحدد Serverless، يمكنك تكوين إعدادات الحساب للبنية الأساسية لبرنامج ربط العمليات التجارية. للتعرف على خيارات إعدادات الحوسبة، راجع تكوين إعدادات البنية الأساسية لبرنامج ربط العمليات التجارية ل Delta Live Tables.
(اختياري) انقر فوق إضافة إعلام لتكوين عنوان بريد إلكتروني واحد أو أكثر لتلقي إعلامات لأحداث البنية الأساسية لبرنامج ربط العمليات التجارية. راجع إضافة إعلامات البريد الإلكتروني لأحداث البنية الأساسية لبرنامج ربط العمليات التجارية.
(اختياري) تكوين إعدادات متقدمة للبنية الأساسية لبرنامج ربط العمليات التجارية. للتعرف على خيارات الإعدادات المتقدمة، راجع تكوين إعدادات البنية الأساسية لبرنامج ربط العمليات التجارية لجداول Delta Live.
انقر فوق Create.

تظهر صفحة تفاصيل المسار بعد النقر فوق إنشاء. يمكنك أيضا الوصول إلى البنية الأساسية لبرنامج ربط العمليات التجارية بالنقر فوق اسم المسار في علامة التبويب Delta Live Tables .

بدء تحديث البنية الأساسية لبرنامج ربط العمليات التجارية

لبدء تحديث البنية الأساسية لبرنامج ربط العمليات التجارية، انقر فوق الزر الموجود في اللوحة العلوية. يقوم النظام بإرجاع رسالة تؤكد بدء تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية.

بعد بدء التحديث بنجاح، نظام Delta Live Tables:

يبدأ نظام مجموعة باستخدام تكوين نظام مجموعة تم إنشاؤه بواسطة نظام Delta Live Tables. يمكنك أيضا تحديد تكوين نظام مجموعة مخصص.
ينشئ أي جداول غير موجودة ويضمن صحة المخطط لأي جداول موجودة.
تحديث الجداول بأحدث البيانات المتوفرة.
إيقاف تشغيل نظام المجموعة عند اكتمال التحديث.

إشعار

يتم تعيين وضع التنفيذ إلى الإنتاج بشكل افتراضي، والذي ينشر موارد الحوسبة المؤقتة لكل تحديث. يمكنك استخدام وضع التطوير لتغيير هذا السلوك، مما يسمح باستخدام نفس موارد الحوسبة لتحديثات البنية الأساسية لبرنامج ربط العمليات التجارية المتعددة أثناء التطوير والاختبار. راجع أوضاع التطوير والإنتاج.

نشر مجموعات البيانات

يمكنك توفير مجموعات بيانات Delta Live Tables للاستعلام عن طريق نشر الجداول إلى Hive metastore أو كتالوج Unity. إذا لم تحدد هدفا لنشر البيانات، فلا يمكن الوصول إلى الجداول التي تم إنشاؤها في خطوط أنابيب Delta Live Tables إلا بواسطة عمليات أخرى في نفس المسار. راجع نشر البيانات من Delta Live Tables إلى Hive metastore واستخدام كتالوج Unity مع خطوط أنابيب Delta Live Tables.

مثال على دفاتر ملاحظات التعليمات البرمجية المصدر

يمكنك استيراد دفاتر الملاحظات هذه إلى مساحة عمل Azure Databricks واستخدامها لنشر مسار Delta Live Tables. راجع إنشاء مسار.

بدء استخدام دفتر ملاحظات Delta Live Tables Python

الحصول على دفتر الملاحظات

بدء استخدام دفتر ملاحظات Delta Live Tables SQL

الحصول على دفتر الملاحظات

مثال على دفاتر ملاحظات التعليمات البرمجية المصدر لمساحات العمل بدون كتالوج Unity

يمكنك استيراد دفاتر الملاحظات هذه إلى مساحة عمل Azure Databricks دون تمكين كتالوج Unity واستخدامها لنشر مسار Delta Live Tables. راجع إنشاء مسار.

بدء استخدام دفتر ملاحظات Delta Live Tables Python

الحصول على دفتر الملاحظات

بدء استخدام دفتر ملاحظات Delta Live Tables SQL

الحصول على دفتر الملاحظات

مشاركة عبر

البرنامج التعليمي: تشغيل خط أنابيب Delta Live Tables الأول

المتطلبات

أين يمكنك تشغيل استعلامات Delta Live Tables؟

مثال: استيعاب ومعالجة بيانات أسماء الأطفال في نيويورك

تنفيذ مسار Delta Live Tables باستخدام Python

استيراد الوحدة النمطية Delta Live Tables

تنزيل البيانات

إنشاء جدول من الملفات في تخزين الكائنات

إضافة جدول من مجموعة بيانات المصدر في البنية الأساسية لبرنامج ربط العمليات التجارية

إنشاء جدول مع طرق عرض البيانات المحسنة

تنفيذ مسار Delta Live Tables باستخدام SQL

تنزيل البيانات

إنشاء جدول من الملفات في كتالوج Unity

إضافة جدول من مجموعة بيانات المصدر إلى البنية الأساسية لبرنامج ربط العمليات التجارية

إنشاء طريقة عرض بيانات ثرية

إنشاء مسار

بدء تحديث البنية الأساسية لبرنامج ربط العمليات التجارية

نشر مجموعات البيانات

مثال على دفاتر ملاحظات التعليمات البرمجية المصدر

بدء استخدام دفتر ملاحظات Delta Live Tables Python

بدء استخدام دفتر ملاحظات Delta Live Tables SQL

مثال على دفاتر ملاحظات التعليمات البرمجية المصدر لمساحات العمل بدون كتالوج Unity

بدء استخدام دفتر ملاحظات Delta Live Tables Python

بدء استخدام دفتر ملاحظات Delta Live Tables SQL

الملاحظات

الموارد الإضافية