التحويل إلى Delta Lake

CONVERT TO DELTA يقوم أمر SQL بإجراء تحويل لمرة واحدة لجداول Parquet و Iceberg إلى جداول Delta Lake. للتحويل المتزايد لجداول Parquet أو Iceberg إلى Delta Lake، راجع استنساخ جداول Parquet و Iceberg بشكل متزايد إلى Delta Lake.

يدعم CONVERT TO DELTA كتالوج Unity أمر SQL لجداول Parquet و Iceberg المخزنة في مواقع خارجية يديرها كتالوج Unity.

يمكنك تكوين ملفات بيانات Parquet الموجودة كجداول خارجية في كتالوج Unity ثم تحويلها إلى Delta Lake لإلغاء تأمين جميع ميزات Databricks lakehouse.

للحصول على الوثائق التقنية، راجع CONVERT TO DELTA.

تحويل دليل ملفات Parquet أو Iceberg في موقع خارجي إلى Delta Lake

إشعار

• يتم تحويل جداول Iceberg في المعاينة العامة.
• يتم دعم تحويل جداول Iceberg في Databricks Runtime 10.4 LTS وما فوق.
• تحويل جداول Iceberg metastore غير مدعوم.
• لا يتم دعم تحويل جداول Iceberg التي شهدت تطور القسم.
• لا يتم دعم تحويل جداول الدمج عند القراءة في Iceberg التي شهدت تحديثات أو عمليات حذف أو عمليات دمج.
• فيما يلي قيود لتحويل جداول Iceberg مع أقسام محددة على الأعمدة المقتطعة:
  • في Databricks Runtime 12.2 LTS وما يلي، نوع العمود المقتطع الوحيد المدعوم هو string.
  • في Databricks Runtime 13.3 LTS وما فوق، يمكنك العمل مع أعمدة مقتطعة من أنواع stringأو longأو int.
  • لا يدعم Azure Databricks العمل مع الأعمدة المقتطعة من النوع decimal.

يمكنك تحويل دليل ملفات بيانات Parquet إلى جدول Delta Lake طالما أن لديك حق الوصول للكتابة على موقع التخزين. للحصول على معلومات حول تكوين الوصول باستخدام كتالوج Unity، راجع الاتصال بتخزين كائن السحابة باستخدام كتالوج Unity.

إشعار

يتطلب كتالوج Unity Azure Data Lake Storage Gen2.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

لتحميل الجداول المحولة كجداول خارجية إلى كتالوج Unity، تحتاج إلى CREATE EXTERNAL TABLE الإذن على الموقع الخارجي.

إشعار

بالنسبة إلى Databricks Runtime 11.3 LTS وما فوق، CONVERT TO DELTA يستنتج تلقائيا معلومات التقسيم للجداول المسجلة في Hive metastore. يجب توفير معلومات التقسيم للجداول الخارجية لكتالوج Unity.

تحويل الجداول المدارة والخارجية إلى Delta Lake في كتالوج Unity

CONVERT TO DELTA يمكن استخدام بناء الجملة فقط لإنشاء جداول خارجية في كتالوج Unity. استخدم عبارة CTAS لتحويل جدول Parquet المدار بواسطة Hive metastore قديم مباشرة إلى جدول Delta Lake كتالوج Unity مدار، راجع ترقية جدول Hive إلى جدول مدار في كتالوج Unity باستخدام CREATE TABLE AS SELECT.

لترقية جدول Parquet خارجي إلى جدول خارجي في كتالوج Unity، راجع ترقية جدول Hive واحد إلى جدول خارجي كتالوج Unity باستخدام معالج الترقية.

بعد تسجيل جدول Parquet خارجي إلى كتالوج Unity، يمكنك تحويله إلى جدول Delta Lake خارجي. يجب توفير معلومات التقسيم إذا تم تقسيم جدول Parquet.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);