مرجع جدول نظام التحسين التنبؤي
هام
هذه الميزة في المعاينة العامة. يجب تمكين المخطط ليكون مرئيا في الكتالوج.system
لمزيد من المعلومات، راجع تمكين مخططات جدول النظام
إشعار
للوصول إلى هذا الجدول، يجب تمكين storage
المخطط (راجع تمكين مخططات جدول النظام) ويجب أن تدعم منطقتك التحسين التنبؤي (راجع مناطق Azure Databricks).
توضح هذه المقالة مخطط جدول محفوظات عمليات التحسين التنبؤي وتوفر نماذج من الاستعلامات. يحسن التحسين التنبؤي تخطيط البيانات لأقصى أداء وكفاءة التكلفة. يتعقب جدول النظام محفوظات عمليات هذه الميزة. للحصول على معلومات حول التحسين التنبؤي، راجع التحسين التنبؤي للجداول المدارة لكتالوج Unity.
يوجد جدول النظام هذا في system.storage.predictive_optimization_operations_history
.
اعتبارات التسليم
- قد يستغرق ملء البيانات ما يصل إلى 24 ساعة.
- قد يقوم التحسين التنبؤي بتشغيل عمليات متعددة على نفس المجموعة. إذا كان الأمر كذلك، يتم تقريب حصة وحدات DBUs المنسوبة إلى كل عملية من العمليات المتعددة. هذا هو السبب في
usage_unit
تعيين إلىESTIMATED_DBU
. ومع ذلك، سيكون العدد الإجمالي لوحدات DBUs التي تم إنفاقها على نظام المجموعة دقيقا.
مخطط جدول التحسين التنبؤي
يستخدم جدول نظام محفوظات عمليات التحسين التنبؤي المخطط التالي:
اسم العمود | نوع البيانات | الوصف | مثال |
---|---|---|---|
account_id |
سلسلة | معرف الحساب. | 11e22ba4-87b9-4cc2-9770-d10b894b7118 |
workspace_id |
سلسلة | معرف مساحة العمل التي قام فيها التحسين التنبؤي بتشغيل العملية. | 1234567890123456 |
start_time |
الطابع الزمني | الوقت الذي بدأت فيه العملية. يتم تسجيل معلومات المنطقة الزمنية في نهاية القيمة مع +00:00 تمثيل UTC. |
2023-01-09 10:00:00.000+00:00 |
end_time |
الطابع الزمني | الوقت الذي انتهت فيه العملية. يتم تسجيل معلومات المنطقة الزمنية في نهاية القيمة مع +00:00 تمثيل UTC. |
2023-01-09 11:00:00.000+00:00 |
metastore_name |
سلسلة | اسم metastore الذي ينتمي إليه الجدول المحسن. | metastore |
catalog_name |
سلسلة | اسم الكتالوج الذي ينتمي إليه الجدول المحسن. | catalog |
schema_name |
سلسلة | اسم المخطط الذي ينتمي إليه الجدول المحسن. | schema |
table_id |
سلسلة | معرف الجدول المحسن. | 138ebb4b-3757-41bb-9e18-52b38d3d2836 |
table_name |
سلسلة | اسم الجدول المحسن. | table1 |
operation_type |
سلسلة | عملية التحسين التي تم تنفيذها. ستكون COMPACTION القيمة أو VACUUM . |
COMPACTION |
operation_id |
سلسلة | معرف عملية التحسين. | 4dad1136-6a8f-418f-8234-6855cfaff18f |
operation_status |
سلسلة | حالة عملية التحسين. ستكون SUCCESSFUL القيمة أو FAILED: INTERNAL_ERROR . |
SUCCESSFUL |
operation_metrics |
map[string, string] | تفاصيل إضافية حول التحسين المحدد الذي تم تنفيذه. لعمليات الضغط: (number_of_compacted_files، amount_of_data_compacted_bytes، number_of_output_files، amount_of_output_data_bytes) لعمليات فراغ: (number_of_deleted_files، amount_of_data_deleted_bytes) | {"number_of_output_files":"100","number_of_compacted_files":"1000","amount_of_output_data_bytes":"4000","amount_of_data_compacted_bytes":"10000"} |
usage_unit |
سلسلة | وحدة الاستخدام التي تكبدتها هذه العملية. يمكن أن تكون قيمة واحدة فقط: ESTIMATED_DBU . |
ESTIMATED_DBU |
usage_quantity |
عشري | مقدار وحدة الاستخدام التي استخدمتها هذه العملية. | 2.12 |
مثال على الاستعلامات
تتضمن الأقسام التالية نماذج استعلامات يمكنك استخدامها للحصول على رؤى حول جدول نظام التحسين التنبؤي. لكي تعمل هذه الاستعلامات، تحتاج إلى استبدال القيم الموجودة ضمن أقواس متعرجة {{}}
بالمعلمات الخاصة بك.
تتضمن هذه المقالة أمثلة الاستعلامات التالية:
- كم عدد وحدات DBUs التي استخدمت التحسين التنبؤي في آخر 30 يوما؟
- على أي جداول قضى التحسين التنبؤي أكثر من غيرها في آخر 30 يوما؟
- على أي جداول يقوم التحسين التنبؤي بتنفيذ معظم العمليات؟
- بالنسبة لكتالوج معين، كم عدد وحدات البايت الإجمالية التي تم ضغطها؟
- ما الجداول التي تحتوي على معظم وحدات البايت المنسغة؟
- ما هو معدل نجاح العمليات التي يتم تشغيلها بواسطة التحسينات التنبؤية؟
كم عدد وحدات DBUs المقدرة التي استخدمت التحسين التنبؤي في آخر 30 يوما؟
SELECT SUM(usage_quantity)
FROM system.storage.predictive_optimization_operations_history
WHERE
usage_unit = "ESTIMATED_DBU"
AND timestampdiff(day, start_time, Now()) < 30
على أي جداول أنفق التحسين التنبؤي أكثر من غيرها في آخر 30 يوما (التكلفة المقدرة)؟
SELECT
metastore_name,
catalog_name,
schema_name,
table_name,
SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
usage_unit = "ESTIMATED_DBU"
AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC
على أي جداول يقوم التحسين التنبؤي بتنفيذ معظم العمليات؟
SELECT
metastore_name,
catalog_name,
schema_name,
table_name,
operation_type,
COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC
بالنسبة لكتالوج معين، كم عدد وحدات البايت الإجمالية التي تم ضغطها؟
SELECT
schema_name,
table_name,
SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
metastore_name = {{metastore_name}}
AND catalog_name = {{catalog_name}}
AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC
ما الجداول التي تحتوي على معظم وحدات البايت المنسغة؟
SELECT
metastore_name,
catalog_name,
schema_name,
table_name,
SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC
ما هو معدل نجاح العمليات التي يتم تشغيلها بواسطة التحسينات التنبؤية؟
WITH operation_counts AS (
SELECT
COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
COUNT(DISTINCT operation_id) as total_operations
FROM system.storage.predictive_optimization_operations_history
)
SELECT successes / total_operations as success_rate
FROM operation_counts