إشعار
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تسجيل الدخول أو تغيير الدلائل.
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تغيير الدلائل.
إشعار
بالنسبة لجميع الحسابات التي تم إنشاؤها بعد 11 نوفمبر 2024، تتيح Databricks التحسين التنبؤي بشكل افتراضي.
يزيل التحسين التنبؤي الحاجة إلى إدارة عمليات الصيانة يدويا للجداول المدارة لكتالوج Unity على Azure Databricks.
مع تمكين التحسين التنبؤي، يحدد Azure Databricks تلقائيا الجداول التي من شأنها الاستفادة من عمليات الصيانة وتشغيلها للمستخدم. يتم تشغيل عمليات الصيانة فقط حسب الضرورة، ما يلغي كلا من عمليات التشغيل غير الضرورية لعمليات الصيانة والعبء المرتبط بأداء التعقب واستكشاف الأخطاء وإصلاحها.
هام
يعمل التحسين التنبؤي فقط على الجداول المدارة في كتالوج Unity.
لا يعمل التحسين التنبؤي على جداول الدفق أو طرق العرض المجسدة التي تم إنشاؤها في Databricks SQL أو باستخدام خطوط أنابيب Delta Live Tables.
ما هي العمليات التي يعمل بها التحسين التنبؤي؟
يقوم التحسين التنبؤي بتشغيل العمليات التالية تلقائيا للجداول الممكنة:
| العملية | الوصف |
|---|---|
OPTIMIZE(1) |
تشغيل التجميع التزايدي للجداول الممكنة. راجع استخدام التجميع السائل لجداول Delta. تحسين أداء الاستعلام عن طريق تحسين أحجام الملفات. راجع تحسين تخطيط ملف البيانات. |
VACUUM |
يقلل من تكاليف التخزين عن طريق حذف ملفات البيانات التي لم يعد الجدول يشير إليها. راجع إزالة ملفات البيانات غير المستخدمة باستخدام فراغ. |
ANALYZE(2) |
يؤدي إلى تحديث تزايدي للإحصائيات لتحسين أداء الاستعلام. |
(1) OPTIMIZE لا يتم تشغيله ZORDER عند تنفيذه بتحسين تنبؤي.
(2) التحسين التنبؤي مع ANALYZE هو في المعاينة العامة. وهي تتضمن مجموعة stastistics الذكية أثناء عمليات الكتابة. استخدم هذا النموذج للتسجيل في المعاينة العامة. أثناء المعاينة العامة الأولية، ANALYZE يمكن تشغيل الأوامر على الجداول التي تحتوي على 500 عمود أو أقل.
تحذير
يتم تحديد نافذة الاستبقاء للأمر VACUUM بواسطة delta.deletedFileRetentionDuration خاصية الجدول، والتي يتم تعيينها افتراضيا إلى 7 أيام. وهذا يعني VACUUM إزالة ملفات البيانات التي لم تعد مشار إليها بواسطة إصدار جدول Delta في آخر 7 أيام. إذا كنت ترغب في الاحتفاظ بالبيانات لفترة أطول (مثل دعم السفر لفترة أطول)، فيجب عليك تعيين خاصية الجدول هذه بشكل مناسب قبل تمكين التحسين التنبؤي، كما في المثال التالي:
ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');
أين يتم تشغيل التحسين التنبؤي؟
يحدد التحسين التنبؤي الجداول التي من شأنها الاستفادة من ANALYZEOPTIMIZEالعمليات وقوائم VACUUM الانتظار لتشغيلها باستخدام الحوسبة بلا خادم للمهام. تتم فوترة حسابك للحوسبة المقترنة بأحمال العمل هذه باستخدام SKU خاص بخدمات Databricks المدارة. راجع تسعير الخدمات المدارة في Databricks. يوفر Azure Databricks جداول النظام لقابلية المراقبة في عمليات التحسين التنبؤي والتكاليف والتأثير. راجع استخدام جداول النظام لتتبع التحسين التنبؤي.
المتطلبات الأساسية للتحسين التنبؤي
يجب عليك تلبية المتطلبات التالية لتمكين التحسين التنبؤي:
يجب أن تكون مساحة عمل Azure Databricks الخاصة بك على خطة Premium في منطقة تدعم التحسين التنبؤي. راجع مناطق Azure Databricks.
يجب استخدام مستودعات SQL أو Databricks Runtime 12.2 LTS أو أعلى عند تمكين التحسين التنبؤي.
يتم دعم الجداول المدارة في كتالوج Unity فقط.
إذا كنت تحتاج إلى اتصال خاص لحسابات التخزين الخاصة بك، يجب تكوين اتصال خاص بلا خادم. راجع تكوين الاتصال الخاص من الحوسبة بلا خادم.
تمكين التحسين التنبؤي
يجب تمكين التحسين التنبؤي على مستوى الحساب.
إشعار
إذا تم إنشاء حسابك بعد 11 نوفمبر 2024، يتم تمكين التحسين التنبؤي بشكل افتراضي.
يجب أن يكون لديك الامتيازات التالية لتمكين التحسين التنبؤي أو تعطيله على المستوى المحدد:
| كائن كتالوج Unity | Privilege |
|---|---|
| العميل | مسؤول الحساب |
| Catalog | مالك الكاتالوج |
| مخطط | مالك المخطط |
إشعار
عند تمكين التحسين التنبؤي للمرة الأولى، يقوم Azure Databricks تلقائيا بإنشاء كيان خدمة في حساب Azure Databricks الخاص بك. يستخدم Azure Databricks كيان الخدمة هذا لتنفيذ عمليات الصيانة المطلوبة. راجع إدارة كيانات الخدمة.
تمكين التحسين التنبؤي لحسابك
يجب على مسؤول الحساب إكمال الخطوات التالية لتمكين التحسين التنبؤي لجميع المخازن الوصفية في الحساب:
- الوصول إلى وحدة تحكم الحسابات.
- انتقل إلى الإعدادات، ثم تمكين الميزة.
- حدد Enabled بجوار Predictive optimization.
إشعار
لا يتم تمكين Metastores في المناطق التي لا تدعم التحسين التنبؤي.
تمكين التحسين التنبؤي لكتالوج أو مخطط أو تعطيله
يستخدم التحسين التنبؤي نموذج توريث. عند تمكين كتالوج، ترث المخططات الخاصية . ترث الجداول داخل مخطط ممكن التحسين التنبؤي. لتجاوز سلوك التوريث هذا، يمكنك تعطيل التحسين التنبؤي لكتالوج أو مخطط بشكل صريح.
إشعار
يمكنك تعطيل التحسين التنبؤي على مستوى الكتالوج أو المخطط قبل تمكينه على مستوى الحساب. إذا تم تمكين التحسين التنبؤي لاحقا على الحساب، يتم حظره للجداول في هذه الكائنات.
استخدم بناء الجملة التالي لتمكين التحسين التنبؤي أو تعطيله:
ALTER CATALOG [catalog_name] {ENABLE | DISABLE} PREDICTIVE OPTIMIZATION;
ALTER {SCHEMA | DATABASE} schema_name {ENABLE | DISABLE} PREDICTIVE OPTIMIZATION;
التحقق مما إذا كان التحسين التنبؤي ممكنا
Predictive Optimization الحقل هو خاصية كتالوج Unity توضح بالتفصيل ما إذا تم تمكين التحسين التنبؤي. إذا تم توريث التحسين التنبؤي من كائن أصل، تتم الإشارة إلى ذلك في قيمة الحقل.
هام
يجب تمكين التحسين التنبؤي على مستوى الحساب لعرض هذا الحقل.
استخدم بناء الجملة التالي لمعرفة ما إذا كان التحسين التنبؤي ممكنا:
DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name
استخدام جداول النظام لتعقب التحسين التنبؤي
يوفر Azure Databricks جدول نظام لتتبع محفوظات عمليات التحسين التنبؤية. راجع مرجع جدول نظام التحسين التنبؤي.
رسالة خطأ الارتباط الخاص
إذا وضع جدول النظام علامات على العمليات على أنها فاشلة مع FAILED: PRIVATE_LINK_SETUP_ERROR، فقد لا تكون قد قمت بتكوين ارتباط خاص بشكل صحيح للحساب بلا خادم. راجع تكوين الاتصال الخاص من الحوسبة بلا خادم.
القيود
لا يتوفر التحسين التنبؤي في جميع المناطق. راجع مناطق Azure Databricks.
لا يقوم التحسين التنبؤي بتشغيل OPTIMIZE الأوامر على الجداول التي تستخدم ترتيب Z.
لا يقوم التحسين التنبؤي بتشغيل VACUUM العمليات على الجداول مع نافذة استبقاء الملفات المكونة أقل من الافتراضي وهو 7 أيام. راجع تكوين استبقاء البيانات للاستعلامات عن السفر عبر الوقت.
لا يؤدي التحسين التنبؤي عمليات الصيانة على الجداول التالية:
- الجداول التي تم تحميلها إلى مساحة عمل كمستلمين لمشاركة دلتا.
- الجداول الخارجية.
- طرق العرض المجسدة. راجع استخدام طرق العرض المجسدة في Databricks SQL.
- جداول الدفق. راجع تحميل البيانات باستخدام جداول الدفق في Databricks SQL.