ما هو الفوتون؟
تشرح هذه المقالة فوائد تشغيل أحمال العمل الخاصة بك على محرك استعلام Photon.
Photon هو محرك استعلام متجه عالي الأداء في Azure Databricks يعمل على تشغيل أحمال عمل SQL ومكالمات واجهة برمجة تطبيقات DataFrame بشكل أسرع لتقليل التكلفة الإجمالية لكل حمل عمل. الفوتون متوافق مع واجهات برمجة تطبيقات Apache Spark، لذلك يعمل مع التعليمات البرمجية الموجودة لديك.
ميزات الفوتون
فيما يلي الميزات والمزايا الرئيسية لاستخدام Photon.
- دعم SQL وعمليات DataFrame المكافئة مع جداول Delta وParquet.
- الاستعلامات المسرعة التي تعالج البيانات بشكل أسرع وتتضمن التجميعات والصلات.
- أداء أسرع عند الوصول إلى البيانات بشكل متكرر من ذاكرة التخزين المؤقت للقرص.
- أداء مسح ضوئي قوي على الجداول التي تحتوي على العديد من الأعمدة والعديد من الملفات الصغيرة.
- كتابة أسرع ل Delta وParquet باستخدام
UPDATEوMERGE INTODELETEINSERTCREATE TABLE AS SELECTبما في ذلك الجداول العريضة التي تحتوي على آلاف الأعمدة. - يستبدل عمليات ربط الفرز والدمج بصلات التجزئة.
- بالنسبة لأحمال عمل الذكاء الاصطناعي وML، يعمل Photon على تحسين أداء التطبيقات باستخدام Spark SQL وSpark DataFrames وهندسة الميزات وGraphFrames وxgboost4j.
تمكين الفوتون
يختلف تمكين الفوتون حسب نوع الحساب:
يتم تشغيل الفوتون بشكل افتراضي على مستودعات SQL والحوسبة بلا خادم لدفاتر الملاحظات ومهام سير العمل.
يتم تمكين الفوتون بشكل افتراضي على حساب تشغيل Databricks Runtime 9.1 LTS وما فوق.
يمكن تمكين الفوتون يدويا على حساب تشغيل Databricks Runtime 15.2 التعلم الآلي أو أعلى.
تكوين تمكين Photon
لتمكين Photon أو تعطيله على حساب جميع الأغراض والمهام، حدد خانة الاختيار Use Photon Acceleration في واجهة مستخدم الحساب.
لا يتم تمكين الفوتون بشكل افتراضي على أي حساب تم إنشاؤه باستخدام واجهة برمجة تطبيقات المجموعات أو واجهة برمجة تطبيقات الوظائف. لتمكين Photon، يجب تعيين السمة runtime_engine إلى PHOTON.
أنواع المثيلات المدعومة
يدعم Photon عددا من أنواع المثيلات على عقد برنامج التشغيل والعامل. تستهلك أنواع مثيلات الفوتون وحدات DBUs بمعدل مختلف عن نفس نوع المثيل الذي يشغل وقت التشغيل غير Photon. لمزيد من المعلومات حول مثيلات Photon واستهلاك DBU، راجع صفحة تسعير Azure Databricks.
عوامل التشغيل والتعبيرات وأنواع البيانات المدعومة
فيما يلي عوامل التشغيل والتعبيرات وأنواع البيانات التي يغطيها Photon.
العوامل
- المسح الضوئي، التصفية، المشروع
- تجميع التجزئة/الانضمام/التبديل العشوائي
- ربط التكرار الحلقي المتداخل
- مكافحة الانضمام التي لا تقبل القيم الخالية
- Union, Expand, ScalarSubquery
- مصدر كتابة Delta/Parquet
- Sort
- دالة النافذة
التعابير
- المقارنة / المنطق
- حسابي / رياضيات (معظم)
- شرطي (IF و CASE وما إلى ذلك)
- سلسلة (شائعة)
- عوامل تشغيل Cast
- التجميعات (الأكثر شيوعا)
- الطابع الزمني/التاريخ
أنواع البيانات
- بايت/قصيرة/Int/Long
- Boolean
- سلسلة/ثنائي
- عدد عشري
- عائم/مزدوج
- الطابع الزمني/التاريخ
- البنية
- صفيف
- الخريطة
الميزات التي تتطلب Photon
فيما يلي الميزات التي تتطلب Photon.
- إدخال/إخراج تنبؤي للقراءة والكتابة. راجع ما هو الإدخال/إخراج التنبؤي؟.
- التعبيرات الجغرافية المكانية H3. راجع الدالات الجغرافية المكانية H3.
- تشذيب الملف الديناميكي. راجع تشذيب الملف الديناميكي.
القيود
- الدفق المنظم: يدعم Photon حاليا الدفق عديم الحالة باستخدام Delta وParquet وCSV وJSON. يتم دعم دفق Kafka وKinesis عديمي الحالة عند الكتابة إلى مصدر Delta أو Parquet.
- لا يدعم Photon واجهات برمجة تطبيقات UDFs أو RDD.
- لا يؤثر الفوتون على الاستعلامات التي تعمل عادة في أقل من ثانيتين.
إذا وصل حمل العمل إلى عملية غير مدعومة، يتحول مورد الحساب إلى محرك وقت التشغيل القياسي لبقية حمل العمل.