ما هو الفوتون؟
ينطبق على:
Databricks SQL Databricks Runtime 9.1 وما فوق
تعرف على مزايا تشغيل أحمال العمل على Photon والميزات التي يدعمها وكيفية تمكين Photon أو تعطيله. يتم تشغيل الفوتون بشكل افتراضي في مستودعات Databricks SQL وهو متوافق مع واجهات برمجة تطبيقات Apache Spark، لذلك يعمل مع التعليمات البرمجية الموجودة لديك.
ما هو الفوتون المستخدم؟
Photon هو محرك استعلام متجه عالي الأداء في Azure Databricks يعمل على تشغيل أحمال عمل SQL ومكالمات واجهة برمجة تطبيقات DataFrame بشكل أسرع لتقليل التكلفة الإجمالية لكل حمل عمل.
فيما يلي الميزات والمزايا الرئيسية لاستخدام Photon.
- دعم SQL وعمليات DataFrame المكافئة مع جداول Delta وParquet.
- الاستعلامات المسرعة التي تعالج البيانات بشكل أسرع وتتضمن التجميعات والصلات.
- أداء أسرع عند الوصول إلى البيانات بشكل متكرر من ذاكرة التخزين المؤقت للقرص.
- أداء مسح ضوئي قوي على الجداول التي تحتوي على العديد من الأعمدة والعديد من الملفات الصغيرة.
- كتابة أسرع ل Delta وParquet باستخدام
UPDATEوMERGE INTODELETEINSERTCREATE TABLE AS SELECTبما في ذلك الجداول العريضة التي تحتوي على آلاف الأعمدة. - يستبدل عمليات ربط الفرز والدمج بصلات التجزئة.
بدء استخدام Photon
يتم تمكين الفوتون بشكل افتراضي على أنظمة المجموعات التي تقوم بتشغيل Databricks Runtime 9.1 LTS وما فوق.
لتعطيل Photon أو تمكينه يدويا على نظام المجموعة، حدد خانة الاختيار استخدام تسريع الصور عند إنشاء نظام المجموعة أو تحريره.
إذا قمت بإنشاء نظام مجموعة باستخدام Clusters API، فقم بتعيين runtime_engine إلى PHOTON.
أنواع المثيلات
يدعم Photon عددا من أنواع المثيلات على عقد برنامج التشغيل والعامل. تستهلك أنواع مثيلات الفوتون وحدات DBUs بمعدل مختلف عن نفس نوع المثيل الذي يشغل وقت التشغيل غير Photon. لمزيد من المعلومات حول مثيلات Photon واستهلاك DBU، راجع صفحة تسعير Azure Databricks.
عوامل التشغيل والتعبيرات وأنواع البيانات
فيما يلي عوامل التشغيل والتعبيرات وأنواع البيانات التي يغطيها Photon.
العوامل
- المسح الضوئي، التصفية، المشروع
- تجميع التجزئة/الانضمام/التبديل العشوائي
- ربط التكرار الحلقي المتداخل
- مكافحة الانضمام التي لا تقبل القيم الخالية
- Union, Expand, ScalarSubquery
- مصدر كتابة Delta/Parquet
- Sort
- دالة النافذة
التعبيرات
- المقارنة / المنطق
- حسابي / رياضيات (معظم)
- شرطي (IF و CASE وما إلى ذلك)
- سلسلة (شائعة)
- عوامل تشغيل Cast
- التجميعات (الأكثر شيوعا)
- الطابع الزمني/التاريخ
أنواع البيانات
- بايت/قصيرة/Int/Long
- Boolean
- سلسلة/ثنائي
- عدد عشري
- عائم/مزدوج
- الطابع الزمني/التاريخ
- البنية
- صفيف
- الخريطة
الميزات التي تتطلب Photon
فيما يلي الميزات التي تتطلب Photon.
- إدخال/إخراج تنبؤي للقراءة والكتابة. راجع ما هو الإدخال/إخراج التنبؤي؟.
- التعبيرات الجغرافية المكانية H3. راجع الدالات الجغرافية المكانية H3.
- تشذيب الملف الديناميكي. راجع تشذيب الملف الديناميكي.
القيود
- الدفق المنظم: يدعم Photon حاليا الدفق عديم الحالة باستخدام Delta وParquet وCSV وJSON. يتم دعم دفق Kafka وKinesis عديمي الحالة عند الكتابة إلى مصدر Delta أو Parquet.
- لا يدعم Photon واجهات برمجة تطبيقات UDFs أو RDD.
- لا يؤثر الفوتون على الاستعلامات التي تعمل عادة في أقل من ثانيتين.
تعمل الميزات غير المدعومة من قبل Photon بنفس الطريقة التي تعمل بها مع Databricks Runtime.