Photon nedir?

Bu makalede, iş yüklerinizi Photon sorgu altyapısında çalıştırmanın avantajları açıklanmaktadır.

Photon, SQL iş yüklerinizi ve DataFrame API çağrılarını daha hızlı çalıştırarak iş yükü başına toplam maliyetinizi azaltan yüksek performanslı bir Azure Databricks yerel vektörleştirilmiş sorgu altyapısıdır. Photon, Apache Spark API'leriyle uyumlu olduğundan mevcut kodunuzla çalışır.

Foton özellikleri

Aşağıda, Foton kullanmanın temel özellikleri ve avantajları yer alır.

• Delta ve Parquet tablolarıyla SQL ve eşdeğer DataFrame işlemleri desteği.
• Verileri daha hızlı işleyen ve toplamalar ile birleştirmeler içeren hızlandırılmış sorgular.
• Disk önbelleğinden verilere art arda erişildiğinde daha hızlı performans.
• Çok sayıda sütuna ve çok sayıda küçük dosyaya sahip tablolarda güçlü tarama performansı.
• Binlerce sütun içeren geniş tablolar da dahil olmak üzere , , , INSERTve kullanarak UPDATEDaha Hızlı Delta ve CREATE TABLE AS SELECTParquet MERGE INTOyazma. DELETE
• Sıralama birleştirme birleşimlerini karma birleşimlerle değiştirir.
• Yapay zeka ve ML iş yükleri için Photon, Spark SQL, Spark DataFrames, özellik mühendisliği, GraphFrames ve xgboost4j kullanan uygulamaların performansını artırır.

Foton etkinleştirme

Foton etkinleştirme işlem türüne göre değişir:

• Foton, varsayılan olarak SQL ambarlarında ve not defterleri ve iş akışları için sunucusuz işlemde çalışır.

• Photon, Databricks Runtime 9.1 LTS ve üzerini çalıştıran işlemde varsayılan olarak etkindir.

• Foton, Machine Learning veya üzeri için Databricks Runtime 15.2 çalıştıran işlemde el ile etkinleştirilebilir.

Foton etkinleştirmeyi yapılandırma

Tüm amaçlı işlemlerde ve iş işlemlerinde Photon'ı etkinleştirmek veya devre dışı bırakmak için İşlem kullanıcı arabiriminde Foton Hızlandırma kullan onay kutusunu seçin.

Photon, Kümeler API'siyle veya İşler API'siyle oluşturulan işlemlerde varsayılan olarak etkinleştirilmez. Photon'ı etkinleştirmek için özniteliğini runtime_engine olarak PHOTONayarlamanız gerekir.

Desteklenen örnek türleri

Photon, sürücü ve çalışan düğümlerinde bir dizi örnek türünü destekler. Foton örneği türleri, DBU'ları Photon olmayan çalışma zamanını çalıştıran aynı örnek türünden farklı bir hızda kullanır. Foton örnekleri ve DBU tüketimi hakkında daha fazla bilgi için bkz . Azure Databricks fiyatlandırma sayfası.

Desteklenen işleçler, ifadeler ve veri türleri

Aşağıda Photon'un kapsadığı işleçler, ifadeler ve veri türleri yer alır.

İşleçler

• Tarama, Filtreleme, Proje
• Karma Toplama/Birleştirme/Karıştırma
• İç İçe Döngü Birleştirme
• Null Algılayan Birleştirmeyi Önleme
• Union, Expand, ScalarSubquery
• Delta/Parquet Yazma Havuzu
• Sırala
• Window İşlevi

İfadeler

• Karşılaştırma / Mantık
• Aritmetik / Matematik (en fazla)
• Koşullu (EĞER, BÜYÜK/KÜÇÜK HARF vb.)
• Dize (yaygın olanlar)
• Çevirir
• Toplamalar (en yaygın olanlar)
• Tarih/Zaman Damgası

Veri türleri

• Bayt/Kısa/Kısa/Uzun
• Boolean
• Dize/İkili
• Ondalık
• Kayan/Çift
• Tarih/Zaman Damgası
• Yapı
• Dizi
• Harita

Foton gerektiren özellikler

Aşağıda Foton gerektiren özellikler yer alır.

• Okuma ve yazma için tahmine dayalı G/Ç. Bkz. Tahmine dayalı G/Ç nedir?.
• H3 jeo-uzamsal ifadeler. Bkz. H3 jeo-uzamsal işlevler.
• Dinamik dosya ayıklama. Bkz. Dinamik dosya ayıklama.

Sınırlamalar

• Yapılandırılmış Akış: Photon şu anda Delta, Parquet, CSV ve JSON ile durum bilgisi olmayan akış desteğine sahip. Durum bilgisi olmayan Kafka ve Kinesis akışı, Delta veya Parquet havuzuna yazılırken desteklenir.
• Foton, UDF'leri veya RDD API'lerini desteklemez.
• Foton normalde iki saniyenin altında çalışan sorguları etkilemez.

İş yükünüz desteklenmeyen bir işleme isabet ederse, işlem kaynağı iş yükünün geri kalanı için standart çalışma zamanı altyapısına geçer.