Mi az a Photon?
A következőkre vonatkozik: Databricks SQL Databricks Runtime 9.1 vagy újabb
Ismerje meg a számítási feladatok Photonen való futtatásának előnyeit, az általa támogatott funkciókat, valamint a Photon engedélyezésének vagy letiltásának módját. A Photon alapértelmezés szerint be van kapcsolva a Databricks SQL-tárolókban, és kompatibilis az Apache Spark API-kkal, így a meglévő kóddal működik.
Mire használható a Photon?
A Photon egy nagy teljesítményű Azure Databricks-natív vektoros lekérdezési motor, amely gyorsabban futtatja az SQL-számítási feladatokat és a DataFrame API-hívásokat, hogy csökkentse a számítási feladatonkénti teljes költséget.
Az alábbiakban a Photon használatának főbb jellemzői és előnyei szerepelnek.
- Sql- és egyenértékű DataFrame-műveletek támogatása Delta- és Parquet-táblákkal.
- Gyorsított lekérdezések, amelyek gyorsabban dolgozzák fel az adatokat, és aggregációkat és illesztéseket tartalmaznak.
- Gyorsabb teljesítmény, ha az adatok ismételten a lemezgyorsítótárból érhetők el.
- Robusztus vizsgálati teljesítmény sok oszlopot és sok kis fájlt tartalmazó táblákon.
- Gyorsabb delta- és
CREATE TABLE AS SELECT
parquet-írás többMERGE INTO
INSERT
DELETE
ezer oszlopot tartalmazó széles táblák használatávalUPDATE
. - A rendezési egyesítési illesztéseket kivonatos illesztésekre cseréli.
A Photon használatának első lépései
A Photon alapértelmezés szerint engedélyezve van a Databricks Runtime 9.1 LTS-t és újabb verziót futtató fürtökön.
Ha manuálisan szeretné letiltani vagy engedélyezni a Photont a fürtön, jelölje be a Foton gyorsítás használata jelölőnégyzetet a fürt létrehozásakor vagy szerkesztésekor.
Ha fürtöt hoz létre a Clusters API használatával, állítsa a következőre runtime_engine
PHOTON
: .
Példánytípusok
A Photon számos példánytípust támogat az illesztőprogram és a feldolgozó csomópontokon. A fotonpéldány-típusok a nem Photon-futtató példánytípustól eltérő sebességgel használnak adatbázisokat. A Photon-példányokkal és a DBU-használattal kapcsolatos további információkért tekintse meg az Azure Databricks díjszabási oldalát.
Operátorok, kifejezések és adattípusok
A Photon által lefedett operátorok, kifejezések és adattípusok a következők.
Operátorok
- Vizsgálat, szűrés, projekt
- Kivonat összesítése/illesztés/shuffle
- Beágyazott hurok csatlakoztatása
- Null-tudatos illesztésgátló
- Union, Expand, ScalarSubquery
- Delta/Parquet Write Sink
- Sort
- Ablakfüggvény
Kifejezések
- Összehasonlítás / logika
- Számtani / Matematikai (legtöbb)
- Feltételes (HA, CA Standard kiadás stb.)
- Sztring (gyakoriak)
- Vet
- Összesítések (leggyakoribbak)
- Dátum/időbélyeg
Adattípusok
- Bájt/Rövid/Int/Hosszú
- Logikai
- Sztring/bináris
- Decimális
- Lebegőpontos/dupla
- Dátum/időbélyeg
- Struktúra
- Tömb
- Map
A Photon-t igénylő funkciók
Az alábbiakban a Photont igénylő funkciók szerepelnek.
- Prediktív I/O olvasáshoz és íráshoz. Lásd : Mi a prediktív I/O?.
- H3 térinformatikai kifejezések. Lásd: H3 térinformatikai függvények.
- Dinamikus fájlmetszet. Lásd: Dinamikus fájlmetszet.
Korlátozások
- Strukturált streamelés: A Photon jelenleg támogatja az állapot nélküli streamelést a Delta, a Parquet, a CSV és a JSON használatával. Az állapot nélküli Kafka és a Kinesis streamelés támogatott, ha Delta- vagy Parquet-fogadóba ír.
- A Photon nem támogatja az UDF-eket és az RDD API-kat.
- A Photon nem befolyásolja azokat a lekérdezéseket, amelyek általában két másodperc alatt futnak.
A Photon által nem támogatott funkciók ugyanúgy futnak, mintha a Databricks Runtime-mal futnának.