Illesztőprogram-mód pillanatképe

Az illesztőprogram-mód pillanatképe egy Delta-pillanatkép-betöltési útvonal, amely elosztott Spark-műveletek használata helyett az illesztőprogram-folyamatban fut.

A funkciót akkor használja, ha csökkenteni szeretné a hideg lekérdezések indítási késését a kis Delta-naplókkal rendelkező Delta-táblák esetében. Ezekben az esetekben a Spark-feladatok ütemezési többletterhelésének elkerülése javíthatja a pillanatképek betöltési idejét.

Mikor érdemes meghajtóprogram módú pillanatképet használni?

Az illesztőprogram-mód pillanatképe akkor megfelelő, ha gyorsabb hideg lekérdezésindításra van szüksége a kis Delta-naplókkal rendelkező táblákhoz.

A következő előnyöket biztosítja:

  • A Spark-feladatok ütemezési többletterhelésének elkerülésével csökkentheti a késést a pillanatképek betöltéséhez.
  • Helyi feldolgozás az illesztőprogramban, amely csökkentheti a hálózati I/O-t a jogosult naplók esetében.

Fontolja meg a hagyományos módot, ha az illesztőprogram memóriája korlátozott.

Illesztőprogram-mód pillanatképének konfigurálása

Az illesztőprogram-üzemmód pillanatkép-viselkedését a Spark konfigurációs beállításai vezérlik.

Ezeket a tulajdonságokat beállíthatja a jegyzetfüzet-munkamenetben spark.conf.set, vagy a Fabric környezet Spark-tulajdonságain keresztül. A környezet Spark-tulajdonságainak konfigurálásához lásd: Környezet létrehozása, konfigurálása és használata a Fabric- ésSpark-számítási konfigurációs beállításokban Fabric-környezetekben.

Alapvető beállítások

Ezekkel a beállításokkal be- vagy kikapcsolhatja az illesztőprogram mód pillanatképét, és szabályozhatja a visszaesési viselkedést.

Configuration Típus Default Description
spark.microsoft.delta.snapshot.driverMode.enabled logikai false Illesztőprogram-mód pillanatképének engedélyezése vagy letiltása
spark.microsoft.delta.snapshot.driverMode.fallback.enabled logikai true Lehetővé teszi a hagyományos üzemmódra való automatikus visszalépést hibák esetén

Méretkorlát beállításai

Ezekkel a korlátozásokkal szabályozhatja, hogy az illesztőprogram-mód pillanatképe mikor dolgozza fel a Delta-naplót az illesztőprogramban.

Configuration Típus Default Description
spark.microsoft.delta.snapshot.driverMode.maxLogSize Long 8 MB Maximális deltanapló-méret (bájt) meghajtó módban (tábla/verzió szerint) feldolgozandó.
spark.microsoft.delta.snapshot.driverMode.maxLogFileCount Integer 10 A feldolgozandó Delta-naplófájlok maximális száma illesztőprogram-módban (tábla/verzió szerint)

Alapszintű használat

Használja a következő kódrészleteket egy jegyzetfüzet-munkamenetben. A konfigurációs értékeket tetszőleges sorrendben beállíthatja, de a Delta olvasási művelet futtatása előtt beállíthatja őket.

Vezetői mód pillanatképének engedélyezése:

spark.conf.set("spark.microsoft.delta.snapshot.driverMode.enabled", "true")

Méretkorlátok beállítása (példaértékek):

spark.conf.set("spark.microsoft.delta.snapshot.driverMode.maxLogSize", "4MB")
spark.conf.set("spark.microsoft.delta.snapshot.driverMode.maxLogFileCount", "10")

Delta-tábla betöltése. Ha a tábla verziója megfelel a konfigurált korlátoknak, az illesztőprogram-mód pillanatképe lesz használva.

spark.read.format("delta").load(path).count()

Konfigurációs javaslatok

Használja az alábbi javaslatokat a termelési munkaterhelések biztonságos alapvonalaként.

  • Konzervatív kezdés: Kezdje az alapértelmezett méretkorlátokkal, és növelje a monitorozás alapján
  • Biztonsági mentés engedélyezése: Mindig engedélyezze a biztonsági mentést termelési környezetben (alapértelmezett)

Troubleshooting

Használja az alábbi ellenőrzéseket, ha az illesztőprogram-mód pillanatképe nem a várt módon működik.

  • Illesztőprogram OOM-hibái

    • Csökkentse a maxLogSize és maxLogFileCount korlátait, vagy tiltsa le a vezető üzemmódot
    • Fontolja meg az illesztőprogram-csomópont méretének növelését

  • Visszalépés a hagyományos üzemmódra

    • Ellenőrizze a naplókat tartalék okokból. Keresse meg az "Illesztőprogram-mód hibája" üzenetet tartalmazó naplóüzeneteket
    • Tekintse át a méretkorlát konfigurációját. Keresse meg a "Log size check" (Naplóméret ellenőrzése) elemet tartalmazó naplóüzeneteket
    • Az illesztőprogram mód pillanatképe nem támogatja a letiltott hierarchikus névtérrel rendelkező tárhelyfiókokat.

  • Teljesítménnyel kapcsolatos problémák

    • Összehasonlítás a hagyományos Spark-mód teljesítményével
    • Konfiguráció módosítása a számítási feladatok jellemzői alapján

Kapcsolódó tartalom

  • Last updated on