Co je prediktivní I/O?

Prediktivní vstupně-výstupní operace je kolekce optimalizací Azure Databricks, které zlepšují výkon interakcí s daty. Prediktivní vstupně-výstupní funkce jsou seskupené do následujících kategorií:

• Zrychlené čtení zkracuje dobu potřebnou ke skenování a čtení dat.
• Akcelerované aktualizace snižují množství dat, která je potřeba při aktualizacích, odstraňování a slučování přepsat.

Prediktivní vstupně-výstupní operace jsou exkluzivní pro modul Photon v Azure Databricks.

Zrychlení čtení pomocí prediktivních vstupně-výstupních operací

Prediktivní vstupně-výstupní operace se používají ke zrychlení prohledávání dat a filtrování výkonu pro všechny operace na podporovaných výpočetních typech.

Important

Prediktivní čtení vstupně-výstupních operací jsou podporovány bezserverovými a profesionálními typy SQL warehouse a Photon-akcelerovanými clustery spuštěnými modulem Databricks Runtime 11.3 LTS a vyšší verzí.

Prediktivní vstupně-výstupní operace vylepšují výkon skenování použitím technik hlubokého učení k provedení následujících kroků:

• Určete nejúčinnější vzor přístupu ke čtení dat a kontrolujte pouze data, která jsou skutečně potřebná.
• Eliminujte dekódování sloupců a řádků, které nejsou potřeba k vygenerování výsledků dotazu.
• Vypočítejte pravděpodobnosti, že kritéria vyhledávání v selektivních dotazech odpovídají řádku. Při spouštění dotazů používáme tyto pravděpodobnosti k předvídání toho, kde by došlo k dalšímu odpovídajícímu řádku, a pouze ke čtení těchto dat z cloudového úložiště.

Zrychlení aktualizací pomocí prediktivních vstupně-výstupních operací

Prediktivní vstupně-výstupní operace pro aktualizace se používají automaticky pro všechny tabulky s povolenými vektory odstranění pomocí následujících výpočetních typů s podporou Photon:

• Bezserverové sklady SQL.
• Sklady Pro SQL.
• Clustery s Modulem Databricks Runtime 14.0 a novějším

Note

Podpora prediktivních vstupně-výstupních operací pro aktualizace je k dispozici v Databricks Runtime 12.2 LTS a vyšší, ale Databricks doporučuje pro zajištění nejlepšího výkonu používat verzi 14.0 a vyšší.

Podívejte se na co jsou odstraňovací vektory?

Important

Nastavení správce pracovního prostoru určuje, jestli jsou vektory odstranění pro nové tabulky Delta povolené automaticky. Viz automatické povolení vektorů odstranění.

Podporu vektorů odstranění v tabulce Delta Lake povolíte nastavením vlastnosti tabulky Delta Lake. Při vytváření tabulky nebo úpravě existující tabulky povolíte vektory odstranění, jak je znázorněno v následujících příkladech:

CREATE TABLE <table-name> [options] TBLPROPERTIES ('delta.enableDeletionVectors' = true);

ALTER TABLE <table-name> SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Warning

Když povolíte vektory odstranění, upgraduje se verze protokolu tabulky. Po upgradu nebude tabulka čitelná klienty Delta Lake, kteří nepodporují vektory odstranění. Viz kompatibilita a protokoly funkcí Delta Lake.

Seznam klientů, kteří podporují vektory odstranění, naleznete v tématu Kompatibilita s klienty Delta.

V Databricks Runtime 14.1 a novější můžete zrušit funkci tabulky pro mazací vektory, což umožní kompatibilitu s jinými klienty Delta. Viz Smazat tabulku Delta Lake a snížit protokol tabulky.

Prediktivní vstupně-výstupní operace využívá vektory odstranění k urychlení aktualizací snížením četnosti přepisů souborů během úprav dat v tabulkách Delta. Prediktivní vstupně-výstupní operace optimalizují DELETEMERGEa UPDATE provoz.

Místo přepsání všech záznamů v datovém souboru při aktualizaci nebo odstranění jakéhokoli záznamu používá prediktivní vstupně-výstupní vektory k označení, že se z cílových datových souborů odebraly záznamy. Doplňkové datové soubory slouží k označení aktualizací.

Následná čtení na tabulce vyřeší aktuální stav tabulky aplikováním uvedených změn na nejnovější verzi tabulky.

Important

Prediktivní aktualizace vstupně-výstupních operací sdílejí všechna omezení s vektory odstranění. Ve službě Databricks Runtime 12.2 LTS a vyšší existují následující omezení:

• Delta Sharing není podporováno u tabulek s povolenými vektory odstranění.
• Nelze vygenerovat soubor manifestu pro tabulku s přítomnými vektory odstranění. Spusťte REORG TABLE ... APPLY (PURGE) a ujistěte se, že nejsou spuštěny žádné souběžné operace zápisu, aby se vygeneroval manifest.
• Soubory manifestu nelze přírůstkově generovat pro tabulku s povolenými vektory odstranění.