Share via

Delta Lake-táblák olvasása (Synapse vagy külső hely)

  • Cikk

Fontos

Ez a szolgáltatás jelenleg előzetes kiadásban elérhető. A Microsoft Azure Előzetes verzió kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy egyébként még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről az adott előzetes verzióról az Azure HDInsight az AKS előzetes verziójában tájékozódhat. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést az AskHDInsightban a részletekkel együtt, és kövessen minket további frissítésekért az Azure HDInsight-közösségről.

Ez a cikk áttekintést nyújt arról, hogyan olvashatja el a Delta Lake-táblázatokat anélkül, hogy bármilyen hozzáférése volna a metaadattárhoz (Synapse vagy más, nyilvános hozzáférés nélküli metaadattárak).

A táblákon a következő műveleteket hajthatja végre a Trino és a HDInsight használatával az AKS-en.

  • Törlés...
  • UPDATE
  • INSERT
  • EGYESÍTÉSE

Előfeltételek

Delta Lake-sémák és -táblák létrehozása

Ez a szakasz bemutatja, hogyan hozhat létre Delta-táblát egy már meglévő helyen, ha már van delta lake-katalógusa konfigurálva.

  1. Tallózással keresse meg a tárfiókot az Storage browser Azure Portalon, ahol a tábla alapkönyvtára található. Ha ez a tábla a Synapse-ból származik, valószínűleg egy synapse/workspaces/.../warehouse/ elérési út alatt található, és a tábláról lesz elnevezve, és tartalmaz egy könyvtárat _delta_log . Válassza ki Copy URL a mappa melletti három pont közül.

    Ezt a HTTP-elérési utat ABFS -elérési útra (Azure Blob Fájlrendszer) kell konvertálnia:

    A tároló http-elérési útja a következőképpen van strukturálva: https://{{AZURE_STORAGE_ACCOUNT}}.blob.core.windows.net/{{AZURE_STORAGE_CONTAINER}}/synapse/workspaces/my_workspace/warehouse/{{TABLE_NAME}}/

    Az ABFS elérési útjainak így kell kinéznie: abfss://{{AZURE_STORAGE_CONTAINER}}@{{AZURE_STORAGE_ACCOUNT}}.dfs.core.windows.net/synapse/workspaces/my_workspace/warehouse/{{TABLE_NAME}}/

    Példa: abfss://container@storageaccount.dfs.core.windows.net/synapse/workspaces/workspace_name/warehouse/table_name/

  2. Delta Lake-séma létrehozása Trinóban.

    CREATE SCHEMA delta.default;

    Másik lehetőségként létrehozhat egy sémát egy adott tárfiókban is:

    CREATE SCHEMA delta.default WITH (location = 'abfss://container@storageaccount.dfs.core.windows.net/trino/');

  3. register_table Az eljárás használatával hozza létre a táblát.

    CALL delta.system.register_table(schema_name => 'default', table_name => 'table_name', table_location => 'abfss://container@storageaccount.dfs.core.windows.net/synapse/workspaces/workspace_name/warehouse/table_name/');

  4. Ellenőrizze a táblát.

    SELECT * FROM delta.default.table_name

Delta Lake-táblák írása a Synapse Sparkban

Az format("delta") adatkeretet Delta-táblaként mentheti, majd használhatja azt az elérési utat, ahová az adatkeretet delta formátumúként mentette, hogy regisztrálja a táblát Trinóban.

my_dataframe.write.format("delta").save("abfss://container@storageaccount.dfs.core.windows.net/synapse/workspaces/workspace_name/warehouse/table_name")

Következő lépések

Gyorsítótárazás konfigurálása Trinóban