Adatok betöltése a OneLake-be, és elemzés az Azure Databricks használatával

Ebben az útmutatóban a következőket fogja megtudni:

  • Hozzon létre egy adatfeldolgozási folyamatot egy munkaterületen belül, majd töltse be az adatokat a OneLake-be Delta formátumban.

  • Delta-tábla olvasása és módosítása a OneLake-ben az Azure Databricks használatával.

Előfeltételek

Mielőtt hozzákezd, a következőt kell tennie:

  • Lakehouse-elemet tartalmazó munkaterület.

  • Prémium Azure Databricks-munkaterület. Csak a prémium szintű Azure Databricks-munkaterületek támogatják a Microsoft Entra hitelesítőadat-továbbítást. A fürt létrehozásakor engedélyezze az Azure Data Lake Storage hitelesítőadat-áteresztést a Speciális beállításoknál.

Adatok betöltése és a Delta-tábla módosítása

  1. Lépjen a lakehouse-ra a Power BI szolgáltatásban, és válassza az Adatok lekérése, majd az Új csővezeték opciót.

    Képernyőkép arról, hogyan navigálhat az új folyamatbeállításra a felhasználói felületen belül.

  2. Az Új folyamat parancssorban adja meg az új folyamat nevét, majd válassza a Létrehozás lehetőséget.

  3. Ehhez a gyakorlathoz válassza a NYC Taxi – Zöld mintaadatokat adatforrásként.

    Képernyőkép az NYC-minta szemantikai modell kiválasztásáról.

  4. Az előnézeti képernyőn válassza a Tovább gombot.

  5. Az adatcélhoz válassza ki annak a tóháznak a nevét, amelyet a OneLake Delta-tábla adatainak tárolásához használni szeretne. Választhat egy meglévő tóházat, vagy létrehozhat egy újat.

    Képernyőkép a cél lakehouse kiválasztásáról.

  6. Válassza ki, hogy hol szeretné tárolni a kimenetet. Válassza a Táblák lehetőséget gyökérmappaként. Adja meg a "nycsample" nevet a tábla neveként, és válassza a Tovább gombot.

  7. A Véleményezés + Mentés képernyőn válassza az Adatátvitel azonnali indítása, majd a Mentés + Futtatás lehetőséget.

    Képernyőkép a táblanév megadásáról.

  8. Ha a feladat befejeződött, keresse meg a tóházat, és tekintse meg a /Táblák mappa alatt felsorolt Delta-táblázatot.

  9. Kattintson a jobb gombbal a létrehozott tábla nevére, válassza a Tulajdonságok lehetőséget, és másolja ki az Azure Blob Fájlrendszer (ABFS) elérési útját.

  10. Nyissa meg az Azure Databricks-jegyzetfüzetet. Olvassa el a Delta táblát a OneLake-en.

    olsPath = "abfss://<replace with workspace name>@onelake.dfs.fabric.microsoft.com/<replace with item name>.Lakehouse/Tables/nycsample" 
df=spark.read.format('delta').option("inferSchema","true").load(olsPath)
df.show(5)

  11. Módosítsa a Delta tábla adatait egy mezőérték módosításával.

    %sql
update delta.`abfss://<replace with workspace name>@onelake.dfs.fabric.microsoft.com/<replace with item name>.Lakehouse/Tables/nycsample` set vendorID = 99999 where vendorID = 1;

Kapcsolódó tartalom

  • Last updated on