A Fabric Data Engineering dokumentációja

A Fabric Data Engineering lehetővé teszi, hogy a felhasználók olyan infrastruktúrákat és rendszereket tervezhessenek, építsenek ki és tartsanak fenn, amelyek lehetővé teszik a szervezetek számára a nagy mennyiségű adat gyűjtését, tárolását, feldolgozását és elemzését.

A adatmérnök

Áttekintés

• Mi az a adatmérnök?
• Mi az a tóház?

Fogalom

• Lakehouse- és Delta-táblák
• Munkaterületi szerepkörök és engedélyek
• Adattár kiválasztása

Útmutató

• Delta-optimalizálás és V-Order
• Betöltés táblákba

Ismerkedés a Lakehouse szolgáltatással

Első lépések

• Tóház létrehozása
• Navigálás a lakehouse explorerben

Útmutató

• Adatok beolvasása a lakehouse-ba jegyzetfüzet használatával

Oktatóanyag

• 1. lépés – Munkaterület létrehozása
• 2. lépés – Tóház létrehozása
• 3. lépés – Adatok betöltése a Lakehouse-ba
• 4. lépés – Adatok átalakítása deltatáblákká
• 5. lépés – Szemantikai modell létrehozása és jelentés készítése
• 6. lépés – Erőforrások törlése

A jegyzetfüzetek használatának első lépései

Első lépések

• Jegyzetfüzetek létrehozása és használata

Útmutató

• Jegyzetfüzetek fejlesztése és futtatása
• Lakehouse-adatok felfedezése jegyzetfüzettel
• Jegyzetfüzetek vizualizációja
• Jegyzetfüzetek forrásvezérlése és üzembe helyezése
• T-SQL-jegyzetfüzetek létrehozása és futtatása

Lekérdezés a GraphQL API-val

Áttekintés

• Mi az a Fabric API a GraphQL-hez?

Első lépések

• API létrehozása a GraphQL-hez és adatok hozzáadása

Útmutató

• Kapcsolatok kezelése
• Csatlakozás alkalmazásokhoz
• Több adatforrás lekérdezése
• GraphQL-forrásvezérlési és üzembehelyezési folyamatok
• Monitorozási irányítópult és naplózás (előzetes verzió)

VS Code-integráció

Fogalom

• Mi az a Data Engineering VS Code-bővítmény?

Útmutató

• Jegyzetfüzetek használata a VS Code-ból
• Tárolórendszerkép használata a VS Code-ból
• Spark-feladatdefiníciók használata a VS Code-ból
• Lakehouse felfedezése a VS Code-ból
• Jegyzetfüzet fejlesztése a VS Code webes felületéről

Apache Spark for Data Engineering

Fogalom

• Apache Spark munka-definíció
• Mi az az Apache Spark Advisor?

Első lépések

• Spark-feladatdefiníció létrehozása
• Spark-feladatdefiníció létrehozása Fabric API-val
• Spark-feladatdefiníciós Git-integráció

Útmutató

• Spark-feladatdefiníció ütemezése és futtatása
• Apache Spark-kódtárak kezelése
• A Fabric MSSparkUtils használata

Ismerkedés a környezettel

Első lépések

• Szövetkörnyezetek

Útmutató

• Spark-számítás kezelése környezetekben
• Tárak kezelése környezetekben
• Környezeti Git-integrációs és üzembehelyezési folyamat
• A környezet kezelése nyilvános API-k használatával
• Korlátozott hálózati hozzáférésű kódtárak kezelése a Fabricben

Fabric Livy API

Áttekintés

• Mi a Livy API?

Első lépések

• Spark-feladatok létrehozása és futtatása a Livy API használatával
• Livy API-munkamenetfeladatok küldése
• Livy API kötegelt feladatok elküldése

Optimalizálás materializált nézetekkel a tóadatbázisban

Áttekintés

• Mik azok a materializált tónézetek?

Első lépések

• Bevezetés a megvalósult tókilátásokkal
• Éremarchitektúra megvalósítása materializált tónézetekkel
• Materializált tónézetek kezelése