Mi az a Microsoft Fabric adatmérnökség?

A Microsoft Fabric Data Engineering lehetővé teszi a felhasználók számára, hogy olyan infrastruktúrákat és rendszereket tervezzen, építsenek és karbantartsanak, amelyek lehetővé teszik szervezeteik számára, hogy nagy mennyiségű adatot gyűjtsenek, tároljanak, dolgozzanak fel és elemezzenek.

A Fabric különféle adatmérnöki lehetőségeket kínál, hogy adatai könnyen hozzáférhetőek, jól szervezettek és magas színvonalúak legyenek. Az adatmérnöki kezdőlap eléréséhez válassza számítási feladatok a navigációs panelen, majd válassza az Adatmérnöki csempét. Az adatmérnöki kezdőlapon a következőt teheti:

• Adatok létrehozása és kezelése egy lakehouse használatával

• Adatcsatornák tervezése az adatok lakehouse-ba másolásához

• Spark-feladatdefiníciók használata köteg-/streamelési feladat Spark-fürtbe való elküldéséhez

• Kód írása adatbetöltéshez, előkészítéshez és átalakításhoz jegyzetfüzetek használatával

  

Lakehouse

A Lakehouse-k olyan adatarchitektúrák, amelyek lehetővé teszik a szervezetek számára a strukturált és strukturálatlan adatok egyetlen helyen való tárolását és kezelését, különböző eszközök és keretrendszerek használatával az adatok feldolgozásához és elemzéséhez. Ezek az eszközök és keretrendszerek sql-alapú lekérdezéseket és elemzéseket, valamint gépi tanulási és egyéb fejlett elemzési technikákat is tartalmazhatnak.

Apache Spark feladat meghatározása

A Spark-feladatdefiníciók olyan utasítások, amelyek meghatározzák, hogyan hajthat végre feladatokat Egy Spark-fürtön. Olyan információkat tartalmaz, mint a bemeneti és kimeneti adatforrások, az átalakítások és a Spark-alkalmazás konfigurációs beállításai. A Spark-feladat definíciója lehetővé teszi, hogy kötegelt és folyamatos futtatású feladatokat küldjön a Spark-fürtnek, alkalmazzon különböző átalakítási logikákat a lakehouse-on tárolt adatokra, továbbá sok más műveletet is végezzen.

Jegyzetfüzet

A jegyzetfüzetek interaktív számítástechnikai környezetek, amelyekkel a felhasználók élő kódot, egyenleteket, vizualizációkat és elbeszélő szöveget tartalmazó dokumentumokat hozhatnak létre és oszthatnak meg. Lehetővé teszik a felhasználók számára, hogy kódot írjanak és hajtsanak végre különböző programozási nyelveken, beleértve a Pythont, az R-t és a Scalát. Jegyzetfüzeteket használhat adatbetöltéshez, előkészítéshez, elemzéshez és más, adatokkal kapcsolatos feladatokhoz.

Pipeline

A folyamatok olyan lépések sorozatai, amelyek adatokat gyűjthetnek, dolgozhatnak fel és alakíthatnak át nyers formájukból olyan formátumba, amelyet elemzéshez és döntéshozatalhoz használhat. Ezek az adatelemzés kritikus összetevői, mivel lehetővé teszik az adatok megbízható, méretezhető és hatékony áthelyezését a forrásból a célhelyre.

Ingyenesen használhatod az adatmérnökséget, amikor regisztrálsz a Fabric próbajátékra. Vásárolhatsz Fabric kapacitást vagy Fabric rezervált kapacitást is

Kapcsolódó tartalom

Ismerkedés az adatmérnöki szolgáltatással:

• Ha többet szeretne megtudni a tóházakról, lásd: Mi az a lakehouse a Fabric-ben?
• A tóház kezdéséhez lásd: "Hozzon létre egy tóházat a Fabric-ben".
• Az Apache Spark-feladatdefiníciókkal kapcsolatos további információkért lásd Mi az Apache Spark-feladatdefiníció?
• Az Apache Spark-feladatdefinícióval való munka megkezdéséhez lásd: Hogyan hozzunk létre Apache Spark-feladatdefiníciót a Fabricban.
• A jegyzetfüzetekről további információt A jegyzetfüzet létrehozása és végrehajtásacímű témakörben talál.
• A folyamatmásolási tevékenység első lépéseit a Adatok másolása másolási tevékenységgelcímű témakörben talál.