Fabric Data Engineering -dokumentaatio

Fabric Data Engineering mahdollistaa käyttäjille infrastruktuurien ja järjestelmien suunnittelun, rakentamisen ja ylläpidon, jotka mahdollistavat organisaatioiden keräämisen, tallentamisen, käsittelyn ja analysoinnin suuria määriä dataa.

Tietoja tietotekniikasta

Yleiskatsaus

• Mikä on tietotekniikka?
• Mikä lakehouse on?

Käsite

• Lakehouse- ja Delta-taulukot
• Työtilan roolit ja käyttöoikeudet
• Valitse tietosäilö

Ohjeet

• Delta-optimointi ja V-järjestys
• Lataa taulukoihin

Lakehousen käytön aloittaminen

Aloittaminen

• Luo lakehouse
• Lakehouse Explorerissa siirtyminen

Ohjeet

• Tietojen noutaminen lakehouse-järjestelmään muistikirjan avulla

Opetusohjelma

• Vaihe 1 – Luo työtila
• Vaihe 2 - Luo Lakehouse
• Vaihe 3 - Tietojen käyttö Lakehouseen
• Vaihe 4 – Muunna tiedot delta-taulukoiksi
• Vaihe 5 – Luo semanttinen malli ja rakenna raportti
• Vaihe 6 - Tyhjennä resurssit

Muistikirjojen käytön aloittaminen

Aloittaminen

• Muistikirjojen luominen ja käyttäminen

Ohjeet

• Kehitä ja suorita muistikirjoja
• Lakehouse-tietojen tutkiminen muistikirjan avulla
• Visualisoi muistikirjat
• Muistikirjojen lähteen hallinta ja käyttöönotto
• T-SQL Notebooksin luominen ja suorittaminen

Kysely GraphQL:n ohjelmointirajapinnalla

Yleiskatsaus

• Mikä on Fabric-ohjelmointirajapinta GraphQL:lle?

Aloittaminen

• Ohjelmointirajapinnan luominen GraphQL:lle ja tietojen lisääminen

Ohjeet

• Hallitse yhteyksiä
• Sovelluksiin yhdistäminen
• Kyselyn tekeminen useista tietolähteistä
• GraphQL-lähdekoodin hallinta- ja käyttöönottoputket
• Koontinäytön ja kirjauksen valvonta (esikatselu)

VS Code -integrointi

Käsite

• Mikä on datatekniikan VS Code -laajennus?

Ohjeet

• Vs Coden muistikirjojen käyttäminen
• Säilön kuvan käyttäminen VS Codesta
• VS Coden Spark-työmääritysten käyttäminen
• Tutustu Lakehouseen VS Codesta
• Kehitä muistikirja VS Code -verkkokokemuksesta

Apache Spark data-insinöörille

Käsite

• Apache Spark -työn määritelmä
• Mikä on Apache Sparkin neuvonantaja?

Aloittaminen

• Spark-työn määrityksen luominen
• Spark-työn määrityksen luominen Fabric-ohjelmointirajapinnan avulla
• Spark-työmäärityksen Git-integrointi

Ohjeet

• Spark-työn määrityksen ajoittaminen ja suorittaminen
• Apache Spark -kirjastojen hallinta
• Fabric MSSparkUtilsin käyttäminen

Ympäristön käytön aloittaminen

Aloittaminen

• Kangasympäristöt

Ohjeet

• Spark-käsittelyn hallinta ympäristöissä
• Ympäristöjen kirjastojen hallinta
• Ympäristön Git-integrointi- ja käyttöönottoputki
• Ympäristön hallinta julkisten ohjelmointirajapintojen kautta
• Hallinnoi kirjastoja, joissa on rajallinen verkkoyhteys Fabricissa

Fabric Livy -ohjelmointirajapinta

Yleiskatsaus

• Mikä on Livy-ohjelmointirajapinta?

Aloittaminen

• Luo ja suorita Spark-töitä Livy-ohjelmointirajapinnan avulla
• Livy-ohjelmointirajapintaistunnon töiden lähettäminen
• Livy-ohjelmointirajapinnan erätöiden lähettäminen

Optimoi materialisoiduilla järvinäkymillä

Yleiskatsaus

• Mitä muodostettavat näkymät lake-järvelle?

Aloittaminen

• Aloita muodostettujen lake-näkymien käyttö
• Ota käyttöön mitalilion arkkitehtuuri materiaalisoiduilla järvinäkymillä
• Hallinnoi muodostettuja tallennustilanäkymiä