Hva er Microsoft Fabric Data Engineering?

Microsoft Fabric Data Engineering gjør det mulig for brukere å designe, bygge og vedlikeholde infrastrukturer og systemer som gjør det mulig for organisasjonene deres å samle inn, lagre, behandle og analysere store datamengder.

Fabric tilbyr ulike data engineering-muligheter for å sikre at dataene dine er lett tilgjengelige, godt organiserte og av høy kvalitet. Hvis du vil ha tilgang til hjemmesiden for datateknikk, velger du Arbeidsbelastninger fra navigasjonsruten, og deretter velger du datateknikkflisen . Fra hjemmesiden for datateknikk kan du:

• Opprette og administrere data ved hjelp av et lakehouse

• Utforme rørledninger for å kopiere data til lakehouse

• Bruk Spark-jobbdefinisjoner til å sende inn parti-/strømmingsjobb til Spark-klyngen

• Bruke notatblokker til å skrive kode for datainntak, forberedelse og transformasjon

  

Lakehouse

Lakehouses er dataarkitekturer som gjør det mulig for organisasjoner å lagre og administrere strukturerte og ustrukturerte data på ett sted, ved hjelp av ulike verktøy og rammeverk for å behandle og analysere disse dataene. Disse verktøyene og rammeverkene kan omfatte SQL-baserte spørringer og analyser, samt maskinlæring og andre avanserte analyseteknikker.

Apache Spark-jobbdefinisjon

Spark-jobbdefinisjoner er et sett med instruksjoner som definerer hvordan du utfører en jobb på en Spark-klynge. Den inneholder informasjon som inndata- og utdatadatakildene, transformasjonene og konfigurasjonsinnstillingene for Spark-programmet. Spark-jobbdefinisjon lar deg sende inn batch-/streamingjobb til Spark-klyngen, bruke forskjellig transformasjonslogikk på dataene som driftes på lakehouse sammen med mange andre ting.

Notisbok

Notatblokker er et interaktivt databehandlingsmiljø som gjør det mulig for brukere å opprette og dele dokumenter som inneholder live-kode, formler, visualiseringer og fortellende tekst. De tillater brukere å skrive og kjøre kode på ulike programmeringsspråk, inkludert Python, R og Scala. Du kan bruke notatblokker for datainntak, forberedelse, analyse og andre datarelaterte oppgaver.

Pipeline

Pipeliner er en rekke trinn som kan samle inn, behandle og transformere data fra råformen til et format som du kan bruke til analyse og beslutningstaking. De er en kritisk komponent i datateknikk, da de gir en måte å flytte data fra kilden til målet på en pålitelig, skalerbar og effektiv måte.

Du kan bruke Data Engineering gratis når du melder deg på Fabric-prøveperioden. Du kan også kjøpe en Fabric-kapasitet eller en Fabric-reservert kapasitet

Relatert innhold

Kom i gang med datateknikk:

• For å lære mer om lakehouses, se What is a lakehouse in Fabric?
• For å komme i gang med et lakehouse, se Create a lakehouse in Fabric.
• Hvis du vil ha mer informasjon om jobbdefinisjoner for Apache Spark, kan du se Hva er en Apache Spark-jobbdefinisjon?
• Hvis du vil komme i gang med en Apache Spark-jobbdefinisjon, kan du se Slik oppretter du en Apache Spark-jobbdefinisjon i Fabric.
• Hvis du vil ha mer informasjon om notatblokker, kan du se Redigere og kjøre notatblokken.
• Hvis du vil komme i gang med kopieringsaktivitet for datasamlebånd, kan du se Slik kopierer du data ved hjelp av kopieringsaktivitet.