Hva er datateknikk i Microsoft Fabric?

Datateknikk i Microsoft Fabric gjør det mulig for brukere å utforme, bygge og vedlikeholde infrastrukturer og systemer som gjør det mulig for organisasjonene å samle inn, lagre, behandle og analysere store mengder data.

Microsoft Fabric tilbyr ulike funksjoner for datateknikk for å sikre at dataene dine er lett tilgjengelige, velorganiserte og av høy kvalitet. Fra hjemmesiden for datateknikk kan du:

• Opprette og administrere data ved hjelp av et lakehouse

• Utforme rørledninger for å kopiere data til lakehouse

• Bruk Spark-jobbdefinisjoner til å sende inn parti-/strømmingsjobb til Spark-klyngen

• Bruke notatblokker til å skrive kode for datainntak, forberedelse og transformasjon

  

Lakehouse

Lakehouses er dataarkitekturer som gjør det mulig for organisasjoner å lagre og administrere strukturerte og ustrukturerte data på ett sted, ved hjelp av ulike verktøy og rammeverk for å behandle og analysere disse dataene. Disse verktøyene og rammeverkene kan omfatte SQL-baserte spørringer og analyser, samt maskinlæring og andre avanserte analyseteknikker.

Apache Spark-jobbdefinisjon

Spark-jobbdefinisjoner er sett med instruksjoner som definerer hvordan du utfører en jobb på en Spark-klynge. Den inneholder informasjon som inndata- og utdatadatakildene, transformasjonene og konfigurasjonsinnstillingene for Spark-programmet. Spark-jobbdefinisjon lar deg sende inn batch-/streamingjobb til Spark-klyngen, bruke forskjellig transformasjonslogikk på dataene som driftes på lakehouse sammen med mange andre ting.

Notatblokk

Notatblokker er et interaktivt databehandlingsmiljø som gjør det mulig for brukere å opprette og dele dokumenter som inneholder live-kode, formler, visualiseringer og fortellende tekst. De tillater brukere å skrive og kjøre kode på ulike programmeringsspråk, inkludert Python, R og Scala. Du kan bruke notatblokker for datainntak, forberedelse, analyse og andre datarelaterte oppgaver.

Dataforløp

Datasamlebånd er en rekke trinn som kan samle inn, behandle og transformere data fra råformen til et format som du kan bruke til analyse og beslutningstaking. De er en kritisk komponent i datateknikk, da de gir en måte å flytte data fra kilden til målet på en pålitelig, skalerbar og effektiv måte.

Relatert innhold

Kom i gang med Dataingeniør opplevelsen:

• Hvis du vil lære mer om lakehouses, kan du se Hva er et lakehouse i Microsoft Fabric?
• Hvis du vil komme i gang med et lakehouse, kan du se Opprette et lakehouse i Microsoft Fabric.
• Hvis du vil lære mer om jobbdefinisjoner for Apache Spark, kan du se Hva er en Apache Spark-jobbdefinisjon?
• Hvis du vil komme i gang med en Apache Spark-jobbdefinisjon, kan du se Slik oppretter du en Apache Spark-jobbdefinisjon i Fabric.
• Hvis du vil lære mer om notatblokker, kan du se Redigere og kjøre notatblokken.
• Hvis du vil komme i gang med kopieringsaktivitet for datasamlebånd, kan du se Slik kopierer du data ved hjelp av kopieringsaktivitet.