Dela via

Vad är Data Factory i Microsoft Fabric?

Data Factory i Microsoft Fabric hjälper dig att lösa en av företagets tuffaste utmaningar: att omvandla spridda data till användbara insikter.

Din organisations data finns på många olika platser: databaser, filer, molntjänster och äldre system. Detta gör det svårt att få en fullständig bild av ditt företag. Data Factory ansluter till över 170 datakällor, inklusive miljöer med flera moln och hybridinstallationer med lokala gatewayer. Det hjälper dig att flytta och transformera dina data i stor skala och omvandla dem till format som fungerar bra för analys och beslutsfattande.

Diagram över dataintegreringsstacken i Microsoft Fabric.

Oavsett om du är en företagsanvändare som skapar din första dataanalysstrategi, eller en utvecklare som skapar komplexa arbetsströmmar, hittar du rätt verktyg för att:

  • Samla dina data
  • Rensa den
  • Gör den redo för analys i Lakehouse eller Data Warehouse
  • Automatisera dina dataarbetsflöden

Vad är dataintegrering?

Dataintegrering är processen för att sammanföra dina strategiska data så att du kan komma åt och analysera dem. Det är en viktig del av alla företag som vill fatta datadrivna beslut.

Det finns många sätt att integrera dina data, men en av de vanligaste strategierna är ETL. ETL står för Extract, Transform, Load. Den tar information från många olika källor, omvandlar den till ett format som du kan analysera och läser in den i ett gemensamt målsystem för analys eller rapportering. När du implementerar en ETL-process på din företags dataplattform förbättras datakonsekvens, kvalitet och tillgänglighet.

Här är vad varje fas gör:

  • Extrahera: Läser data från dina källor och flyttar dem till en central lagringsplats. Källor kan vara databaser, filer, API:er, webbplatser med mera.
  • Transformera: Rensar, berikar och omvandlar dina data till ett format som är enkelt att analysera. Du kanske till exempel vill jämföra försäljningsdata från en SQL-databas med skannade historiska försäljningsdokument. När du har extraherat data måste du transformera data från varje källa så att de är i samma format, söka efter skador eller dubbletter och kombinera data till en enda datauppsättning.
  • Läs in: Skriver transformerade data till ett målsystem, till exempel ett informationslager eller en datasjö. I målsystemet kan du köra frågor och rapporter på dina data.

ETL eller ELT?

När du arbetar med data, hur du flyttar och transformerar det spelar det roll, och varje organisation kommer att ha olika behov. Till exempel: ETL (Extract, Transform, Load) och ELT (Extract, Load, Transform). Var och en har styrkor, beroende på dina behov av prestanda, skalbarhet och kostnad.

ETL: Transformera dina data innan de läses in till målet. Detta fungerar bra när du behöver rensa, standardisera eller berika data när de flyttas. Du kan till exempel använda Data Factorys Dataflow Gen 2 för att tillämpa transformeringar i stor skala innan du läser in data i ett lager eller Lakehouse.

ELT: Först läser du in rådata och sedan transformerar du dem där de lagras. Den här metoden använder kraften i analysmotorer som Fabrics OneLake, Spark Notebooks eller SQL-baserade verktyg. ELT fungerar bra för hantering av stora datamängder med modern beräkning i molnskala.

Fabric Data Factory stöder båda. Du kan:

  • Skapa klassiska ETL-pipelines för omedelbar datakvalitet och beredskap
  • Använda ELT-arbetsflöden för att dra nytta av integrerad beräkning och lagring för storskaliga omvandlingar
  • Kombinera båda metoderna i samma lösning för flexibilitet

Data Factory är en kraftfull dataintegreringslösning

Data Factory ansluter till dina data, flyttar dem, transformerar dem och samordnar dina dataförflyttnings- och transformeringsuppgifter från en plats. Du bestämmer vilken strategi som fungerar bäst för ditt företag, och Data Factory tillhandahåller verktygen för att få det gjort.

Anslut till dina data: Oavsett om det är lokalt, i molnet eller i flera molnmiljöer ansluter Data Factory till dina datakällor och mål. Det stöder en mängd olika datakällor, inklusive databaser, datasjöar, filsystem, API:er med mera. Se tillgängliga kopplingar för en fullständig lista över datakällor och målplatser som stöds.

Flytta data: Data Factory innehåller flera metoder för att flytta data från källa till mål, eller ge enkel åtkomst till befintliga data, beroende på dina behov.

  • Kopieringsjobb – Önskad lösning för förenklad dataflytt med inbyggt stöd för flera leveransformat, inklusive masskopiering, inkrementell kopiering och CDC-replikering (Change Data Capture). Det ger också flexibilitet att hantera en mängd olika scenarier från många källor till många destinationer – allt via en intuitiv och lätthanterlig upplevelse.
  • Kopieringsaktivitet – Flyttar data från en plats till en annan i valfri skala, med omfattande anpassning, stöd för en mängd olika källor och mål samt manuell kontroll av parallell kopiering för bättre prestanda.
  • Spegling – Skapa en nästan realtidsreplik av din operativa databas i OneLake i Microsoft Fabric för att göra din analys och rapportering enklare.

Se vår beslutsguide för dataflytt som hjälper dig att välja rätt dataförflyttningsmetod för ditt scenario.

Transformera: Data Factory tillhandahåller aktiviteter för att ansluta dig till dina anpassade transformeringsskript eller den kraftfulla dataflödesdesignern.

  • Pipelineaktiviteter – Fabric Notebook, HDInsight-aktivitet, Spark-jobbdefinition, lagrad procedur, SQL-skript med mera. Med de här aktiviteterna kan du köra anpassad kod eller skript för att transformera dina data.
  • Dataflöde Gen 2 – Transformera dina data med ett lågkodsgränssnitt med över 300 transformeringar. Du kan utföra kopplingar, aggregeringar, datarensning, anpassade transformeringar och mycket mer.
  • dbt-jobb – dbt-jobb i Microsoft Fabric möjliggör SQL-baserade datatransformationer direkt i Fabric. De tillhandahåller en enkel konfiguration utan kod för att skapa, testa och distribuera dbt-modeller ovanpå ditt fabric-informationslager.

Orkestrera: Med Data Factory kan du skapa pipelines som kan köra flera dataförflyttningar, transformeringar och andra aktiviteter i ett enda arbetsflöde.

AI-baserad dataintegrering

AI visas i hela Data Factory för att hjälpa dig att få mer gjort med mindre ansträngning. Med Copilot för Data Factory kan du utforma, redigera och hantera pipelines och dataflöden med naturligt språk. Du kan skriva vanliga frågor på engelska och Copilot omvandlar dem till fungerande ETL-steg.

Copilot sammanfattar även dina befintliga dataflödesfrågor och pipelines, så att du snabbt kan förstå vad de gör. Om du stöter på fel förklarar Copilot vad som gick fel och föreslår sätt att åtgärda det.

Mer information finns i Copilot i Fabric i Data Factory-arbetsbelastningen.

Vad behöver du för att komma igång?

Vad händer om vi redan använder Azure Data Factory?

Data Factory i Microsoft Fabric är nästa generation av Azure Data Factory som har skapats för att hantera dina mest komplexa dataintegreringsutmaningar med en enklare metod.

Se vår jämförelseguide för de viktigaste skillnaderna mellan dessa två tjänster, så att du kan göra rätt val för ditt företag.

När du är redo att migrera följer du vår migreringsguide.

Relaterat innehåll

Om du vill ha mer information och komma igång med Microsoft Fabric följer du dessa guider:

  • Last updated on