Wat is Azure Data Factory?
Laten we beginnen met een overzicht van Azure Data Factory. Hiermee kunt u bepalen of het een goede keuze is voor het ordenen van uw gegevens om zakelijke inzichten te creëren.
Azure Data Factory is een cloudgebaseerde ETL- en gegevensintegratieservice waarmee u gegevensgestuurde werkstromen kunt maken voor:
- Gegevensverplaatsing organiseren.
- Gegevens op schaal transformeren.
Notitie
Gegevensgestuurde werkstromen worden ook wel pijplijnen genoemd.
Met behulp van Azure Data Factory kunt u onbewerkte gegevens opnieuw ordenen in zinvolle gegevensarchieven en data lakes. Hierdoor kunt u betere zakelijke beslissingen nemen.
Wat is gegevensanalyse?
Gegevensanalyse is het proces van het verzamelen van onbewerkte gegevens en het onderzoeken ervan om daaruit conclusies te trekken. Dit kan lastig zijn als de gegevens zich op meerdere locaties bevinden, zoals gehoste databases en on-premises locaties.
Tip
Onbewerkte gegevens zijn gegevens die zijn verzameld uit een bron en die niet zijn verwerkt. Dit wordt soms niet-georganiseerde gegevens genoemd.
Azure biedt verschillende technologieën die u kunt implementeren om u te helpen met de gegevensanalyse van uw organisatie. Deze omvatten:
- Azure Synapse Analytics
- Azure Blob-opslag
- Azure Data Lake Storage
- Azure Data Lake Analytics
- Azure Analysis Services
- Azure HDInsight
- Azure Databricks
- Azure Machine Learning
U kunt zo nodig enkele of al deze services gebruiken om de gegevens van uw organisatie te analyseren. Geen van deze services heeft echter betrekking op gegevensintegratie. Met gegevensintegratie kunt u gegevens uit meerdere bronnen verzamelen en deze gecombineerde gegevens vervolgens laden naar een locatie die geschikt is voor gegevensanalyse. Indien nodig kunt u de gegevens tijdens dit proces transformeren. Hoewel u deze taken handmatig kunt uitvoeren, kunt u overwegen Om Azure Data Factory te gebruiken.
Azure Data Factory-definitie
Azure Data Factory is een cloudservice voor gegevensintegratie die is ontworpen om tegemoet te komen aan de behoeften van twee specifieke community's, zoals beschreven in de volgende tabel:
| Community | Beschrijving van de behoeften van de community |
|---|---|
| Big data-community | Deze community is afhankelijk van technologieën voor het beheren van grote hoeveelheden verschillende gegevens. Voor hen biedt Azure Data Factory een middel om pijplijnen in de cloud te maken en uit te voeren. Deze pijplijnen hebben toegang tot zowel cloud- als on-premises gegevensservices. Deze pijplijnen werken doorgaans met technologieën zoals Azure Synapse Analytics, Azure Blobs, Azure Data Lake, Azure HDInsight, Azure Databricks en Azure Machine Learning. |
| Relationele datawarehousingcommunity | Deze community is doorgaans afhankelijk van technologieën zoals Microsoft SQL Server. SQL Server Integration Services (SSIS) wordt vaak gebruikt om SSIS-pakketten te maken. Voor deze community biedt Azure Data Factory de mogelijkheid om SSIS-pakketten uit te voeren in Azure, waardoor ze toegang hebben tot zowel cloud- als on-premises gegevensservices. |
Notitie
Een pakket is vergelijkbaar met een Azure Data Factory-pijplijn. Elk pakket definieert een proces voor het extraheren, laden, transformeren of anderszins werken met gegevens.
Het belangrijkste punt is dat Azure Data Factory één cloudservice is voor gegevensintegratie. Het biedt één set hulpprogramma's en een gemeenschappelijke beheerinterface voor al uw gegevensintegratie en ondersteunt al uw gegevensbronnen, waar ze zich ook bevinden:
- Azure
- On-premises
- Een openbaar cloudplatform van derden
Hoe Azure Data Factory kan helpen met gegevensanalyse
Met behulp van Azure Data Factory kunt u het volgende doen:
Complexe ETL-processen bouwen. Deze processen kunnen gegevens visueel transformeren met behulp van gegevensstromen of rekenservices zoals:
- Azure HDInsight Hadoop
- Azure Databricks
- Azure SQL-database
Publiceer deze getransformeerde gegevens naar gegevensarchieven zodat business intelligence-apps deze kunnen gebruiken.
In de volgende afbeelding zijn externe gegevensbronnen verbonden met Azure Data Factory. Een opslagblob wordt gebruikt om de gegevens op te nemen, terwijl Azure Synapse Analytics wordt gebruikt als opslag. Deze elementen bieden de indeling. De analyse- en visualisatieonderdelen, Azure Analysis Service en Power BI zijn ook verbonden met Azure Data Factory.
Tip
Azure Data Factory biedt meer dan 90 ingebouwde, onderhoudsvrije connectors.