Data estate voor analyses
Microsoft Cloud for Financial Services omvat door Microsoft ontwikkelde starterstoepassingen die branchespecifieke gegevensmodellen en op maat gemaakte processen omvatten. Hoewel de primaire focus van de oplossing ligt op het faciliteren van bedrijfsscenario's via modulaire componenten, zijn de kant-en-klare analysemogelijkheden beperkt.
Samenzicht
In dit artikel wordt uitgelegd hoe u een data estate voor analyses voor Microsoft Cloud for Financial Services kunt maken door de configuratiegerichte benadering en benadering met aangepaste rapporten te volgen.
Belangrijkste onderdelen van data estate voor analyses
De belangrijkste onderdelen van een data estate voor analyses omvatten doorgaans het volgende:
Gegevensbronnen: de oorsprongspunten van uw gegevens, waaronder mogelijk Dataverse en andere gestructureerde en ongestructureerde gegevens uit databases, bestanden en meer.
Gegevensopname: het proces van het verzamelen en importeren van gegevens uit verschillende bronnen in een gecentraliseerde opslag of een data lake voor verdere verwerking en analyse.
Gegevensopslag: de locatie waar uw gegevens worden opgeslagen, vaak in data lakes of lake databases, waardoor gegevens efficiënt kunnen worden opgehaald en beheerd.
Gegevenstransformatie: omvat het opschonen, normaliseren, verrijken en structureren van gegevens om onbewerkte gegevens voor te bereiden voor analyse. Gegevenstransformatie kan ETL-processen (extraheren, transformeren, laden) omvatten.
Gegevensvisualisatie: de presentatie van gegevens in grafische of visuele vormen, waardoor het voor gebruikers gemakkelijker wordt om de gegenereerde inzichten te interpreteren en te begrijpen.
Gegevensbeheer en -beveiliging: zorgt ervoor dat gegevens op een conforme en veilige manier worden verwerkt, inclusief gegevenstoegangsbeheer, versleuteling en audittrails.
Gebruikerstoegang en samenwerking: tools en interfaces waarmee gebruikers toegang krijgen tot en samenwerken aan gegevensanalyse, rapporten en dashboards.
Bewaking en prestatieafstemming: het voortdurend bewaken van gegevensprocessen en systeemprestaties om de efficiëntie en betrouwbaarheid te waarborgen.
Schaalbaarheid en elasticiteit: de mogelijkheid om uw analysegegevens horizontaal of verticaal te schalen om tegemoet te komen aan groeiende gegevensvolumes en gebruikerseisen.
Back-up en noodherstel: het implementeren van strategieën en oplossingen voor gegevensback-ups en -herstel als er sprake is van gegevensverlies of een systeemstoring.
Deze onderdelen vormen gezamenlijk een data estate voor analyses, dat als basis dient voor gegevensgestuurde besluitvorming en geavanceerde analyses binnen een organisatie. De specifieke technologieën en tools van elke component kunnen variëren, afhankelijk van de behoeften en infrastructuur van de organisatie.
Benaderingen voor implementatie
We raden u aan een configuratiegerichte aanpak te volgen voordat u een data estate maakt voor aangepaste rapportage. Mogelijk moet u de aangepaste rapportagebenadering volgen op basis van factoren zoals:
- Unieke bedrijfsbehoeften waaraan niet kan worden voldaan met de configuratiegerichte aanpak
- Vereist transformatieniveau
- Integratie en consolidatie van gegevens met andere gegevensbronnen
- Opmaak en visualisatie die aansluiten bij de branding en presentatienormen van uw organisatie
- Eventuele beperkingen ten aanzien van de ingebouwde methoden, zoals de transformatiemogelijkheden en het aantal records
Configuratiegerichte benadering
Power Apps bevat veel uitbreidbare ingebouwde rapportagemogelijkheden, zoals:
- Dynamics 365-grafieken/-dashboards
- SSRS-rapporten die worden uitgevoerd in Dynamics 365
- Power BI-dashboards en geïntegreerde rapportage
De afbeelding illustreert hoe deze rapportagemogelijkheden samenwerken met Dataverse, vooral verschillende connectors die u kunt gebruiken voor Power BI:
Download een afdrukbare PDF van dit diagram.
U kunt de volgende tabel gebruiken om de opties te vergelijken, en de optie te kiezen die u voor uw implementatie wilt.
| Kenmerk | Dynamics 365-grafieken-dashboards | SSRS-rapportage | Power BI |
|---|---|---|---|
| Aantal records | Query's kunnen maximaal 50.000 rijen omvatten | Geen limiet | Geen limiet |
| Gegevensbron | Uitsluitend Dataverse | Uitsluitend Dataverse | Dataverse met de mogelijkheid om te integreren met andere gegevensbronnen |
| Gegevenslatentie | Real-time | Real-time | Bijna realtime |
| Observeert Dynamics 365 Beveiligingsmodel | Ja | Ja | Extra ontwikkeling vereist om beveiliging op rijniveau in te schakelen in Power BI |
| Overwegingen | Overwegingen | Bij exports naar Excel kunnen maximaal 65.536 rijen of 256 kolommen worden geëxporteerd | Mogelijk zijn aanvullende licenties vereist. Enkele overwegingen voor elke gegevensconnector.1. Dynamics 365 Connector (verouderd) - Wordt vervangen door Dataverse-connectors 2. Dataverse - Geen toegang tot virtuele of elastische tabellen.3. Direct Query |
| Wanneer gebruiken | Beveel het gebruik waar van toepassing aan zolang aan de zakelijke vereisten en technische overwegingen wordt voldaan. | Voor de volgende situaties: - als een rapportexport noodzakelijk is - als filteren op eindgebruik vereist is - in andere gevallen waarin het gebruik van Dynamics 365- en Power BI-opties niet haalbaar zijn, kunnen SSRS-rapporten worden gemaakt en gebruikt. | Te gebruiken voor complexe rapportagevereisten en wanneer Dynamics 365-dashboards geen optie zijn. |
Aangepaste rapportagebenadering
Bij een aangepaste rapportagebenadering kan een reeks Azure-services worden gecombineerd om gegevens en inzichten uit verschillende bronnen (gestructureerde, semi-gestructureerde, ongestructureerde en Azure-dataservices, waaronder Dataverse) op te nemen, op te slaan, te transformeren en weer te geven. De services die onder deze architectuur vallen, vormen slechts een subset van een grotere familie van Azure-services. Soortgelijke resultaten kunnen worden bereikt door alleen Synapse Analytics of alleen Fabric te gebruiken. Deze sectie is bedoeld voor beide verschillende technische opties, maar uw implementatie kan de ene technische optie boven de andere omvatten.
Aangepaste rapportagearchitectuur
Download een afdrukbare PDF van dit diagram.
Gegevensstroom
1. Opname
U kunt Azure Synapse-pipelines, Fabric (preview) snelkoppelingen, pipelines en gegevensstromen, notebook andere toepasselijke ETL-tools gebruiken om gegevens uit een grote verscheidenheid aan databases te halen, zowel on-premises als in de cloud. Pipelines kunnen worden geactiveerd op basis van een vooraf gedefinieerd schema, als reactie op een gebeurtenis, of kunnen expliciet worden aangeroepen via REST API's.
2. Opslaan - Onbewerkte gegevens
De manier waarop u uw gegevenstransformatielagen structureert, kan variëren, afhankelijk van hoe ingewikkeld het transformatieproces moet zijn bij de overstap van onbewerkte gegevens naar een analysegegevensmodel. U kunt het medaillonpatroon gebruiken voor flexibele toegang en uitbreidbare gegevensverwerking. Het medaillonpatroon bestaat uit bronzen, zilveren en gouden opslaglagen:
Bronzen tabellen vormen het toegangspunt voor onbewerkte gegevens wanneer deze in Data Lake Storage terechtkomen. De gegevens worden in de onbewerkte bronindeling opgenomen en voor verwerking geconverteerd naar de open, transactionele Delta Lake-indeling. Binnen de onbewerkte data lake-laag organiseert u uw data lake volgens de best practices ten aanzien van de lagen die u moet maken, welke mapstructuren u in elke laag moet gebruiken en welke bestandsindeling u moet gebruiken voor elk analysescenario.
In zilveren tabellen worden gegevens opgeslagen terwijl deze worden geoptimaliseerd voor gebruiksscenario's op het gebied van BI en datawetenschap. In de bronzen laag worden onbewerkte gegevens opgenomen en vervolgens worden transformatietaken uitgevoerd om de gegevens te filteren, op te schonen, te transformeren, te koppelen en samen te voegen tot beheerde gegevenssets in de categorie Zilver.
Gouden tabellen bevatten verrijkte gegevens, klaar voor analyse en rapportage.
U kunt de technische opties in de transformatielaag gebruiken om de gegevens gekopieerd uit de niet-gestructureerde gegevensbronnen te faseren naar de onbewerkte laag van uw Azure Data Lake Store Gen 2 data lake. Sla gegevens op door de originele indeling te behouden, zoals u ze uit de gegevensbronnen hebt ontvangen.
3. Synapse Link
Azure Synapse Link for Dataverse stelt u in staat bijna realtime analyses uit te voeren op operationele en zakelijke toepassingsgegevens uit Dataverse. U hebt toegang tot de geselecteerde Dataverse-tabellen (alleen tabellen die zijn ingeschakeld voor het bijhouden van wijzigingen) in uw Synapse Analytics-werkruimte. U kunt deze gegevens vervolgens combineren met de gegevens die in uw data lake zijn getransformeerd (stap 2) en u kunt er ook voor kiezen om deze met meer gegevenselementen uit te breiden met behulp van de Banking Synapse-databasesjabloon.
Microsoft Fabric heeft de directe integratie met Dataverse aangekondigd zodat organisaties hun bestaande analytics in Dataverse in Fabric kunnen uitbreiden. U kunt het Azure Synapse Analytics-lakehouse, SQL-eindpunt en de standaard gegevensset bekijken die is gegenereerd door Dataverse in de Fabric-werkruimte. U kunt Fabric-koppelingen inschakelen voor uw bestaande koppelingen in Azure Synapse Link. Fabric-koppelingen vereenvoudigen downstream-gegevenspijplijnen en u kunt nieuwe functies gebruiken, zoals Power BI DirectLake-modusrapporten.
4. Transformeren
De transformatielaag speelt een cruciale rol in het gegevenslaadproces. Met deze laag kunnen gegevens efficiënt kunnen worden geladen in gestroomlijnde, compacte Delta Lake-tabellen of -mappen die zich in de bronzen laag van de data lake-opslag bevinden. Bovendien dient het als een cruciaal onderdeel voor de conversie van gegevens afkomstig van Dataverse naar de Banking Synapse-databasesjabloon of een ander gestructureerd formaat. In dit stadium ondergaan de gegevens een reeks bewerkingen, waaronder filteren, opschonen, transformeren, samenvoegen en aggregeren.
Uiteindelijk culmineert de transformatie in de gegevensconversie naar de gouden tabelindeling, waardoor deze onmiddellijk toegankelijk en geschikt wordt voor direct gebruik bij analyse- en rapportageactiviteiten. U kunt gegevensstromen, serverloze SQL-query's of Spark-notebooks en enkele andere methoden gebruiken in Synapse Analytics of Fabric.
5. Weergeven
Power BI kan, samen met andere gegevensbronnen, toegang krijgen tot het ingevulde analytische gegevensmodel om uitgebreide en inzichtelijke dashboards te maken. Om eindgebruikers toegang te geven tot deze verrijkte analyses, kunt u Power BI-dashboards naadloos insluiten in Power Apps om deze direct binnen het besturingssysteem toegankelijk te maken.
Dataverse genereert ook een bedrijfsklaar lakehouse- en SQL-eindpunt voor uw Dynamics 365-gegevens. Data-ingenieurs en databasebeheerders kunnen dan eenvoudiger gegevens uit meerdere bronnen combineren en aangepaste analyses bouwen met Spark, Python of SQL.
6. Platform
Hieronder volgen enkele van de technologieën die in de architectuur als platformtechnologieën worden genoemd:
- Microsoft Entra Id: identiteitsservices, eenmalige aanmelding en meervoudige verificatie voor Azure-workloads.
- Microsoft Cost Management: financieel beheer van uw Azure-workloads.
- Azure Key Vault: veilig beheer van referenties en certificaten. Azure Synapse Pipelines kan bijvoorbeeld referenties en certificaten ophalen uit Azure Key Vault die worden gebruikt om veilig toegang te krijgen tot gegevensarchieven.
- Azure Monitor: verzamel, analyseer en handel op basis van telemetriegegevens van uw Azure-resources om problemen proactief te identificeren en de prestaties en betrouwbaarheid te maximaliseren.
- Microsoft Defender voor Cloud: versterk en bewaak de beveiligingsstatus van uw Azure-workloads.
- Azure DevOps en GitHub: implementeer DevOps-praktijken om automatisering en compliance met uw workloadontwikkeling en implementatiepipelines voor Azure Synapse af te dwingen.
- Azure Policy: implementeer organisatorische standaarden en governance voor resourceconsistentie, de naleving van regelgeving, beveiliging, kosten en beheer.
Zie ook
- Analyses van begin tot eind met Azure Synapse
- Compleet scenario voor Microsoft Fabric Lakehouse
- Dataverse-gegevens weergeven in Microsoft Fabric (preview)