Online analytisk bearbetning

Onlineanalysbearbetning (OLAP) är en teknik som organiserar stora affärsdatabaser för att utföra komplexa beräkningar och trendanalyser. Den här metoden möjliggör invecklade frågor utan att störa transaktionssystem.

Affärstransaktioner och poster lagras i databaser som kallas OLTP-databaser (onlinetransaktionsbearbetning), som är optimerade för enskilda postposter. Dessa databaser innehåller värdefull information, men de är inte utformade för analys, så datahämtning är tidskrävande och svårt.

För att lösa det här problemet extraherar OLAP-system effektivt business intelligence från data. OLAP-databaser är optimerade för uppgifter med hög läs- och lågskrivning. De har modellerats och rensats för en effektiv analys. OLAP-databaser bevarar ofta historiska data för tidsserieanalys.

OLAP-system använder traditionellt flerdimensionella datakuber för att organisera data på ett sätt som stöder komplexa frågor och analyser. Följande diagram visar en traditionell OLAP-systemarkitektur.

Det här diagrammet visar ett flöde från klientprogrammen, till OLTP-systemet, till OLAP-systemet och slutligen till analys och rapportering. Klientprogrammen innehåller webbappar, API-appar och logikappar. OLTP-systemet innehåller SQL Database, SQL Server på virtuella datorer, Azure Database for MySQL och Azure Database for PostgreSQL. OLAP-systemet innehåller Azure Analysis Services. Analys och rapportering innehåller Power BI- och SQL Server-rapporteringstjänster. Orkestreringen körs längst ned i OLTP-systemet och OLAP-systemet. Den innehåller SQL Server Integration Services och Azure Data Factory.

Allt eftersom tekniken utvecklas och både data- och beräkningsskalan ökar övergår OLAP-systemen till MPP-arkitekturer (massivt parallell bearbetning) som Microsoft Fabric stöder. Mer information finns i Fabric analytisk datalager.

Följande diagram visar en modern OLAP-systemarkitektur.

Det här diagrammet visar ett flöde från klientprogrammet till OLTP-systemet till OLAP-systemet – Fabric. Klientprogrammet innehåller webbappar, API-appar och logikappar. OLTP-systemet innehåller lokala databaser, Azure-databaser, Azure Database for MySQL och Azure Database for PostgreSQL. OLAP-systemet innehåller One Lake och Power BI. Orkestreringen körs längst ned i OLTP-systemen och är integrerad med OLAP-systemet. Den innehåller Azure Data Factory.

Semantikmodellering

En semantisk datamodell är en konceptuell modell som beskriver innebörden av de dataelement som den innehåller. Organisationer har ofta egna villkor för objekt, och ibland har dessa termer synonymer. Organisationer kan också ha olika betydelser för samma term. En inventeringsdatabas kan till exempel spåra en utrustning med hjälp av ett tillgångs-ID och ett serienummer. Men en försäljningsdatabas kan referera till serienumret som tillgångs-ID. Det finns inget enkelt sätt att relatera dessa värden utan en modell som beskriver relationen.

Semantisk modellering ger en abstraktionsnivå över databasschemat så att användarna inte behöver känna till de underliggande datastrukturerna. Slutanvändare kan enkelt köra frågor mot data utan att utföra aggregeringar och kopplingar över det underliggande schemat. Kolumner byts ofta namn till mer användarvänliga namn för att göra kontexten och innebörden av data tydligare.

Semantisk modellering är främst för läsintensiva scenarier, till exempel analys och business intelligence (OLAP), snarare än mer skrivintensiv transaktionsdatabearbetning (OLTP). Semantisk modellering passar läsintensiva scenarier på grund av egenskaperna hos ett typiskt semantiskt lager:

• Sammansättningsbeteenden anges så att rapportverktygen visar dem korrekt.
• Affärslogik och beräkningar definieras.
• Tidsorienterade beräkningar ingår.
• Data är ofta integrerade från flera källor.
• Realtidsanalys stöds.

Traditionellt placeras det semantiska lagret över ett informationslager av dessa skäl.

Diagramflödet börjar vid källdata. Källdata går till informationslagret, till det semantiska lagret och sedan till rapportering och analys. Det semantiska lagret innehåller datamodellen, beräkningarna och relationerna.

Det finns två primära typer av semantiska modeller:

• Tabellmodeller använder relationsmodelleringskonstruktioner, till exempel modeller, tabeller och kolumner. Internt ärvs metadata från OLAP-modelleringskonstruktioner, till exempel kuber, dimensioner och mått. Kod och skript använder OLAP-metadata.

• Flerdimensionella modeller använder traditionella OLAP-modelleringskonstruktioner, till exempel kuber, dimensioner och mått.

Analysis Services och Fabric tillhandahåller nödvändig infrastruktur och verktyg för att effektivt implementera semantisk modellering.

Exempel på användningsfall

En organisation lagrar data i en stor databas. Den vill göra dessa data tillgängliga för företagsanvändare och kunder för att skapa egna rapporter och göra analyser.

De kan ge dessa användare direkt åtkomst till databasen, men det här alternativet har nackdelar, inklusive säkerhetshantering och åtkomstkontroll. Och användarna kan ha svårt att förstå utformningen av databasen, inklusive namnen på tabeller och kolumner. Det här alternativet kräver att användarna vet vilka tabeller som ska frågas, hur tabellerna ska kopplas och hur man använder annan affärslogik för att få rätt resultat. Användarna behöver också kunna ett frågespråk som SQL. Normalt leder det här alternativet till att flera användare rapporterar samma mått men med olika resultat.

Ett bättre alternativ är att kapsla in all information som användarna behöver i en semantisk modell. Användare kan enklare köra frågor mot den semantiska modellen med hjälp av ett rapporteringsverktyg som de väljer. De data som den semantiska modellen tillhandahåller kommer från ett informationslager, vilket säkerställer att alla användare visar en enda sanningskälla. Den semantiska modellen innehåller också användarvänliga tabell- och kolumnnamn, definierar relationer mellan tabeller, innehåller beskrivningar och beräkningar och tillämpar säkerhet på radnivå.

Typiska egenskaper för semantisk modellering

Semantisk modellering och analytisk bearbetning tenderar att ha följande egenskaper.

Krav	Beskrivning
Schemat	Schema vid skrivning, strikt genomfört
Använder transaktioner	Nej
Strategi för låsning	Ingen
Uppdateringsbar	Nej, det brukar kräva omberäkning av kuben
Tilläggsbart	Nej, det brukar kräva omberäkning av kuben
Arbetsbörda	Tunga läsningar, skrivskyddade
Indexering	Flerdimensionell indexering
Datumstorlek	Liten till massivt stor storlek
Modell	Tabell eller flerdimensionell
Datakontur	Kub-, star- eller snowflake-schema
Frågeflexibilitet	Mycket flexibel
Skala	Stora, hundratals gigabyte (GBs) till flera petabyte (PBs)

När du ska använda den här lösningen

Överväg att använda OLAP för följande scenarier:

• Du måste köra komplexa analytiska frågor och frågor på begäran snabbt, utan att påverka OLTP-systemen negativt.

• Du vill ge företagsanvändare ett enkelt sätt att generera rapporter från dina data.

• Du vill tillhandahålla flera sammansättningar som gör att användarna kan få snabba och konsekventa resultat.

OLAP är särskilt användbart för att tillämpa aggregerade beräkningar över stora mängder data. OLAP-system är optimerade för läsintensiva scenarier. OLAP gör det också möjligt för användare att segmentera flerdimensionella data i sektorer som de kan visa i två dimensioner, till exempel en pivottabell. Eller så kan de filtrera data efter specifika värden. Användarna kan utföra dessa processer, så kallade segmentering och diktering av data, oavsett om data partitioneras över flera datakällor. Användarna kan enkelt utforska data utan att känna till information om traditionell dataanalys.

Semantiska modeller kan hjälpa företagsanvändare att sammanfatta relationskomplexiteter och göra det enklare att analysera data snabbt.

Utmaningar

OLAP-system skapar också utmaningar:

• Transaktioner som flödar in från olika källor uppdaterar ständigt data i OLTP-system. OLAP-datalager uppdateras vanligtvis med mycket långsammare intervall, beroende på företagets behov. OLAP-system passar strategiska affärsbeslut snarare än omedelbara svar på ändringar. Du måste också planera en viss nivå av datarensning och orkestrering för att hålla OLAP-datalager up-to-date.

• Till skillnad från traditionella, normaliserade relationstabeller i OLTP-system tenderar OLAP-datamodeller att vara flerdimensionella. Det är därför svårt eller omöjligt att direkt mappa dem till entitetsrelationer eller objektorienterade modeller, där varje attribut motsvarar en kolumn. I stället använder OLAP-system vanligtvis ett star- eller snowflake-schema i stället för traditionell normalisering.

OLAP i Azure

I Azure kopieras data i OLTP-system, till exempel Azure SQL Database, till OLAP-system som Fabric eller Analysis Services. Datautforsknings- och visualiseringsverktyg som Power BI, Excel och andra alternativ ansluter till Analysis Services-servrar och ger användarna mycket interaktiva och visuellt omfattande insikter om modellerade data. Du kan använda SQL Server Integration Services för att samordna dataflödet från OLTP-system till OLAP-system. Om du vill implementera SQL Server Integration Services använder du Azure Data Factory.

Följande Azure-datalager uppfyller huvudkraven för OLAP:

• Tyg
• SQL Server med kolumnstore-indexar
• Analysis Services
• SQL Server Analysis Services

SQL Server Analysis Services tillhandahåller OLAP- och datautvinningsfunktioner för business intelligence-program. Du kan antingen installera SQL Server Analysis Services på lokala servrar eller vara värd för den på en virtuell dator (VM) i Azure. Analysis Services är en fullständigt hanterad tjänst som tillhandahåller samma viktiga funktioner som SQL Server Analysis Services. Analysis Services stöder anslutning till olika datakällor i molnet och lokalt i din organisation.

Grupperade kolumnlagringsindex är tillgängliga i SQL Server 2014 och senare och i SQL Database. Dessa index är idealiska för OLAP-arbetsbelastningar. Från och med SQL Server 2016, och även SQL Database, kan du dra nytta av hybridtransaktions- och analysbearbetning (HTAP) via uppdateringsbara icke-klustrade kolumnbutiksindex. Använd HTAP för att utföra OLTP- och OLAP-bearbetning på samma plattform. Den här metoden eliminerar behovet av flera kopior av dina data och separata OLTP- och OLAP-system. Mer information finns i Columnstore för driftanalys i realtid.

Kriterier för nyckelval

Du kan begränsa alternativen genom att svara på följande frågor:

• Vill du ha en hanterad tjänst i stället för att hantera dina egna servrar?

• Behöver du Microsoft Entra-ID för säker autentisering?

• Behöver du integrera data från flera källor utöver ditt OLTP-datalager?

• Vill du utföra realtidsanalyser?

  Fabric Real-Time Intelligence är en kraftfull tjänst i Fabric som du kan använda för att extrahera insikter och visualisera dina data i rörelse. Den tillhandahåller en lösning från slutpunkt till slutpunkt för händelsedrivna scenarier, strömmande data och dataloggar. Oavsett om du hanterar GBs eller PBs med data konvergerar alla organisationsdata i rörelse i Real-Time hubben.

• Behöver du använda föraggregerade data, till exempel för att tillhandahålla semantiska modeller som gör analys enklare för företagsanvändare?

  Om ja väljer du ett alternativ som stöder flerdimensionella kuber eller tabell semantiska modeller.

  Ange aggregeringar som hjälper användare att konsekvent beräkna dataaggregeringar. Föraggregerade data kan också ge en stor prestandaökning om du har flera kolumner över många rader. Du kan föraggregera data i flerdimensionella kuber eller tabellsemantiska modeller.

Kapacitetsmatris

I följande tabeller sammanfattas de viktigaste skillnaderna i funktioner mellan dessa tjänster:

• Tyg
• Analystjänster
• SQL Server Analysis Services
• SQL Server med columnstore-index
• SQL Database med kolumnlagringsindex

Allmänna funktioner

Kapacitet	Tyg	Analystjänster	SQL Server Analysis Services	SQL Server med columnstore-index	SQL Database med kolumnlagringsindex
Är en hanterad tjänst	Ja	Ja	Nej	Nej	Ja
MPP	Ja	Nej	Nej	Nej	Nej
Stöder flerdimensionella kuber	Nej	Nej	Ja	Nej	Nej
Stöder tabellsemantiska modeller	Ja	Ja	Ja	Nej	Nej
Integrerar enkelt flera datakällor	Ja	Ja	Ja	Nr 1	Nr 1
Stöder realtidsanalys	Ja	Nej	Nej	Ja	Ja
Kräver en process för att kopiera data från källor	Valfritt 3	Ja	Ja	Nej	Nej
integrering med Microsoft Entra	Ja	Ja	Nej	Nr 2	Ja

[1] SQL Server och SQL Database kan inte fråga från och integrera flera externa datakällor, men du kan skapa en pipeline för att utföra dessa funktioner med hjälp av SQL Server Integration Services eller Azure Data Factory. Azure VM-hostade SQL Server har fler alternativ, såsom länkade servrar och PolyBase. Mer information finns i Välj en orkestreringsteknik för datapipelines.

[2] Ett Microsoft Entra-konto stöder inte anslutning till Azure VM-värd SQL Server. Använd ett Windows Server Active Directory-domänkonto i stället.

[3] Fabric ger flexibiliteten att integrera datakällor genom att flytta data till OneLake via Azure Data Factory-pipelines eller spegling. Du kan också skapa genvägar eller utföra realtidsanalyser på dataströmmar utan att flytta data.

Skalbarhetsfunktioner

Kapacitet	Tyg	Analystjänster	SQL Server Analysis Services	SQL Server med columnstore-index	SQL Database med kolumnlagringsindex
Redundanta regionala servrar för hög tillgänglighet	Ja	Ja	Nej	Ja	Ja
Stöder utskalning av frågor	Ja	Ja	Nej	Ja	Ja
Dynamisk skalbarhet, skala upp	Ja	Ja	Nej	Ja	Ja

Nästa steg

• Datalager för infrastrukturanalys
• Kolumnlagringsindex
• Skapa en Analysis Services-server
• Vad är Azure Data Factory?
• Vad är Power BI?

Relaterade resurser

• Arkitekturformat för stordata