Rekommendationer för att optimera datakostnader

  • Artikel

Gäller för den här rekommendationen om kostnadsoptimering i Azure Well-Architected Framework:

CO:10 Optimera datakostnader. Datautgifter med dataprioritet. Dataoptimering bör omfatta förbättringar av datahantering (nivåindelning och kvarhållning), volym, replikering, säkerhetskopior, filformat och lagringslösningar.

Den här guiden beskriver rekommendationerna för att optimera datakostnader för en arbetsbelastning. Optimering av datakostnader innebär att minimera kostnaderna för lagring och hantering av data enligt dess betydelse och åtkomstfrekvens. Lämplig datahantering kan avsevärt minska kostnaderna och anpassa utgifterna till dataverktyget. Att inte optimera datakostnaderna kan leda till uppblåsta utgifter, ineffektiv resursallokering och ekonomiskt avfall på grund av feljusterade lagringslösningar och onödig datakvarhållning.

Definitioner

Period Definition
Hantering av datalivscykel Processen att hantera data under hela livscykeln, från skapande till borttagning. Den här processen omfattar organisering, lagring, skydd och arkivering av data baserat på dess värde- och användningsmönster.
Dataredundans Att lagra dubbletter av data i flera lagringssystem eller platser. Syftet med dataredundans är att förbättra datatillgängligheten och feltoleransen.
Datanivåindelning En lagringsstrategi som omfattar att kategorisera data baserat på dess åtkomstfrekvens och lagra dem på lagringsnivåer i enlighet därmed.
Retention-principen Hur länge data ska behållas innan de kan tas bort. Den anger den tidsperiod under vilken data måste bevaras för att uppfylla juridiska, regelmässiga eller affärskrav.

Viktiga designstrategier

Inom en viss arbetsbelastning optimerar du datakostnaderna genom att minska kostnaderna för att lagra och hantera data. Det finns olika strategier och metodtips för att minimera kostnader för datalagring och bearbetning. Målet är att justera datakostnader med dataprioritet. Du måste tilldela kostnadsnivåer till typer av data baserat på deras prioritet eller åtkomstfrekvens.

De primära faktorerna för kostnaden för arbetsbelastningsdata är åtkomstfrekvens, åtkomstfördröjning och lagringsmängd. Följande vägledning innehåller strategier för att optimera kostnader för dessa kostnadsdrivande faktorer.

Inventera data

Innan du kan optimera kostnaden för dina data måste du generera en inventering av data. Granska dataåtkomst och fastställa dess betydelse i din arbetsbelastning och dess åtgärder. Identifiera vilka data som används ofta och vilka data som används mindre ofta. Följande inventeringsåtgärder kan hjälpa dig att allokera lagringsresurser effektivt:

  • Samla in information om dataåtkomst: Utför en datagranskning för att identifiera och katalogisera alla datalager. Fastställ värdet för datauppsättningar baserat på deras betydelse för verksamhet, avkastning på investeringar och användningsfrekvens. Samla in åtkomstloggar, användningsstatistik eller analyser från dina datalagringslösningar.

  • Identifiera datatyper: Kategorisera data baserat på dess typ, till exempel personuppgifter, finansiella data, immateriell egendom eller driftsdata. Förstå känslighet och allvarlighetsgrad för varje datatyp.

  • Identifiera åtkomstmönster: Identifiera mönster i dataåtkomst, till exempel användningsmönster per dag, vecka eller månad. Du bör förstå kraven på svarstid, filstorlekar och dataaktualitet för dessa data.

Prioritera data

Dataprioritering är processen att kategorisera och tilldela prioritetsnivåer till typer av data baserat på känslighet och allvarlighetsgrad. Dataprioritet bör ligga i linje med miljöns betydelse. Till exempel är produktionsdata viktigare än förproduktionsdata.

Utvärdera vikten av olika typer av data för din arbetsbelastning med hjälp av följande steg:

  1. Definiera prioritetsnivåer: Upprätta prioritetsnivåer för data (till exempel hög, medel och låg) baserat på dess värde för organisationen, regelkrav och potentiella effekter av dataförlust. Målet är att justera dataprioriteten till rätt datalösning.

  2. Tilldela etiketter: Märk varje datauppsättning med dess känslighet och allvarlighetsgrad. Du kan använda etiketter på rad-, kolumn- eller filnivå, beroende på datastruktur och användning. För databaser kan du använda ett särskilt verktyg för att märka och relatera känslighet och allvarlighetsgrad för data till specifika rader och kolumner. Den här metoden ger detaljerad kontroll över hanteringen och åtkomsten av data.

Optimera datahantering

Datahantering är en process för att lagra, flytta och skydda arbetsbelastningsdata. Genom att optimera datahantering kan du justera utgifter till dataprioritet och härleda mer värde från dina data. Överväg följande strategier för datahantering.

Optimera datalivscykelhantering

Det är viktigt att hantera data under hela livscykeln. Faser i livscykeln omfattar dataskapande (eller förvärv), lagring, användning, delning, kvarhållning och bortskaffande (borttagning eller arkivering). Målet med datalivscykelhantering är att optimera datalagringslösningar samtidigt som relevanta regler och principer följs.

Datalagring har tre viktiga kostnadskomponenter:

  • Lagringskostnad: Kostnaden för att lagra data, till exempel per gigabyte.

  • Transaktionskostnad: Kostnader kopplade till dataåtgärder, till exempel skrivåtgärder, läsåtgärder och datahämtning (per gigabyte). Läsning och skrivning av data kan ha olika kostnader.

  • Svarstidskostnad: Kostnaden som är kopplad till hastigheten eller fördröjningen vid åtkomst till data.

Följande överväganden är grundläggande för hantering av datalivscykeln:

  • Använd datanivåindelning: Målet med datanivåindelning är att anpassa åtkomst och kvarhållning till den mest kostnadseffektiva lagringsnivån. Lagringsnivåer sträcker sig från frekvent/omedelbar åtkomst (frekvent) till lågfrekvent/fördröjd åtkomst (kall).

    Det kostar mer att använda en nivå som inte överensstämmer med dataåtkomst- och kvarhållningsbehov. Till exempel bör data som ditt program använder ofta finnas i frekvent lagring. Data som ditt program inte får åtkomst till sällan bör finnas i kall lagring. Effektiv hantering av dessa aspekter bidrar till effektiv datalagring.

  • Överväg efterlevnadskrav: Implementering av datanivåindelning kräver noggrant övervägande av efterlevnadskrav och datastyrningsprinciper. Efterlevnads- och juridiska krav driver ofta dataåtkomst och kvarhållning. Upprätta principer för datakvarhållning för att säkerställa efterlevnad av juridiska krav, regler och affärskrav.

  • Definiera principer för datalivscykel. Principer för datalivscykel anger när och hur data ska flyttas mellan lagringsnivåer baserat på fördefinierade kriterier. Dessa principer ser till att du behåller data på lämplig nivå under den tid som krävs. En princip kan till exempel ange att data måste behållas på frekvent nivå i 30 dagar, på lågfrekvent nivå i 90 dagar och på arkivnivån i ett år. Ange kvarhållningsperioden baserat på faktorer som juridiska krav, branschföreskrifter eller interna principer.

  • Använd automatisering: Kvarhållningsprinciper kan utlösa förflyttning av data mellan nivåer. Du bör automatisera principer med hjälp av plattformsfunktioner innan du skapar en anpassad lösning.

    När kvarhållningsperioden för en viss nivå upphör att gälla kan principen automatiskt flytta data till nästa lägre kostnadsnivå. När kvarhållningsperioden för den frekventa nivån slutar kan principen till exempel flytta data till den lågfrekventa nivån. Principen säkerställer att data optimeras kontinuerligt baserat på dess åtkomstmönster och kostnadskrav.

Kompromiss: Hantering av principer för datakvarhållning kräver löpande övervakning och underhåll. Det kan medföra mer omkostnader för datahanteringsprocesser. Det kan också påverka lagringskostnaderna. Längre kvarhållningsperioder eller användning av lagringsnivåer med högre kostnad kan öka lagringskostnaderna.

Risk: En dålig implementering av datalivscykelhantering kan leda till dataförlust eller begränsad åtkomst till kritiska data. Du bör ha rätt mekanismer för säkerhetskopiering och återställning för att minska risken för dataförlust.

Optimera datasegmentering

Att optimera datasegmentering innebär att strategiskt organisera data i olika segment och konsolidera liknande datatyper för att effektivt allokera lagringsresurser. Det gör att du kan skräddarsy allokering av lagringsresurser till dataprioritet.

För att effektivt optimera datasegmentering kategoriserar du data efter typ och användningsmönster. Sedan placerar du datasegmenten på den mest effektiva lösningen beroende på deras driftslikhet och krav. Du kan till exempel placera data som kräver lagring med höga prestanda på resurser med snabbare hämtningstid. Arkiveringsdata använder en resurs med lägre kostnad med långsammare hämtningstid.

Den här metoden säkerställer att data med hög efterfrågan använder snabbare lagring för optimala prestanda och mindre använda data använder billigare lagring. När datatyper delar användningsmönster bör du på samma sätt gruppera dem på en enda resurs för att minska omkostnaderna, förenkla hanteringen och förbättra datahanteringen.

Minimera dataöverföring

Minimering av dataöverföring syftar på att minska dataflytten mellan nätverk för att minska kostnaderna för dataöverföring. Det minskar mängden data som arbetsbelastningen flyttar och sänker avgifterna för nätverksanvändning. Överväg följande rekommendationer för att minimera dataöverföringen:

  • Använd rätt plats. placera data geografiskt närmare sina användare. Datanärhet minskar nätverksresor, vilket påskyndar åtkomsten och optimerar kostnaderna.
  • Använd cachelagring. Överväg fördelarna med cachelagring för att minimera dataöverföringen.
  • Använd ett nätverk för innehållsleverans. Ett nätverk för innehållsleverans kan lagra statiska data som läses ofta närmare användarna. Det minskar dataflytten i nätverket och hjälper till att avlasta bandbreddsanvändningen.

Optimera säkerhet och efterlevnad

Vissa produktionsdata kräver högre säkerhet och efterlevnadskrav. Dessa åtgärder kan medföra extra kostnader för dataskydd, kryptering, säkerhetskopiering, kvarhållning och granskning.

Du måste se till att ändringar i datalagringslösningarna följer dessa krav. Data som har lägre krav på säkerhet och efterlevnad ger ofta en möjlighet att optimera kostnaderna.

Optimera datavolym

Att hitta strategier för att minska mängden data som du lagrar kan minska kostnaderna. Genom att ändra tillgängligheten för data och implementera följande tekniker kan du effektivt optimera volymen av dina lagrade data:

  • Samla in mindre data: Ta en närmare titt på de data som du samlar in. Ta reda på om något av det är onödigt för dina syften. Ändra processen, inställningarna eller konfigurationerna så att endast viktiga data samlas in.

  • Komprimera data: Komprimering sparar pengar genom att minska storleken på data. Det är mest effektivt i scenarier med skrivning en gång, läs-aldrig eller läs sällan. Det är mer lämpligt för kallare lagring.

    Kompromiss: Både komprimering och dekomprimering av data ökar CPU-tiden.

  • Ta bort onödiga data: Implementera principer för att effektivisera processen med att lagra relevant information. Utvärdera kvarhållningsperioden för säkerhetskopior och ögonblicksbilder och ta bort data som du inte längre behöver. Du kanske vill ha en process som leder fram till eventuell databorttagning, till exempel att först arkivera data och aktivera en mjuk borttagningsperiod. Överväg alltid återställning innan du tar bort data.

  • Deduplicera data: Implementera datadedupliceringstekniker för att eliminera redundanta data. Deduplicering minskar lagringskraven genom att se till att du endast lagrar unika datablock, så att du sparar kostnader. Använd hash-algoritmer och jämförelse av datasegment. Kör dedupliceringsprocesser regelbundet för att identifiera och eliminera dubblettdata.

  • Optimera användarbeteende: I arbetsbelastningar som samlar in användargenererade data ska du informera användarna om vikten av effektiv datalagring. Uppmuntra dem att regelbundet granska och ta bort onödiga filer och data. Implementera lagringskvoter eller prismodeller som avråder från överdriven datalagring.

Optimera datareplikering

Datareplikering innebär att skapa flera kopior av data och lagra dem på andra geografiska platser eller zoner för tillförlitlighet. Replikering säkerställer att om en plats eller zon drabbas av ett fel eller avbrott kan du fortfarande komma åt data från de replikerade kopiorna på andra platser.

Den här redundansen hjälper till att förbättra tillgängligheten och motståndskraften för data. Det minimerar risken för dataförlust och driftstopp.

Överväg följande riktlinjer för att optimera datareplikering för kostnadsoptimering:

  • Utvärdera datareplikeringskrav: Utvärdera de specifika behoven för din arbetsbelastning och fastställa vilken nivå av datareplikering som krävs. Överväg faktorer som datakritiskhet, mål för återställningstid (RTO) och mål för återställningspunkter (RPO).

  • Välj rätt replikeringsstrategi: Välj en replikeringsteknik som överensstämmer med dina mål för kostnadsoptimering. Överväg kraven på serviceavtal (SLA) för din arbetsbelastning.

    Utvärdera alternativ som synkron replikering, asynkron replikering eller en kombination av båda. Basera beslutet på faktorer som krav på datakonsekvens och överväganden för nätverksbandbredd. Utvärdera den tillgänglighetsnivå som du behöver för din arbetsbelastning och utvärdera behovet av zonindelad eller regional redundans.

  • Optimera nätverksbandbredden: Minimera användningen av nätverksbandbredd genom att implementera tekniker för komprimering och datadeduplicering. Dessa tekniker kan minska mängden data som överförs under replikeringen, vilket kan spara kostnader.

  • Övervaka och optimera replikeringsfrekvensen: Granska och justera replikeringsfrekvensen regelbundet baserat på arbetsbelastningens föränderliga behov. Genom att finjustera replikeringsfrekvensen kan du optimera kostnaderna genom att minska onödiga replikeringskostnader.

Optimera säkerhetskopior

En säkerhetskopia är en periodisk ögonblicksbild eller kopia av data som du kan skapa och lagra separat från den primära lagringen. Om det finns skadade data, oavsiktlig borttagning eller systemfel kan du använda säkerhetskopior för att återställa data till dess tidigare tillstånd.

Här följer några tekniker för att optimera säkerhetskopieringar:

  • Dataklassificering: Klassificera dina data baserat på dess betydelse och prioritering för säkerhetskopiering. Klassificering hjälper dig att fokusera resurser på att säkerhetskopiera kritiska data samtidigt som kostnaderna för säkerhetskopiering minimeras för data som är mindre viktiga.

  • Inkrementella säkerhetskopieringar: Överväg att implementera inkrementella säkerhetskopieringar i stället för att utföra fullständiga säkerhetskopieringar varje gång. Inkrementella säkerhetskopior registrerar endast ändringar som gjorts sedan den senaste säkerhetskopieringen, vilket kan minska kraven på lagring och nätverksbandbredd.

    Kompromiss: Inkrementella säkerhetskopieringar kräver fler steg och tid för att återställa data. Du måste återställa den fullständiga säkerhetskopian först och sedan tillämpa varje inkrementell säkerhetskopia i följd tills du når önskad återställningspunkt.

  • Komprimering av säkerhetskopior: Aktivera komprimering under säkerhetskopieringsprocessen för att minska storleken på säkerhetskopierade filer. Komprimerade säkerhetskopior kräver mindre lagringsutrymme, så du kan spara kostnader.

  • Lagringsnivåer för säkerhetskopiering: Utvärdera dina principer för kvarhållning av säkerhetskopior och överväg att flytta äldre säkerhetskopior till lagringsnivåer med lägre kostnad, till exempel kall lagring eller arkivlagring. Genom att lagra säkerhetskopieringar som används mindre ofta i kostnadseffektiva lagringsalternativ kan du optimera kostnaderna.

  • Kvarhållningsperiod för säkerhetskopior: Granska och justera kvarhållningsperioderna för dina säkerhetskopior baserat på affärskrav och efterlevnadsregler. Att underhålla säkerhetskopior under längre tidsperioder kan leda till extra lagringskostnader.

  • Säkerhetskopieringsfrekvens: Analysera säkerhetskopieringsfrekvensen för olika typer av data. Justera säkerhetskopieringsschemat baserat på dataändringarnas frekvens och datans betydelse. Dessa metoder hjälper till att eliminera onödiga säkerhetskopieringar och minska lagringskostnaderna.

Optimera filformat

Filformat påverkar kostnadsoptimeringen genom att optimera I/O-mönster (input/output) och frågemönster för dina data. Vissa filformat tillgodoser specifika scenarier. Om du justerar filformatet efter dina arbetsbelastningskrav kan du förbättra arbetsbelastningens prestanda.

Här är några saker att tänka på när det gäller vanliga format:

  • Avro: Avro-filformatet är ett bra val när du hanterar skrivintensiva I/O-mönster eller när frågemönster kräver att flera rader med poster hämtas i sin helhet. Avros serialiserings- och deserialiseringsprocesser är effektiva, så det är kompatibelt med meddelandebussar som Kafka som producerar en serie händelser och meddelanden i snabb följd.

  • Parquet- och Optimized Row Columnar (ORC): Filformaten Parquet och ORC är utmärkta i scenarier med läsintensiva I/O-mönster eller när frågemönstren fokuserar på specifika kolumner i posterna.

    Båda formaten är kolumnbaserad lagring, vilket innebär att data lagras kolumn för kolumn i stället för rad för rad. Columnar Storage möjliggör förbättrad komprimering och effektiva läsåtgärder. Det är bara de kolumner som krävs som behöver hämtas, så du undviker onödiga I/O för irrelevanta data.

Optimera lagringslösningar

Utvärdera och välj de lämpligaste lagringsmetoderna och systemen för dina data. Detta kan omfatta växling av databaser, användning av olika lagringstyper eller tillägg av cachelagringsmekanismer. Enkel hantering är en annan faktor att tänka på när du väljer en lagringslösning.

Genom att skräddarsy lagringslösningar efter specifika behov och egenskaper hos data kan du uppnå bättre kostnadseffektivitet samtidigt som du uppfyller kraven på prestanda och skalbarhet. Det finns kostnader för att växla databaser eller byta tjänster, men att lagra data i fel lagringslösning kan kosta extra pengar.

Här följer några användningsfall:

  • Växla databaser: Du kan överväga att byta till ett databassystem som passar dina behov bättre. Om du till exempel använder en relationsdatabas kan du utforska alternativet att flytta till en NoSQL-databas om dina data är mer dokumentorienterade eller kräver flexibla scheman.

  • Flytta från en relationsdatabas till ett platt filarkiv: I vissa fall kan lagring av data i flata filer i stället för en traditionell relationsdatabas ge fördelar som enkelhet och kostnadseffektivitet. Flata filer passar bra för vissa typer av data, till exempel loggfiler eller data som inte kräver komplexa frågor. Du kan till exempel lagra binära bilder i en SQL-databas, men det är mer kostnadseffektivt att lagra dem i en lagringstjänst som är specifikt för hantering av binära data.

  • Flytta från infrastruktur som en tjänst (IaaS) till plattform som en tjänst (PaaS): IaaS-databaslösningar kan vara tidskrävande och resursintensiva egenskaper som avleder ett tekniskt team från kärnuppgifter. Ökningen av datavolymen och utmaningarna med manuell skalning, säkerhetskopiering och infrastrukturunderhåll kan göra en PaaS-lösning mer kostnadseffektiv och effektiv.

  • Lägga till en cache: Om du vill minska resursanvändningen på huvuddatabasservern bör du överväga att använda en cachelösning för cachelagring av komplexa frågeresultat. Att ge databasservern behörighet kan hjälpa dig att optimera kostnaden. I tillämpliga användningsfall bör du överväga att använda TTL (Time to Live) med cachelagrade data för att minska lagringsbehoven och minska kostnaden.

  • Frågeoptimerade och datalagringslager: Frågeoptimerade butiker är utformade för snabb datahämtning och analys. De fokuserar på snabb datainmatning och läsningar, men inte frekventa uppdateringar. De är bra för tidsseriedata och snabb åtkomst till senaste data, men inte för tunga transaktionsaktiviteter.

    Datalagringslager hanterar stora mängder flexibla data, särskilt ostrukturerade eller halvstrukturerade data. Även om datalagringslager har stöd för analys kan komplexa uppgifter behöva specialiserade databaser. De är bäst för att lagra massor av variabeldata som loggar eller användargenererat innehåll i scenarier som NoSQL-användningsfall.

Azure-underlättande

Inventera data: Microsoft Purview är en familj av datastyrnings-, risk- och efterlevnadslösningar som kan hjälpa din organisation att styra, skydda och hantera hela din dataegendom. Microsoft Purview-lösningar ger integrerad täckning och hjälper till att åtgärda den senaste tidens ökningar av fjärranvändaranslutningar, fragmentering av data mellan organisationer och suddiga traditionella IT-hanteringsroller.

Optimera datahantering: Azure Storage och Azure Data Lake Storage har olika dataåtkomstnivåer. De erbjuder också principer för datalivscykelhantering som automatiserar datanivåindelning och kvarhållning.

Du kan använda en regelbaserad princip för att överföra blobdata till lämpliga åtkomstnivåer eller för att förfalla data i slutet av livscykeln. Med den här principen kan du överföra blobar från lågfrekvent (eller kall) till frekvent direkt när de används, för att optimera prestanda.

Optimera säkerhetskopieringar: Tjänsten Azure Backup innehåller flera funktioner för att effektivisera dina säkerhetskopior. Den innehåller funktioner som intern säkerhetskopiering av databaser och säkerhetskopiering av lagring via ögonblicksbilder av diskar. Den stöder säkerhetskopiering av virtuella datorer, långsiktig kvarhållning och säkerhetskopieringshantering.

Här är några av tjänstens funktioner:

  • Övervakning: Du kan använda Backup Center som en enda fönsterruta för att övervaka jobben och säkerhetskopiera inventeringen dagligen. Backup Center tillhandahåller ett gränssnitt för säkerhetskopieringsrapporter som använder Azure Monitor-loggar och Azure-arbetsböcker.

  • Rapporter: Säkerhetskopieringsrapporter erbjuder följande funktioner:

    • Allokera och prognostisera förbrukad molnlagring.
    • Granska säkerhetskopieringar och återställningar.
    • Identifiera viktiga trender på olika nivåer av kornighet.
    • Få insyn och insikter om möjligheter till kostnadsoptimering för dina säkerhetskopior.

  • Reserverad kapacitet: Azure Backup reserverad lagringskapacitet ger dig rabatt på kapaciteten för säkerhetskopieringsdata som lagras för valvstandardnivån när du förbinder dig till en reservation i antingen ett år eller tre år. En reservation tillhandahåller en fast mängd lagringskapacitet för säkerhetskopior under reservationens giltighetstid.

  • Arkivnivå: Du kan använda Azure Backup för att lagra säkerhetskopierade data, inklusive säkerhetskopieringsdata för långsiktig kvarhållning (LTR), enligt de kvarhållningsbehov som organisationens efterlevnadsregler definierar. I de flesta fall används sällan äldre säkerhetskopierade data och lagras endast för efterlevnadsbehov. Azure Backup stöder säkerhetskopiering av LTR-punkter på arkivnivån, förutom ögonblicksbilder och standardnivån.

Optimera lagringslösningar: Azure har många lagringslösningar. De erbjuder olika funktioner för att optimera kostnaderna baserat på dina specifika krav. Azure har vägledning som hjälper dig att välja rätt datalager.

Om du vill välja den lämpligaste lagringslösningen och konfigurationen är det viktigt att utvärdera dina dataåtkomstmönster, kvarhållningsbehov och prestandakrav. Genom att regelbundet övervaka och optimera din lagringsanvändning med hjälp av verktyg som Azure Advisor kan du optimera kostnaderna ytterligare.

Checklista för kostnadsoptimering

Se den fullständiga uppsättningen rekommendationer.

Checklista för kostnadsoptimering