Premium blok-blob-opslagaccounts
Premium blok-blobopslagaccounts maken gegevens beschikbaar via hardware met hoge prestaties. Gegevens worden opgeslagen op SSD's (Solid-State Drives) die zijn geoptimaliseerd voor lage latentie. SCHIJVEN bieden een hogere doorvoer in vergelijking met traditionele harde schijven. Bestandsoverdracht is veel sneller omdat gegevens worden opgeslagen op direct toegankelijke geheugenchips. Alle delen van een station zijn in één keer toegankelijk. De prestaties van een harde schijf (HDD) daarentegen zijn afhankelijk van de nabijheid van gegevens bij de lees-/schrijfkoppen.
Workloads met hoge prestaties
Premium blok-blob-opslagaccounts zijn ideaal voor workloads die snelle en consistente reactietijden vereisen en/of een groot aantal invoeruitvoerbewerkingen per seconde (IOP) hebben. Voorbeelden van workloads zijn:
Interactieve workloads. Zeer interactieve en realtime toepassingen moeten snel gegevens schrijven. E-commerce- en toewijzingstoepassingen vereisen vaak directe updates en feedback van gebruikers. In een e-commercetoepassing worden bijvoorbeeld minder vaak bekeken items waarschijnlijk niet in de cache opgeslagen. Ze moeten echter onmiddellijk op aanvraag aan de klant worden weergegeven. Interactieve bewerkings- of online gamingtoepassingen voor meerdere spelers behouden een kwaliteitservaring door realtime updates te bieden.
IoT/streaming analytics. In een IoT-scenario kunnen elke seconde veel kleinere schrijfbewerkingen naar de cloud worden gepusht. Grote hoeveelheden gegevens kunnen worden opgenomen, samengevoegd voor analysedoeleinden en vervolgens vrijwel onmiddellijk worden verwijderd. De hoge opnamemogelijkheden van premium blok-blobopslag maken het efficiënt voor dit type werkbelasting.
Kunstmatige intelligentie/machine learning (AI/ML). AI/ML houdt zich bezig met het verbruik en de verwerking van verschillende gegevenstypen, zoals visuals, spraak en tekst. Dit high-performance computing-type werkbelasting behandelt grote hoeveelheden gegevens waarvoor een snelle reactie en efficiënte opnametijden voor gegevensanalyse nodig zijn.
Voordelig
Premium blok-blobopslagaccounts hebben hogere opslagkosten, maar lagere transactiekosten in vergelijking met standaard v2-accounts voor algemeen gebruik. Als uw toepassingen en workloads een groot aantal transacties uitvoeren, kan premium blok-blobopslag rendabel zijn, met name als de werkbelasting veel schrijfbewerkingen heeft.
In de meeste gevallen zijn workloads die meer dan 35 tot 40 transacties per seconde per terabyte (TPS/TB) uitvoeren goede kandidaten voor dit type account. Als uw workload bijvoorbeeld 500 miljoen leesbewerkingen en 100 miljoen schrijfbewerkingen in een maand uitvoert, kunt u de TPS/TB als volgt berekenen:
Schrijftransacties per seconde = 100.000.000 / (30 x 24 x 60 x 60) = 39 (afgerond op het dichtstbijzijnde gehele getal)
Leestransacties per seconde = 500.000.000 / (30 x 24 x 60 x 60) = 193 (afgerond op het dichtstbijzijnde gehele getal)
Totaal aantal transacties per seconde = 193 + 39 = 232
Ervan uitgaande dat uw account gemiddeld 5 TB gegevens had, zou TPS/TB 230 / 5 = 46 zijn.
Notitie
Prijzen verschillen per bewerking en per regio. Gebruik de Azure-prijscalculator om prijzen te vergelijken tussen de Standard- en Premium-prestatiecategorieën.
In de volgende tabel ziet u de kosteneffectiviteit van premium blok-blobopslagaccounts. De getallen in deze tabel zijn gebaseerd op een premium blok-blobopslagaccount met Azure Data Lake Storage Gen2 ingeschakeld (ook wel de Premium-laag voor Azure Data Lake Storage genoemd). Elke kolom vertegenwoordigt het aantal transacties in een maand. Elke rij vertegenwoordigt het percentage transacties dat leestransacties zijn. Elke cel in de tabel bevat het percentage van de kostenbesparing dat is gekoppeld aan een leestransactiepercentage en het aantal uitgevoerde transacties.
Als bijvoorbeeld wordt aangenomen dat uw account zich in de regio VS - oost 2 bevindt, het aantal transacties met uw account groter is dan 90 miljoen en 70% van die transacties leestransacties zijn, zijn premium blok-blobopslagaccounts rendabeler.
Notitie
Als u de kosteneffectiviteit liever evalueert op basis van het aantal transacties per seconde voor elke TB aan gegevens, kunt u de kolomkoppen gebruiken die onder aan de tabel worden weergegeven.
Premium-scenario's
Deze sectie bevat praktijkvoorbeelden van hoe sommige van onze Azure Storage-partners premium blok-blobopslag gebruiken. Sommige maken ook Azure Data Lake Storage Gen2 mogelijk die een hiërarchische bestandsstructuur introduceert die de transactieprestaties in bepaalde scenario's verder kan verbeteren.
Tip
Als u een analysegebruiksscenario hebt, raden we u ten zeerste aan Azure Data Lake Storage Gen2 te gebruiken in combinatie met een Premium blok-blob-opslagaccount.
Deze sectie bevat de volgende voorbeelden:
- Premium blok-blob-opslagaccounts
Snelle gegevenshydrateer
Premium blok-blobopslag kan u helpen uw omgeving snel te hydrateren of op te halen. In sectoren zoals het bankwezen kunnen bepaalde wettelijke vereisten ertoe verplichten dat bedrijven regelmatig hun omgevingen afbreken en deze vervolgens weer helemaal opnieuw op de schop zetten. De gegevens die worden gebruikt om hun omgeving te hydrateren, moeten snel worden geladen.
Sommige van onze partners slaan elke week een kopie van hun MongoDB-exemplaar op in een premium blok-blobopslagaccount. Het systeem wordt vervolgens afgebroken. Als u het systeem snel weer online wilt krijgen, wordt het meest recente exemplaar van het MongoDB-exemplaar gelezen en geladen. Voor controledoeleinden worden eerdere kopieën gedurende een bepaalde periode bewaard in cloudopslag.
Interactieve bewerkingstoepassingen
In toepassingen waarbij meerdere gebruikers dezelfde inhoud bewerken, wordt de snelheid van updates essentieel voor een soepele gebruikerservaring.
Sommige van onze partners ontwikkelen videobewerkingssoftware. Elke update die een gebruiker aan een video aanbrengt, is onmiddellijk zichtbaar voor andere gebruikers. Gebruikers kunnen zich concentreren op hun taken in plaats van te wachten totdat inhoudsupdates worden weergegeven. De lage latenties die zijn gekoppeld aan premium blok-blobopslag, helpen om deze naadloze samenwerkingservaring te creëren.
Software voor gegevensvisualisatie
Gebruikers kunnen veel productiever zijn met software voor gegevensvisualisatie als de weergavetijd snel verloopt.
We hebben gezien dat bedrijven in de toewijzingsindustrie toewijzingseditors gebruiken om problemen met kaarten te detecteren. Deze editors gebruiken gegevens die worden gegenereerd op basis van GPS-gegevens (Global Positioning System) van klanten. Als u overlappende kaarten wilt maken, geeft de bewerkingssoftware kleine secties van een kaart weer door snel belangrijke zoekacties uit te voeren.
In één geval, voordat een partner premium blok-blobopslag gebruikte, gebruikte een partner HBase-clusters die worden ondersteund door standaard v2-opslag voor algemeen gebruik. Het werd echter duur om grote clusters altijd actief te houden. Deze partner besloot deze architectuur te verlaten en gebruikte in plaats daarvan premium blok-blobopslag voor snelle sleutelzoekacties. Om overlappingen te maken, gebruikten ze REST API's om tegels weer te geven die overeenkomen met GPS-coördinaten. Het premium blok-blob-opslagaccount bood hen een kosteneffectieve oplossing en latenties waren veel voorspelbaarder.
E-commercebedrijven
Naast het ondersteunen van hun klantgerichte winkels, kunnen e-commercebedrijven ook oplossingen voor datawarehousing en analyse bieden aan interne teams. We hebben gezien dat partners premium blok-blobopslagaccounts gebruiken om de lage latentievereisten van deze datawarehousing- en analyseoplossingen te ondersteunen. In één geval onderhoudt een catalogusteam een datawarehousingtoepassing voor gegevens die betrekking hebben op aanbiedingen, prijzen, verzendmethoden, leveranciers, inventaris en logistiek. Gegevens worden opgevraagd, gescand, geëxtraheerd en ontgonnen voor meerdere gebruiksvoorbeelden. Het team voert analyses uit op deze gegevens om verschillende merchandisingteams relevante inzichten en informatie te bieden.
Interactieve analyse
In bijna elke branche is er behoefte aan bedrijven om interactief query's uit te voeren op hun gegevens en deze te analyseren.
Gegevenswetenschappers, analisten en ontwikkelaars kunnen sneller tijdgevoelige inzichten afleiden door query's uit te voeren op gegevens die zijn opgeslagen in een premium blok-blobopslagaccount. Leidinggevenden kunnen hun dashboards veel sneller laden wanneer de gegevens die in deze dashboards worden weergegeven, afkomstig zijn van een premium blok-blobopslagaccount in plaats van een standaard v2-account voor algemeen gebruik.
In één scenario moesten analisten snel telemetriegegevens van miljoenen apparaten analyseren om beter te begrijpen hoe hun producten worden gebruikt en om beslissingen te nemen over de release van producten. Het opslaan van gegevens in SQL-databases is duur. Om de kosten te verlagen en de oppervlakte waarop query's kunnen worden uitgevoerd, te vergroten, gebruikten ze een Azure Data Lake Storage Gen2 premium blok-blobopslagaccount en voerden berekeningen uit in Presto en Spark om inzichten te verkrijgen op basis van Hive-tabellen. Op deze manier hebben zelfs zelden geopende gegevens dezelfde rekenkracht als veelgebruikte gegevens.
Om de kloof te dichten tussen de prestaties van MINDER dan een seconde van SQL en de invoeruitvoerbewerkingen per seconde (IOPS) van Presto naar externe opslag, zijn consistentie en snelheid essentieel, met name bij kleine, geoptimaliseerde ORC-bestanden (row columnar). Een Premium blok-blob-opslagaccount in combinatie met Data Lake Storage Gen2 heeft in dit scenario herhaaldelijk een prestatieverbetering van 3x aangetoond ten opzichte van een standaard v2-account voor algemeen gebruik. Query's worden snel genoeg uitgevoerd om lokaal te voelen op de rekenmachine.
In een ander geval slaat een partner logboeken op die worden gegenereerd op basis van de beveiligingsoplossing en voert een query uit. De logboeken worden gegenereerd met behulp van Databricks en vervolgens opgeslagen in een Data Lake Storage Gen2 premium blok-blob-opslagaccount. Eindgebruikers zoeken deze gegevens op met behulp van Azure Data Explorer. Ze hebben dit type account gekozen om de stabiliteit te verbeteren en de prestaties van interactieve query's te verbeteren. Ze stellen ook het levenscyclusbeheerbeleid Delete Action in op een paar dagen, waardoor de kosten worden verlaagd. Dit beleid voorkomt dat ze de gegevens voor altijd bewaren. In plaats daarvan worden gegevens verwijderd zodra ze niet meer nodig zijn.
Pijplijnen voor gegevensverwerking
In bijna elke branche is er behoefte aan ondernemingen om gegevens te verwerken. Onbewerkte gegevens uit meerdere bronnen moeten worden opgeschoond en verwerkt, zodat ze nuttig worden voor downstreamverbruik in hulpprogramma's zoals gegevensdashboards waarmee gebruikers beslissingen kunnen nemen.
Hoewel de snelheid van de verwerking niet altijd de grootste zorg is bij het verwerken van gegevens, is dit in sommige branches vereist. Zo moeten bedrijven in de financiële dienstverlening gegevens vaak betrouwbaar en zo snel mogelijk verwerken. Om fraude te detecteren, moeten deze bedrijven invoer uit verschillende bronnen verwerken, risico's voor hun klanten identificeren en snel actie ondernemen.
In sommige gevallen hebben we gezien dat partners meerdere standaardopslagaccounts gebruiken om gegevens uit verschillende bronnen op te slaan. Sommige van deze gegevens worden vervolgens verplaatst naar een premium blok-blobopslagaccount met Data Lake Storage ingeschakeld, waar een toepassing voor gegevensverwerking regelmatig nieuw binnenkomende gegevens leest. Aanroepen van adreslijsten in dit account waren veel sneller en werden veel consistenter uitgevoerd dan anders zouden worden uitgevoerd in een standaard v2-account voor algemeen gebruik. De snelheid en consistentie van het account zorgden ervoor dat nieuwe gegevens altijd zo snel mogelijk beschikbaar waren voor downstreamverwerkingssystemen. Hierdoor konden ze potentiële beveiligingsrisico's snel ondervangen en erop reageren.
Internet der dingen (IoT)
IoT is een belangrijk onderdeel van ons dagelijks leven geworden. IoT wordt gebruikt om autobewegingen bij te houden, lichten te besturen en onze gezondheid te bewaken. Het heeft ook industriële toepassingen. Bedrijven gebruiken bijvoorbeeld IoT om hun smart factory-projecten mogelijk te maken, de landbouwoutput te verbeteren en op boorplatforms voor voorspellend onderhoud. Premium blok-blobopslagaccounts voegen aanzienlijke waarde toe aan deze scenario's.
We hebben partners in de mijnbouw. Ze gebruiken een Data Lake Storage Gen2 premium blok-blobopslagaccounts samen met HDInsight (Hbase) in te schakelen voor het opnemen van tijdreekssensorgegevens van meerdere typen mijnbouwapparatuur, met een zeer belastend belastingsprofiel. Premium blok-blobopslag heeft geholpen om te voldoen aan hun behoefte aan opname met een hoge steekproeffrequentie. Het is ook rendabel, omdat premium blok-blobopslag kosten is geoptimaliseerd voor workloads die een groot aantal schrijftransacties uitvoeren, en deze workload genereert een groot aantal kleine schrijftransacties (in de tienduizenden per seconde).
Machine Learning
In veel gevallen moeten er veel gegevens worden verwerkt om een machine learning-model te trainen. Als u deze verwerking wilt voltooien, moeten rekenmachines lange tijd worden uitgevoerd. Vergeleken met de opslagkosten zijn de rekenkosten meestal goed voor een veel hoger percentage van uw factuur, dus het verminderen van de hoeveelheid tijd die uw rekenmachines uitvoeren, kan leiden tot aanzienlijke besparingen. De lage latentie die u krijgt door premium blok-blobopslag te gebruiken, kan deze tijd en uw factuur aanzienlijk verminderen.
We hebben partners die pijplijnen voor gegevensverwerking implementeren in Spark-clusters waar ze machine learning-training en -deductie uitvoeren. Ze slaan Spark-tabellen (Parquet-bestanden) en controlepunten op in een premium blok-blobopslagaccount. Spark-controlepunten kunnen een groot aantal geneste bestanden en mappen maken. De bewerkingen voor directory-vermeldingen zijn snel omdat ze de lage latentie van een premium blok-blobopslagaccount hebben gecombineerd met de hiërarchische gegevensstructuur die beschikbaar is gemaakt met Data Lake Storage Gen2.
We hebben ook partners in de halfgeleiderindustrie met gebruiksvoorbeelden die IoT en machine learning snijden. IoT-apparaten die zijn gekoppeld aan machines in de productie-fabriek, maken afbeeldingen van halfgeleider-wafers en verzenden deze naar hun account. Met deep learning-deductie kan het systeem de on-premises machines informeren als er een probleem is met de productie en of er een actie moet worden ondernomen. Ze kunnen afbeeldingen snel en betrouwbaar laden en verwerken. Het gebruik van Data Lake Storage Gen2 ingeschakeld premium blok-blob-opslagaccount helpt dit mogelijk te maken.
Realtime streaming-analyse
Om interactieve analyses in bijna realtime te ondersteunen, moet een systeem grote hoeveelheden gegevens opnemen en verwerken en die gegevens vervolgens beschikbaar maken voor downstreamsystemen. Het gebruik van een premium blok-blobopslagaccount met Data Lake Storage Gen2 ingeschakeld is perfect voor dit soort scenario's.
Bedrijven in de media- en entertainmentindustrie kunnen tijdens het uitzenden van een gebeurtenis in korte tijd een groot aantal logboeken en telemetriegegevens genereren. Sommige van onze partners zijn voor streaming afhankelijk van meerdere CDN-partners (Content Delivery Network). Ze moeten bijna in realtime beslissingen nemen over aan welke CDN-partners verkeer moet worden toegewezen. Daarom moeten gegevens een paar seconden nadat deze zijn opgenomen, beschikbaar zijn voor het uitvoeren van query's. Om deze snelle besluitvorming mogelijk te maken, gebruiken ze gegevens die zijn opgeslagen in premium blok-blobopslag en verwerken ze die gegevens in Azure Data Explorer (ADX). Alle telemetrie die naar de opslag wordt geüpload, wordt getransformeerd in ADX, waar deze kan worden opgeslagen in een vertrouwde indeling waar operators en leidinggevenden snel en betrouwbaar query's op kunnen uitvoeren.
Gegevens worden geüpload naar meerdere Blob Storage-accounts met premiumprestaties. Elk account is verbonden met een Event Grid- en Event Hub-resource. ADX haalt de gegevens op uit Blob Storage, voert alle vereiste transformaties uit om de gegevens te normaliseren (bijvoorbeeld: zip-bestanden decomprimeren of converteren van JSON naar CSV). Vervolgens worden de gegevens beschikbaar gesteld voor query's via ADX en dashboards die worden weergegeven in Grafana. Grafana-dashboards worden gebruikt door operators, leidinggevenden en andere gebruikers. De klant bewaart de oorspronkelijke logboeken in Premium Performance Storage of kopieert deze naar een v2-opslagaccount voor algemeen gebruik, waar ze kunnen worden opgeslagen in de dynamische of statische toegangslaag voor langetermijnretentie en toekomstige analyse.
Aan de slag met Premium
Controleer eerst of uw favoriete Blob Storage-functies compatibel zijn met premium blok-blobopslagaccounts en maak vervolgens het account.
Notitie
U kunt een bestaand standaard v2-opslagaccount voor algemeen gebruik niet converteren naar een premium blok-blobopslagaccount. Als u wilt migreren naar een premium blok-blob-opslagaccount, moet u een Premium blok-blobopslagaccount maken en de gegevens migreren naar het nieuwe account.
Controleren op compatibiliteit met Blob Storage-functies
Sommige Blob Storage-functies worden nog niet ondersteund of hebben gedeeltelijke ondersteuning in Premium-blok-blobopslagaccounts. Voordat u Premium kiest, raadpleegt u het artikel Blob Storage-functieondersteuning in Azure Storage-accounts om te bepalen of de functies die u wilt gebruiken, volledig worden ondersteund in uw account. Ondersteuning voor functies wordt altijd uitgebreid, dus zorg ervoor dat u dit artikel regelmatig bekijkt op updates.
Een nieuw opslagaccount maken
Als u een premium blok-blobopslagaccount wilt maken, moet u de optie Premium-prestaties en het accounttype Blokblobs kiezen terwijl u het account maakt.
Notitie
Sommige Blob Storage-functies worden nog niet ondersteund of hebben gedeeltelijke ondersteuning in Premium-blok-blobopslagaccounts. Voordat u Premium kiest, raadpleegt u het artikel Blob Storage-functieondersteuning in Azure Storage-accounts om te bepalen of de functies die u wilt gebruiken, volledig worden ondersteund in uw account. Ondersteuning voor functies wordt altijd uitgebreid, dus zorg ervoor dat u dit artikel regelmatig bekijkt op updates.
Als uw opslagaccount wordt gebruikt voor analyses, raden we u ten zeerste aan Azure Data Lake Storage Gen2 te gebruiken in combinatie met een Premium blok-blob-opslagaccount. Als u Azure Data Lake Storage Gen2 mogelijkheden wilt ontgrendelen, schakelt u de instelling Hiërarchische naamruimte in op het tabblad Geavanceerd van de pagina Opslagaccount maken.
In de volgende afbeelding ziet u deze instelling op de pagina Opslagaccount maken .
Zie Een opslagaccount maken voor volledige hulp.