Udostępnij za pośrednictwem

Konta magazynu blokowych obiektów blob w warstwie Premium

  • Artykuł

Konta magazynu blokowych obiektów blob w warstwie Premium udostępniają dane za pośrednictwem sprzętu o wysokiej wydajności. Dane są przechowywane na dyskach półprzewodnikowych (SSD), które są zoptymalizowane pod kątem małych opóźnień. Dyski SSD zapewniają większą przepływność w porównaniu z tradycyjnymi dyskami twardymi. Transfer plików jest znacznie szybszy, ponieważ dane są przechowywane na natychmiast dostępnych mikroukładach pamięci. Wszystkie części dysku dostępne jednocześnie. Natomiast wydajność dysku twardego (HDD) zależy od odległości danych od głowic odczytu/zapisu.

Obciążenia o wysokiej wydajności

Konta magazynu blokowych obiektów blob w warstwie Premium są idealne w przypadku obciążeń wymagających szybkich i spójnych czasów odpowiedzi i/lub dużej liczby operacji wejściowych na sekundę (IOP). Przykładowe obciążenia obejmują:

  • Obciążenia interakcyjne. Wysoce interaktywne i w czasie rzeczywistym aplikacje muszą szybko zapisywać dane. Aplikacje do handlu elektronicznego i mapowania często wymagają błyskawicznych aktualizacji i opinii użytkowników. Na przykład w aplikacji do handlu elektronicznego rzadziej wyświetlane elementy prawdopodobnie nie są buforowane. Muszą one jednak być natychmiast wyświetlane klientowi na żądanie. Interaktywne edytowanie lub wieloosobowe aplikacje do gier online zapewniają jakość, zapewniając aktualizacje w czasie rzeczywistym.

  • Analiza IoT/ przesyłania strumieniowego. W scenariuszu IoT wiele mniejszych operacji zapisu może być wypychanych do chmury co sekundę. Duże ilości danych mogą być pobierane, agregowane do celów analizy, a następnie usuwane niemal natychmiast. Wysokie możliwości pozyskiwania magazynu blokowych obiektów blob w warstwie Premium sprawiają, że jest wydajny dla tego typu obciążenia.

  • Sztuczna inteligencja/uczenie maszynowe (AI/ML) Sztuczna inteligencja/uczenie maszynowe zajmuje się zużyciem i przetwarzaniem różnych typów danych, takich jak wizualizacje, mowa i tekst. Ten typ obliczeń o wysokiej wydajności obciążenia obejmuje duże ilości danych, które wymagają szybkiego reagowania i wydajnego czasu pozyskiwania danych na potrzeby analizy danych.

Opłacalność

Konta magazynu blokowych obiektów blob w warstwie Premium mają wyższy koszt magazynowania, ale niższy koszt transakcji w porównaniu ze standardowymi kontami ogólnego przeznaczenia w wersji 2. Jeśli aplikacje i obciążenia wykonują dużą liczbę transakcji, magazyn blokowych obiektów blob w warstwie Premium może być opłacalny, zwłaszcza jeśli obciążenie jest duże.

W większości przypadków obciążenia wykonujące ponad 35–40 transakcji na sekundę na terabajt (TPS/TB) są dobrymi kandydatami dla tego typu konta. Jeśli na przykład obciążenie wykonuje 500 milionów operacji odczytu i 100 milionów operacji zapisu w ciągu miesiąca, możesz obliczyć moduł TPS/TB w następujący sposób:

  • Transakcje zapisu na sekundę = 100 000 000 / (30 x 24 x 60 x 60) = 39 (zaokrąglone do najbliższej liczby całkowitej)

  • Transakcje odczytu na sekundę = 500 000 000 / (30 x 24 x 60 x 60) = 193 (zaokrąglone do najbliższej liczby całkowitej)

  • Łączna liczba transakcji na sekundę = 193 + 39 = 232

  • Zakładając, że konto ma średnio 5 TB danych, wówczas TPS/TB będzie wynosić 230 / 5 = 46.

Uwaga

Ceny różnią się w zależności od operacji i regionu. Skorzystaj z kalkulatora cen platformy Azure , aby porównać ceny między warstwami wydajności w warstwie Standardowa i Premium.

W poniższej tabeli przedstawiono opłacalność kont magazynu blokowych obiektów blob w warstwie Premium. Liczby w tej tabeli są oparte na Azure Data Lake Storage Gen2 włączonym koncie magazynu blokowych obiektów blob w warstwie Premium (nazywanym również warstwą Premium dla Azure Data Lake Storage). Każda kolumna reprezentuje liczbę transakcji w miesiącu. Każdy wiersz reprezentuje procent transakcji, które są transakcjami odczytu. Każda komórka w tabeli przedstawia procent redukcji kosztów skojarzonych z procentem transakcji odczytu i liczbą wykonanych transakcji.

Załóżmy na przykład, że Twoje konto znajduje się w regionie Wschodnie stany USA 2, liczba transakcji z kontem przekracza 90 mln, a 70% tych transakcji to transakcje odczytu, konta magazynu blokowych blokowych obiektów blob w warstwie Premium są bardziej ekonomiczne.

Tabela wydajności

Uwaga

Jeśli wolisz ocenić opłacalność na podstawie liczby transakcji na sekundę dla każdego TB danych, możesz użyć nagłówków kolumn wyświetlanych w dolnej części tabeli.

Scenariusze w warstwie Premium

Ta sekcja zawiera rzeczywiste przykłady użycia magazynu blokowych obiektów blob w warstwie Premium przez niektórych partnerów usługi Azure Storage. Niektóre z nich umożliwiają również Azure Data Lake Storage Gen2, które wprowadza hierarchiczną strukturę plików, która może jeszcze bardziej zwiększyć wydajność transakcji w niektórych scenariuszach.

Porada

Jeśli masz przypadek użycia analizy, zdecydowanie zalecamy użycie Azure Data Lake Storage Gen2 wraz z kontem magazynu blokowych obiektów blob w warstwie Premium.

Ta sekcja zawiera następujące przykłady:

Szybkie nawilżenie danych

Magazyn blokowych obiektów blob w warstwie Premium może pomóc w szybkim działaniu środowiska. W branżach takich jak bankowość niektóre wymagania regulacyjne mogą wymagać od firm regularnego usuwania swoich środowisk, a następnie przywrócenia ich z powrotem od podstaw. Dane używane do nawodnienia środowiska muszą szybko ładować się.

Niektórzy nasi partnerzy przechowują kopię swojego wystąpienia bazy danych MongoDB co tydzień na koncie magazynu blokowych obiektów blob w warstwie Premium. System zostanie następnie zburzony. Aby szybko przywrócić system do trybu online, najnowsza kopia wystąpienia bazy danych MongoDB jest odczytywana i ładowana. W celach inspekcji poprzednie kopie są przechowywane w magazynie w chmurze przez pewien czas.

Aplikacje do edycji interakcyjnej

W aplikacjach, w których wielu użytkowników edytuje tę samą zawartość, szybkość aktualizacji staje się krytyczna dla bezproblemowego środowiska użytkownika.

Niektórzy z naszych partnerów opracowują oprogramowanie do edycji wideo. Każda aktualizacja, którą użytkownik wykonuje w filmie wideo, jest natychmiast widoczna dla innych użytkowników. Użytkownicy mogą skupić się na swoich zadaniach zamiast czekać na wyświetlenie aktualizacji zawartości. Małe opóźnienia związane z magazynem blokowych obiektów blob w warstwie Premium pomagają w tworzeniu tego bezproblemowego i wspólnego środowiska.

Oprogramowanie do wizualizacji danych

Jeśli czas renderowania jest szybki, użytkownicy mogą być znacznie wydajniej korzystający z oprogramowania do wizualizacji danych.

Widzieliśmy, jak firmy w branży mapowania używają edytorów map do wykrywania problemów z mapami. Te edytory używają danych generowanych na podstawie danych systemu globalnego pozycjonowania klienta (GPS). Aby utworzyć nakładanie się na mapę, oprogramowanie do edycji renderuje małe sekcje mapy, szybko wykonując wyszukiwanie kluczowych.

W jednym przypadku przed użyciem magazynu blokowych obiektów blob w warstwie Premium partner używał klastrów HBase wspieranych przez magazyn ogólnego przeznaczenia w wersji 2. Jednak utrzymanie dużych klastrów uruchomionych przez cały czas stało się kosztowne. Ten partner zdecydował się odejść od tej architektury i zamiast tego korzystał z magazynu blokowych obiektów blob w warstwie Premium na potrzeby szybkiego wyszukiwania kluczy. Aby utworzyć nakładające się na siebie, używali interfejsów API REST do renderowania kafelków odpowiadających współrzędnym GPS. Konto magazynu blokowych obiektów blob w warstwie Premium zapewniało im ekonomiczne rozwiązanie, a opóźnienia były znacznie bardziej przewidywalne.

Firmy handlu elektronicznego

Oprócz obsługi sklepów skierowanych do klientów firmy zajmujące się handlem elektronicznym mogą również udostępniać rozwiązania magazynowania i analizy danych zespołom wewnętrznym. Zobaczyliśmy, że partnerzy używają kont magazynu blokowych obiektów blob w warstwie Premium do obsługi wymagań dotyczących małych opóźnień dzięki tym rozwiązaniom do magazynowania i analizy danych. W jednym przypadku zespół wykazu utrzymuje aplikację magazynowania danych dla danych, które odnoszą się do ofert, cen, metod wysyłki, dostawców, zapasów i logistyki. Informacje są odpytywane, skanowane, wyodrębniane i wydobywane w wielu przypadkach użycia. Zespół prowadzi analizę tych danych, aby zapewnić różnym zespołom merchandising z odpowiednimi szczegółowymi informacjami i informacjami.

Interaktywna analiza

W prawie każdej branży istnieje potrzeba interaktywnego wykonywania zapytań i analizowania danych przez przedsiębiorstwa.

Analitycy danych, analitycy i deweloperzy mogą szybciej uzyskiwać szczegółowe informacje zależne od czasu dzięki uruchamianiu zapytań dotyczących danych przechowywanych na koncie magazynu blokowych obiektów blob w warstwie Premium. Kierownictwo może znacznie szybciej ładować pulpity nawigacyjne, gdy dane wyświetlane na tych pulpitach nawigacyjnych pochodzą z konta magazynu blokowych obiektów blob w warstwie Premium zamiast standardowego konta ogólnego przeznaczenia w wersji 2.

W jednym scenariuszu analitycy musieli szybko analizować dane telemetryczne z milionów urządzeń, aby lepiej zrozumieć sposób ich użycia i podejmować decyzje dotyczące wydawania produktów. Przechowywanie danych w bazach danych SQL jest kosztowne. Aby zmniejszyć koszty i zwiększyć obszar powierzchni z możliwością wykonywania zapytań, użyli Azure Data Lake Storage Gen2 konta magazynu blokowych obiektów blob w warstwie Premium i wykonali obliczenia w usługach Presto i Spark w celu uzyskania szczegółowych informacji z tabel hive. Dzięki temu nawet rzadko używane dane mają taką samą moc obliczeniową, jak często używane dane.

Aby zamknąć lukę między wydajnością podrzędną sql a operacjami danych wyjściowych danych wejściowych presto na sekundę (IOPs) do magazynu zewnętrznego, spójność i szybkość są krytyczne, szczególnie w przypadku obsługi małych zoptymalizowanych plików kolumnowych wierszy (ORC). Konto magazynu blokowych obiektów blob w warstwie Premium w przypadku użycia z Data Lake Storage Gen2 wielokrotnie demonstrowało 3X poprawę wydajności w porównaniu ze standardowym kontem ogólnego przeznaczenia w wersji 2 w tym scenariuszu. Zapytania są wykonywane wystarczająco szybko, aby czuć się lokalnie na maszynie obliczeniowej.

W innym przypadku partner przechowuje dzienniki i wykonuje zapytania, które są generowane na podstawie rozwiązania zabezpieczeń. Dzienniki są generowane przy użyciu usługi Databricks, a następnie przechowywane na koncie magazynu blokowych obiektów blob w warstwie Data Lake Storage Gen2 w warstwie Premium. Użytkownicy końcowi wysyłają zapytania o te dane i wyszukują je przy użyciu usługi Azure Data Explorer. Wybrali ten typ konta, aby zwiększyć stabilność i zwiększyć wydajność zapytań interakcyjnych. Określają one również zasady zarządzania cyklem Delete Action życia na kilka dni, co pomaga zmniejszyć koszty. Te zasady uniemożliwiają przechowywanie danych na zawsze. Zamiast tego dane są usuwane, gdy nie będą już potrzebne.

Potoki przetwarzania danych

W prawie każdej branży istnieje potrzeba, aby przedsiębiorstwa przetwarzały dane. Nieprzetworzone dane z wielu źródeł muszą zostać oczyszczone i przetworzone, aby ułatwić ich użycie w narzędziach podrzędnych, takich jak pulpity nawigacyjne danych, które ułatwiają użytkownikom podejmowanie decyzji.

Chociaż szybkość przetwarzania nie zawsze jest głównym problemem podczas przetwarzania danych, niektóre branże tego wymagają. Na przykład firmy w branży usług finansowych często muszą przetwarzać dane niezawodnie i w najszybszy możliwy sposób. Aby wykrywać oszustwa, firmy te muszą przetwarzać dane wejściowe z różnych źródeł, identyfikować zagrożenia dla swoich klientów i podejmować szybkie działania.

W niektórych przypadkach partnerzy używają wielu standardowych kont magazynu do przechowywania danych z różnych źródeł. Niektóre z tych danych są następnie przenoszone do Data Lake Storage włączonego konta magazynu blokowych obiektów blob w warstwie Premium, na którym aplikacja do przetwarzania danych często odczytuje nowo przychodzące dane. Wywołania listy katalogów na tym koncie były znacznie szybsze i wykonywane znacznie bardziej spójnie niż w przeciwnym razie były wykonywane na standardowym koncie ogólnego przeznaczenia w wersji 2. Szybkość i spójność oferowana przez konto zapewniała, że nowe dane są zawsze udostępniane systemom przetwarzania podrzędnego tak szybko, jak to możliwe. Ułatwiło to im szybkie przechwytywanie potencjalnych zagrożeń bezpieczeństwa i reagowanie na nie.

Internet rzeczy (IoT)

IoT stała się znaczącą częścią naszego codziennego życia. IoT służy do śledzenia ruchów samochodów, świateł kontrolnych i monitorowania naszego zdrowia. Ma również zastosowania przemysłowe. Na przykład firmy korzystają z IoT, aby umożliwić swoim projektom inteligentnej fabryki, poprawić produkcję rolną i na platformach naftowych na potrzeby konserwacji predykcyjnej. Konta magazynu blokowych obiektów blob w warstwie Premium dodają znaczącą wartość do tych scenariuszy.

Mamy partnerów w przemyśle wydobywczym. Używają Data Lake Storage Gen2 umożliwiają korzystanie z konta magazynu blokowych obiektów blob w warstwie Premium wraz z usługą HDInsight (Hbase) w celu pozyskiwania danych czujników szeregów czasowych z wielu typów urządzeń górniczych z bardzo obciążającym profilem obciążenia. Magazyn blokowych obiektów blob w warstwie Premium pomógł spełnić potrzeby pozyskiwania dużej liczby próbek. Jest to również opłacalne, ponieważ magazyn blokowych obiektów blob w warstwie Premium jest zoptymalizowany pod kątem obciążeń, które wykonują dużą liczbę transakcji zapisu, a to obciążenie generuje dużą liczbę małych transakcji zapisu (w dziesiątkach tysięcy na sekundę).

Usługa Machine Learning

W wielu przypadkach wiele danych musi zostać przetworzonych w celu wytrenowania modelu uczenia maszynowego. Aby ukończyć to przetwarzanie, maszyny obliczeniowe muszą działać przez długi czas. W porównaniu z kosztami magazynowania koszty obliczeń zwykle stanowią znacznie większy procent rachunku, więc skrócenie czasu działania maszyn obliczeniowych może prowadzić do znacznych oszczędności. Małe opóźnienie, które uzyskujesz przy użyciu magazynu blokowych obiektów blob w warstwie Premium, może znacznie skrócić ten czas i rachunek.

Mamy partnerów, którzy wdrażają potoki przetwarzania danych w klastrach spark, w których uruchamiają trenowanie i wnioskowanie uczenia maszynowego. Przechowują tabele platformy Spark (pliki parquet) i punkty kontrolne na koncie magazynu blokowych obiektów blob w warstwie Premium. Punkty kontrolne platformy Spark mogą tworzyć ogromną liczbę zagnieżdżonych plików i folderów. Operacje wyświetlania listy katalogów są szybkie, ponieważ łączyły małe opóźnienia konta magazynu blokowych obiektów blob w warstwie Premium z hierarchiczną strukturą danych udostępnioną za pomocą Data Lake Storage Gen2.

Mamy również partnerów w branży półprzewodników z przypadkami użycia, które przecinają IoT i uczenie maszynowe. Urządzenia IoT dołączone do maszyn w fabryce wykonują zdjęciaferów półprzewodnikowych i wysyłają je do ich konta. Korzystając z wnioskowania uczenia głębokiego, system może poinformować maszyny lokalne, jeśli występuje problem z produkcją i czy należy podjąć akcję. Mush mogą ładować i przetwarzać obrazy szybko i niezawodnie. Użycie Data Lake Storage Gen2 włączonego konta magazynu blokowych obiektów blob w warstwie Premium pomaga to umożliwić.

Analiza przesyłania strumieniowego w czasie rzeczywistym

Aby zapewnić obsługę interaktywnej analizy niemal w czasie rzeczywistym, system musi pozyskiwać i przetwarzać duże ilości danych, a następnie udostępniać te dane systemom podrzędnym. Korzystanie z konta magazynu blokowych obiektów blob w warstwie Data Lake Storage Gen2 w warstwie Premium jest idealne w przypadku tego typu scenariuszy.

Firmy w branży media i rozrywki mogą generować dużą liczbę dzienników i danych telemetrycznych w krótkim czasie, gdy emitują wydarzenie. Niektórzy z naszych partnerów korzystają z wielu partnerów usługi Content Delivery Network (CDN) na potrzeby przesyłania strumieniowego. Muszą podejmować decyzje niemal w czasie rzeczywistym dotyczące tego, do których partnerów CDN należy przydzielić ruch. W związku z tym dane muszą być dostępne do wykonywania zapytań przez kilka sekund po ich pozyskiwaniu. Aby ułatwić szybkie podejmowanie decyzji, używają danych przechowywanych w magazynie blokowych obiektów blob w warstwie Premium i przetwarzają te dane w usłudze Azure Data Explorer (ADX). Wszystkie dane telemetryczne przekazywane do magazynu są przekształcane w usłudze ADX, gdzie można je przechowywać w znanym formacie, który operatorzy i kierownicy mogą wykonywać zapytania szybko i niezawodnie.

Dane są przekazywane do wielu kont usługi Blob Storage o wydajności w warstwie Premium. Każde konto jest połączone z zasobem usługi Event Grid i centrum zdarzeń. Usługa ADX pobiera dane z usługi Blob Storage, wykonuje wszelkie wymagane przekształcenia w celu normalizacji danych (na przykład dekompresowanie plików zip lub konwertowanie z formatu JSON na csv). Następnie dane są udostępniane do wykonywania zapytań za pośrednictwem usługi ADX i pulpitów nawigacyjnych wyświetlanych w narzędziu Grafana. Pulpity nawigacyjne narzędzia Grafana są używane przez operatorów, kadrę kierowniczą i innych użytkowników. Klient zachowuje swoje oryginalne dzienniki w magazynie wydajności w warstwie Premium lub kopiuje je na konto magazynu ogólnego przeznaczenia w wersji 2, na którym mogą być przechowywane w warstwie dostępu Gorąca lub Chłodna na potrzeby długoterminowego przechowywania i analizy w przyszłości.

Wprowadzenie do wersji Premium

Najpierw upewnij się, że ulubione funkcje usługi Blob Storage są zgodne z kontami magazynu blokowych obiektów blob w warstwie Premium, a następnie utwórz konto.

Uwaga

Nie można przekonwertować istniejącego konta magazynu ogólnego przeznaczenia w wersji 2 na konto magazynu blokowych obiektów blob w warstwie Premium. Aby przeprowadzić migrację do konta magazynu blokowych obiektów blob w warstwie Premium, musisz utworzyć konto magazynu blokowych obiektów blob w warstwie Premium i przeprowadzić migrację danych do nowego konta.

Sprawdzanie zgodności funkcji usługi Blob Storage

Niektóre funkcje usługi Blob Storage nie są jeszcze obsługiwane lub mają częściową obsługę na kontach magazynu blokowych obiektów blob w warstwie Premium. Przed wybraniem warstwy Premium zapoznaj się z artykułem Obsługa funkcji usługi Blob Storage na kontach usługi Azure Storage , aby określić, czy funkcje, które mają być używane, są w pełni obsługiwane na twoim koncie. Obsługa funkcji jest zawsze rozszerzana, dlatego należy okresowo przeglądać ten artykuł pod kątem aktualizacji.

Tworzenie nowego konta magazynu

Aby utworzyć konto magazynu blokowych obiektów blob w warstwie Premium, wybierz opcję Wydajność Premium i typ konta Blokowe obiekty blob podczas tworzenia konta.

Tworzenie konta blockblobstorageacount

Uwaga

Niektóre funkcje usługi Blob Storage nie są jeszcze obsługiwane lub mają częściową obsługę na kontach magazynu blokowych obiektów blob w warstwie Premium. Przed wybraniem warstwy Premium zapoznaj się z artykułem Obsługa funkcji usługi Blob Storage na kontach usługi Azure Storage , aby określić, czy funkcje, które mają być używane, są w pełni obsługiwane na twoim koncie. Obsługa funkcji jest zawsze rozszerzana, dlatego należy okresowo przeglądać ten artykuł pod kątem aktualizacji.

Jeśli twoje konto magazynu będzie używane do analizy, zdecydowanie zalecamy użycie Azure Data Lake Storage Gen2 wraz z kontem magazynu blokowych obiektów blob w warstwie Premium. Aby odblokować Azure Data Lake Storage Gen2 możliwości, włącz ustawienie Hierarchiczna przestrzeń nazw na karcie Zaawansowane na stronie Tworzenie konta magazynu.

Na poniższej ilustracji przedstawiono to ustawienie na stronie Tworzenie konta magazynu .

Ustawienie hierarchicznej przestrzeni nazw

Aby uzyskać pełne wskazówki, zobacz Tworzenie konta magazynu .

Zobacz też