Учетные записи хранения блочных BLOB-объектов категории "Премиум"
Хранилище блочных BLOB-объектов уровня "Премиум" предоставляет доступ к данным через высокопроизводительное оборудование. Данные хранятся на твердотельных накопителях (SSD), оптимизированных для низкой задержки. SSD обеспечивают более высокую пропускную способность по сравнению с традиционными жесткими дисками. Передача файлов происходит гораздо быстрее, так как данные хранятся в микросхемах мгновенно доступной памяти. Все части диска доступны одновременно. С другой стороны, производительность жесткого диска (HDD) зависит от близости данных к головкам для чтения и записи.
Рабочие нагрузки, требующие высокой производительности
Учетные записи хранения блочных BLOB-объектов (цен. категория "Премиум") идеально подходят для рабочих нагрузок, которые требуют малого и согласованного времени отклика и (или) выполняют большое количество операций ввода в секунду. Ниже приведены примеры рабочих нагрузок.
Интерактивные рабочие нагрузки. Высокоинтерактивные приложения реального времени должны быстро записывать данные. Приложения для электронной коммерции и навигации часто требуют мгновенного обновления и обратной связи от пользователей. Например, в приложении электронной коммерции редко просматриваемые элементы, скорее всего, не кэшируются. Однако они должны отображаться мгновенно по запросу клиента. Приложения для интерактивного редактирования и многопользовательские игры обеспечивают высокое качество использования благодаря обновлениям в режиме реального времени.
Интернет вещей или потоковая аналитика. При использовании Интернета вещей в облако ежесекундно отправляется множество небольших операций записи. Специалисты могут собирать большие объемы данных, обобщать их для целей анализа, а затем практически сразу же удалять. Благодаря высокой степени приема данных хранилище блочных BLOB-объектов уровня "Премиум" является эффективным решением для этого типа рабочей нагрузки.
Искусственный интеллект и машинное обучение (ИИ и ML) . ИИ и ML связаны с использованием и обработкой различных типов данных, таких как визуальные элементы, речь и текст. Такой высокопроизводительный тип вычислительной рабочей нагрузки предназначен для больших объемов данных, для анализа которых требуется быстрое время ответа и эффективное время приема.
Экономичность
Хранение данных в учетных записях хранения блочных BLOB-объектов (цен. категория "Премиум") обходится дороже, но цена транзакций для них ниже, чем для учетных записей общего назначения версии 2 (цен. категория "Стандартный"). Если приложения и рабочие нагрузки выполняют большое количество транзакций, хранилище блочных BLOB-объектов ценовой категории "Премиум" может быть экономичным, особенно если рабочая нагрузка с большим объемом операций записи.
В большинстве случаев этот тип учетной записи подойдет для рабочих нагрузок с 35–40 транзакциями в секунду на терабайт (TPS/TB). Например, если ваша рабочая нагрузка выполняет 500 миллионов операций чтения и 100 миллионов операций записи в месяц, то вы можете вычислить это соотношение следующим образом.
Транзакций записи в секунду: 100 000 000 / (30 x 24 x 60 x 60) = 39 (округлено до целого числа)
Транзакций чтения в секунду: 500 000 000 / (30 x 24 x 60 x 60) = 193 (округлено до целого числа)
Всего транзакций в секунду: 193 + 39 = 232
Если предположить, что в вашей учетной записи были данные со средним размером в 5 ТБ, то соотношение TPS/TB будет равно 230 / 5 = 46.
Примечание
Цены для разных операций и регионов отличаются. Используйте калькулятор цен Azure для сравнения цен между уровнями производительности "Стандартный" и "Премиум".
В следующей таблице показана рентабельность затрат для учетных записей хранения блочных BLOB-объектов (цен. категория "Премиум"). Числа в этой таблице основаны на учетной записи хранения блочных BLOB-объектов уровня "Премиум" с поддержкой Azure Data Lake Storage 2-го поколения (также называемой уровнем "Премиум" для Azure Data Lake Storage). Каждый столбец представляет количество транзакций за один месяц. Каждая строка представляет процент транзакций, которые являются транзакциями чтения. Каждая ячейка в таблице содержит процент снижения затрат в зависимости от процента транзакций чтения и количества выполненных транзакций.
Например, если ваша учетная запись находится в регионе "Восточная часть США 2", количество транзакций с вашей учетной записью превышает 90 млн, а 70 % из них являются транзакциями чтения, то учетные записи хранения блочных BLOB-объектов (цен. категория "Премиум") являются более экономически выгодным для вас.
Примечание
Если вы предпочитаете оценивать экономичность на основании количества транзакций в секунду для каждого ТБ данных, можно использовать заголовки столбцов, которые отображаются в нижней части таблицы.
Сценарии для уровня "Премиум"
В этом разделе содержатся реальные примеры того, как наши партнеры, использующие службу хранилища Azure, применяют блочное хранилище BLOB-объектов (цен. категория "Премиум"). Некоторые из них также используют Azure Data Lake Storage 2-го поколения, что обеспечивает иерархическую структуру файлов, которая может дополнительно повысить производительность транзакций в определенных сценариях.
Совет
Если у вас есть пример использования для аналитики, настоятельно рекомендуется применять Azure Data Lake Storage 2-го поколения с учетной записью хранения блочных BLOB-объектов (цен. категория "Премиум").
Этот раздел содержит следующие примеры.
- Учетные записи хранения блочных BLOB-объектов категории "Премиум"
Быстрая расконсервация данных
Хранилище блочных BLOB-объектов (цен. категория "Премиум") поможет вам быстрее расконсервировать или запустить вашу среду. В таких отраслях, как банковские услуги, некоторые нормативные требования могут предписывать, чтобы компании регулярно разрушали свою среду, а затем восстанавливали ее из резервной копии с нуля. Данные, используемые для расконсервации среды, должны загружаться быстро.
Некоторые наши партнеры каждую неделю сохраняют копию экземпляра MongoDB в учетной записи хранения блочных BLOB-объектов (цен. категория "Премиум"). После этого система уничтожается. Чтобы быстро восстановить работоспособность системы, считывается и загружается последняя копия экземпляра MongoDB. В целях аудита предыдущие копии сохраняются в облачном хранилище в течение определенного периода времени.
Приложения для интерактивного редактирования
В приложениях, где несколько пользователей редактируют одно и то же содержимое, скорость обновления становится критически важной для удобной работы.
Некоторые наши партнеры разрабатывают программное обеспечение для редактирования видео. Любое изменение, которое пользователь вносит в видео, сразу же отображается для других пользователей. Пользователи могут сосредоточиться на своих задачах, не дожидаясь появления обновлений содержимого. Низкие задержки, связанные с хранилищем блочных BLOB-объектов (цен. категория "Премиум"), помогают реализовать этот простой процесс совместной работы.
Программное обеспечение для визуализации данных
При быстрой отрисовке пользователи могут работать в программном обеспечении для визуализации данных гораздо продуктивнее.
Мы видели, как компании в отрасли навигации используют редакторы сопоставлений для обнаружения проблем в картах. В этих редакторах используются данные, которые создаются на основе данных глобальной системы позиционирования (GPS) клиента. Чтобы создавать перекрывающиеся карты, редактор выполняет отрисовку небольших секций карты, быстро выполняя поиск ключей.
В одном случае перед внедрением хранилища блочных BLOB-объектов (цен. категория "Премиум") партнер использовал кластеры HBase на основе хранилища общего назначения версии 2 (цен. категория "Стандартный"). Тем не менее, постоянно использовать большие кластеры стало слишком дорого. Этот партнер решил отказаться от этой архитектуры и вместо нее использовал хранилище блочных BLOB-объектов (цен. категория "Премиум"), чтобы обеспечить быстрый поиск ключей. Для создания перекрытий использовался интерфейс REST API, который отображал фрагменты, соответствующие координатам GPS. Благодаря учетной записи хранения блочных BLOB-объектов (цен. категория "Премиум") они получили экономичное решение и намного более предсказуемые задержки.
Предприятия электронной коммерции
Помимо поддержки магазинов для клиентов, предприятия электронной коммерции также могут предоставлять внутренним командам решения для хранения данных и аналитики. Мы наблюдали, как партнеры используют учетные записи хранения блочных BLOB-объектов (цен. категория "Премиум") для обеспечения низкой задержки, требуемой для этих решений для хранения и аналитики данных. В одном случае команда по управлению каталогами обслуживает приложение для хранения данных, связанных с предложениями, ценами, способами доставки, поставщиками, складскими запасами и логистикой. Данные запрашиваются, сканируются, извлекаются и анализируются для нескольких вариантов использования. Команда выполняет аналитический анализ этих данных, чтобы предоставить различным маркетинговым командам актуальные полезные сведения и информацию.
Интерактивная аналитика
Почти в каждой отрасли предприятиям требуется запрашивать и анализировать данные в интерактивном режиме.
Специалисты по обработке и анализу данных, аналитики и разработчики могут быстрее получать скоротечные сведения, выполняя запросы к данным, хранящимся в учетной записи хранения блочных BLOB-объектов (цен. категория "Премиум"). Руководители могут быстрее загружать свои панели мониторинга, когда данные, которые отображаются на этих панелях мониторинга, поступают из учетной записи хранения блочных BLOB-объектов (цен. категория "Премиум"), а не из учетной записи общего назначения версии 2 (цен. категория "Стандартный").
В одном случае аналитикам необходимо было быстро анализировать данные телеметрии с миллионов устройств, чтобы лучше понять, как используются продукты компании, и принимать решения о выпуске продуктов. Хранить данные в базах данных SQL довольно дорого. Чтобы снизить затраты и увеличить контактную зону запросов, они использовали учетную запись хранения блочных BLOB-объектов (цен. категория "Премиум") с поддержкой Azure Data Lake Storage 2-го поколения. Вычисления для получения полезных сведений из таблиц куста выполнялись в Presto и Spark. Таким образом даже для редко запрашиваемых данных обеспечиваются те же возможности, что и для часто используемых данных.
Чтобы устранить отставание между операциями SQL, выполняемыми за доли секунды, и операциями ввода-вывода в секунду Presto для внешнего хранилища, крайне важна согласованность и скорость, особенно при работе с небольшими ORC-файлами. При использовании учетной записи хранения блочных BLOB-объектов (цен. категория "Премиум") с Data Lake Storage 2-го поколения в данном сценарии из раза в раз наблюдалось троекратное увеличение производительности по сравнению с учетной записью общего назначения версии 2 (цен. категория "Стандартный"). Запросы выполняются достаточно быстро, чтобы они ощущались как локальные на компьютерах.
В другом случае партнер хранит и запрашивает журналы, созданные его решением для обеспечения безопасности. Журналы создаются с помощью Databricks, а затем сохраняются в учетной записи хранения блочных BLOB-объектов (цен. категория "Премиум") с поддержкой Data Lake Storage 2-го поколения. Пользователи могут запрашивать и искать эти данные с помощью Azure Data Explorer. Эта компания выбрала данный тип учетной записи для повышения стабильности и производительности интерактивных запросов. Кроме того, этот партнер установил политику управления жизненным циклом Delete Action за несколько дней, что помогает снизить затраты. Эта политика предотвращает постоянное хранение данных. Вместо этого данные удаляются, когда они больше не нужны.
Конвейеры обработки данных
Почти в каждой отрасли требуется, чтобы предприятия обрабатывали данные. Необработанные данные из нескольких источников необходимо очищать и обрабатывать, чтобы их можно было использовать в дальнейшем в таких инструментах, как панели мониторинга данных, которые помогают пользователям принимать решения.
Хотя скорость обработки не всегда является приоритетной задачей при обработке данных, она требуется для некоторых отраслей. Например, компаниям в сфере финансовых услуг часто требуется надежный и максимально быстрый способ обработки данных. Чтобы обнаруживать мошенничество, эти компании должны обрабатывать входные данные из различных источников, выявлять риски для своих клиентов и быстро принимать меры.
В некоторых случаях мы видели, что партнеры используют несколько учетных записей хранения (цен. категория "Стандартный") для хранения данных из различных источников. Часть этих данных затем перемещается в учетную запись хранения блочных BLOB-объектов (цен. категория "Премиум") с поддержкой Data Lake Storage 2-го поколения, где приложение для обработки данных часто считывает поступающие данные. Вызовы для вывода списка содержимого каталога в этой учетной записи выполнялись гораздо быстрее и согласованнее, чем в учетной записи общего назначения версии 2 (цен. категория "Стандартный"). Благодаря скорости и согласованности, обеспечиваемой этой учетной записью, новые данные всегда максимально быстро становились доступными нижестоящим системам обработки. Это помогло компании быстро выявлять потенциальные угрозы безопасности и реагировать на них.
Интернет вещей.
Интернет вещей стал важной частью нашей повседневной жизни. Интернет вещей используется для отслеживания движения автомобилей, управления освещением и отслеживания нашего здоровья. Он также используется в промышленности. Например, компании используют Интернет вещей для поддержки проектов интеллектуальных фабрик, повышения производительности сельскохозяйственных предприятий и прогнозируемого обслуживания нефтяных вышек. Учетная запись хранения блочных BLOB-объектов (цен. категория "Премиум") была очень полезна в данных сценариях.
У нас есть партнеры в горнодобывающей отрасли. Они используют учетную запись хранения блочных BLOB-объектов (цен. категория "Премиум") с поддержкой Data Lake Storage 2-го поколения и HDInsight (Hbase) для приема данных временных рядов от датчиков различного горнодобывающего оборудования с весьма трудоемким профилем нагрузки. Хранилище блочных BLOB-объектов (цен. категория "Премиум") помогло удовлетворить их потребность в высокой частоте приема выборок. Кроме того, это экономичное решение, так как хранилище блочных BLOB-объектов (цен. категория "Премиум") оптимизировано для рабочих нагрузок, которые выполняют большое количество операций записи, а эта рабочая нагрузка порождает большое количество мелких операций записи (десятки тысяч в секунду).
Машинное обучение
Во многих случаях для обучения модели машинного обучения необходимо обработать большой объем данных. Для выполнения этой обработки компьютеры должны работать в течение долгого времени. По сравнению с затратами на хранилище затраты на вычисления обычно составляют значительно больший процент суммы в счете. Поэтому сокращение времени работы компьютеров может привести к значительной экономии. Низкая задержка, получаемая при использовании хранилища блочных BLOB-объектов (цен. категория "Премиум"), может значительно сократить время работы и сумму в выставленном счете.
У нас есть партнеры, которые развертывают конвейеры обработки данных в кластерах Spark, где они выполняют обучение моделей машинного обучения и вывод их данных. Они сохраняют таблицы Spark (PARQUET-файлы) и контрольные точки в учетную запись хранения блочных BLOB-объектов (цен. категория "Премиум"). Контрольные точки Spark могут создавать большое количество вложенных файлов и папок. Операции вывода списка содержимого каталога выполняются быстро, так как они совместили низкую задержку учетной записи хранения блочных BLOB-объектов (цен. категория "Премиум") с иерархической структурой данных, обеспечиваемой Data Lake Storage 2-го поколения.
У нас также есть партнеры в отрасли производства полупроводников, в вариантах использования которых пересекаются Интернет вещей и машинное обучение. Устройства Интернета вещей, подключенные к компьютерам завода, снимают изображения полупроводниковых пластин и отправляют их в учетную запись. Используя вывод с поддержкой глубокого обучения, система может сообщать локальным компьютерам о проблемах с производством и необходимости принять меры. Для этого требуется надежный и быстрый способ загружать и обрабатывать изображения. Это можно сделать с помощью учетной записи хранения блочных BLOB-объектов (цен. категория "Премиум") с поддержкой Data Lake Storage 2-го поколения.
Потоковая аналитика в реальном времени
Для поддержки интерактивной аналитики почти в реальном времени система должна принимать и обрабатывать большие объемы данных, а затем предоставлять их нижестоящим системам. Для подобных сценариев отлично подходит учетная запись хранения блочных BLOB-объектов (цен. категория "Премиум") с поддержкой Data Lake Storage 2-го поколения.
Компании, работающие в сфере мультимедиа и развлечений, при трансляции мероприятия могут за короткий период времени создать большое количество журналов и данных телеметрии. Некоторые наши партнеры используют для потоковой передачи несколько партнеров CDN. Они должны практически в реальном времени принимать решения о том, каким партнерам CDN выделять трафик. Следовательно, данные должны быть доступны для запроса через несколько секунд после того, как они получены. Для упрощения быстрого принятия решений используются данные, размещенные в хранилище блочных BLOB-объектов (цен. категория "Премиум"), которые обрабатываются в Azure Data Explorer (ADX). Все данные телеметрии, переданные в хранилище, преобразовываются в ADX, где их можно хранить в привычном формате, который операторы и руководители могут запрашивать быстрым и надежным способом.
Данные передаются в несколько учетных записей хранения BLOB-объектов с уровнем производительности "Премиум". Каждая учетная запись подключена к Сетке событий и ресурсу концентратора событий. ADX извлекает данные из хранилища BLOB-объектов и выполняет необходимые преобразования, чтобы нормализовать данные (например, извлекает содержимое ZIP-файлов или преобразовывает JSON в CSV). Затем данные становятся доступными для запроса с помощью ADX и отображения на панелях мониторинга в Grafana. Панели мониторинга Grafana используются операторами, руководителями и другими пользователями. Клиент сохраняет исходные журналы в хранилище с уровнем производительности "Премиум" или копирует их в учетную запись хранения общего назначения версии 2, где их можно долго хранить на горячем или холодном уровне доступа для дальнейшего анализа.
Начало работы с уровнем производительности "Премиум"
Сначала убедитесь, что ваши избранные функции Хранилища BLOB-объектов совместимы с учетными записями хранения блочных BLOB-объектов (цен. категория "Премиум"), а затем создайте учетную запись.
Примечание
Имеющуюся учетную запись хранения общего назначения версии 2 (цен. категория "Стандартный") невозможно преобразовать в учетную запись хранения блочных BLOB-объектов (цен. категория "Премиум"). Чтобы выполнить переход на учетную запись хранения блочных BLOB-объектов (цен. категория "Премиум"), необходимо создать ее и перенести в нее данные.
Проверка совместимости функций Хранилища BLOB-объектов
Некоторые функции Хранилища BLOB-объектов пока не поддерживаются или только частично поддерживаются в учетных записях хранения блочных BLOB-объектов (цен. категория "Премиум"). Прежде чем выбрать уровень производительности "Премиум", прочитайте раздел Поддержка функций Хранилища BLOB-объектов в учетных записях службы хранилища Azure, чтобы определить, полностью ли поддерживаются функции, которые вы намерены использовать в своей учетной записи. Поддержка функций постоянно расширяется, поэтому периодически просматривайте эту статью.
Создание учетной записи хранения
Чтобы создать учетную запись хранения блочных BLOB-объектов (цен. категория "Премиум"), обязательно выберите уровень производительности Премиум и тип учетной записи Блочные BLOB-объекты.
Примечание
Некоторые функции Хранилища BLOB-объектов пока не поддерживаются или только частично поддерживаются в учетных записях хранения блочных BLOB-объектов (цен. категория "Премиум"). Прежде чем выбрать уровень производительности "Премиум", прочитайте раздел Поддержка функций Хранилища BLOB-объектов в учетных записях службы хранилища Azure, чтобы определить, полностью ли поддерживаются функции, которые вы намерены использовать в своей учетной записи. Поддержка функций постоянно расширяется, поэтому периодически просматривайте эту статью.
Если ваша учетная запись хранения будет использоваться для аналитики, настоятельно рекомендуем использовать Azure Data Lake Storage 2-го поколения вместе с учетной записью хранения блочных BLOB-объектов уровня "Премиум". Чтобы получить доступ к возможностям Data Lake Storage 2-го поколения, включите параметр Иерархическое пространство имен на вкладке Дополнительно на странице Создание учетной записи хранения.
На следующем рисунке показан этот параметр на странице Создание учетной записи хранения.
Полное руководство приведено в разделе Создание учетной записи хранения.