Повышение производительности операций записи и чтения кластеров HBase

Завершено

Вы можете повысить производительность операций чтения и записи в HDInsight HBase с помощью функции ускоренной записи. Давайте теперь рассмотрим влияние функции ускорения записи на производительность записи.

Без ускоренной записи

Во время развертывания кластера функция ускоренной записи в Azure HDInsight подключает управляемый диск SSD категории "Премиум" к каждому региональному серверу HBase (рабочему узлу). Журналы упреждающего протоколирования (WAL) записываются в распределенную файловую систему Hadoop (HDFS), подключенную к управляемым дискам SSD категории "Премиум", а не к страничным BLOB-объектам Azure.

Управляемые диски SSD категории "Премиум" обеспечивают гораздо более высокую производительность записи и повышают производительность операций ввода-вывода в кластере с обеспечением отказоустойчивости.

Accelerated Writes feature within HBase.

Клиенты все чаще требуют, чтобы задержка операций записи и чтения была как можно ниже. Разделение вычислений и хранилища в HDInsight HBase обеспечивает гибкость, масштабируемость, надежность и экономию при масштабировании для клиентов, а также сокращает задержку для операций записи и чтения по сети. Несмотря на то что эта задержка подходит для большинства клиентов, клиенты, которым требуется чрезвычайно низкая задержка операций записи и чтения, могут воспользоваться преимуществами функции ускоренной записи в HDInsight HBase.

С ускоренной записью

Производительность чтения

По умолчанию HDInsight HBase подготавливает учетную запись хранения типа "Хранилище (общего назначения версии 1)". Чтобы повысить производительность чтения, можно задать хранилище блочных BLOB-объектов категории "Премиум" вместо категории "Хранилище (общего назначения версии 1)", чтобы повысить производительность операций чтения.

Создайте учетную запись хранилища блочных BLOB-объектов категории "Премиум", прежде чем приступать к процессу создания кластера.

Create a storage account.

Во время создания кластера назначьте блочный BLOB-объект категории "Премиум" в качестве основной учетной записи хранения для кластера, как показано ниже. Блоки категории "Премиум" отображаются только в том случае, если выбран параметр Включить ускоренную запись.

Mapping the storage account in a HDInsight Cluster.

Рекомендации по управлению производительностью HDInsight HBase представлены на странице Устранение неполадок с производительностью HBase.

Производительность записи

В стандартном предложении HDInsight HBase журналы упреждающего протоколирования (WAL) хранятся в страничных BLOB-объектах Azure. Это отлично подходит для большинства клиентов, однако для некоторых критически важных приложений, которым требуются неизменно низкая задержка и высокая пропускная способность для операций ввода-вывода, несогласованные задержки в журналах WAL, которые хранятся в страничных BLOB-объектах, могут стать узким местом для производительности записи HBase.

HBase Write Ahead Logs (WAL) stored in Azure Page Blobs.