Обеспечение высокого уровня доступности данных с помощью Apache Kafka в HDInsight
Узнайте, как настроить реплики секций для разделов Apache Kafka, чтобы воспользоваться преимуществами конфигураций базовых аппаратных стоек. Эта конфигурация обеспечивает доступность данных, хранящихся в Apache Kafka в HDInsight.
Домены сбоя и обновления с Apache Kafka
Домен сбоя — это логическое объединение базового оборудования в центре обработки данных Azure. Все домены сбоя используют общий источник питания и сетевой коммутатор. Виртуальные машины и управляемые диски, на которых реализуются узлы в кластере HDInsight, распределяются по этим доменам сбоя. Такая архитектура ограничивает потенциальное влияние сбоев физического оборудования.
В каждом регионе Azure есть определенное количество доменов сбоя. Список доменов и количество доменов сбоя в них см. в документации о группах доступности.
Важно!
В Kafka нет сведений о доменах сбоя. При создании раздела в Kafka все реплики секций могут храниться в одном домене сбоя. Чтобы решить эту проблему, HDInsight предоставляет средство перераспределения секций Kafka.
Когда следует перераспределять реплики секций?
Чтобы обеспечить максимально высокий уровень доступности данных Kafka, следует перераспределять реплики секций для раздела в следующих случаях:
при создании раздела или секции;
при масштабировании кластера.
Коэффициент репликации
Важно!
Мы рекомендуем использовать регион Azure с тремя доменами сбоя и коэффициент репликации 3.
Если необходимо указать регион с двумя доменами сбоя, используйте коэффициент репликации 4, чтобы равномерно распределить реплики на этих доменах.
Примеры создания разделов и настройки коэффициента репликации см. в статье Краткое руководство по созданию Apache Kafka в кластере HDInsight.
Как перераспределять реплики секций?
Воспользуйтесь средством перераспределения секций Apache Kafka, чтобы перераспределить выбранные разделы. Это средство следует запускать из сеанса SSH на главном узле кластера Kafka.
Дополнительные сведения о подключении к HDInsight с помощью SSH см. в статье Подключение к HDInsight (Hadoop) с помощью SSH.