Azure HDInsight является одной из самых популярных среди корпоративных клиентов служб для аналитики с открытым кодом в Azure.
Подпишитесь на заметки о выпуске HDInsight, чтобы получить актуальные сведения о HDInsight и всех версиях HDInsight.
Чтобы подписаться, нажмите кнопку "Смотреть" в баннере и следите за выпусками HDInsight.
Информация о выпуске
Дата выпуска: 22 октября 2024 г.
Примечание
Это выпуск исправлений или обслуживания для поставщика ресурсов. Дополнительные сведения см. в разделе "Поставщик ресурсов".
Azure HDInsight периодически выпускает обновления обслуживания для доставки исправлений ошибок, улучшений производительности и исправлений для системы безопасности, гарантирующих актуальность этих обновлений, гарантирует оптимальную производительность и надежность.
Это примечание о выпуске относится к
ВЕРСИЯ HDInsight 5.1.
Версия HDInsight 5.0.
Версия HDInsight 4.0.
Выпуск HDInsight будет доступен всем регионам в течение нескольких дней. Это примечание о выпуске применимо к номеру образа 2409240625.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Сведения о конкретных версиях рабочей нагрузки см. в версиях компонентов HDInsight 5.x.
Обновлено
Поддержка проверки подлинности на основе MSI для хранилища BLOB-объектов Azure.
Azure HDInsight теперь поддерживает проверку подлинности на основе OAuth для доступа к хранилищу BLOB-объектов Azure, используя Azure Active Directory (AAD) и управляемые удостоверения (MSI). Благодаря этому улучшению HDInsight использует управляемые удостоверения, назначаемые пользователем, для доступа к хранилищу BLOB-объектов Azure. Дополнительные сведения см. в статье об управляемых удостоверениях для ресурсов Azure.
Служба HDInsight перенесена на использование стандартных подсистем балансировки нагрузки для всех конфигураций кластера из-за нерекомендуемого объявления базовой подсистемы балансировки нагрузки Azure.
Примечание
Это изменение доступно во всех регионах. Создайте кластер для использования этого изменения. Для любой помощи обратитесь в службу поддержки.
Важно!
При использовании собственных виртуальная сеть (настраиваемая виртуальная сеть) во время создания кластера следует учесть, что создание кластера не будет выполнено после включения этого изменения. Мы рекомендуем ссылаться на руководство по миграции для повторного создания кластера.
Для любой помощи обратитесь в службу поддержки.
31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD).
Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.
Мы слушаем: вы можете добавить дополнительные идеи и другие темы здесь и проголосовать за них - HDInsight Ideas и следовать нам за дополнительными обновлениями в сообществе AzureHDInsight.
Примечание
Мы советуем клиентам использовать последние версии образов HDInsight, так как они приносят лучшие открытый код обновления, обновления Azure и исправления безопасности. Дополнительные сведения см. в статье " Рекомендации".
Дата выпуска: 30 августа 2024 г.
Примечание
Это выпуск исправлений или обслуживания для поставщика ресурсов. Дополнительные сведения см. в разделе "Поставщик ресурсов".
Azure HDInsight периодически выпускает обновления обслуживания для доставки исправлений ошибок, улучшений производительности и исправлений для системы безопасности, гарантирующих актуальность этих обновлений, гарантирует оптимальную производительность и надежность.
Это примечание о выпуске относится к
ВЕРСИЯ HDInsight 5.1.
Версия HDInsight 5.0.
Версия HDInsight 4.0.
Выпуск HDInsight будет доступен всем регионам в течение нескольких дней. Это примечание о выпуске применимо для номера образа 2407260448.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD).
Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.
Мы слушаем: вы можете добавить дополнительные идеи и другие темы здесь и проголосовать за них - HDInsight Ideas и следовать нам за дополнительными обновлениями в сообществе AzureHDInsight.
Примечание
Мы советуем клиентам использовать последние версии образов HDInsight, так как они приносят лучшие открытый код обновления, обновления Azure и исправления безопасности. Дополнительные сведения см. в статье с рекомендациями.
Дата выпуска: 09 августа 2024 г.
Это примечание о выпуске относится к
ВЕРСИЯ HDInsight 5.1.
Версия HDInsight 5.0.
Версия HDInsight 4.0.
Выпуск HDInsight будет доступен всем регионам в течение нескольких дней. Это примечание о выпуске применимо для номера образа 2407260448.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Действующий номер изображения 2407260448, клиенты, использующие портал для log analytics, будут иметь интерфейс агента Azure Monitor по умолчанию. Если вы хотите перейти на интерфейс Azure Monitor (предварительная версия), вы можете закрепить кластеры на старые образы, создав запрос на поддержку.
Дата выпуска: 05 июля 2024 г.
Примечание
Это выпуск исправлений или обслуживания для поставщика ресурсов. Дополнительные сведения см. в разделе "Поставщик ресурсов"
Устраненные проблемы
Теги HOBO перезаписывают теги пользователей.
Теги HOBO перезаписывают теги пользователей в вложенных ресурсах в создании кластера HDInsight.
Дата выпуска: 19 июня 2024 г.
Это примечание о выпуске относится к
ВЕРСИЯ HDInsight 5.1.
Версия HDInsight 5.0.
Версия HDInsight 4.0.
Выпуск HDInsight будет доступен всем регионам в течение нескольких дней. Это примечание о выпуске применимо для номера образа 2406180258.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Улучшения в HDInsight Log Analytics с поддержкой управляемых системных удостоверений для поставщика ресурсов HDInsight.
Добавление нового действия для обновления mdsd версии агента для старого образа (созданного до 2024 г.).
Включение MISE в шлюзе в рамках продолжающегося улучшения для миграции MSAL.
Включите сервер Httpheader hiveConf Thrift Spark в Jetty HTTP ConnectionFactory.
Вернуть RANGER-3753 и RANGER-3593.
Реализация, указанная в выпуске setOwnerUser Ranger 2.3.0, имеет критически важную регрессию при использовании Hive. В Ranger 2.3.0, когда HiveServer2 пытается оценить политики, клиент Ranger пытается получить владельца таблицы hive, вызвав хранилище метаданных в функции setOwnerUser, которая по сути вызывает хранилище для проверки доступа к этой таблице. Эта проблема приводит к медленному выполнению запросов при запуске Hive в Ranger версии 2.3.0.
31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD).
Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.
Мы слушаем: вы можете добавить дополнительные идеи и другие темы здесь и проголосовать за них - HDInsight Ideas и следовать нам за дополнительными обновлениями в сообществе AzureHDInsight.
Примечание
Мы советуем клиентам использовать последние версии образов HDInsight, так как они приносят лучшие открытый код обновления, обновления Azure и исправления безопасности. Дополнительные сведения см. в статье с рекомендациями.
Дата выпуска: 16 мая 2024 г.
Это примечание о выпуске относится к
Версия HDInsight 5.0.
Версия HDInsight 4.0.
Выпуск HDInsight будет доступен всем регионам в течение нескольких дней. Это примечание о выпуске применимо к номеру образа 2405081840.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Сведения о конкретных версиях рабочей нагрузки см. в версиях компонентов HDInsight 5.x.
Исправленные проблемы
Добавлен API в шлюзе для получения маркера для Keyvault в рамках инициативы SFI.
В новой таблице монитора HDInsightSparkLogs журнала для типа SparkDriverLogжурнала некоторые поля отсутствуют. Например, LogLevel & Message. Этот выпуск добавляет отсутствующие поля в схемы и фиксированное форматирование для SparkDriverLog.
Журналы Livy недоступны в таблице мониторинга SparkDriverLog Log Analytics, которая возникла из-за проблемы с путем источника журнала Livy и синтаксического анализа журналов в SparkLivyLog конфигурациях.
Любой кластер HDInsight, использующий ADLS 2-го поколения в качестве основной учетной записи хранения, может использовать доступ на основе MSI к любому из ресурсов Azure (например, SQL, Keyvaults), который используется в коде приложения.
31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD).
Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.
Мы слушаем: вы можете добавить дополнительные идеи и другие темы здесь и проголосовать за них - HDInsight Ideas и следовать нам за дополнительными обновлениями в сообществе AzureHDInsight.
Примечание
Мы советуем клиентам использовать последние версии образов HDInsight, так как они приносят лучшие открытый код обновления, обновления Azure и исправления безопасности. Дополнительные сведения см. в статье с рекомендациями.
Дата выпуска: 15 апреля 2024 г.
Это примечание о выпуске относится к HDInsight 5.1 версии.
Выпуск HDInsight будет доступен всем регионам в течение нескольких дней. Это примечание о выпуске применимо к номеру образа 2403290825.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD).
Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.
Мы слушаем: вы можете добавить дополнительные идеи и другие темы здесь и проголосовать за них - HDInsight Ideas и следовать нам за дополнительными обновлениями в сообществе AzureHDInsight.
Примечание
Мы советуем клиентам использовать последние версии образов HDInsight, так как они приносят лучшие открытый код обновления, обновления Azure и исправления безопасности. Дополнительные сведения см. в статье с рекомендациями.
Дата выпуска: 15 февраля 2024 г.
Этот выпуск относится к версиям HDInsight 4.x и 5.x. Выпуск HDInsight будет доступен всем регионам в течение нескольких дней. Этот выпуск применим для номера образа 2401250802.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Поддержка Apache Ranger для Spark SQL в Spark 3.3.0 (HDInsight версии 5.1) с корпоративным пакетом безопасности. Дополнительные сведения см. здесь.
Исправленные проблемы
Исправления безопасности из компонентов Ambari и Oozie
Скоро
Базовые и стандартные виртуальные машины серии A.
31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD).
Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.
Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure.
Мы слушаем: вы можете добавить дополнительные идеи и другие темы здесь и проголосовать за них - HDInsight Идеи и следовать нам за дополнительными обновлениями в сообществе AzureHDInsight
Примечание
Мы советуем клиентам использовать последние версии образов HDInsight, так как они приносят лучшие открытый код обновления, обновления Azure и исправления безопасности. Дополнительные сведения см. в статье с рекомендациями.
Azure HDInsight является одной из самых популярных среди корпоративных клиентов служб для аналитики с открытым кодом в Azure.
Если вы хотите подписаться на заметки о выпуске, перейдите в этот репозиторий GitHub.
Дата выпуска: 10 января 2024 г.
Этот выпуск исправлений относится к версиям HDInsight 4.x и 5.x. Выпуск HDInsight будет доступен всем регионам в течение нескольких дней. Этот выпуск применим для номера образа 2401030422.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Исправления безопасности из компонентов Ambari и Oozie
Скоро
Базовые и стандартные виртуальные машины серии A.
31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD).
Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.
Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure.
Мы слушаем: вы можете добавить дополнительные идеи и другие темы здесь и проголосовать за них - HDInsight Идеи и следовать нам за дополнительными обновлениями в сообществе AzureHDInsight
Примечание
Мы советуем клиентам использовать последние версии образов HDInsight, так как они приносят лучшие открытый код обновления, обновления Azure и исправления безопасности. Дополнительные сведения см. в статье с рекомендациями.
Дата выпуска: 26 октября 2023 г.
Этот выпуск относится к выпуску HDInsight 4.x и 5.x HDInsight, который будет доступен всем регионам в течение нескольких дней. Этот выпуск применим для номера образа 2310140056.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Сведения о конкретных версиях рабочей нагрузки см. в разделе
HDInsight объявляет о общедоступной доступности HDInsight 5.1, начиная с 1 ноября 2023 г. В этом выпуске выполняется полное обновление стека для компонентов открытый код и интеграции от Корпорации Майкрософт.
Последняя версия с открытым исходным кодом — HDInsight 5.1 поставляется с последней стабильной версией с открытым исходным кодом. Клиенты могут воспользоваться всеми новейшими функциями открытый код, улучшениями производительности Майкрософт и исправлениями ошибок.
Безопасная — последние версии поставляются с последними исправлениями безопасности, исправлениями безопасности с открытым исходным кодом и улучшениями безопасности корпорации Майкрософт.
Более низкий уровень производительности — благодаря улучшению производительности клиенты могут снизить операционные затраты, а также повысить автомасштабирование.
Разрешения кластера для безопасного хранилища
Клиенты могут указать (во время создания кластера), следует ли использовать безопасный канал для узлов кластера HDInsight для подключения учетной записи хранения.
Создание кластера HDInsight с помощью пользовательских виртуальных сетей.
Чтобы повысить общую безопасность кластеров HDInsight, кластеры HDInsight с помощью пользовательских виртуальных сетей должны убедиться, что пользователю необходимо иметь разрешение на Microsoft Network/virtualNetworks/subnets/join/action выполнение операций создания. Клиент может столкнуться с ошибками создания, если эта проверка не включена.
Отличные от ESP ABFS кластеры [разрешения кластера для Word Readable]
Кластеры ABFS, отличные от ESP, ограничивают пользователей группы Hadoop от выполнения команд Hadoop для операций хранения. Это изменение повышает уровень безопасности кластера.
Обновление квоты в строке.
Теперь вы можете запросить увеличение квоты непосредственно с страницы "Моя квота", при этом прямой вызов API гораздо быстрее. В случае сбоя вызова API можно создать новый запрос на поддержку для увеличения квоты.
Скоро
Максимальная длина имени кластера будет сокращена с 59 до 45 символов, чтобы повысить уровень безопасности. Это изменение будет развернуто во всех регионах, начиная с предстоящего выпуска.
Базовые и стандартные виртуальные машины серии A.
31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD).
Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.
Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure.
Мы слушаем: вы можете добавить дополнительные идеи и другие темы здесь и проголосовать за них - HDInsight Идеи и следовать нам за дополнительными обновлениями в сообществе AzureHDInsight
Примечание
В этом выпуске рассматриваются следующие CVEs, выпущенные MSRC 12 сентября 2023 года. Действие заключается в обновлении до последней версии образа 2308221128 или 2310140056. Клиентам рекомендуется планировать соответствующим образом.
Уязвимость, связанная с повышением привилегий планировщика рабочих процессов Apache Oozie в Azure HDInsight
Примените действие скрипта в своих кластерах или обновите образ до версии 2310140056
Примечание
Мы советуем клиентам использовать последние версии образов HDInsight, так как они приносят лучшие открытый код обновления, обновления Azure и исправления безопасности. Дополнительные сведения см. в статье с рекомендациями.
Дата выпуска: 7 сентября 2023 г.
Этот выпуск относится к выпуску HDInsight 4.x и 5.x HDInsight, который будет доступен всем регионам в течение нескольких дней. Этот выпуск применим для номера образа 2308221128.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Сведения о конкретных версиях рабочей нагрузки см. в разделе
В этом выпуске рассматриваются следующие CVEs, выпущенные MSRC 12 сентября 2023 года. Действие заключается в обновлении до последней версии образа 2308221128. Клиентам рекомендуется планировать соответствующим образом.
Максимальная длина имени кластера будет сокращена с 59 до 45 символов, чтобы повысить уровень безопасности. Это изменение будет реализовано 30 сентября 2023 г.
Разрешения кластера для безопасного хранилища
Клиенты могут указать (во время создания кластера), следует ли использовать безопасный канал для узлов кластера HDInsight для связи с учетной записью хранения.
Обновление квоты в строке.
Квоты запросов увеличиваются непосредственно с страницы "Моя квота", которая будет прямым вызовом API, который быстрее. Если вызов APdI завершается сбоем, клиенты должны создать новый запрос на поддержку для увеличения квоты.
Создание кластера HDInsight с помощью пользовательских виртуальных сетей.
Чтобы повысить общую безопасность кластеров HDInsight, кластеры HDInsight с помощью пользовательских виртуальных сетей должны убедиться, что пользователю необходимо иметь разрешение на Microsoft Network/virtualNetworks/subnets/join/action выполнение операций создания. Клиентам потребуется соответствующим образом планировать это изменение, чтобы избежать сбоев создания кластера до 30 сентября 2023 года.
Базовые и стандартные виртуальные машины серии A.
31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD). Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.
Отказоустойчивые кластеры ABFS [разрешения кластера для Word Readable]
Запланируйте изменение в кластерах ABFS, отличных от ESP, что ограничивает пользователей группы, отличных от Hadoop, выполнять команды Hadoop для операций хранения. Это изменение для улучшения состояния безопасности кластера. Клиентам необходимо планировать обновления до 30 сентября 2023 г.
Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure.
Вы можете добавить дополнительные предложения и идеи и другие темы здесь и проголосовать за них - HDInsight Community (azure.com).
Примечание
Мы советуем клиентам использовать последние версии образов HDInsight, так как они приносят лучшие открытый код обновления, обновления Azure и исправления безопасности. Дополнительные сведения см. в статье с рекомендациями.
Дата выпуска: 25 июля 2023 г.
Этот выпуск относится к выпуску HDInsight 4.x и 5.x HDInsight, который будет доступен всем регионам в течение нескольких дней. Этот выпуск применим для номера образа 2307201242.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Сведения о конкретных версиях рабочей нагрузки см. в разделе
HDInsight 5.1 теперь поддерживается в кластере ESP.
Обновленная версия Ranger 2.3.0 и Oozie 5.2.1 теперь являются частью HDInsight 5.1
Кластер Spark 3.3.1 (HDInsight 5.1) поставляется с соединителем хранилища Hive (HWC) 2.1, который работает вместе с кластером интерактивных запросов (HDInsight 5.1).
В этом выпуске рассматриваются следующие CVEs, выпущенные MSRC 8 августа 2023 года. Действие заключается в обновлении до последней версии образа 2307201242. Клиентам рекомендуется планировать соответствующим образом.
Максимальная длина имени кластера будет сокращена с 59 до 45 символов, чтобы повысить уровень безопасности. Клиентам необходимо планировать обновления до 30 сентября 2023 г.
Разрешения кластера для безопасного хранилища
Клиенты могут указать (во время создания кластера), следует ли использовать безопасный канал для узлов кластера HDInsight для связи с учетной записью хранения.
Обновление квоты в строке.
Квоты запросов увеличиваются непосредственно с страницы "Моя квота", которая будет прямым вызовом API, который быстрее. Если вызов API завершается сбоем, клиенты должны создать новый запрос на поддержку для увеличения квоты.
Создание кластера HDInsight с помощью пользовательских виртуальных сетей.
Чтобы повысить общую безопасность кластеров HDInsight, кластеры HDInsight с помощью пользовательских виртуальных сетей должны убедиться, что пользователю необходимо иметь разрешение на Microsoft Network/virtualNetworks/subnets/join/action выполнение операций создания. Клиентам потребуется планировать соответствующее изменение, так как это изменение будет обязательной проверкой, чтобы избежать сбоев создания кластера до 30 сентября 2023 года.
Базовые и стандартные виртуальные машины серии A.
С 31 августа 2024 г. мы выводим из эксплуатации виртуальные машины серии A (Basic и Standard). До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD). Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.
Отказоустойчивые кластеры ABFS [разрешения кластера для Word Readable]
Запланируйте изменение в кластерах ABFS, отличных от ESP, что ограничивает пользователей группы, отличных от Hadoop, выполнять команды Hadoop для операций хранения. Это изменение для улучшения состояния безопасности кластера. Клиентам необходимо планировать обновления до 30 сентября 2023 года.
Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure.
Вы можете добавить дополнительные предложения и идеи и другие темы здесь и проголосовать за них - HDInsight Community (azure.com) и следовать за нами для получения дополнительных обновлений на X
Примечание
Мы советуем клиентам использовать последние версии образов HDInsight, так как они приносят лучшие открытый код обновления, обновления Azure и исправления безопасности. Дополнительные сведения см. в статье с рекомендациями.
Дата выпуска: 08 мая 2023 г.
Этот выпуск относится к выпуску HDInsight 4.x и 5.x HDInsight для всех регионов в течение нескольких дней. Этот выпуск применим для номера образа 2304280205.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Сведения о конкретных версиях рабочей нагрузки см. в разделе
Все компоненты интегрированы с Hadoop 3.3.4 и ZK 3.6.3
Все перечисленные выше обновленные компоненты теперь доступны в кластерах, отличных от ESP, для общедоступной предварительной версии.
Расширенное автомасштабирование для HDInsight
Azure HDInsight сделал заметные улучшения стабильности и задержки в автомасштабировании, основные изменения включают улучшенный цикл обратной связи для принятия решений масштабирования, значительное улучшение задержки для масштабирования и поддержки повторного использования устаревших узлов, узнайте больше о улучшениях, как настроить и перенести кластер в расширенный автомасштабирование. Расширенная возможность автомасштабирования доступна с 17 мая 2023 г. во всех поддерживаемых регионах.
Azure HDInsight ESP для Apache Kafka 2.4.1 теперь общедоступен.
Azure HDInsight ESP для Apache Kafka 2.4.1 в общедоступной предварительной версии с апреля 2022 года. После заметных улучшений в исправлениях и стабильности CVE Azure HDInsight ESP Kafka 2.4.1 теперь становится общедоступным и готовым для рабочих нагрузок, узнайте подробности о настройке и миграции.
Управление квотами для HDInsight
В настоящее время HDInsight выделяет квоту для подписок клиентов на региональном уровне. Ядра, выделенные клиентам, являются универсальными и не классифицируются на уровне семейства виртуальных машин (например, Dv2, , Ev3Eav4и т. д.).
В HDInsight появилось улучшенное представление, которое предоставляет подробные сведения и классификацию квот для виртуальных машин уровня семьи, эта функция позволяет клиентам просматривать текущие и оставшиеся квоты для региона на уровне семейства виртуальных машин. Благодаря расширенному представлению клиенты имеют более широкий уровень видимости, для планирования квот и лучшего взаимодействия с пользователем. Эта функция в настоящее время доступна в HDInsight 4.x и 5.x для региона EUAP восточной части США. Другие регионы, которые будут следовать позже.
Максимальная длина имени кластера изменяется на 45 символов с 59 символов, чтобы повысить уровень безопасности кластеров.
Разрешения кластера для безопасного хранилища
Клиенты могут указать (во время создания кластера), следует ли использовать безопасный канал для узлов кластера HDInsight для связи с учетной записью хранения.
Обновление квоты в строке.
Квоты запросов увеличиваются непосредственно с страницы "Моя квота", которая является прямым вызовом API, который быстрее. Если вызов API завершается сбоем, клиенты должны создать новый запрос на поддержку для увеличения квоты.
Создание кластера HDInsight с помощью пользовательских виртуальных сетей.
Чтобы повысить общую безопасность кластеров HDInsight, кластеры HDInsight с помощью пользовательских виртуальных сетей должны убедиться, что пользователю необходимо иметь разрешение на Microsoft Network/virtualNetworks/subnets/join/action выполнение операций создания. Клиентам потребуется планировать соответствующим образом, так как это будет обязательной проверкой, чтобы избежать сбоев создания кластера.
Базовые и стандартные виртуальные машины серии A.
С 31 августа 2024 г. мы выводим из эксплуатации виртуальные машины серии A (Basic и Standard). До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD). Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 года.
Отказоустойчивые кластеры ABFS [Разрешения кластера для world Readable]
Запланируйте изменение в кластерах ABFS, отличных от ESP, что ограничивает пользователей группы, отличных от Hadoop, выполнять команды Hadoop для операций хранения. Это изменение для улучшения состояния безопасности кластера. Клиентам необходимо планировать обновления.
Дата выпуска: 28 февраля 2023 г.
Этот выпуск применим к HDInsight версии 4.0. и 5.0, 5.1. Выпуск HDInsight доступен для всех регионов в течение нескольких дней. Этот выпуск применим к номеру образа 2302250400.
Как проверить номер образа?
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Сведения о конкретных версиях рабочей нагрузки см. в разделе
Kafka 3.2.0 включает несколько важных новых функций и улучшений.
Обновление Zookeeper до 3.6.3
Поддержка Kafka Streams
Более строгие гарантии доставки для производителя Kafka, включенного по умолчанию.
log4j 1.x заменено reload4j.
Отправьте указание лидеру секции, чтобы восстановить секцию.
JoinGroupRequest и LeaveGroupRequest есть причина, связанная.
Добавлено количество метрик брокера8.
Улучшения зеркального отображения Maker2 .
Обновление HBase 2.4.11 (предварительная версия)
Эта версия имеет новые функции, такие как добавление новых типов механизмов кэширования для кэша блоков, возможность изменять и просматривать hbase:meta table таблицу hbase:meta из веб-интерфейса HBase.
Обновление Phoenix 5.1.2 (предварительная версия)
Версия Phoenix обновлена до версии 5.1.2 в этом выпуске. Это обновление включает сервер запросов Phoenix. Сервер запросов Phoenix поддерживает стандартный драйвер Phoenix JDBC и предоставляет протокол проводной связи, совместимый с обратной совместимостью, для вызова этого драйвера JDBC.
Ambari CVEs
Исправлено несколько CVES Ambari.
Примечание
ESP не поддерживается для Kafka и HBase в этом выпуске.
Дальнейшие действия
Автомасштабирование
Автомасштабирование с улучшенной задержкой и несколькими улучшениями
Ограничение изменения имени кластера
Максимальная длина имени кластера изменяется на 45 с 59 в общедоступной версии, в Китае и Azure для государственных организаций.
Разрешения кластера для безопасного хранилища
Клиенты могут указать (во время создания кластера), следует ли использовать безопасный канал для узлов кластера HDInsight для связи с учетной записью хранения.
Отказоустойчивые кластеры ABFS [Разрешения кластера для world Readable]
Запланируйте изменение в кластерах ABFS, отличных от ESP, что ограничивает пользователей группы, отличных от Hadoop, выполнять команды Hadoop для операций хранения. Это изменение для улучшения состояния безопасности кластера. Клиентам необходимо планировать обновления.
Обновления с открытым кодом
Apache Spark 3.3.0 и Hadoop 3.3.4 находятся в разработке в HDInsight 5.1 и включают несколько важных новых функций, производительности и других улучшений.
Примечание
Мы советуем клиентам использовать последние версии образов HDInsight, так как они приносят лучшие открытый код обновления, обновления Azure и исправления безопасности. Дополнительные сведения см. в статье с рекомендациями.
Дата выпуска: 12 декабря 2022 г.
Этот выпуск применим к HDInsight версии 4.0. и выпуск HDInsight версии 5.0 доступен для всех регионов в течение нескольких дней.
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Версии ОС
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Log Analytics — клиенты могут включить классический мониторинг, чтобы получить последнюю версию OMS версии 14.19. Чтобы удалить старые версии, отключите и включите классический мониторинг.
Автоматический выход пользовательского интерфейса Ambari из-за неактивности. Дополнительные сведения см. здесь
Spark — новая и оптимизированная версия Spark 3.1.3 включена в этот выпуск. Мы проверили Apache Spark 3.1.2 (предыдущая версия) и Apache Spark 3.1.3 (текущая версия) с помощью теста TPC-DS. Тест был выполнен с помощью SKU E8 версии 3 для Apache Spark на рабочей нагрузке 1 ТБ. Apache Spark 3.1.3 (текущая версия) превзовал Apache Spark 3.1.2 (предыдущая версия) более чем на 40 % в общей среде выполнения запросов для запросов TPC-DS с использованием одних и того же спецификаций оборудования. Команда Microsoft Spark добавила оптимизацию, доступную в Azure Synapse с помощью Azure HDInsight. Дополнительные сведения см. в статье "Ускорение рабочих нагрузок данных с помощью обновлений производительности в Apache Spark 3.1.2 в Azure Synapse"
Центральный Катар
Северная Германия
HDInsight отошел от Azul Zulu Java JDK 8, Adoptium Temurin JDK 8который поддерживает высококлассные сертифицированные среды выполнения TCK и связанную технологию для использования в экосистеме Java.
HDInsight перенесен в reload4j. Изменения log4j применимы к
Apache Hadoop
Apache Zookeeper
Apache Oozie
Apache Ranger
Apache Sqoop
Apache Pig
Apache Ambari
Apache Kafka
Apache Spark
Apache Zeppelin
Apache Livy
Apache Rubix
Apache Hive
Apache Tez
Apache HBase
OMI
Apache Pheonix
HDInsight для реализации TLS1.2 и более ранних версий обновляются на платформе. Если вы работаете с приложениями на основе HDInsight, и они используют TLS 1.0 и 1.1, обновите до TLS 1.2, чтобы избежать каких-либо сбоев в службах.
Прекращение поддержки кластеров Azure HDInsight в Ubuntu 16.04 LTS с 30 ноября 2022 г. HDInsight начинает выпуск образов кластера с ubuntu 18.04 с 27 июня 2021 г. Мы рекомендуем нашим клиентам, которые выполняют кластеры с помощью Ubuntu 16.04, — перестроить кластеры с последними образами HDInsight к 30 ноября 2022 года.
Дополнительные сведения о том, как проверить версию кластера Ubuntu, см . здесь
Выполните команду "lsb_release -a" в терминале.
Если значение свойства Description в выходных данных — Ubuntu 16.04 LTS, это обновление применимо к кластеру.
Поддержка Зоны доступности выбора кластеров Kafka и HBase (доступ на запись).
Обновление привязки данных Джексона до версии 2.12.6.1+ для предотвращения CVE-2020-36518
Дата выпуска: 10.08.2022
Этот выпуск применим к HDInsight версии 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней.
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Новая возможность
1. Подключение внешних дисков в кластерах HDI Hadoop/Spark
Кластер HDInsight поставляется с предопределенным дисковым пространством на основе номера SKU. Это пространство может быть недостаточно в сценариях больших заданий.
Эта новая функция позволяет добавлять в кластер дополнительные диски, которые используются в качестве локального каталога диспетчера узлов. Добавьте количество дисков в рабочие узлы во время создания кластера HIVE и Spark, а выбранные диски являются частью локальных каталогов диспетчера узлов.
Примечание
Добавленные диски настраиваются только для локальных каталогов диспетчера узлов.
Анализ выборочного ведения журнала теперь доступен во всех регионах для общедоступной предварительной версии. Кластер можно подключить к рабочей области анализа журналов. После включения можно просмотреть журналы и метрики, такие как журналы безопасности HDInsight, Yarn Resource Manager, системные метрики и т. д. Можно отслеживать рабочие нагрузки и видеть, как они влияют на стабильность кластера. Выборочное ведение журнала позволяет включить или отключить все таблицы или включить выборочные таблицы в рабочей области Log Analytics. Можно настроить тип источника для каждой таблицы, так как в новой версии Geneva Monitoring одна таблица имеет несколько источников.
Система Geneva Monitoring использует mdsd (управляющую программу MDS), которая является агентом мониторинга и сборщиком данных fluentd для сбора журналов с помощью единого уровня ведения журнала.
Для выборочного ведения журнала используется действие скрипта отключения/включения таблиц и их типов журналов. Оно не открывает новые порты и не изменяет существующий параметр безопасности, поэтому изменения безопасности отсутствуют.
Действие скрипта выполняется параллельно на всех указанных узлах и изменяет файлы конфигурации для отключения или включения таблиц и их типов журналов.
Для интеграции Анализа журналов с Azure HDInsight под управлением OMS версии 13 требуется обновление OMS до версии 14, чтобы применялись последние обновления для системы безопасности.
Клиентам, использующим более раннюю версию кластера с OMS версии 13, необходимо установить OMS версии 14 в соответствии с требованиями безопасности. (Как проверить текущую версию и установить 14)
Не допускает чтение таблицы как ACID, если имя таблицы начинается с delta, но таблица не является транзакционной, и используется стратегия разделения бизнес-аналитики
HDInsight совместим с Apache HIVE версии 3.1.2. Вследствие ошибки в этом выпуске версия Hive отображается как 3.1.0 в интерфейсах Hive. Тем не менее, это не влияет на функциональность.
Дата выпуска: 10.08.2022
Этот выпуск применим к HDInsight версии 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней.
HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Новая возможность
1. Подключение внешних дисков в кластерах HDI Hadoop/Spark
Кластер HDInsight поставляется с предопределенным дисковым пространством на основе номера SKU. Это пространство может быть недостаточно в сценариях больших заданий.
Эта новая функция позволяет добавлять дополнительные диски в кластер, который будет использоваться в качестве локального каталога диспетчера узлов. Добавьте количество дисков в рабочие узлы во время создания кластера HIVE и Spark, а выбранные диски являются частью локальных каталогов диспетчера узлов.
Примечание
Добавленные диски настраиваются только для локальных каталогов диспетчера узлов.
Анализ выборочного ведения журнала теперь доступен во всех регионах для общедоступной предварительной версии. Кластер можно подключить к рабочей области анализа журналов. После включения можно просмотреть журналы и метрики, такие как журналы безопасности HDInsight, Yarn Resource Manager, системные метрики и т. д. Можно отслеживать рабочие нагрузки и видеть, как они влияют на стабильность кластера. Выборочное ведение журнала позволяет включить или отключить все таблицы или включить выборочные таблицы в рабочей области Log Analytics. Можно настроить тип источника для каждой таблицы, так как в новой версии Geneva Monitoring одна таблица имеет несколько источников.
Система Geneva Monitoring использует mdsd (управляющую программу MDS), которая является агентом мониторинга и сборщиком данных fluentd для сбора журналов с помощью единого уровня ведения журнала.
Для выборочного ведения журнала используется действие скрипта отключения/включения таблиц и их типов журналов. Оно не открывает новые порты и не изменяет существующий параметр безопасности, поэтому изменения безопасности отсутствуют.
Действие скрипта выполняется параллельно на всех указанных узлах и изменяет файлы конфигурации для отключения или включения таблиц и их типов журналов.
Для интеграции Анализа журналов с Azure HDInsight под управлением OMS версии 13 требуется обновление OMS до версии 14, чтобы применялись последние обновления для системы безопасности.
Клиентам, использующим более раннюю версию кластера с OMS версии 13, необходимо установить OMS версии 14 в соответствии с требованиями безопасности. (Как проверить текущую версию и установить 14)
Не допускает чтение таблицы как ACID, если имя таблицы начинается с delta, но таблица не является транзакционной, и используется стратегия разделения бизнес-аналитики
HDInsight совместим с Apache HIVE версии 3.1.2. Вследствие ошибки в этом выпуске версия Hive отображается как 3.1.0 в интерфейсах Hive. Тем не менее, это не влияет на функциональность.
Дата выпуска: 03.06.2022
Этот выпуск применим к HDInsight версии 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Краткие сведения о выпуске
Hive Warehouse Connector (HWC) для Spark 3.1.2
Hive Warehouse Connector (HWC) позволяет использовать преимущества уникальных функций Hive и Spark для создания мощных приложений для работы с большими данными. Сейчас HWC поддерживается только для Spark версии 2.4. Эта функция обеспечивает поддержку транзакций ACID в таблицах Hive с помощью Spark. Эта функция полезна для клиентов, использующих Hive и Spark для работы с данными.
Дополнительные сведения см. в статье Apache Spark и Hive — Соединитель хранилища Hive — Azure HDInsight | Документация Майкрософт
Ambari
Изменения в масштабировании и подготовке
HDI Hive теперь совместим с OSS версии 3.1.2
HDI Hive 3.1 обновлен до OSS Hive 3.1.2. Эта версия содержит все исправления и функции, доступные в версии Hive 3.1.2 с открытым кодом.
Примечание
Spark
Если вы создаете кластер Spark для HDInsight с помощью пользовательского интерфейса Azure, вы увидите в раскрывающемся списке еще одну версию Spark 3.1. (HDI 5.0) вместе с более старыми версиями. Это переименованная версия Spark 3.1. (HDI 4.0). Это изменение на уровне пользовательского интерфейса, которое не влияет на существующих пользователей и пользователей, которые уже используют шаблон ARM.
Примечание
Интерактивный запрос
При создании кластера Interactive Query вы увидите в раскрывающемся списке еще одну версию под названием Interactive Query 3.1 (HDI 5.0).
Если вы собираетесь использовать Spark 3.1 вместе с Hive, для которого требуется поддержка ACID, необходимо выбрать эту версию Interactive Query 3.1 (HDI 5.0).
Исправления ошибок TEZ
Исправления ошибок
Apache JIRA
TezUtils.createConfFromByteString в конфигурации размером более 32 МБ создает исключение com.google.protobuf.CodedInputStream
Реализация определяемой пользователем функции для интерпретации метки даты и времени с помощью внутреннего представления и гибрида Григорианского и Юлианского календаря
Имя столбца с зарезервированным ключевым словом раскодируется (unescape) при перезаписи запроса, включая операцию join в таблице со столбцом маски (Zoltan Matyus через Zoltan Haindrich)
HiveServer2: в некоторых случаях предварительная проверка подлинности для транспорта HTTP не сохраняется в течение всей продолжительности HTTP-соединения
Этот выпуск применим к HDInsight версии 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Версии ОС для этого выпуска:
HDInsight 4.0: Ubuntu 18.04.5
Выпущена общедоступная версия Spark 3.1
Версия Spark 3.1 теперь общедоступна в HDInsight 4.0. В этот выпуск входят:
адаптивное выполнение запросов;
преобразование сортировка слиянием в широковещательное хэш-соединение;
оптимизатор Spark Catalyst;
динамическое удаление секций;
клиенты смогут создавать новые кластеры Spark 3.1, а не кластеры Spark 3.0 (предварительная версия).
Подробнее см. в статье "Версия Apache Spark 3.1 теперь общедоступна в HDInsight" от сообщества Microsoft Tech Community.
Выпущена общедоступная версия Kafka 2.4.1. Дополнительные сведения см. в заметках о выпуске Kafka 2.4.1. Другие функции включают доступность MirrorMaker 2, новую категорию метрик в разделе раздела AtMinIsr, улучшенное время запуска брокера, отложенное по запросу mmap файлов индекса, дополнительные метрики потребителей для наблюдения за поведением опроса пользователей.
Тип данных Map в HWC теперь поддерживается в HDInsight 4,0
Этот выпуск включает поддержку типа данных Map для HWC 1,0 (Spark 2,4) через приложение spark-shell, а также все остальные клиенты Spark, поддерживаемые HWC. Следующие усовершенствования включены как любые другие типы данных:
Пользователь может выполнять следующие действия:
Создать таблицу Hive с любыми столбцами, содержащими тип данных Map, вставлять в него данные и считывать из него результаты.
Создать кадр данных Apache Spark с типом Map и выполнять пакетные/потоковые операции чтения и записи.
Новые регионы
Теперь HDInsight расширил свое географическое присутствие на два новых региона: "Восточный Китай 3" и "Северный Китай 3".
Изменения в бэкпорте OSS
Бэкпорты OSS, включенные в Hive, в том числе HWC 1.0 (Spark 2.4), которые поддерживают тип данных Map.
Приведенные ниже Apache JIRA обратно портированы для этого выпуска:
Затронутая функция
Apache JIRA
Прямые запросы SQL хранилища метаданных с IN/NOT IN должны быть разделены на основе максимального числа параметров, разрешенного базой данных SQL.
Масштабируемые наборы виртуальных машин Azure в HDInsight
HDInsight больше не будет использовать масштабируемые наборы виртуальных машин Azure для инициализации кластеров. Критические изменения не ожидаются. Существующие кластеры HDInsight в масштабируемых наборах виртуальных машин не влияют, новые кластеры на последних образах больше не будут использовать Масштабируемые наборы виртуальных машин.
Масштабирование рабочих нагрузок HBase Azure HDInsight теперь будет поддерживаться только с помощью масштабирования вручную.
Начиная с 1 марта 2022 г. HDInsight поддерживает для HBase только масштабирование вручную, но не оказывает влияния на работу кластеров. Новые кластеры HBase не смогут включить автомасштабирование на основе расписания. Дополнительные сведения о том, как вручную масштабировать кластер HBase, см. в документации по масштабированию кластеров Azure HDInsight вручную.
Дата выпуска: 27.12.2021
Этот выпуск применим к HDInsight версии 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Все кластеры HDI 4.0, созданные после 27 декабря 2021 г. 00:00 UTC, создаются с обновленной версией образа, который устраняет log4j уязвимости. Следовательно, клиентам не требуется исправление или перезагрузка этих кластеров.
Для новых кластеров HDInsight 4.0, созданных между 01:15 UTC 16 декабря 2021 г. и 00:00 UTC 27 декабря 2021 г., HDInsight 3.6 или в закрепленных подписках после 16 декабря 2021 г., исправление будет применено в течение часа, в течение которого создается кластер, однако клиенты должны перезагрузить свои узлы для завершения установки исправлений (за исключением узлов управления Kafka, которые перезагружаются автоматически).
Дата выпуска: 27.07.2021
Этот выпуск применим к версиям HDInsight 3.6 и HDInsight 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Версии ОС для этого выпуска:
HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS
Новые возможности
Поддержка Azure HDInsight для ограниченного общедоступного подключения доступна всем с 15 октября 2021 г.
Azure HDInsight теперь поддерживает ограниченное общедоступное подключение во всех регионах. Ниже приведены некоторые ключевые особенности этой возможности.
Возможность обратного обращения поставщика ресурсов к кластеру, в результате чего он исходит от кластера к поставщику ресурсов
Поддержка привлечения собственных ресурсов с поддержкой Приватный канал (например, хранилища, SQL, хранилища ключей) для кластера HDInsight для доступа к ресурсам только через частную сеть
Отсутствие общедоступных IP-адресов, подготовленных ресурсом
С помощью этой новой возможности можно также пропустить правила тегов службы входящей группы безопасности сети (NSG) для IP-адресов управления HDInsight. Узнайте больше об ограничении общедоступного подключения
Общедоступная версия службы поддержки Azure HDInsight для Azure Private Link доступна с15 октября 2021 г.
Теперь частные конечные точки можно использовать для подключения к кластерам HDInsight по частной ссылке. Приватный канал можно использовать в сценариях с несколькими виртуальными сетями, когда пиринг виртуальных сетей недоступен или не включен.
Приватный канал Azure обеспечивает доступ к службам Azure PaaS (например, к службе хранилища Azure и Базе данных SQL), а также размещенным в Azure службам, которые принадлежат клиенту или партнеру, через частную конечную точку виртуальной сети.
Трафик между виртуальной сетью и службой проходит через магистральную сеть Майкрософт. Предоставление доступа к службе через общедоступный Интернет больше не требуется.
Новые интерфейс интеграции Azure Monitor (предварительная версия)
В этом выпуске новый интерфейс интеграции Azure Monitor будет в предварительной версии для Восточной части США и Западной Европы. Дополнительные сведения о новом интерфейсе Azure Monitor см. здесь.
Устаревание
ВЕРСИЯ HDInsight 3.6 не рекомендуется использовать 1 октября 2022 г.
Изменения в работе
Интерактивный запрос HDInsight поддерживает только автомасштабирование по расписанию
Так как сценарии клиентов становятся более зрелыми и разнообразными, мы определили некоторые ограничения с автомасштабированием на основе интерактивного запроса (LLAP). Эти ограничения обусловлены характером динамики запросов LLAP, проблемами с точностью прогнозирования нагрузки в будущем и проблемами при перераспределении задач планировщика LLAP. Из-за этих ограничений пользователи могут видеть, что запросы выполняются медленнее в кластерах LLAP при включении автомасштабирования. Отрицательное влияние на производительность может перевешивать преимущества автомасштабирования.
Начиная с июля 2021 года рабочая нагрузка Interactive Query в HDInsight поддерживает только автомасштабирование по расписанию. Включение автомасштабирования на основе нагрузки для новых кластеров Interactive Query будет недоступно. Существующие работающие кластеры по-прежнему могут работать с известными ограничениями, описанными выше.
Корпорация Майкрософт рекомендует выбрать функцию автомасштабирования по расписанию для LLAP. Вы можете проанализировать текущую модель использования кластера на панели мониторинга Grafana Hive. Дополнительные сведения см. в разделе Автоматическое масштабирование кластеров Azure HDInsight.
Предстоящие изменения
Следующие изменения происходят в предстоящих выпусках.
Встроенный компонент LLAP в кластере ESP Spark будет удален
Кластер HDInsight 4.0 ESP Spark содержит встроенные компоненты LLAP, работающие на обоих головных узлах. Компоненты LLAP в кластере ESP Spark изначально были добавлены для HDInsight 3.6 ESP Spark, но не имеют реальных вариантов использования для HDInsight 4.0 ESP Spark. В следующем выпуске, запланированном на сентябрь 2021 г., HDInsight удалит встроенный компонент LLAP из кластера HDInsight 4.0 ESP Spark. Это изменение помогает выгрузить рабочую нагрузку головного узла и избежать путаницы между типом кластера ESP Spark и ESP Interactive Hive.
Новый регион
Западная часть США — 3
Jio Западная Индия
Центральная Австралия
Изменение версий компонентов
В этом выпуске изменена следующая версия компонента:
ORC с версии 1.5.1 на версию 1.5.9.
Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.
Обратно портированные JIRA
Приведенные ниже Apache JIRA обратно портированы для этого выпуска:
Исправление цен для HDInsight Dv2 Виртуальные машины
Ошибка ценообразования была исправлена 25 апреля 2021 г. для Dv2 серии виртуальных машин в HDInsight. Ошибка ценообразования привела к снижению платы за некоторые счета клиента до 25 апреля, и с исправлением цены теперь соответствуют тому, что было объявлено на странице ценообразования HDInsight и калькуляторе цен HDInsight. Ошибка ценообразования повлияла на клиентов в следующих регионах, которые использовали Dv2 виртуальные машины:
Центральная Канада
Восточная Канада
Восточная Азия
Северная часть ЮАР;
Юго-Восточная Азия
Центральная часть ОАЭ
Начиная с 25 апреля 2021 г. исправленная сумма для Dv2 виртуальных машин будет находиться в вашей учетной записи. Перед изменением владельцам подписок было направлено соответствующее уведомление. Вы можете использовать калькулятор цен, страницу цен HDInsight или колонку "Создание кластера HDInsight" в портал Azure, чтобы просмотреть исправленные затраты на Dv2 виртуальные машины в вашем регионе.
От вас никаких дополнительных действий не требуется. Корректировка цены будет применена для использования только 25 апреля 2021 г. или после этой даты в указанных регионах, но не в отношении использования в период до этой даты. Чтобы обеспечить наиболее эффективное и экономичное решение, рекомендуется просмотреть цены, VCPU и ОЗУ для Dv2 кластеров и сравнить Dv2 спецификации Ev3 с виртуальными машинами, чтобы узнать, будет ли ваше решение использовать одну из более новых рядов виртуальных машин.
Дата выпуска: 02.06.2021
Этот выпуск применим к версиям HDInsight 3.6 и HDInsight 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Версии ОС для этого выпуска:
HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS
Новые возможности
Обновление версии ОС
Как указано в цикле выпуска Ubuntu, ядро Ubuntu 16.04 достигает конца жизни (EOL) в апреле 2021 года. Мы начали развертывание нового образа кластера HDInsight 4.0, работающего под управлением Ubuntu 18.04, одновременно с этим выпуском. Только что созданные кластеры HDInsight 4.0 выполняются в Ubuntu 18.04 по умолчанию. Существующие кластеры в Ubuntu 16.04 выполняются так же, как и при полной поддержке.
Служба HDInsight 3.6 продолжит работать на платформе Ubuntu 16.04. С 1 июля 2021 года поддержка (цен. категория "Стандартный") заменена поддержкой Basic. Дополнительные сведения о датах и вариантах поддержки см. в статье Версии Azure HDInsight. Платформа Ubuntu 18.04 не будет поддерживаться для HDInsight 3.6. Если вы хотите использовать Ubuntu 18.04, необходимо перенести кластеры в HDInsight 4.0.
Если вы хотите переместить существующие кластеры HDInsight 4.0 в Ubuntu 18.04, удалите и повторно создайте их. Запланируйте создание или повторное создание кластеров после того, как станет доступна поддержка Ubuntu 18.04.
После создания нового кластера вы сможете использовать SSH-подключение к кластеру и выполнить sudo lsb_release -a, чтобы убедиться, что на нем выполняется Ubuntu 18.04. Перед переносом в рабочую среду рекомендуется сначала протестировать приложения в тестовых подписках.
Оптимизация масштабирования в кластерах с поддержкой ускоренной записи HBase
Отключение размера виртуальной машины Standard_A5 в качестве головного узла для HDInsight 4.0
Головной узел кластера HDInsight отвечает за инициализацию и управление кластером. Виртуальные машины размера Standard_A5 недостаточно надежны в качестве головного узла HDInsight 4.0. Начиная с этого выпуска, клиенты не смогут создавать новые кластеры с размером Standard_A5 виртуальной машины в качестве головного узла. Вы можете использовать другие 2-ядерные виртуальные машины, такие как E2_v3 или E2s_v3. Существующие кластеры будут работать как обычно. Для головного узла настоятельно рекомендуется виртуальная машина с 4 ядрами, чтобы обеспечивать высокий уровень доступности и надежности для кластеров HDInsight в рабочей среде.
Ресурс сетевого интерфейса не отображается для кластеров, которые работают в масштабируемых наборах виртуальных машин Azure
HDInsight постепенно переходит на масштабируемые наборы виртуальных машин Azure. Сетевые интерфейсы для виртуальных машин больше не видны клиентам, которые используют кластеры на основе масштабируемых наборов виртуальных машин Azure.
Предстоящие изменения
В предстоящих выпусках будут внесены описанные ниже изменения.
Интерактивный запрос HDInsight поддерживает только автомасштабирование по расписанию
Так как сценарии клиентов становятся более зрелыми и разнообразными, мы определили некоторые ограничения с автомасштабированием на основе интерактивного запроса (LLAP). Эти ограничения обусловлены характером динамики запросов LLAP, проблемами с точностью прогнозирования нагрузки в будущем и проблемами при перераспределении задач планировщика LLAP. Из-за этих ограничений пользователи могут видеть, что запросы выполняются медленнее в кластерах LLAP при включении автомасштабирования. Отрицательное влияние на производительность может перевешивать преимущества автомасштабирования.
Начиная с июля 2021 года рабочая нагрузка Interactive Query в HDInsight поддерживает только автомасштабирование по расписанию. Включение автомасштабирования для новых кластеров интерактивных запросов будет недоступно. Существующие работающие кластеры по-прежнему могут работать с известными ограничениями, описанными выше.
Корпорация Майкрософт рекомендует выбрать функцию автомасштабирования по расписанию для LLAP. Вы можете проанализировать текущую модель использования кластера на панели мониторинга Grafana Hive. Дополнительные сведения см. в разделе Автоматическое масштабирование кластеров Azure HDInsight.
Именование узлов виртуальных машин изменено с 1 июля 2021 г.
Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Служба постепенно переходит на масштабируемые наборы виртуальных машин Azure. Эта миграция изменит формат имени полного доменного имени узла кластера, а числа в имени узла не будут гарантированы в последовательности. Если вы хотите получить полные доменные имена для каждого узла, обратитесь к разделу Поиск имен узлов кластера.
Переход на масштабируемые наборы виртуальных машин Azure
Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Служба постепенно перейдет на масштабируемые наборы виртуальных машин Azure. Весь процесс может занять несколько месяцев. После переноса регионов и подписок все созданные кластеры HDInsight будут выполняться в масштабируемых наборах виртуальных машин, и для этого не требуются действия со стороны клиента. Критических изменений не ожидается.
Дата выпуска: 24.03.2021
Новые возможности
Предварительная версия Spark 3.0
В HDInsight добавлена поддержка Spark 3.0.0 в виде предварительной версии функции, начиная с HDInsight 4.0.
Предварительная версия Kafka 2.4
В HDInsight добавлена поддержка Kafka 2.4.1 в виде предварительной версии функции, начиная с HDInsight 4.0.
Eav4Поддержка -series
В этом выпуске добавлена Eav4поддержка серии HDInsight.
Переход на масштабируемые наборы виртуальных машин Azure
Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Служба постепенно переходит на масштабируемые наборы виртуальных машин Azure. Весь процесс может занять несколько месяцев. После переноса регионов и подписок все созданные кластеры HDInsight будут выполняться в масштабируемых наборах виртуальных машин, и для этого не требуются действия со стороны клиента. Критических изменений не ожидается.
Устаревание
В этом выпуске нет объявлений об устаревании.
Изменения в работе
Версия кластера по умолчанию изменена на 4.0.
Версия кластера HDInsight по умолчанию изменена с 3.6 на 4.0. Дополнительные сведения о доступных версиях см. здесь. Изучите подробнее новые возможности HDInsight 4.0.
Размеры виртуальных машин кластера по умолчанию изменяются на Ev3-series
Размеры виртуальных машин кластера по умолчанию изменяются с серии D на Ev3-series. Это изменение применимо к головным узлам и рабочим узлам. Чтобы это изменение не затронуло проверенные рабочие процессы, укажите в шаблоне ARM правильные размеры виртуальных машин, которые вы хотите использовать.
Ресурс сетевого интерфейса не отображается для кластеров, которые работают в масштабируемых наборах виртуальных машин Azure
HDInsight постепенно переходит на масштабируемые наборы виртуальных машин Azure. Сетевые интерфейсы для виртуальных машин больше не видны клиентам, которые используют кластеры на основе масштабируемых наборов виртуальных машин Azure.
Предстоящие изменения
В предстоящих выпусках будут внесены описанные ниже изменения.
Интерактивный запрос HDInsight поддерживает только автомасштабирование по расписанию
Так как сценарии клиентов становятся более зрелыми и разнообразными, мы определили некоторые ограничения с автомасштабированием на основе интерактивного запроса (LLAP). Эти ограничения обусловлены характером динамики запросов LLAP, проблемами с точностью прогнозирования нагрузки в будущем и проблемами при перераспределении задач планировщика LLAP. Из-за этих ограничений пользователи могут видеть, что запросы выполняются медленнее в кластерах LLAP при включении автомасштабирования. Отрицательное влияние на производительность может перевешивать преимущества автомасштабирования.
Начиная с июля 2021 года рабочая нагрузка Interactive Query в HDInsight поддерживает только автомасштабирование по расписанию. Включение автомасштабирования для новых кластеров интерактивных запросов будет недоступно. Существующие работающие кластеры по-прежнему могут работать с известными ограничениями, описанными выше.
Корпорация Майкрософт рекомендует выбрать функцию автомасштабирования по расписанию для LLAP. Вы можете проанализировать текущую модель использования кластера на панели мониторинга Grafana Hive. Дополнительные сведения см. в разделе Автоматическое масштабирование кластеров Azure HDInsight.
Обновление версии ОС
Кластеры HDInsight в настоящее время работают под управлением Ubuntu 16.04 LTS. Как сказано в примечаниях к циклу выпуска Ubuntu, ядро Ubuntu 16.04 будет выведено из обращения в апреле 2021. Мы начали развертывание нового образа кластера HDInsight 4.0, работающего под управлением Ubuntu 18.04, в мае 2021 года. Недавно созданные кластеры HDInsight 4.0 будут работать под управлением Ubuntu 18.04 по умолчанию. Существующие кластеры Ubuntu 16.04 будут работать "как есть" и обеспечиваться полной поддержкой.
Служба HDInsight 3.6 продолжит работать на платформе Ubuntu 16.04. Поддержка этой службы для ценовой категории "Стандартный" завершилась 30 июня 2021 года, после чего она была изменена на поддержку для ценовой категории "Базовый" начиная с 1 июля 2021 года. Дополнительные сведения о датах и вариантах поддержки см. в статье Версии Azure HDInsight. Платформа Ubuntu 18.04 не будет поддерживаться для HDInsight 3.6. Если вы хотите использовать Ubuntu 18.04, необходимо перенести кластеры в HDInsight 4.0.
Если вы хотите переместить существующие кластеры в Ubuntu 18.04, удалите и повторно создайте их. Запланируйте создание или повторное создание кластера после того, как станет доступна поддержка Ubuntu 18.04. После того как новый образ станет доступен во всех регионах, мы отправим вам другое уведомление.
Настоятельно рекомендуется заранее протестировать действия сценария и пользовательские приложения, развернутые на граничных узлах на виртуальной машине Ubuntu 18.04. Виртуальную машину Ubuntu Linux можно создать на виртуальной машине 18.04-LTS, а затем создать и использовать пару ключей безопасной оболочки (SSH) на виртуальной машине для запуска и тестирования действий скрипта и пользовательских приложений, развернутых на пограничных узлах.
Отключение размера виртуальной машины Standard_A5 в качестве головного узла для HDInsight 4.0
Головной узел кластера HDInsight отвечает за инициализацию и управление кластером. Виртуальные машины размера Standard_A5 недостаточно надежны в качестве головного узла HDInsight 4.0. Начиная с следующего выпуска в мае 2021 года клиенты не смогут создавать новые кластеры с размером виртуальной машины Standard_A5 в качестве головного узла. Вы можете использовать другие 2-ядерные виртуальные машины, такие как E2_v3 или E2s_v3. Существующие кластеры будут работать как обычно. Для головного узла требуется виртуальная машина с не менее чем 4 ядрами, чтобы обеспечивать высокий уровень доступности и надежности для кластеров HDInsight в рабочей среде.
Исправления ошибок
HDInsight постоянно повышает надежность и производительность кластеров.
Изменение версий компонентов
Добавлена поддержка Spark 3.0.0 и Kafka 2.4.1 в предварительной версии.
Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.
Дата выпуска: 05.02.2021
Этот выпуск применим к версиям HDInsight 3.6 и HDInsight 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Новые возможности
Поддержка серии Dav4
В HDInsight добавлена поддержка серии Dav4, начиная с этого выпуска. Подробную информацию о серии Dav4 см. здесь.
Общая доступность прокси-сервера REST для Kafka
Прокси-сервер REST для Kafka позволяет взаимодействовать с кластером Kafka через REST API по протоколу HTTPS. Прокси-сервер REST для Kafka является общедоступным, начиная с этого выпуска. Дополнительные сведения о прокси-сервере REST для Kafka см. здесь.
Переход на масштабируемые наборы виртуальных машин Azure
Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Служба постепенно переходит на масштабируемые наборы виртуальных машин Azure. Весь процесс может занять несколько месяцев. После переноса регионов и подписок все созданные кластеры HDInsight будут выполняться в масштабируемых наборах виртуальных машин, и для этого не требуются действия со стороны клиента. Критических изменений не ожидается.
Устаревание
Размеры отключенных виртуальных машин
Начиная с 9 января 2021 г. HDInsight блокирует все клиенты, создающие кластеры с помощью standard_A8, standard_A9, standard_A10 и standard_A11 размеров виртуальных машин. Существующие кластеры будут работать как обычно. Постарайтесь перейти на версию HDInsight 4.0, чтобы избежать потенциальных перерывов в работе или обслуживании.
Изменения в работе
Размер виртуальной машины кластера по умолчанию изменяется на Ev3-series
Размеры виртуальных машин кластера по умолчанию будут изменены с серии D на Ev3-series. Это изменение применимо к головным узлам и рабочим узлам. Чтобы это изменение не затронуло проверенные рабочие процессы, укажите в шаблоне ARM правильные размеры виртуальных машин, которые вы хотите использовать.
Ресурс сетевого интерфейса не отображается для кластеров, которые работают в масштабируемых наборах виртуальных машин Azure
HDInsight постепенно переходит на масштабируемые наборы виртуальных машин Azure. Сетевые интерфейсы для виртуальных машин больше не видны клиентам, которые используют кластеры на основе масштабируемых наборов виртуальных машин Azure.
Предстоящие изменения
В предстоящих выпусках будут внесены описанные ниже изменения.
Версия кластера по умолчанию будет изменена на 4.0
Начиная с февраля 2021 г., версия кластера HDInsight по умолчанию будет изменена с 3.6 на 4.0. Дополнительные сведения о доступных версиях см. здесь. Изучите подробнее новые возможности HDInsight 4.0.
Обновление версии ОС
В HDInsight будет обновлена версия ОС с Ubuntu 16.04 до 18.04. Это обновление будет завершено до апреля 2021 года.
Окончание поддержки HDInsight 3.6 30 июня 2021 г.
Поддержка HDInsight 3.6 будет прекращена. Начиная с 30 июня 2021 г., клиенты не смогут создавать новые кластеры HDInsight 3.6. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию HDInsight 4.0, чтобы избежать потенциальных перерывов в работе или обслуживании.
Изменение версий компонентов
В этом выпуска не вносилось изменений в версии компонентов. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.
Дата выпуска: 18.11.2020
Этот выпуск применим к версиям HDInsight 3.6 и HDInsight 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Новые возможности
Автоматическая ротация ключей для шифрования неактивных данных с ключом, управляемым клиентом
Начиная с этого выпуска клиенты могут использовать URL-адреса ключей шифрования без версии Azure KeyVault для шифрования неактивных ключей, управляемых клиентом. HDInsight будет выполнять автоматическую ротацию ключей по мере истечения срока их действия или заменять их новыми версиями. Дополнительные сведения см. здесь.
Возможность выбора различных размеров виртуальных машин Zookeeper для Spark, Hadoop и Служб машинного обучения
Ранее HDInsight не поддерживала настройку размера узла Zookeeper для типов кластера Spark, Hadoop и Служб машинного обучения. По умолчанию используются размеры виртуальных машин A2_v2/A2, которые предоставляются бесплатно. Начиная с этого выпуска, можно выбрать размер виртуальной машины Zookeeper, наиболее подходящий для вашего сценария. За узлы Zookeeper с размером виртуальной машины, отличным от A2_v2/A2, будет начисляться счет. Виртуальные машины A2_v2 и a2 по-прежнему предоставляются бесплатно.
Переход на масштабируемые наборы виртуальных машин Azure
Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Начиная с этого выпуска, служба будет постепенно переноситься в масштабируемые наборы виртуальных машин Azure. Весь процесс может занять несколько месяцев. После переноса регионов и подписок все созданные кластеры HDInsight будут выполняться в масштабируемых наборах виртуальных машин, и для этого не требуются действия со стороны клиента. Критических изменений не ожидается.
Устаревание
Прекращение использования кластера Служб машинного обучения в HDInsight 3.6
Поддержка типа кластера Служб машинного обучения HDInsight 3.6 будет прекращена 31 декабря 2020 г. Клиенты не смогут создавать новые кластеры Служб машинного обучения версии 3.6 после 31 декабря 2020 г. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Проверьте срок действия поддержки для версий HDInsight и типов кластеров здесь.
Размеры отключенных виртуальных машин
Начиная с 16 ноября 2020 г. HDInsight блокирует создание кластеров с помощью standard_A8, standard_A9, standard_A10 и размеров виртуальных машин standard_A11. Существующие клиенты, которые использовали эти размеры виртуальных машин в течение последних трех месяцев, не будут затронуты. Начиная с 9 января 2021 г. HDInsight блокирует все клиенты, создающие кластеры с помощью standard_A8, standard_A9, standard_A10 и standard_A11 размеров виртуальных машин. Существующие кластеры будут работать как обычно. Постарайтесь перейти на версию HDInsight 4.0, чтобы избежать потенциальных перерывов в работе или обслуживании.
Изменения в работе
Добавление проверки правил NSG до операции масштабирования
В HDInsight добавлена проверка групп безопасности сети (NSG) и определяемых пользователем маршрутов (UDR) при операции масштабирования. Такая же проверка выполняется для масштабирования кластера, помимо создания кластера. Эта проверка помогает предотвратить непредсказуемые ошибки. Если проверка не пройдена, масштабирование завершается сбоем. Дополнительные сведения о том, как правильно настроить группы безопасности сети и определяемые пользователем маршруты, см. в статье IP-адреса управления HDInsight.
Изменение версий компонентов
В этом выпуска не вносилось изменений в версии компонентов. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.
Дата выпуска: 09.11.2020
Этот выпуск применим к версиям HDInsight 3.6 и HDInsight 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Новые возможности
Брокер удостоверений HDInsight (HIB) теперь общедоступен
Брокер удостоверений HDInsight (HIB), включающий проверку подлинности OAuth для кластеров ESP, теперь общедоступен в этом выпуске. Кластеры HIB, созданные после этого выпуска, будут содержать новейшие функции HIB:
Высокий уровень доступности (HA)
Поддержка многофакторной проверки подлинности (MFA)
Федеративные пользователи входят в систему без синхронизации хэшей паролей с AAD-DS. Дополнительные сведения см. в документации по HIB.
Переход на масштабируемые наборы виртуальных машин Azure
Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Начиная с этого выпуска, служба будет постепенно переноситься в масштабируемые наборы виртуальных машин Azure. Весь процесс может занять несколько месяцев. После переноса регионов и подписок все созданные кластеры HDInsight будут выполняться в масштабируемых наборах виртуальных машин, и для этого не требуются действия со стороны клиента. Критических изменений не ожидается.
Устаревание
Прекращение использования кластера Служб машинного обучения в HDInsight 3.6
Поддержка типа кластера Служб машинного обучения HDInsight 3.6 будет прекращена 31 декабря 2020 г. Клиенты не смогут создавать новые кластеры Служб машинного обучения версии 3.6 после 31 декабря 2020 г. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Проверьте срок действия поддержки для версий HDInsight и типов кластеров здесь.
Размеры отключенных виртуальных машин
Начиная с 16 ноября 2020 г. HDInsight блокирует создание кластеров с помощью standard_A8, standard_A9, standard_A10 и размеров виртуальных машин standard_A11. Существующие клиенты, которые использовали эти размеры виртуальных машин в течение последних трех месяцев, не будут затронуты. Начиная с 9 января 2021 г. HDInsight блокирует все клиенты, создающие кластеры с помощью standard_A8, standard_A9, standard_A10 и standard_A11 размеров виртуальных машин. Существующие кластеры будут работать как обычно. Постарайтесь перейти на версию HDInsight 4.0, чтобы избежать потенциальных перерывов в работе или обслуживании.
Изменения в работе
В этом выпуске не вносятся изменения в поведении.
Предстоящие изменения
В предстоящих выпусках будут внесены описанные ниже изменения.
Возможность выбора различных размеров виртуальных машин Zookeeper для Spark, Hadoop и Служб машинного обучения
На сегодня HDInsight не поддерживает настройку размера узла Zookeeper для типов кластера Spark, Hadoop и Служб машинного обучения. По умолчанию используются размеры виртуальных машин A2_v2/A2, которые предоставляются бесплатно. В предстоящем выпуске можно будет выбрать размер виртуальной машины Zookeeper, наиболее подходящий для вашего сценария. За узлы Zookeeper с размером виртуальной машины, отличным от A2_v2/A2, будет начисляться счет. Виртуальные машины A2_v2 и a2 по-прежнему предоставляются бесплатно.
Версия кластера по умолчанию будет изменена на 4.0
Начиная с февраля 2021 г., версия кластера HDInsight по умолчанию будет изменена с 3.6 на 4.0. Дополнительные сведения о доступных версиях см. в списке поддерживаемых версий. Изучите подробнее новые возможности HDInsight 4.0
Окончание поддержки HDInsight 3.6 30 июня 2021 г.
Поддержка HDInsight 3.6 будет прекращена. Начиная с 30 июня 2021 г., клиенты не смогут создавать новые кластеры HDInsight 3.6. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию HDInsight 4.0, чтобы избежать потенциальных перерывов в работе или обслуживании.
Исправления ошибок
HDInsight постоянно повышает надежность и производительность кластеров.
Устранение проблемы при перезапуске виртуальных машин в кластере
В этом выпуска не вносилось изменений в версии компонентов. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.
Дата выпуска: 08.10.2020
Этот выпуск применим к версиям HDInsight 3.6 и HDInsight 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Новые возможности
Частные кластеры HDInsight без общедоступного IP-адреса и Приватного канала (предварительная версия)
HDInsight теперь поддерживает создание кластеров без общедоступного IP-адреса и доступа к кластерам по приватному каналу в предварительной версии. Клиенты могут использовать новые дополнительные сетевые параметры, чтобы создать полностью изолированный кластер без общедоступного IP-адреса и использовать собственные частные конечные точки для доступа к кластеру.
Переход на масштабируемые наборы виртуальных машин Azure
Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Начиная с этого выпуска, служба будет постепенно переноситься в масштабируемые наборы виртуальных машин Azure. Весь процесс может занять несколько месяцев. После переноса регионов и подписок все созданные кластеры HDInsight будут выполняться в масштабируемых наборах виртуальных машин, и для этого не требуются действия со стороны клиента. Критических изменений не ожидается.
Устаревание
Прекращение использования кластера Служб машинного обучения в HDInsight 3.6
Поддержка типа кластера Служб машинного обучения HDInsight 3.6 будет прекращена 31 декабря 2020 г. После этого клиенты не смогут создавать новые кластеры Служб машинного обучения версии 3.6. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Проверьте срок действия поддержки для версий HDInsight и типов кластеров здесь.
Изменения в работе
В этом выпуске не вносятся изменения в поведении.
Предстоящие изменения
В предстоящих выпусках будут внесены описанные ниже изменения.
Возможность выбора различных размеров виртуальных машин Zookeeper для Spark, Hadoop и Служб машинного обучения
На сегодня HDInsight не поддерживает настройку размера узла Zookeeper для типов кластера Spark, Hadoop и Служб машинного обучения. По умолчанию используются размеры виртуальных машин A2_v2/A2, которые предоставляются бесплатно. В предстоящем выпуске можно будет выбрать размер виртуальной машины Zookeeper, наиболее подходящий для вашего сценария. За узлы Zookeeper с размером виртуальной машины, отличным от A2_v2/A2, будет начисляться счет. Виртуальные машины A2_v2 и a2 по-прежнему предоставляются бесплатно.
Исправления ошибок
HDInsight постоянно повышает надежность и производительность кластеров.
Изменение версий компонентов
В этом выпуска не вносилось изменений в версии компонентов. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.
Дата выпуска: 28.09.2020
Этот выпуск применим к версиям HDInsight 3.6 и HDInsight 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Новые возможности
Автомасштабирование для Interactive Query с помощью HDInsight 4.0 теперь общедоступно
Автоматическое масштабирование для типа кластера Interactive Query теперь общедоступно (GA) для HDInsight 4.0. Все кластеры Interactive Query 4.0, созданные после 27 августа 2020 г., будут иметь общедоступную поддержку автоматического масштабирования.
Кластер HBase поддерживает ADLS 2-го поколения Premium
HDInsight теперь поддерживает ADLS 2-го поколения Premium в качестве первичной учетной записи хранения для кластеров HDInsight HBase 3.6 и 4.0. Вместе с ускоренными операциями записи можно повысить производительность кластеров HBase.
Распределение секций Kafka в доменах сбоя Azure
Домен сбоя — это логическое объединение базового оборудования в центре обработки данных Azure. Все домены сбоя используют общий источник питания и сетевой коммутатор. Прежде чем HDInsight Kafka может хранить все реплики секций в одном домене сбоя. Начиная с этого выпуска, HDInsight поддерживает автоматическое распределение секций Kafka на основе доменов сбоя Azure.
Шифрование при передаче
Клиенты могут включить шифрование между узлами кластера с помощью шифрования IPsec с ключами, управляемыми платформой. Этот параметр можно включить во время создания кластера. См. дополнительные сведения о том, как включить шифрование при передаче.
Переход на масштабируемые наборы виртуальных машин Azure
Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Начиная с этого выпуска, служба будет постепенно переноситься в масштабируемые наборы виртуальных машин Azure. Весь процесс может занять несколько месяцев. После переноса регионов и подписок все созданные кластеры HDInsight будут выполняться в масштабируемых наборах виртуальных машин, и для этого не требуются действия со стороны клиента. Критических изменений не ожидается.
Устаревание
Список устаревших компонентов в этом выпуске не расширяется.
Изменения в работе
В этом выпуске не вносятся изменения в поведении.
Предстоящие изменения
В предстоящих выпусках будут внесены описанные ниже изменения.
Возможность выбора различных номеров SKU Zookeeper для Spark, Hadoop и Служб машинного обучения
На сегодня HDInsight не поддерживает изменение SKU Zookeeper для типов кластера Spark, Hadoop и Служб машинного обучения. Для узлов Zookeeper используется SKU A2_v2/A2, и клиенты за это не платят. В следующем выпуске клиенты могут изменить SKU Zookeeper для служб Spark, Hadoop и ML по мере необходимости. За узлы Zookeeper с отличными от A2_v2/A2 SKU будет начисляться счет. Номером SKU по умолчанию по-прежнему будет A2_V2/A2, без оплаты.
Исправления ошибок
HDInsight постоянно повышает надежность и производительность кластеров.
Изменение версий компонентов
В этом выпуска не вносилось изменений в версии компонентов. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.
Дата выпуска: 09.08.2020
Этот выпуск применим только к HDInsight версии 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Новые возможности
Поддержка SparkCruise
SparkCruise — система автоматического повторного использования вычислений для Spark. Она выбирает общие части выражений для материализации на основе рабочей нагрузки прошлых запросов. SparkCruise обрабатывает эти части выражения в процессе обработки запросов, и повторное использование вычислений применяется автоматически в фоновом режиме. Вы можете воспользоваться преимуществами SparkCruise, не внося никаких изменений в код Spark.
Поддержка представления Hive для HDInsight 4.0
Представление Hive Apache Ambari предназначено для помощи в создании, оптимизации и выполнении запросов Hive из веб-браузера. Изначально представление Hive поддерживается для кластеров HDInsight 4.0, начиная с этого выпуска. Оно не применяется к существующим кластерам. Чтобы получить встроенное представление Hive, необходимо удалить и повторно создать кластер.
Поддержка представления Tez для HDInsight 4.0
Представление Apache Tez используется для отслеживания и отладки выполнения задания Hive Tez. Изначально представление Tez поддерживается для HDInsight 4.0, начиная с этого выпуска. Оно не применяется к существующим кластерам. Чтобы получить встроенное представление Tez, необходимо удалить и повторно создать кластер.
Устаревание
Устаревание Spark 2.1 и 2.2 для кластера Spark в HDInsight 3.6
Начиная с 1 июля 2020 г. клиенты не могут создавать новые кластеры Spark с Spark 2.1 и 2.2 в HDInsight 3.6. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти к версии Spark 2.3 в HDInsight 3.6 не позднее 30 июня 2020 г., чтобы избежать потенциальных проблем или перерывов в работе.
Устаревание Spark 2.3 для кластера Spark в HDInsight 4.0
Начиная с 1 июля 2020 г. клиенты не могут создавать новые кластеры Spark с Spark 2.3 в HDInsight 4.0. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Spark 2.4 в HDInsight 4.0 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе.
Устаревание Kafka 1.1 для кластера Kafka в HDInsight 4.0
Начиная с 1 июля 2020 г. клиенты не смогут создавать новые кластеры Kafka с Kafka 1.1 в HDInsight 4.0. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Kafka 2.1 в HDInsight 4.0 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе.
Изменения в работе
Изменение версии стека Ambari
В этом выпуске версия Ambari изменяется с 2.x.x.x на 4.1. Версию стека (HDInsight 4.1) можно проверить в Ambari: Ambari > Пользователь >Версии.
Предстоящие изменения
Нет предстоящих критических изменений, на которые нужно обратить внимание.
Исправления ошибок
HDInsight постоянно повышает надежность и производительность кластеров.
Приведенные ниже JIRA обратно портированы для Hive:
В этом выпуска не вносилось изменений в версии компонентов. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.
Известные проблемы
Исправлена проблема на портале Azure, где у пользователей возникала ошибка при создании кластера Azure HDInsight с помощью типа проверки подлинности SSH с открытым ключом. Когда пользователи нажимали кнопку "Проверка и создание", они получат сообщение об ошибке "Не должно содержать трех последовательных символов из имени пользователя SSH". Эта проблема устранена, но может потребоваться обновить кэш браузера, нажав клавиши CTRL+F5, чтобы загрузить исправленное представление. Чтобы решить эту проблему, необходимо создать кластер с шаблоном Resource Manager.
Дата выпуска: 13.07.2020
Этот выпуск применим к HDInsight версий 3.6 и 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Новые возможности
Поддержка защищенного хранилища для пользователей Microsoft Azure
Azure HDInsight теперь поддерживает защищенное хранилище Azure. Клиенты получают интерфейс для просмотра и утверждения или отклонения запросов на доступ к данным клиента. Он используется, когда инженер Майкрософт должен получить доступ к данным клиента во время запроса на поддержку. Дополнительные сведения см. в разделе Защищенное хранилище для Microsoft Azure.
Политики конечной точки службы для хранилища
Теперь клиенты могут использовать политики конечной точки службы (SEP) в подсети кластера HDInsight. Дополнительные сведения о политике конечной точки службы Azure.
Устаревание
Устаревание Spark 2.1 и 2.2 для кластера Spark в HDInsight 3.6
Начиная с 1 июля 2020 г. клиенты не могут создавать новые кластеры Spark с Spark 2.1 и 2.2 в HDInsight 3.6. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти к версии Spark 2.3 в HDInsight 3.6 не позднее 30 июня 2020 г., чтобы избежать потенциальных проблем или перерывов в работе.
Устаревание Spark 2.3 для кластера Spark в HDInsight 4.0
Начиная с 1 июля 2020 г. клиенты не могут создавать новые кластеры Spark с Spark 2.3 в HDInsight 4.0. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Spark 2.4 в HDInsight 4.0 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе.
Устаревание Kafka 1.1 для кластера Kafka в HDInsight 4.0
Начиная с 1 июля 2020 г. клиенты не смогут создавать новые кластеры Kafka с Kafka 1.1 в HDInsight 4.0. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Kafka 2.1 в HDInsight 4.0 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе.
Изменения в работе
Нет изменений в поведении, на которые нужно обратить внимание.
Предстоящие изменения
В предстоящих выпусках будут внесены описанные ниже изменения.
Возможность выбора различных номеров SKU Zookeeper для Spark, Hadoop и Служб машинного обучения
На сегодня HDInsight не поддерживает изменение SKU Zookeeper для типов кластера Spark, Hadoop и Служб машинного обучения. Для узлов Zookeeper используется SKU A2_v2/A2, и клиенты за это не платят. В следующем выпуске клиенты смогут изменить SKU Zookeeper для служб Spark, Hadoop и ML по мере необходимости. За узлы Zookeeper с отличными от A2_v2/A2 SKU будет начисляться счет. Номером SKU по умолчанию по-прежнему будет A2_V2/A2, без оплаты.
Исправления ошибок
HDInsight постоянно повышает надежность и производительность кластеров.
Исправлена проблема с Hive Warehouse Connector
В предыдущем выпуске возникла ошибка использования Hive Warehouse Connector. Теперь эта проблема устранена.
Исправлена проблема с усечением начальных нулей в записной книжке Zeppelin
В Zeppelin неправильно усекались начальные нули в выходных данных таблицы для формата строки. Мы устранили эту ошибку в данном выпуске.
Изменение версий компонентов
В этом выпуска не вносилось изменений в версии компонентов. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.
Дата выпуска: 11.06.2020
Этот выпуск применим к HDInsight версий 3.6 и 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Новые возможности
Переход на масштабируемые наборы виртуальных машин Azure
Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Начиная с этого выпуска, в новых кластерах HDInsight будет использоваться масштабируемый набор виртуальных машин Azure. Изменение развертывается постепенно. Резкого изменения не предполагается. Изучите информацию о масштабируемых наборах виртуальных машин Azure.
Перезагрузка виртуальных машин в кластере HDInsight
В этом выпуске мы поддерживаем перезагрузку виртуальных машин в кластере HDInsight для перезагрузки нереагирующих узлов. В настоящее время это можно сделать только через API, поддержка PowerShell и CLI ожидается. Дополнительные сведения об интерфейсе API см. в этом документе.
Устаревание
Устаревание Spark 2.1 и 2.2 для кластера Spark в HDInsight 3.6
Начиная с 1 июля 2020 г. клиенты не могут создавать новые кластеры Spark с Spark 2.1 и 2.2 в HDInsight 3.6. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти к версии Spark 2.3 в HDInsight 3.6 не позднее 30 июня 2020 г., чтобы избежать потенциальных проблем или перерывов в работе.
Устаревание Spark 2.3 для кластера Spark в HDInsight 4.0
Начиная с 1 июля 2020 г. клиенты не могут создавать новые кластеры Spark с Spark 2.3 в HDInsight 4.0. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Spark 2.4 в HDInsight 4.0 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе.
Устаревание Kafka 1.1 для кластера Kafka в HDInsight 4.0
Начиная с 1 июля 2020 г. клиенты не смогут создавать новые кластеры Kafka с Kafka 1.1 в HDInsight 4.0. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Kafka 2.1 в HDInsight 4.0 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе.
Изменения в работе
Изменение размера головного узла для кластера ESP Spark
Минимальный разрешенный размер головного узла для кластера ESP Spark изменен на Standard_D13_V2.
Виртуальные машины с небольшим количеством ядер и объемом памяти в качестве головного узла могут вызвать проблемы с кластером ESP из-за относительной нехватки ресурсов ЦП и памяти. Начиная с этого выпуска, используйте номера SKU выше Standard_D13_V2 и Standard_E16_V3 в качестве головного узла для кластеров ESP Spark.
Для головного узла требуется виртуальная машина с не менее чем 4-мя ядрами
Для головного узла требуется виртуальная машина с не менее чем 4-мя ядрами, чтобы обеспечивать высокий уровень доступности и надежности для кластеров HDInsight. Начиная с 6 апреля 2020 г. клиенты смогут выбрать в качестве головного узла для новых кластеров HDInsight только виртуальные машины с 4-мя и более ядрами. Существующие кластеры продолжат работать ожидаемым образом.
Изменение подготовки рабочих узлов кластера
Когда 80% рабочих узлов готовы, кластер переходит на операционный этап. На этом этапе клиенты могут выполнять все операции в плоскости данных, такие как выполнение скриптов и заданий. Но клиенты не могут выполнять операции на уровне управления, такие как увеличение или уменьшение масштаба. Поддерживается только удаление.
После операционного этапа кластер ожидает еще 60 минут для оставшихся 20% рабочих узлов. В конце этого 60-минутного периода кластер переходит на запущенный этап, даже если все рабочие узлы по-прежнему недоступны. После того как кластер перейдет на этап выполнения, его можно использовать как обычно. Принимаются как операции уровня управления, такие как увеличение или уменьшение масштаба, так и операции в плоскости данных, такие как выполнение скриптов и заданий. Если некоторые из запрошенных рабочих узлов недоступны, кластер будет помечен как частичный успех. Вы платите за узлы, которые были успешно развернуты.
Создание нового субъекта-службы с помощью HDInsight
Ранее при создании кластера клиенты могли создать новый субъект-службу для доступа к подключенной учетной записи ADLS 1-го поколения на портале Azure. Начиная с 15 июня 2020 г. создание нового субъекта-службы невозможно в рабочем процессе создания HDInsight, поддерживается только существующий субъект-служба. См. Создание субъекта-службы и сертификатов с помощью Azure Active Directory.
Время ожидания для действий скриптов с созданием кластера
HDInsight поддерживает выполнение действий скриптов с созданием кластера. В этом выпуске все действия скрипта с созданием кластера должны завершиться в течение 60 минут или истекает время ожидания. Действия скрипта, отправленные в запущенные кластеры, не влияют. Дополнительные сведения см. здесь.
Предстоящие изменения
Нет предстоящих критических изменений, на которые нужно обратить внимание.
Исправления ошибок
HDInsight постоянно повышает надежность и производительность кластеров.
Изменение версий компонентов
Обновление HBase 2.0 до 2.1.6
Версия HBase обновлена с 2.0 до 2.1.6.
Обновление Spark 2.4.0 до 2.4.4
Версия Spark обновлена с 2.4.0 до 2.4.4.
Обновление Kafka 2.1.0 до 2.1.1
Версия Kafka обновлена с 2.1.0 до 2.1.1.
Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.
Известные проблемы
Проблема с Hive Warehouse Connector
В этом выпуске возникла проблема с соединителем хранилища Hive. Исправление войдет в следующий выпуск. Существующие кластеры, созданные до этого выпуска, не влияют. По возможности избегайте удаления и повторного создания кластера. Если вам нужна дополнительная помощь, откройте запрос в службу поддержки.
Дата выпуска: 01.09.2020
Этот выпуск применим к HDInsight версий 3.6 и 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.
Новые возможности
Обязательное использование TLS 1.2
TLS и SSL являются протоколами шифрования, которые обеспечивает безопасность передачи данных по сети. Дополнительные сведения о TLS. В HDInsight используется TLS 1.2 на общедоступных конечных точках HTTPS, но TLS 1.1 пока поддерживается для обеспечения обратной совместимости.
Начиная с этого выпуска клиенты могут потребовать использовать только TLS 1.2 для всех подключений через конечную точку общедоступного кластера. Для этого введено новое свойство minSupportedTlsVersion, которое можно указать во время создания кластера. Если значение для этого свойства не задано, кластер сохраняет поддержку TLS 1.0, 1.1 и 1.2, что соответствует текущему поведению. Клиенты могут задать для этого свойства значение "1.2", и тогда кластер будет поддерживать только TLS 1.2 и более поздних версий. Дополнительные сведения см. в статье о протоколе TLS.
Использование собственных ключей для шифрования дисков
Все управляемые диски в HDInsight защищены с помощью шифрования службы хранилища Azure (SSE). Данные на этих дисках по умолчанию шифруются с помощью ключей, управляемых корпорацией Майкрософт. Начиная с этого выпуска вы можете создавать собственные ключи (технология BYOK) для шифрования дисков и управлять ими в Azure Key Vault. Шифрование с поддержкой BYOK настраивается для кластера одним действием во время его создания и не предполагает других затрат. Просто зарегистрируйте HDInsight в качестве управляемого удостоверения в Azure Key Vault и добавьте ключ шифрования при создании кластера. Подробнее см. статью о шифровании диска с управляемыми клиентом ключами.
Устаревание
Список устаревших компонентов в этом выпуске не расширяется. Чтобы подготовиться к планам по прекращению поддержки, изучите список Предстоящие изменения.
Изменения в работе
В этом выпуске не вносятся изменения в поведении. Чтобы подготовиться к планам по изменениям, изучите список Предстоящие изменения.
Предстоящие изменения
В предстоящих выпусках будут внесены описанные ниже изменения.
Устаревание Spark 2.1 и 2.2 для кластера Spark в HDInsight 3.6
Начиная с 1 июля 2020 г. клиенты не смогут создавать новые кластеры Spark с Spark 2.1 и 2.2 в HDInsight 3.6. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Spark 2.3 в HDInsight 3.6 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе.
Устаревание Spark 2.3 для кластера Spark в HDInsight 4.0
Начиная с 1 июля 2020 г. клиенты не смогут создавать новые кластеры Spark с Spark 2.3 в HDInsight 4.0. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Spark 2.4 в HDInsight 4.0 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе.
Устаревание Kafka 1.1 для кластера Kafka в HDInsight 4.0
Начиная с 1 июля 2020 г. клиенты не смогут создавать новые кластеры Kafka с Kafka 1.1 в HDInsight 4.0. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Kafka 2.1 в HDInsight 4.0 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе. Дополнительные сведения см. в статье Перенос рабочих нагрузок Apache Kafka в Azure HDInsight 4.0.
Обновление HBase 2.0 до 2.1.6
В предстоящем выпуске HDInsight 4.0 версия HBase будет обновлена с 2.0 до 2.1.6
Обновление Spark 2.4.0 до 2.4.4
В предстоящем выпуске HDInsight 4.0 версия Spark будет обновлена с 2.4.0 до 2.4.4
Обновление Kafka 2.1.0 до 2.1.1
В предстоящем выпуске HDInsight 4.0 версия Kafka будет обновлена с 2.1.0 до 2.1.1
Для головного узла требуется виртуальная машина с не менее чем 4-мя ядрами
Для головного узла требуется виртуальная машина с не менее чем 4-мя ядрами, чтобы обеспечивать высокий уровень доступности и надежности для кластеров HDInsight. Начиная с 6 апреля 2020 г. клиенты смогут выбрать в качестве головного узла для новых кластеров HDInsight только виртуальные машины с 4-мя и более ядрами. Существующие кластеры продолжат работать ожидаемым образом.
Изменение размера узла для кластера ESP Spark
В предстоящем выпуске минимальный разрешенный размер узла для кластера ESP Spark изменится на Standard_D13_V2.
Виртуальные машины серии A могут приводить к проблемам с кластером ESP из-за сравнительно малого объема ресурсов ЦП и памяти. Виртуальные машины серии A не рекомендуются для создания новых кластеров ESP.
Переход на масштабируемые наборы виртуальных машин Azure
Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. В предстоящем выпуске HDInsight переключится на использование масштабируемых наборов виртуальных машин Azure. Изучите информацию о масштабируемых наборах виртуальных машин Azure.
Исправления ошибок
HDInsight постоянно повышает надежность и производительность кластеров.
Изменение версий компонентов
В этом выпуска не вносилось изменений в версии компонентов. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 вы можете найти здесь.
Дата выпуска: 17.12.2019
Этот выпуск применим к HDInsight версий 3.6 и 4.0.
Новые возможности
Теги служб
Теги служб упрощают безопасность виртуальных машин Azure и виртуальных сетей Azure, позволяя легко ограничить сетевой доступ к службам Azure. Теги служб можно использовать в правилах группы безопасности сети (NSG), чтобы разрешать или запрещать трафик к определенной службе Azure глобально или по определенным регионам Azure. За обслуживание IP-адресов для этих тегов отвечает Azure. Теги службы HDInsight для групп безопасности сети (NSG) — это группы IP-адресов для служб работоспособности и управления. Эти группы упрощают создание правил безопасности. Клиенты HDInsight могут включить тег службы с помощью портала Azure, PowerShell и REST API. Дополнительные сведения см. в статье Теги службы Azure HDInsight для групп безопасности сети.
Пользовательская база данных Ambari DB
HDInsight теперь позволяет использовать собственную базу данных SQL для Apache Ambari. Эту пользовательскую базу данных Ambari можно настроить на портале Azure или с помощью шаблона Resource Manager. Эта функция позволяет выбрать подходящую базу данных SQL для ваших потребностей в обработке и емкости. Также можно легко выполнить обновление в соответствии с требованиями растущего бизнеса. Дополнительные сведения см. в статье Настройка кластеров HDInsight с помощью пользовательской базы данных Ambari DB.
Устаревание
Список устаревших компонентов в этом выпуске не расширяется. Чтобы подготовиться к планам по прекращению поддержки, изучите список Предстоящие изменения.
Изменения в работе
В этом выпуске не вносятся изменения в поведении. Чтобы подготовиться к предстоящим изменениям в поведении, изучите список Предстоящие изменения.
Предстоящие изменения
В предстоящих выпусках будут внесены описанные ниже изменения.
Принудительное применение протокола TLS версии 1.2
TLS и SSL являются протоколами шифрования, которые обеспечивает безопасность передачи данных по сети. Дополнительные сведения см. в статье о протоколе TLS. Хотя кластеры Azure HDInsight принимают подключения TLS 1.2 в общедоступных конечных точках HTTPS, TLS 1.1 по-прежнему поддерживается для обратной совместимости со старыми клиентами.
Начиная со следующего выпуска, вы сможете выбрать и настроить новые кластеры HDInsight на прием только подключений TLS 1.2.
Позднее в этом году, начиная с 30.06.2020, Azure HDInsight будет принудительно применять TLS 1.2 или более поздних версий для всех подключений HTTPS. Рекомендуем убедиться, что все клиенты готовы к работе с TLS 1.2 или более поздней версии.
Переход на масштабируемые наборы виртуальных машин Azure
Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Начиная с февраля 2020 (точная дата будет сообщена позже), HDInsight будет использовать вместо этого масштабируемые наборы виртуальных машин Azure. Изучите информацию о масштабируемых наборах виртуальных машин Azure.
Изменение размера узла для кластера ESP Spark
В следующем выпуске:
Минимальный разрешенный размер узла для кластера ESP Spark будет изменен на Standard_D13_V2.
Виртуальные машины серии A будут объявлены нерекомендуемыми для создания новых кластеров ESP, так как виртуальные машины серии A могут вызвать проблемы с кластером ESP из-за относительной нехватки ресурсов ЦП и памяти.
Обновление HBase 2.0 до 2.1
В предстоящем выпуске HDInsight 4.0 версия HBase будет обновлена с 2.0 до 2.1.
Исправления ошибок
HDInsight постоянно повышает надежность и производительность кластеров.
Изменение версий компонентов
Поддержка HDInsight 3.6 была продлена до 31 декабря 2020 г. Дополнительные сведения см. в статье Поддерживаемые версии HDInsight.
Для HDInsight 4.0 нет изменений в версии компонентов.
Apache Zeppelin в HDInsight 3.6: 0.7.0-->0.7.3.
Последние версии компонентов можно найти в этом документе.
Новые регионы
Северная часть ОАЭ;
IP-адреса управления для северной части ОАЭ: 65.52.252.96 и 65.52.252.97.
Дата выпуска: 07.11.2019
Этот выпуск применим к HDInsight версий 3.6 и 4.0.
HdInsight Identity Broker (HIB) позволяет пользователям входить в Apache Ambari с помощью многофакторной проверки подлинности (MFA) и получать необходимые билеты Kerberos без хэшей паролей в службах Azure домен Active Directory (AAD-DS). Сейчас HIB доступен только для кластеров, развернутых с помощью шаблона Azure Resource Manager (ARM).
Прокси-сервер API Rest для Kafka (предварительная версия)
Прокси-сервер API Rest для Kafka обеспечивает развертывание одним щелчком прокси-сервера REST высокой надежности с кластером Kafka посредством защищенной авторизации Azure AD и протокола OAuth.
Автомасштабирование
Автоматическое масштабирование Azure HDInsight теперь общедоступно во всех регионах для типов кластеров Apache Spark и Hadoop. Эта функция позволяет управлять рабочими нагрузками аналитики больших данных более экономичным и эффективным способом. Теперь можно оптимизировать использование кластеров HDInsight и платить только за то, что вам нужно.
В зависимости от ваших требований вы можете выбирать между автомасштабированием с учетом загрузки и автомасштабированием с учетом расписания. Автомасштабирование на основе нагрузки позволяет масштабировать размер кластера в соответствии с текущими потребностями в ресурсах, а автомасштабирование на основе расписания — изменять размер кластера на основе предопределенного расписания.
Поддержка автомасштабирования для рабочей нагрузки HBase и LLAP также находится в статусе общедоступной предварительной версией. Дополнительные сведения см. в разделе Автоматическое масштабирование кластеров Azure HDInsight.
Ускорение операций записи Azure HDInsight для Apache HBase
Для ускоренной записи используются управляемые диски Azure SSD ценовой категории "Премиум", которые позволяют повысить производительность журнала упреждающего протоколирования Apache HBase (WAL). Дополнительные сведения см. в статье Azure HDInsight Accelerated Writes for Apache HBase (Ускоренные операции записи Azure HDInsight для Apache HBase).
Пользовательская база данных Ambari DB
Теперь HDInsight предлагает новую емкость, которая позволит клиентам использовать собственную базу данных SQL для Ambari. Клиенты теперь могут выбрать подходящую базу данных SQL для Ambari и легко обновлять ее в соответствии с требованиями к росту бизнеса. Развертывание осуществляется с помощью шаблона Azure Resource Manager. Дополнительные сведения см. в статье Настройка кластеров HDInsight с помощью пользовательской базы данных Ambari DB.
Виртуальные машины серии F теперь доступны в HDInsight
Виртуальные машины серии F — хороший выбор для начала работы с HDInsight при незначительных требованиях к обработке. Предлагая более низкую стоимость часа по прейскуранту, серия F обеспечивает наилучшее соотношение цены и производительности в портфеле Azure в единицах вычисления Azure (ACU) на виртуальный ЦП. Дополнительные сведения см. в статье Выбор правильного размера виртуальной машины для кластера Azure HDInsight.
Устаревание
Устаревание виртуальных машин серии G
Начиная с этого выпуска, виртуальные машины серии G больше не предлагаются в HDInsight.
Dv1 нерекомендуемая виртуальная машина
В этом выпуске использование виртуальных Dv1 машин с HDInsight не рекомендуется. Любой запрос Dv1 клиента будет обслуживаться Dv2 автоматически. Нет разницы в цене между Dv1 виртуальными Dv2 машинами.
Изменения в работе
Изменение размера управляемого диска кластера
HDInsight предоставляет с кластером управляемое дисковое пространство. Начиная с этого выпуска, размер управляемого диска каждого узла в новом созданном кластере изменен на 128 ГБ.
Предстоящие изменения
В предстоящих выпусках будут внесены описанные ниже изменения.
Переход на масштабируемые наборы виртуальных машин Azure
Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Начиная с декабря, HDInsight переключится на использование масштабируемых наборов виртуальных машин Azure. Изучите информацию о масштабируемых наборах виртуальных машин Azure.
Обновление HBase 2.0 до 2.1
В предстоящем выпуске HDInsight 4.0 версия HBase будет обновлена с 2.0 до 2.1.
Устаревание виртуальных машин серии A для кластера ESP
Виртуальные машины серии A могут приводить к проблемам с кластером ESP из-за сравнительно малого объема ресурсов ЦП и памяти. В предстоящем выпуске виртуальные машины серии A не будут рекомендоваться для создания новых кластеров ESP.
Исправления ошибок
HDInsight постоянно повышает надежность и производительность кластеров.
Изменение версий компонентов
Для этого выпуска не изменяется версия компонента. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 можно найти здесь.
Дата выпуска: 07.08.2019
Версии компонентов
Официальные версии Apache всех компонентов HDInsight 4.0 перечислены ниже. Перечисленные компоненты являются выпусками самых последних доступных стабильных версий.
Apache Ambari 2.7.1
Apache Hadoop 3.1.1
Apache HBase 2.0.0
Apache Hive 3.1.0
Apache Kafka 1.1.1, 2.1.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.3.1, 2.4.0
Apache Sqoop 1.4.7
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6
В дополнение к версиям, перечисленным выше, более поздние версии компонентов Apache иногда включаются в пакет в платформе HDP. В этом случае эти более поздние версии приводятся в таблице технических предварительных версий и не должны заменять версии компонента Apache указанного выше списка в рабочей среде.
Сведения об исправлениях Apache
Дополнительные сведения об исправлениях, доступных в HDInsight 4.0, см. в списке исправлений для каждого продукта в таблице ниже.
Исправлены проблемы, связанные с распространенными уязвимостями и рисками
Дополнительные сведения о проблемах безопасности, устраненных в этом выпуске, см. в статье Hortonworks Fixed Common Vulnerabilities and Exposures for HDP 3.0.1 (Устраненные распространенные уязвимости и риски для HDP 3.0.1).
Известные проблемы
Репликация не работает для Secure HBase с установкой по умолчанию
Для HDInsight 4.0 выполните следующие действия.
Включите обмен данными между кластерами.
Войдите на активный головной узел.
Загрузите скрипт для включения репликации с помощью следующей команды:
Phoenix Sqlline перестает работать после переноса кластера HBase в HDInsight 4.0
Выполните следующие действия:
Удалите следующие таблицы Phoenix:
SYSTEM.FUNCTION
SYSTEM.SEQUENCE
SYSTEM.STATS
SYSTEM.MUTEX
SYSTEM.CATALOG
Если не удается удалить ни одну из таблиц, перезапустите HBase, чтобы очистить все соединения с таблицами.
Еще раз запустите sqlline.py. Phoenix повторно создаст все таблицы, которые были удалены на шаге 1.
Повторно создайте таблицы и представления Phoenix для данных HBase.
Phoenix Sqlline прекращает работу после репликации метаданных HBase Phoenix из HDInsight 3.6 в 4.0
Выполните следующие действия:
Перед выполнением репликации перейдите в целевой кластер 4.0 и выполните sqlline.py. Эта команда создаст таблицы Phoenix, такие как SYSTEM.MUTEX и SYSTEM.LOG, которые существуют только в 4.0.
Удалите следующие таблицы:
SYSTEM.FUNCTION
SYSTEM.SEQUENCE
SYSTEM.STATS
SYSTEM.CATALOG
Запуск репликации HBase
Устаревание
Apache Storm и Службы машинного обучения недоступны в HDInsight 4.0.
Дата выпуска: 14.04.2019
Новые возможности
Новые обновления и возможности относятся к следующим категориям.
Обновление Hadoop и других проектов с открытым кодом. Помимо исправления более чем 1000 ошибок в более чем 20 проектах с открытым кодом, это обновление также содержит новые версии Spark (2.3) и Kafka (1.0).
Обновление R Server 9.1 до Служб машинного обучения 9.3. В этом выпуске мы предоставили специалистам по анализу данных и инженерам лучшие проекты с открытым кодом, дополненные инновационными алгоритмами и возможностью легко вводить их в эксплуатацию, причем на любом удобном языке с сохранением скорости Apache Spark. Этот выпуск расширяет возможности, предлагаемые R Server, реализуя поддержку Python. Из-за этого имя кластера изменено с R Server на Службы машинного обучения.
Поддержка Azure Data Lake Storage поколения 2. HDInsight теперь будет поддерживать предварительный выпуск Azure Data Lake Storage поколения 2. Во всех регионах доступности клиентам будет предоставлена возможность выбрать учетную запись ADSL поколения 2, как основное или дополнительное хранилище для кластеров HDInsight.
Обновления пакетов безопасности HDInsight Enterprise (предварительная версия) — (предварительная версия)виртуальная сеть конечных точек службы для Хранилище BLOB-объектов Azure, ADLS 1-го поколения, Azure Cosmos DB и Azure DB.
Версии компонентов
Официальные версии Apache всех компонентов HDInsight 3.6 перечислены ниже. Все компоненты, перечисленные здесь, являются официальными выпусками Apache самых последних из доступных стабильных версий.
Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ 0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6
В дополнение к версиям, перечисленным выше, более поздние версии нескольких компонентов Apache иногда включаются в пакет в платформе HDP. В этом случае эти более поздние версии приводятся в таблице технических предварительных версий и не должны заменять версии компонента Apache указанного выше списка в рабочей среде.
Сведения об исправлениях Apache
Hadoop
В этом выпуске содержится Hadoop Common 2.7.3 и следующие исправления Apache.
HADOOP-13190: укажите поставщик LoadBalancingKMSClientProvider в документации высокой доступности сервера управления ключами.
HADOOP-13227: обработчик AsyncCallHandler должен использовать архитектуру, управляемую событиями, для обработки асинхронных вызовов.
HADOOP-14104: клиент должен всегда запрашивать узел с именем для пути поставщика сервера управления ключами.
HADOOP-14799: обновите nimbus-jose-jwt до версии 4.41.1.
HADOOP-14814: исправьте изменение в несовместимом API в FsServerDefaults на HADOOP-14104.
HADOOP-14903: добавьте явным образом json-smart в файл pom.xml.
HADOOP-15042: Azure PageBlobInputStream.skip() может возвращать отрицательное значение, когда значение numberOfPagesRemaining равно 0.
HADOOP-15255: поддержка преобразования верхнего и нижнего регистров для имен групп в LdapGroupsMapping.
HADOOP-15265: исключите явным образом json-smart из файла pom.xml hadoop-auth.
HDFS-7922: ShortCircuitCache#close не выпускает ScheduledThreadPoolExecutors.
HDFS-8496: вызов stopWriter() с блокировкой FSDatasetImpl может блокировать другие потоки (cmccabe).
HDFS-10267: дополнительно синхронизированный в FsDatasetImpl#recoverAppend и FsDatasetImpl#recoverClose.
HDFS-10489: объявите устаревшим URI dfs.encryption.key.provider.uri для зон шифрования HDFS.
HDFS-11384: добавьте параметр для балансировщика для разгона вызовов getBlocks, чтобы избежать всплеска rpc.CallQueueLength узла NameNode.
HDFS-11689: новое исключение, вызванное DFSClient%isHDFSEncryptionEnabled сломаем hacky кода hive.
HDFS-11711: DN не должен удалять блок "Слишком много открытых файлов".
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay часто завершается сбоем.
HDFS-12781: после Datanode падения Namenode на вкладке пользовательского интерфейса Datanode возникает предупреждение.
HDFS-13054: обработка PathIsNotEmptyDirectoryException при DFSClient вызове удаления.
HDFS-13120: инструмент сравнения моментального снимка мог быть поврежден после объединения.
YARN-3742: YARN RM завершит работу, если ZKClient время создания истекло.
YARN-6061: добавьте обработчик UncaughtExceptionHandler для критических потоков в RM.
YARN-7558: не удалось выполнить команду журналов Yarn, чтобы получить журналы для запуска контейнеров при включенной проверке подлинности пользовательского интерфейса.
YARN-7697: извлечение журналов для готового приложения завершается сбоем, даже если выполнена агрегация журнала.
В HDP версии 2.6.4 содержится Hadoop Common 2.7.3 и следующие исправления Apache.
HADOOP-137000: удалите неуправляемые IOException из КорзинПолиси#инициализация и #getInstance подписей.
HADOOP-13709: возможность очистить подпроцессы, порожденные Shell, при наличии процесса.
HADOOP-14059: опечатка в s3a сообщении об ошибке переименования (self, subdir).
HADOOP-14542: добавьте средство ведения журнала IOUtils.cleanupWithLogger, которое принимает API средства ведения журнала slf4j.
HDFS-9887: время ожидания сокета WebHDFS должно быть настраиваемое.
HDFS-9914: исправьте настраиваемое время ожидания на чтение и подключение WebHDFS.
MAPREDUCE-6698: увеличьте время ожидания в TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser.
YARN-4550: некоторые проверки в TestContainerLanch не удается выполнить в среде языкового стандарта, отличного от английского.
YARN-4717: работа каталога TestResourceLocalizationService.testPublicResourceInitializesLocalDir периодически прерывается из-за исключения IllegalArgumentException в процессе очистки.
YARN-5042: подключите группу /sys/fs/cgroup к контейнерам Docker, выбрав подключение только для чтения.
YARN-5318: исправьте проблему с прерывающейся проверкой поставщика TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider.
YARN-5641: средство локализации остается за пределами архивов в формате TAR после завершения создания контейнера.
YARN-6004: Refactor TestResourceLocalizationService#testDownloadingResourcesOnContainer, чтобы оно было меньше 150 строк.
YARN-6078: контейнеры зависли в состоянии локализации.
YARN-6805: NPE в исполнителе LinuxContainerExecutor из-за кода завершения исключения PrivilegedOperationException со значением NULL.
HBase
В этом выпуске содержится HBase 1.1.2 и следующие исправления Apache.
HBASE-13716: прекратите использовать константы FSConstants Hadoop.
HBASE-13848: получите доступ к паролям SSL InfoServer с помощью API поставщика учетных данных.
HBASE-13947: используйте службы MasterServices вместо сервера в AssignmentManager.
HBASE-14135: этап 3 резервного копирования и восстановления HBase — объедините образы резервных копий.
HBASE-14473: вычислите местоположение региона в параллельном режиме.
HBASE-14517: отображение regionserver's версии на главной странице состояния.
HBASE-14606: в Apache истекло время ожидания проверок TestSecureLoadIncrementalHFiles в сборке магистралей.
HBASE-15210: отмените интенсивное ведение журналов для десятков строк за миллисекунду в подсистеме балансировки нагрузки.
HBASE-15515: оптимизируйте в балансировщике LocalityBasedCandidateGenerator.
HBASE-15615: неправильное время сна, когда RegionServerCallable требуется повторить попытку.
HBASE-16135: PeerClusterZnode под rs удаленный одноранговый узел может никогда не удаляться.
HBASE-16570: при запуске вычислите местоположение региона в параллельном режиме.
HBASE-16810: HBase Balancer создает исключение ArrayIndexOutOfBoundsException при regionservers использовании /hbase/очистки znode и выгрузки.
HBASE-16852: сбой TestDefaultCompactSelection в ветви branch-1.3.
HBASE-17387: уменьшите нагрузку, указанную в отчете об исключении в RegionActionResult для multi().
HBASE-17850: служебная программа восстановления резервной копии.
HBASE-17931: назначьте системные таблицы серверам с самой последней версией.
HBASE-18083: обеспечьте возможность настройки числа потоков очистки файлов небольших и больших размеров в HFileCleaner.
HBASE-18084: оптимизируйте CleanerChore для очистки каталога, который потребляет больше дискового пространства.
HBASE-18164: более быстрая функция стоимости местоположения и генератор-кандидат.
HBASE-18212: предупреждающее сообщение в автономном режиме с журналами HBase в локальной файловой системе: Failed to invoke 'unbuffer' method in class org.apache.hadoop.fs.FSDataInputStream (Не удалось вызвать метод очистки буфера в классе org.apache.hadoop.fs.FSDataInputStream).
HBASE-18808: неэффективная проверка конфигурации в BackupLogCleaner#getDeletableFiles().
HBASE-19052: FixedFileTrailer должен распознавать класс CellComparatorImpl в ветви branch-1.x.
HBASE-19065: метод HRegion#bulkLoadHFiles() должен ожидать завершения параллельного метода Region#flush().
HBASE-19285: добавьте гистограммы задержки для каждой таблицы.
HBASE-19393: ошибка HTTP 413 FULL head (переполнение заголовка) во время доступа к пользовательскому интерфейсу HBase с помощью SSL.
HBASE-19395: [branch-1] ошибка разделения TestEndToEndSplitTransaction.testMasterOpsWhileSplitting с NPE.
HBASE-19421: ветвь branch-1 не компилируется с Hadoop версии 3.0.0.
HBASE-19934: исключение HBaseSnapshotException, если включены реплики чтения и при выполнении интерактивного моментального снимка после разделения региона.
HBASE-20008: [backport] исключение NullPointerException при восстановлении моментального снимка после разделения региона.
Куст
В этом выпуске содержатся Hive 1.2.1 и Hive 2.1.0, а также следующие исправления.
Исправления Apache Hive 1.2.1:
HIVE-10697: ObjectInspectorConvertors#UnionConvertor выполняет ошибочное преобразование.
HIVE-11266: неправильный результат count(*), основанный на статистике таблицы для внешних таблиц.
HIVE-12245: включите поддержку комментариев в столбце для архивной таблицы HBase.
HIVE-12315: исправьте деление на ноль двойного значения в векторной форме.
HIVE-12360: некорректный поиск в ORC без сжатия с включением предиката.
HIVE-12378: исключение в бинарном поле HBaseSerDe.serialize.
HIVE-12785: просмотр структуры с помощью типа объединения и определяемой пользователем функции не работает.
HIVE-14013: в таблице с описанием неправильно отображается Юникод.
HIVE-14205: Hive не поддерживает тип объединения с файлом формата AVRO.
HIVE-14421: FS.deleteOnExit содержит ссылки на файлы to _tmp_space.db.
HIVE-15563: проигнорируйте исключение перехода состояния недопустимой операции в запросе SQLOperation.runQuery, чтобы предоставить реальное исключение.
HIVE-15680: неправильные результаты в режиме MR, когда hive.optimize.index.filter=true и в запросе дважды содержится ссылка на одну таблицу ORC.
HIVE-15883: сопоставленная таблица HBase в Hive INSERT не подходит для десятичного числа.
HIVE-16232: включите поддержку вычисления статистики для столбцов в идентификаторе QuotedIdentifier.
HIVE-16828: с включенной оптимизацией с учетом затрат запрос в секционированных представлениях вызывает исключение IndexOutOfBoundException.
HIVE-17013: удалите запрос с вложенным запросом на основе выбора над представлением.
HIVE-17063: вставка раздела перезаписи во внешнюю таблицу завершается сбоем, если в первую очередь выполняется перетаскивание раздела.
HIVE-17259: Hive JDBC не распознает столбцы UNIONTYPE.
HIVE-17419: при выполнении команды ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS отображается вычисленная статистика для маскированных таблиц.
HIVE-17530: ClassCastException при преобразовании uniontype.
HIVE-17621: параметры Hive-site игнорируются во время вычисления разделения HCatInputFormat.
HIVE-17636: добавьте тест multiple_agg.q.blobstores
HIVE-17729: добавьте базу данных и объясните связанные проверки в хранилище BLOB-объектов.
HIVE-17731: добавьте обратный compat вариант для внешних пользователей в HIVE-11985.
HIVE-17803: при использовании множественного запроса Pig записи 2-х HCatStorers в одну таблицу будут удалять выходные данные друг друга.
HIVE-17829: ArrayIndexOutOfBoundsException — таблицы с поддержкой HBASE с схемой Avro в Hive2.
HIVE-17845: вставка завершается сбоем, если для столбцов целевой таблицы используется верхний регистр.
HIVE-17900: проанализируйте статистические данные в столбцах. Если они активированы с помощью уплотнителя, будет создан SQL неправильного формата с более чем 1 столбцом раздела.
HIVE-18026: оптимизация основной конфигурации Hive WebHCat.
HIVE-18031: включите поддержку репликации для операции изменения базы данных.
HIVE-18090: сбой пульса ACID при подключении хранилища метаданных через учетные данные Hadoop.
HIVE-18189: запрос Hive возвращает неправильные результаты, если для псевдонима hive.groupby.orderby.position.alias установлено значение true.
HIVE-18258: векторизация — Reduce-Side GROUP BY MERGEPARTIAL с двойными столбцами неработоспособна.
HIVE-18293: Hive не может сжимать таблицы, содержащиеся в папке, которая не принадлежит удостоверению, обеспечивающему работу хранилища HiveMetaStore.
HIVE-18327: удалите ненужную зависимость HiveConf для MiniHiveKdc.
HIVE-18341: добавьте поддержку загрузки REPL для добавления необработанного пространства имени для TDE с одинаковыми ключами шифрования.
HIVE-18352: введите параметр METADATAONLY при выполнении REPL DUMP, чтобы разрешить процессы интеграции других инструментов.
HIVE-18353: CompactorMR должен вызвать метод jobclient.close() для активации очистки.
HIVE-18390: IndexOutOfBoundsException при запросе секционированного представления в ColumnPruner.
HIVE-18429: сжатие должно обработать случай при отсутствии выходных данных.
HIVE-18447: JDBC — предоставьте пользователям JDBC возможность передавать сведения о файлах cookie через строку подключения.
HIVE-18460: уплотнитель не передает свойства таблицы средству записи ORC.
HIVE-18467: поддержка целого дампа хранилища и загрузки, а также создание и удаление событий в базе данных (Анишек Агарвал (Anishek Agarwal), редакция Санкар Харипапан (Sankar Hariappan)).
HIVE-18551: векторизация — VectorMapOperator пытается написать слишком много векторных столбцов для Hybrid Grace.
HIVE-18587: вставить событие DML может попытаться вычислить контрольную сумму по каталогам.
HIVE-18613: продлите JsonSerDe для поддержки типа BINARY.
HIVE-18626: предложение with загрузки REPL не передает конфигурацию задачам.
HIVE-18660: реестр конфигурации платформы не различает разделы и виртуальные столбцы.
HIVE-18754: состояние REPL должно поддерживать предложение with.
HIVE-18754: состояние REPL должно поддерживать предложение with.
HIVE-18788: очистите входные данные в инструкции PreparedStatement в JDBC.
HIVE-18794: предложение with загрузки REPL не передает конфигурацию задачам для таблиц вне раздела.
HIVE-18808: обеспечьте более надежное сжатие при сбое обновления статистических данных.
HIVE-18817: исключение ArrayIndexOutOfBounds во время чтения таблицы ACID.
HIVE-18833: сбой автоматического объединения при выполнении вставки в каталог, как вставки ORC-файла.
HIVE-18879: запретите работу внедренного элемента в UDFXPathUtil при наличии в пути класса файла xercesImpl.jar.
HIVE-18907: создайте утилиту, чтобы исправить проблему индекса ключа ACID в HIVE-18817.
Исправления Apache Hive 2.1.0:
HIVE-14013: в таблице с описанием неправильно отображается Юникод.
HIVE-14205: Hive не поддерживает тип объединения с файлом формата AVRO.
HIVE-15563: проигнорируйте исключение перехода состояния недопустимой операции в запросе SQLOperation.runQuery, чтобы предоставить реальное исключение.
HIVE-15680: неправильные результаты в режиме MR, когда hive.optimize.index.filter=true и в запросе дважды содержится ссылка на одну таблицу ORC.
HIVE-15883: сопоставленная таблица HBase в Hive INSERT не подходит для десятичного числа.
HIVE-16828: с включенной оптимизацией с учетом затрат запрос в секционированных представлениях вызывает исключение IndexOutOfBoundException.
HIVE-17063: вставка раздела перезаписи во внешнюю таблицу завершается сбоем, если в первую очередь выполняется перетаскивание раздела.
HIVE-17259: Hive JDBC не распознает столбцы UNIONTYPE.
HIVE-17530: ClassCastException при преобразовании uniontype.
HIVE-17600: обеспечьте пользователям возможность настроить размер enforceBufferSize ORC-файла.
HIVE-17601: оптимизируйте обработку ошибок в LlapServiceDriver.
HIVE-17613: удалите пулы объекта для коротких распределений с одним потоком.
HIVE-17617: свертывание пустого экземпляра ResultSet должно включать группирование пустого набора.
HIVE-17621: параметры Hive-site игнорируются во время вычисления разделения HCatInputFormat.
HIVE-17629: CachedStore: имеет утвержденную или не утвержденную конфигурацию, чтобы разрешить выборочное кэширование таблиц и секций и разрешить чтение во время предварительного потепления.
HIVE-17636: добавьте тест multiple_agg.q.blobstores
HIVE-17702: неправильная обработка isRepeating в средстве чтения десятичных чисел в ORC.
HIVE-17729: добавьте базу данных и объясните связанные проверки в хранилище BLOB-объектов.
HIVE-17731: добавьте обратный compat вариант для внешних пользователей в HIVE-11985.
HIVE-17803: при использовании множественного запроса Pig записи 2-х HCatStorers в одну таблицу будут удалять выходные данные друг друга.
HIVE-17845: вставка завершается сбоем, если для столбцов целевой таблицы используется верхний регистр.
HIVE-17900: проанализируйте статистические данные в столбцах. Если они активированы с помощью уплотнителя, будет создан SQL неправильного формата с более чем 1 столбцом раздела.
HIVE-18006: оптимизируйте объем памяти HLLDenseRegister.
HIVE-18026: оптимизация основной конфигурации Hive WebHCat.
HIVE-18031: включите поддержку репликации для операции изменения базы данных.
HIVE-18090: сбой пульса ACID при подключении хранилища метаданных через учетные данные Hadoop.
HIVE-18189: порядок по позиции не работает при cbo отключении.
HIVE-18258: векторизация — Reduce-Side GROUP BY MERGEPARTIAL с двойными столбцами неработоспособна.
HIVE-18269: LLAP: быстрое llap выполнение операций ввода-вывода с конвейером медленной обработки может привести к OOM.
HIVE-18293: Hive не может сжимать таблицы, содержащиеся в папке, которая не принадлежит удостоверению, обеспечивающему работу хранилища HiveMetaStore.
HIVE-18318: устройство чтения записей LLAP должно проверять события прерывания, даже если оно не блокируется.
HIVE-18326: планировщик LLAP Tez только для преждевременного использования заданий при наличии между ними зависимости.
HIVE-18327: удалите ненужную зависимость HiveConf для MiniHiveKdc.
HIVE-18331: добавьте повторное имя для входа при истечении срока действия билета TGT и ведение журналов и лямбду.
HIVE-18341: добавьте поддержку загрузки REPL для добавления необработанного пространства имени для TDE с одинаковыми ключами шифрования.
HIVE-18352: введите параметр METADATAONLY при выполнении REPL DUMP, чтобы разрешить процессы интеграции других инструментов.
HIVE-18353: CompactorMR должен вызвать метод jobclient.close() для активации очистки.
HIVE-18384: ConcurrentModificationException в log4j2.x библиотеке.
HIVE-18390: IndexOutOfBoundsException при запросе секционированного представления в ColumnPruner.
HIVE-18447: JDBC — предоставьте пользователям JDBC возможность передавать сведения о файлах cookie через строку подключения.
HIVE-18460: уплотнитель не передает свойства таблицы средству записи ORC.
HIVE-18462: (объяснение форматирования для запросов с соединением сопоставления с columnExprMap, которое включает неформатированное имя столбца).
HIVE-18467: поддержка целого дампа хранилища и загрузки, а также создание и удаление событий в базе данных.
HIVE-18488: у средств чтения LLAP ORC отсутствуют некоторые проверки значений NULL.
HIVE-18490: запрос с инструкциями EXISTS и NOT EXISTS с неэквивалентным предикатом может привести к неправильному результату.
HIVE-18506: формат LlapBaseInputFormat — отрицательный индекс массива.
HIVE-18517: векторизация — исправьте VectorMapOperator для приема VRB и проверьте правильное расположение векторизованного флага для поддержки кэширования LLAP.
HIVE-18523: исправьте строку сводки в случае отсутствия входных данных.
HIVE-18528: объединенные статистические данные в ObjectStore получили неправильный результат.
HIVE-18530: репликация должна пропустить таблицу MM (на этом этапе).
KAFKA-6261: ведение журнала запроса вызывает исключение, если acks=0.
KAFKA-6274: улучшение KTable автоматически созданных имен хранилища состояний источника.
Mahout
В HDP версий 2.3.x и 2.4.x вместо доставки определенного выпуска Apache Mahout была выполнена синхронизация с конкретной точкой редакции в магистрали Apache Mahout. Эта точка редакции следует после выпуска 0.9.0, но не превышает выпуск 0.10.0. Это обеспечивает большое количество исправлений ошибок и функциональных улучшений по сравнению с версией 0.9.0, но включает стабильную версию функций Mahout и уступает полному преобразованию в новом Mahout на основе Spark в версии 0.10.0.
В GitHub точка редакции, выбранная для Mahout в HDP версий 2.3.x и 2.4.x, относится к ветви "mahout-0.10.x" Apache Mahout по состоянию на 19 декабря 2014 года, редакция 0f037cb03e77c096.
В HDP версий 2.5.x и 2.6.x мы удалили библиотеку "commons-httpclient" из Mahout, потому что рассматриваем ее как устаревшую с возможными проблемами безопасности. Мы обновили клиент Hadoop-Client в Mahout до версии 2.7.3, той же версии, используемой в HDP версии 2.5. В результате:
Ранее скомпилированные задания Mahout необходимо повторно компилировать в среде HDP-2.5 или 2.6.
Существует небольшая вероятность того, что некоторые задания Mahout могут столкнуться с ошибками ClassNotFoundException или "не удалось загрузить класс", связанных с префиксом "org.apache.commons.httpclient", "net.java.dev.jets3t" или соответствующими префиксами имени класса. Если эти ошибки возникают, вы можете рассмотреть, следует ли вручную устанавливать необходимые JAR-файлы в пути к заданию, если риск проблем безопасности в устаревшей библиотеке является приемлемым в вашей среде.
Существует еще меньшая вероятность того, что некоторые задания Mahout могут столкнуться сбоями в вызовах кода hbase-client Mahout к библиотекам hadoop-common, из-за проблем с совместимостью двоичных файлов. К сожалению, нет способа устранить эту проблему, кроме возврата к версии HDP-2.4.2 Mahout, которая может иметь проблемы с безопасностью. Опять же, это случается редко и вряд ли произойдет в любом доступном наборе заданий Mahout.
Oozie,
В этом выпуске содержится Oozie 4.2.0 и следующие исправления Apache.
OOZIE-2571: добавьте свойство Maven spark.scala.binary.version, чтобы можно было использовать Scala 2.11.
OOZIE-2606: установите spark.yarn.jars, чтобы исправить Spark 2.0 с помощью Oozie.
OOZIE-2658: driver-class-path может перезаписать путь класса в SparkMain.
OOZIE-2787: Oozie распространяет JAR-файл приложения дважды, что приводит к сбою задания Spark.
OOZIE-2792: Hive2 действие не анализирует идентификатор приложения Spark из файла журнала правильно, когда Hive находится в Spark.
OOZIE-2799: настройка местоположения журнала для Spark SQL в Hive.
OOZIE-2802: сбой действия Spark в Spark 2.1.0 из-за дублирования sharelibs.
OOZIE-2923: оптимизируйте синтаксический анализ параметров Spark.
OOZIE-3139: Oozie неправильно проверяет рабочий процесс.
OOZIE-3167: обновите версию Tomcat в ветви Oozie 4.3.
Phoenix
В этом выпуске содержится Phoenix 4.7.0 и следующие исправления Apache.
PHOENIX-1751: выполняйте агрегацию, сортировку и т. д. в preScannerNext, а не postScannerOpen.
PHOENIX-2714: исправьте оценку байтов в BaseResultIterators и предоставьте как интерфейс.
PHOENIX-2724: запрос с большим количеством направляющих выполняется медленнее по сравнению с отсутствием статистики.
PHOENIX-2855: Workaround Increment TimeRange не сериализуется для HBase 1.2.
PHOENIX-3023: низкая производительность при параллельном выполнении запросов ограничения по умолчанию.
PHOENIX-3040: не используйте направляющие для выполнения запросов поочередно.
PHOENIX-3112: сканирование частично выполненной строки обрабатывается неправильно.
PHOENIX 3240: исключение ClassCastException из загрузчика Pig.
PHOENIX-3452: NULLS FIRST/NULL LAST не должно влиять на сохранение порядка GROUP BY.
PHOENIX-3469: неверный порядок сортировки для первичного ключа DESC для NULLS LAST и NULLS FIRST.
PHOENIX-3789: выполните вызовы обслуживания межрегионального индекса в postBatchMutateIndispensably.
PHOENIX-3865: IS NULL не возвращает правильные результаты, если первое семейство столбцов не фильтруется.
PHOENIX-4290: полное сканирование таблицы, выполненное для DELETE с таблицей, содержащей неизменяемые индексы.
PHOENIX-4373: ключ длины переменной локального индекса может включать завершающие нули при восстановлении.
PHOENIX-4466: исключение java.lang.RuntimeException — код отклика 500 — выполнение задания Spark для подключения к серверу запросов Phoenix и загрузки данных.
PHOENIX-4489: утечка HBase Connection в заданиях MR Phoenix.
PHOENIX-4525: переполнение целого числа в выполнении GroupBy.
PHOENIX-4560: ORDER BY с GROUP BY не работает, если в столбце есть WHERE pk .
PHOENIX-4586: UPSERT SELECT не принимает операторы сравнения учетных записей для подзапросов.
PHOENIX-4588: также выражение клона, если дочерние элементы включают вызов Determinism.PER_INVOCATION.
Pig,
В этом выпуске содержится Pig 0.16.0 и следующие исправления Apache.
PIG-5159: исправление Pig не сохраняет историю grunt.
SPARK-23608: добавьте синхронизацию в SHS между функциями attachSparkUI и detachSparkUI, чтобы избежать проблемы параллельной модификации в обработчиках Jetty.
SPARK-23614: исправьте неправильный обмен повторного использования при использовании кэширования.
SPARK-23623: избегайте параллельного использования кэшированных потребителей в CachedKafkaConsumer (ветвь branch-2.3).
SPARK-23624: пересмотрите документ pushFilters метода в Datasource V2.
SPARK-23628: calculateParamLength не должен возвращать 1 + число выражений.
ZOOKEEPER-1901: [JDK8] — сортируйте дочерние элементы для сравнения в тестах AsyncOps.
ZOOKEEPER-2423: обновите версию Netty из-за уязвимости безопасности (CVE-2014-3488).
ZOOKEEPER-2693: атака типа "отказ в обслуживании" для слов, состоящих из четырех знаков (4lw).
ZOOKEEPER-2726: Patch представляет потенциальное состояние гонки.
Исправлены проблемы, связанные с распространенными уязвимостями и рисками
В этом разделе описываются все общие уязвимости и риски (CVE), которые рассматриваются в этом выпуске.
CVE-2017-7676
Сводка: оценка политики Apache Ranger игнорирует знаки после подстановочного знака "*"
Уровень серьезности: критический
Поставщик: Hortonworks
Затронутые версии: версии HDInsight 3.6, включая Apache Ranger версий 0.5.x/0.6.x/0.7.0.
Затронутые пользователи: среды, использующие политики Ranger со знаками после подстановочного знака "*" — например my*test, test*.txt
Влияние: сопоставитель ресурса политики игнорирует знаки после подстановочного знака "*", что может привести к непреднамеренной реакции.
Сведения об исправлении: сопоставитель ресурса политики Ranger был обновлен для правильной обработки совпадений подстановочных знаков.
Рекомендуемое действие: обновите HDI до версии 3.6 (с Apache Ranger 0.7.1+).
CVE-2017-7677
Сводка: Инициатор авторизации Apache Ranger Hive должен проверить разрешение RWX, когда указано внешнее местоположение
Уровень серьезности: критический
Поставщик: Hortonworks
Затронутые версии: версии HDInsight 3.6, включая Apache Ranger версий 0.5.x/0.6.x/0.7.0.
Затронутые пользователи: среды, которые используют внешнее местоположение для таблиц Hive.
Влияние: в средах, которые используют внешнее местоположение для таблиц Hive, инициатор авторизации Apache Ranger Hive должен проверить разрешение RWX для внешнего местоположения, указанного для таблицы create.
Сведения об исправлении: инициатор авторизации Ranger Hive был обновлен для правильной обработки проверки разрешения для внешнего местоположения.
Рекомендуемое действие: пользователи должны обновить HDI до версии 3.6 (с Apache Ranger 0.7.1+).
CVE-2017-9799
Сводка: потенциальное выполнение кода как неправильного пользователя в Apache Storm
Затронутые пользователи: пользователи, которые используют Storm в безопасном режиме и хранилище BLOB-объектов для распространения артефактов на основе топологии, или используют хранилище BLOB-объектов для распространения любых ресурсов топологии.
Влияние: в некоторых ситуациях и конфигурациях storm теоретически возможно для владельца топологии, чтобы обмануть руководителя запустить рабочую роль в качестве другого, не корневого пользователя. В худшем случае это может привести к тому, что учетные данные другого пользователя будут скомпрометированы. Эта уязвимость касается только установок Apache Storm с включенной защитой.
Устранение рисков: обновите HDP до версии 2.6.2.1, так как в настоящее время обходных путей нет.
CVE-2016-4970
Сводка: обработчик/ssl/OpenSslEngine.java в Netty 4.0.x до 4.0.37. Финал и 4.1.x до 4.1.1. Финал позволяет удаленным злоумышленникам вызвать отказ в обслуживании (бесконечный цикл)
Уровень серьезности: средний
Поставщик: Hortonworks
Затронутые версии: HDP 2.x.x с версии 2.3.x
Затронутые пользователи: все пользователи, использующие HDFS.
Влияние: влияние недостаточное, поскольку Hortonworks не использует OpenSslEngine.java непосредственно в базе кодов Hadoop.
Рекомендуемое действие: обновите HDP до версии 2.6.3.
CVE-2016-8746
Сводка: проблема соответствия пути Apache Ranger в оценке политики
Уровень серьезности: обычный
Поставщик: Hortonworks
Затронутые версии: все версии HDP 2.5, включая версии Apache Ranger 0.6.0/0.6.1/0.6.2
Затронутые пользователи: все пользователи средства администрирования политики Ranger.
Влияние: механизм политики Ranger неправильно сопоставляет пути в определенных условиях, когда политика содержит подстановочные знаки и рекурсивные флаги.
Сведения об исправлении: исправленная логика оценки политики
Рекомендуемое действие: пользователи должны обновить HDI до версии 2.5.4+ (с Apache Ranger 0.6.3+) или 2.6+ (с Apache Ranger 0.7.0+)
CVE-2016-8751
Сводка: у Apache Ranger есть проблема межсайтового написания скриптов
Уровень серьезности: обычный
Поставщик: Hortonworks
Затронутые версии: все версии HDP 2.3/2.4/2.5, включая Apache Ranger версий 0.5.x/0.6.0/0.6.1/0.6.2.
Затронутые пользователи: все пользователи средства администрирования политики Ranger.
Влияние: Apache Ranger уязвим для хранимых межсайтовых скриптов при вводе пользовательских условий политики. Администраторы могут хранить выполнение произвольного кода JavaScript при входе обычных пользователей и их доступе к политикам.
Сведения об исправлении: добавлена логика для очистки входных данных пользователя.
Рекомендуемое действие: пользователи должны обновить HDI до версии 2.5.4+ (с Apache Ranger 0.6.3+) или 2.6+ (с Apache Ranger 0.7.0+)
Исправленные проблемы для поддержки
Исправленные ошибки представляют собой выбранные проблемы, которые ранее были зарегистрированы в Hortonworks Support, но теперь рассматриваются в текущем выпуске. Эти проблемы могут быть сообщены в предыдущих версиях в разделе "Известные проблемы"; означает, что они были сообщены клиентами или идентифицированы командой Hortonworks Quality Engineering.
Нельзя выполнить команду журналов Yarn, чтобы получить журналы для запуска контейнеров при включенной проверке подлинности пользовательского интерфейса
Пользовательский интерфейс: выполните обновление, чтобы удалить тег, который находится ниже 25-й позиции в списках тегов как плоской, так и древовидной структур.
Поток ReplicationMonitor может быть завис в течение длительного времени из-за гонки между репликацией и удалением одного и того же файла в большом кластере.
Проанализируйте статистические данные в столбцах. Если они активированы с помощью уплотнителя, будет создан SQL неправильного формата с более чем 1 столбцом раздела
не удается получить таблицу mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException: таблица не найдена при выполнении таблицы анализа столбцов в LLAP
Пользовательский интерфейс: выполните обновление, чтобы удалить тег, который находится ниже 25-й позиции в списках тегов как плоской, так и древовидной структур.
Пользовательский интерфейс. Поиск с помощью атрибутов признака и сущности: пользовательский интерфейс не выполняет проверку диапазона и позволяет предоставлять значения вне границ для целочисленных и плавающих типов данных.
В автономном режиме с локальным файловой системой HBase выводится предупреждение об ошибке: не удалось вызвать метод unbuffer в классе org.apache.hadoop.fs.FSDataInputStream
Задание Spark успешно завершено, но есть полная ошибка квоты диска HDFS
Сценарий: выполнение команды insert overwrite, когда в папке "Корзина" пользователя, запустившего команду, задана квота.
Прежнее поведение: задание выполняется успешно, даже если не удается переместить данные в корзину. Результат может ошибочно содержать некоторые данные, ранее представленные в таблице.
Новое поведение: при сбое перемещения в папку "Корзина" файлы навсегда удаляются.
Kafka 1.0
Н/Д
Изменения, описанные в заметках о выпуске Apache Spark
Другие политики Ranger Hive, необходимые для выполнения команды INSERT OVERWRITE
Сценарий: другие политики Ranger Hive, необходимые для выполнения команды INSERT OVERWRITE
Прежнее поведение: запросы INSERT OVERWRITE Hive выполнялись в обычном режиме.
Новое поведение: запросы INSERT OVERWRITE Hive неожиданно завершаются сбоем после обновления до HDP-2.6.x. Появляется следующая ошибка:
Произошла ошибка при компиляции инструкции: сбой: отклонено разрешение исключения HiveAccessControlException: у пользователя jdoe нет привилегии WRITE в каталоге /tmp/*(state=42000,code=40000)
Начиная с HDP версии 2.6.0, запросам INSERT OVERWRITE Hive требуется, чтобы политика URI Ranger позволяла выполнять операции записи, даже если у пользователя есть привилегия на запись, предоставленная с помощью политики HDFS.
Возможное решение или ожидаемое действие пользователя:
1. Создайте новую политику в репозитории Hive. 2. В раскрывающемся списке с базой данных выберите универсальный код ресурса (URI). 3. Обновите путь (например: /tmp/*). 4. Добавьте пользователей и группу. Сохраните изменения. 5. Повторно отправьте запрос вставки.
HDFS
Н/Д
HDFS должна поддерживать несколько KMS Uris
Прежнее поведение: свойство dfs.encryption.key.provider.uri использовалось для настройки пути поставщика сервера управления ключами.
Новое поведение: dfs.encryption.key.provider.uri теперь устарел. Для настройки пути поставщика сервера управления ключами сейчас используется hadoop.security.key.provider.path.
Прежнее поведение: в предыдущих выпусках Zeppelin не было возможности отключить планировщик.
Новое поведение. По умолчанию пользователи больше не увидят планировщика, так как он отключен по умолчанию.
Возможное решение или ожидаемое действие пользователя: если вы хотите включить планировщик, вам нужно будет добавить azeppelin.notebook.cron.enable со значением true в параметрах Zeppelin на сайте пользователя Zeppelin из Ambari.
Известные проблемы
Интеграция HDInsight с ADLS 2-го поколения. Существует две проблемы в кластерах ESP HDInsight, использующих Azure Data Lake Storage 2-го поколения с каталогами и разрешениями пользователей:
Домашние каталоги для пользователей не создаются на головном узле 1. В качестве обходного решения создайте каталоги вручную и измените владение соответствующим пользователем имени участника-пользователя.
Сейчас в качестве разрешений для каталога /hdp не задано значение 751. Необходимо задать
[SPARK-23406] Ошибки в самосоединениях между потоками
Примеры записных книжек Spark недоступны, если Azure Data Lake Storage (поколение 2) является хранилищем кластера по умолчанию.
Пакет безопасности корпоративного уровня
Сервер Thrift Spark не принимает подключения из клиентов ODBC.
Обходные действия:
Когда кластер будет создан, подождите около 15 минут.
Проверьте, есть ли в пользовательском интерфейсе Ranger политика hivesampletable_policy.
Перезапустите службу Spark.
Теперь подключение службы токенов безопасности должно быть работоспособным.
Возможное решение для устранения ошибки проверки службы Ranger
RANGER-1607: возможное решение для устранения ошибки проверки службы Ranger при обновлении предыдущих версий HDP до версии 2.6.2.
Примечание
Только если для Ranger включен SSL.
Эта проблема возникает при попытке обновить через Ambari предыдущие версии HDP до версии 2.6.1. Ambari использует вызов Curl для проверки службы в службе Ranger в Ambari. Если Ambari использует JDK версии 1.7, вызов Curl завершится ошибкой ниже:
Причиной этой ошибки является версия Tomcat, используемая в Ranger, — Tomcat-7.0.7*. JDK-1.7 конфликтует с шифрами по умолчанию, которые содержатся в Tomcat-7.0.7*.
Вы можете устранить эту проблему двумя способами:
Обновите версию JDK в Ambari с 1.7 до 1.8 (ознакомьтесь с разделом об изменении версии JDK в справочном руководстве Ambari).
Если вы хотите продолжить работу с JDK версии 1.7:
Добавьте свойство ranger.tomcat.ciphers в разделе ranger-admin-site в конфигурации Ambari Ranger со значением ниже:
Если среда настроена для сервера управления ключами Ranger, добавьте свойство ranger.tomcat.ciphers в разделе ranger-kms-site в конфигурации Ambari Ranger со значением ниже:
Отмеченные значения являются рабочими примерами и могут не указывать на вашу среду. Проверьте, чтобы способ задания этих свойств соответствовал настройке вашей среды.
Пользовательский интерфейс Ranger: исключение текста условия политики, введенного в форму политики
Затронутый компонент: Ranger
Описание проблемы
Если пользователь хочет создать политику с настраиваемыми условиями, а выражение или текст содержит специальные знаки, тогда применение политики завершится сбоем. Перед сохранением политики в базу данных специальные знаки преобразуются в ASCII.
Специальные символы: & <> ' '
Например, после сохранения политики условие tags.attributes['type']='abc' будет преобразовано в следующее.
tags.attds[' dsds']=' cssdfs'
Чтобы увидеть условие политики с этими знаками, откройте политику в режиме редактирования.
Обходное решение
Параметр №1: создание и обновление политики через Rest API Ranger
В примере ниже будет создана политика с тегами, такими как "tags-test". Она будет назначена группе "public" с условием политики astags.attr['type']=='abc' путем выбора всех разрешений компонента Hive, например select, update, create, drop, alter, index, lock, all.
В примере ниже политика с тегами, такими как "tag-test", будет обновлена. Она будет назначена группе "public" с условием политики astags.attr['type']=='abc' путем выбора всех разрешений компонента Hive, например select, update, create, drop, alter, index, lock, all.
В /usr/hdp/current/ranger-admin найдите файл PermissionList.js.
Определение функции renderPolicyCondtion (строка no: 404).
Удалите следующую строку из этой функции, т. е. под отображаемой функцией (строка no: 434)
val = _.escape(val);//Line No:460
После удаления строки выше пользовательский интерфейс Ranger позволит вам создавать политики с условием, которое может содержать специальные знаки, и оценка той же политики будет успешной.
Интеграция HDInsight с ADLS 2-го поколения: проблемы с каталогами пользователей и разрешениями с кластерами ESP 1. Домашние каталоги для пользователей не создаются на головном узле 1. Обходной путь — создать эти данные вручную и изменить владение соответствующим пользователем имени участника-пользователя.
2. Разрешения на /hdp в настоящее время не заданы в значение 751. Необходимо установить значение a. chmod 751 /hdp b. chmod –R 755 /hdp/apps
Устаревание
Портал OMS: мы удалили ссылку на страницу ресурсов HDInsight, которая указывала на портал OMS. Для журналов Azure Monitor изначально использовался собственный портал для управления конфигурацией и анализа собранных данных, известный как портал OMS. Теперь все функциональные возможности этого портала перемещены на портал Azure, где и будут совершенствоваться далее. HDInsight больше не поддерживает портал OMS. На портале Azure клиенты будут использовать интеграцию журналов Azure Monitor с HDInsight.
Все эти функции доступны в HDInsight версии 3.6. Чтобы получить последнюю версию Spark, Kafka и R Server (Службы машинного обучения), выберите версию Spark, Kafka, Службы машинного обучения при создании кластера HDInsight 3.6. Чтобы получить поддержку ADLS, как вариант можно выбрать тип хранилища ADLS. Автоматическое обновление имеющихся кластеров до этих версий не предусмотрено.
Все новые кластеры, созданные после июня 2018 года, автоматически получат больше 1000 исправлений ошибок для всех проектов с открытым кодом. Ознакомьтесь с этим руководством, чтобы узнать о передовых методах обновления до более новой версии HDInsight.
Azure HPC — это специально разработанная облачная возможность для рабочей нагрузки HPC и ИИ, использующая современные отраслевые процессоры и обмен данными по сети InfiniBand для обеспечения максимальной производительности, масштабируемости и ценности приложений. Azure HPC позволяет реализовывать инновации, повышать продуктивность и развивать гибкость бизнеса за счет высокодоступного набора технологий HPC и ИИ с возможностью их динамического распределения в соответствии с изменением коммерческих и техническ
Планирование, доставка, управление и мониторинг возможностей виртуального рабочего стола и удаленных приложений в Microsoft Azure для любого устройства.