アーカイブされたリリース ノート
まとめ
Azure HDInsight は、Azure 上でオープン ソース分析を行うエンタープライズのお客様の間で最も人気のあるサービスの 1 つです。 HDInsight およびすべての HDInsight バージョンに関する最新の情報については、HDInsight リリース ノートを購読してください。
購読するには、バナーの [見る] ボタンをクリックし、HDInsight リリースをご覧ください。
リリース情報
リリース日: 2024 年 2 月 15 日
このリリースは、HDInsight バージョン 4.x と 5.x に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2401250802 に適用されます。 画像番号を確認する方法
HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。
OS のバージョン
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Note
Ubuntu 18.04 は、Azure Linux チームによって Azure HDInsight 2023 年 7 月リリース以降の拡張セキュリティ メンテナンス (ESM) でサポートされます。
ワークロード固有のバージョンについては、下記を参照してください
新機能
- Enterprise セキュリティ パッケージを使用した Spark 3.3.0 (HDInsight バージョン 5.1) の Spark SQL に対する Apache Ranger サポート。 詳細については こちら を参照してください。
修正された問題
- Ambari と Oozie コンポーネントからのセキュリティ修正プログラム
近日対応予定
- Basic および Standard A シリーズ VM の廃止。
- 2024 年 8 月 31 日に、Basic および Standard の A シリーズ VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。
- サービスの中断を回避するには、2024 年 8 月 31 日より前に、Basic および Standard の A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
その他のご質問がある場合は Azure サポートにご連絡ください。
HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でも受け付けています
私たちは側にいます:ここにより多くのアイデアや他のトピックを追加し、それらに投票することを歓迎します - HDInsightアイデア と、 AzureHDInsightコミュニティに関するその他の更新については、私フォローしてください
Note
最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。
次の手順
Azure HDInsight は、Azure 上でオープン ソース分析を行うエンタープライズのお客様の間で最も人気のあるサービスの 1 つです。 リリース ノートをサブスクライブする場合は、この GitHub リポジトリのリリースをご覧ください。
リリース日: 2024 年 1 月 10 日
この修正プログラム リリースは、HDInsight バージョン 4.x と 5.x に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2401030422 に適用されます。 画像番号を確認する方法
HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。
OS のバージョン
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Note
Ubuntu 18.04 は、Azure Linux チームによって Azure HDInsight 2023 年 7 月リリース以降の拡張セキュリティ メンテナンス (ESM) でサポートされます。
ワークロード固有のバージョンについては、下記を参照してください
修正された問題
- Ambari と Oozie コンポーネントからのセキュリティ修正プログラム
近日対応予定
- Basic および Standard A シリーズ VM の廃止。
- 2024 年 8 月 31 日に、Basic および Standard の A シリーズ VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。
- サービスの中断を回避するには、2024 年 8 月 31 日より前に、Basic および Standard の A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
その他のご質問がある場合は Azure サポートにご連絡ください。
HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でも受け付けています
私たちは側にいます:ここにより多くのアイデアや他のトピックを追加し、それらに投票することを歓迎します - HDInsightアイデア と、 AzureHDInsightコミュニティに関するその他の更新については、私フォローしてください
Note
最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。
リリース日: 2023 年 10 月 26 日
このリリースは、HDInsight 4.x および 5.x に適用されます。HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2310140056に適用されます。 画像番号を確認する方法
HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。
OS のバージョン
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
ワークロード固有のバージョンについては、下記を参照してください
新着情報
HDInsight は、2023 年 11 月 1 日から HDInsight 5.1 の一般提供を発表します。 このリリースでは、 オープン ソース コンポーネント と Microsoft の統合に対する完全なスタック更新が行われます。
- HDInsight 5.1 最新のオープン ソース バージョン–には、最新の安定した オープンソース バージョン が付属しています。 お客様は、最新のオープン ソース機能、Microsoft のパフォーマンス向上、バグ修正の恩恵を受けることができます。
- セキュリティで保護 – 最新バージョンには、最新のセキュリティ修正プログラムが付属しています。オープンソースのセキュリティ修正プログラムと、Microsoft によるセキュリティの強化の両方が含まれています。
- TCOの低下 – パフォーマンスの向上により、お客様は、 強化されたオートスケールと共に、運用コストを削減できます。
セキュリティで保護されたストレージに対するクラスターのアクセス許可
- お客様は、HDInsight クラスター ノードでストレージ アカウントを接続するためにセキュリティで保護されたチャネルを使用するかどうかを (クラスターの作成時に) 指定できます。
カスタム VNet を使用した HDInsight クラスターの作成。
- HDInsight クラスターの全体的なセキュリティ態勢を改善するには、カスタム VNET を使用する HDInsight クラスターで、ユーザーが作成操作を実行するための
Microsoft Network/virtualNetworks/subnets/join/actionに対する権限を持っている必要があることを確認する必要があります。 このチェックが有効になっていない場合、お客様は作成失敗に直面する可能性があります。
- HDInsight クラスターの全体的なセキュリティ態勢を改善するには、カスタム VNET を使用する HDInsight クラスターで、ユーザーが作成操作を実行するための
非 ESP ABFS クラスター [全ユーザーが読み取り可能なクラスターのアクセス許可]
- ESP ABFS 以外のクラスターでは、Hadoop 以外のグループ ユーザーがストレージ操作用に Hadoop コマンドを実行することを制限します。 この変更により、クラスターのセキュリティ体制が向上します。
インライン クォータの更新。
- これで、[マイ クォータ] ページからクォータ引き上げを直接要求できるようになりました。ダイレクト API 呼び出しの方がはるかに高速です。 API 呼び出しが失敗した場合は、クォータ引き上げの新しいサポート リクエストを作成できます。
近日対応予定
クラスターのセキュリティ態勢向上のために、クラスター名の最大長が 59 文字から 45 文字に変更されます。 この変更は、今後のリリースを開始するすべてのリージョンにロールアウトされます。
Basic および Standard A シリーズ VM の廃止。
- 2024 年 8 月 31 日に、Basic および Standard A シリーズの VM は廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。
- サービスの中断を回避するには、2024 年 8 月 31 日より前に、Basic および Standard の A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
その他のご質問がある場合は Azure サポートにご連絡ください。
HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でも受け付けています
私たちは側にいます:ここにより多くのアイデアや他のトピックを追加し、それらに投票することを歓迎します - HDInsightアイデア と、 AzureHDInsightコミュニティに関するその他の更新については、私フォローしてください
Note
このリリースでは、2023 年 9 月 12 日に MSRC によってリリースされた次の CVE に対応しています。 アクションは、最新のイメージ 2308221128または2310140056に更新することです。 お客様には、これに応じて計画することをお勧めします。
| CVE | 重大度 | CVE タイトル | 注釈 |
|---|---|---|---|
| CVE-2023-38156 | 重要 | Azure HDInsight Apache Ambari Elevation の特権の脆弱性 | 画像2308221128または2310140056に含まれる |
| CVE-2023-36419 | 重要 | Azure HDInsight Apache Oozie Workflow Scheduler の特権の昇格の脆弱性 | クラスターの スクリプト アクション を適用するか、2310140056イメージに更新 |
Note
最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。
リリース日: 2023 年 9 月 7 日
このリリースは、HDInsight 4.x および 5.x に適用されます。HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2308221128 に適用されます。 画像番号を確認する方法
HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。
OS のバージョン
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
ワークロード固有のバージョンについては、下記を参照してください
重要
このリリースでは、2023 年 9 月 12 日に MSRC によってリリースされた次の CVE に対応しています。 最新のイメージ 2308221128 に更新する操作が必要です。 お客様には、これに応じて計画することをお勧めします。
| CVE | 重大度 | CVE タイトル | 注釈 |
|---|---|---|---|
| CVE-2023-38156 | 重要 | Azure HDInsight Apache Ambari Elevation の特権の脆弱性 | 2308221128 イメージに含まれる |
| CVE-2023-36419 | 重要 | Azure HDInsight Apache Oozie Workflow Scheduler の特権の昇格の脆弱性 | クラスターにスクリプト アクションを適用する |
近日対応予定
- クラスターのセキュリティ態勢向上のために、クラスター名の最大長が 59 文字から 45 文字に変更されます。 この変更は、2023 年 9 月 30 日までに実装されます。
- セキュリティで保護されたストレージに対するクラスターのアクセス許可
- お客様は、HDInsight クラスター ノードをストレージ アカウントに接続するためにセキュリティで保護されたチャネルを使用するかどうかを (クラスターの作成時に) 指定できます。
- インライン クォータの更新。
- クォータの引き上げを [マイ クォータ] ページから直接要求します。API を直接呼び出すことで、より迅速に処理されます。 API 呼び出しが失敗した場合は、クォータ引き上げの新しいサポート リクエストを作成する必要があります。
- カスタム VNet を使用した HDInsight クラスターの作成。
- HDInsight クラスターの全体的なセキュリティ態勢を改善するには、カスタム VNET を使用する HDInsight クラスターで、ユーザーが作成操作を実行するための
Microsoft Network/virtualNetworks/subnets/join/actionに対する権限を持っている必要があることを確認する必要があります。 この変更は必須チェックになるため、お客様はクラスター作成エラーを回避するために、2023 年 9 月 30 日までに、これに応じた計画を行う必要があります。
- HDInsight クラスターの全体的なセキュリティ態勢を改善するには、カスタム VNET を使用する HDInsight クラスターで、ユーザーが作成操作を実行するための
- Basic および Standard A シリーズ VM の廃止。
- 2024 年 8 月 31 日に、Basic および Standard の A シリーズ VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。 サービスの中断を回避するには、2024 年 8 月 31 日より前に、Basic および Standard の A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
- 非 ESP ABFS クラスター [全ユーザーが読み取り可能なクラスター権限]
- 非 ESP ABFS クラスターに、Hadoop 以外のグループ ユーザーがストレージ操作用に Hadoop コマンドを実行することを制限する変更を導入する予定です。 この変更は、クラスターのセキュリティ体制を改善するためのものです。 お客様は、2023 年 9 月 30 日より前に更新を計画する必要があります。
その他のご質問がある場合は Azure サポートにご連絡ください。
HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でも受け付けています
その他のご提案、アイデア、トピックなどがあれば、HDInsight Community (azure.com) にぜひご投稿ください。投稿への投票もできます。
Note
最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。
リリース日: 2023 年 7 月 25 日
このリリースは、HDInsight 4.x および 5.x に適用されます。HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2307201242 に適用されます。 画像番号を確認する方法
HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。
OS のバージョン
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
ワークロード固有のバージョンについては、下記を参照してください
新機能
- HDInsight 5.1 が ESP クラスターでサポートされるようになりました。
- Ranger 2.3.0 と Oozie 5.2.1 のアップグレード バージョンが HDInsight 5.1 の一部になりました
- Spark 3.3.1 (HDInsight 5.1) クラスターには Hive Warehouse Connector (HWC) 2.1 が付属しており、これは Interactive Query (HDInsight 5.1) クラスターと共に動作します。
- Ubuntu 18.04 は、Azure Linux チームによって Azure HDInsight 2023 年 7 月リリース以降の ESM (拡張セキュリティ メンテナンス) でサポートされます。
重要
このリリースでは、2023 年 8 月 8 日に MSRC によってリリースされた次の CVE が対処されます。 最新のイメージ 2307201242 に更新する操作が必要です。 お客様には、これに応じて計画することをお勧めします。
| CVE | 重大度 | CVE タイトル |
|---|---|---|
| CVE-2023-35393 | 重要 | Azure Apache Hive スプーフィングの脆弱性 |
| CVE-2023-35394 | 重要 | Azure HDInsight Jupyter Notebook スプーフィングの脆弱性 |
| CVE-2023-36877 | 重要 | Azure Apache Oozie スプーフィングの脆弱性 |
| CVE-2023-36881 | 重要 | Azure Apache Ambari スプーフィングの脆弱性 |
| CVE-2023-38188 | 重要 | Azure Apache Hadoop スプーフィングの脆弱性 |
近日対応予定
- クラスターのセキュリティ態勢向上のために、クラスター名の最大長が 59 文字から 45 文字に変更されます。 お客様は、2023 年 9 月 30 日より前に更新を計画する必要があります。
- セキュリティで保護されたストレージに対するクラスターのアクセス許可
- お客様は、HDInsight クラスター ノードをストレージ アカウントに接続するためにセキュリティで保護されたチャネルを使用するかどうかを (クラスターの作成時に) 指定できます。
- インライン クォータの更新。
- クォータの引き上げを [マイ クォータ] ページから直接要求します。API を直接呼び出すことで、より迅速に処理されます。 API 呼び出しが失敗した場合は、クォータ引き上げの新しいサポート リクエストを作成する必要があります。
- カスタム VNet を使用した HDInsight クラスターの作成。
- HDInsight クラスターの全体的なセキュリティ態勢を改善するには、カスタム VNET を使用する HDInsight クラスターで、ユーザーが作成操作を実行するための
Microsoft Network/virtualNetworks/subnets/join/actionに対する権限を持っている必要があることを確認する必要があります。 この変更は必須チェックになるため、お客様はクラスター作成エラーを回避するために、2023 年 9 月 30 日までに、これに応じた計画を行う必要があります。
- HDInsight クラスターの全体的なセキュリティ態勢を改善するには、カスタム VNET を使用する HDInsight クラスターで、ユーザーが作成操作を実行するための
- Basic および Standard A シリーズ VM の廃止。
- 2024 年 8 月 31 日に、Basic および Standard の A シリーズの VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。 サービス中断を回避するためにも、2024 年 8 月 31 日より前に、Basic および Standard A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
- 非 ESP ABFS クラスター [全ユーザーが読み取り可能なクラスター権限]
- 非 ESP ABFS クラスターに、Hadoop 以外のグループ ユーザーがストレージ操作用に Hadoop コマンドを実行することを制限する変更を導入する予定です。 この変更は、クラスターのセキュリティ体制を改善するためのものです。 お客様は、2023 年 9 月 30 日より前の更新を計画する必要があります。
その他のご質問がある場合は Azure サポートにご連絡ください。
HDInsight に関するご質問は Azure HDInsight - Microsoft Q&A でも受け付けています
何か提案、アイデア、その他トピックなどがあれば、遠慮なく HDInsight Community (azure.com) に投稿してください。投稿への投票もできます。その他の更新については Twitter のフォローをお願いいたします
Note
最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。
リリース日: 2023 年 5 月 8 日
このリリースは、HDInsight 4.x および 5.x に適用されます。HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2304280205 に適用されます。 画像番号を確認する方法
HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。
OS のバージョン
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
ワークロード固有のバージョンについては、下記を参照してください
Azure HDInsight 5.1 には以下の更新が含まれます。
- Apache HBase 2.4.11
- Apache Phoenix 5.1.2
- Apache Hive 3.1.2
- Apache Spark 3.3.1
- Apache Tez 0.9.1
- Apache Zeppelin 0.10.1
- Apache Livy 0.5
- Apache Kafka 3.2.0
Note
- すべてのコンポーネントは Hadoop 3.3.4 および ZK 3.6.3 と統合されています
- 上記すべてのアップグレード済みコンポーネントは、パブリック プレビューの非 ESP クラスターで使用できるようになりました。
HDInsight 自動スケーリングの強化
Azure HDInsight の自動スケーリングの安定性と待機時間が大幅に改善されました。重要な変更点には、スケーリングに関する意思決定のフィードバック ループの改善、スケーリングの待機時間の大幅な改善、廃止されたノードの復帰のサポートが含まれます。強化点、設定のカスタマイズ方法、クラスターを強化された自動スケーリングに移行する方法については、こちらをご覧ください。 拡張オートスケール機能は、サポートされているすべてのリージョンで 2023 年 5 月 17 日より利用可能です。
Azure HDInsight ESP for Apache Kafka 2.4.1 が一般公開されました。
Azure HDInsight ESP for Apache Kafka 2.4.1 は、2022 年 4 月からパブリック プレビュー段階にありました。 CVE の修正と安定性が著しく改善された後、Azure HDInsight ESP Kafka 2.4.1 は一般公開され、運用ワークロードへの準備が整いました。構成方法と移行の詳細をご確認ください。
HDInsight のクォータ管理
現在、HDInsight はリージョン レベルでサブスクリプションにクォータを割り当てます。 割り当てられるコアは汎用であり、VM ファミリ レベル (
Dv2、Ev3、Eav4など) では分類されていません。そこで、ファミリ レベルで VM クォータの詳細と分類の情報が提供される、改善されたビューが HDInsight に導入されました。この機能により、VM ファミリ レベルでリージョンの現在のクォータと残りのクォータが表示されます。 強化されたビューにより、クォータ計画の判断材料が多くなり、ユーザー エクスペリエンスが向上します。 この機能は、現時点では米国東部 EUAP リージョンの HDInsight 4.x および 5.x で使用できます。 その他のリージョンはその後に続きます。
詳しくは、Azure HDInsight のクラスター容量計画 | Microsoft Learn をご覧ください
- ポーランド中部
- クラスターのセキュリティ態勢向上のために、クラスター名の最大長が 59 文字から 45 文字に変更されます。
- セキュリティで保護されたストレージに対するクラスターのアクセス許可
- お客様は、HDInsight クラスター ノードをストレージ アカウントに接続するためにセキュリティで保護されたチャネルを使用するかどうかを (クラスターの作成時に) 指定できます。
- インライン クォータの更新。
- クォータの引き上げを [マイ クォータ] ページから直接要求します。API を直接呼び出すことで、より迅速に処理されます。 API 呼び出しが失敗した場合は、クォータ引き上げの新しいサポート リクエストを作成する必要があります。
- カスタム VNet を使用した HDInsight クラスターの作成。
- HDInsight クラスターの全体的なセキュリティ態勢を改善するには、カスタム VNET を使用する HDInsight クラスターで、ユーザーが作成操作を実行するための
Microsoft Network/virtualNetworks/subnets/join/actionに対する権限を持っている必要があることを確認する必要があります。 クラスター作成エラーを回避するには、これが必須チェックになるため、ユーザーはそれに応じて計画する必要があります。
- HDInsight クラスターの全体的なセキュリティ態勢を改善するには、カスタム VNET を使用する HDInsight クラスターで、ユーザーが作成操作を実行するための
- Basic および Standard A シリーズ VM の廃止。
- 2024 年 8 月 31 日に、Basic および Standard の A シリーズの VM が廃止されます。 その日より前に、ワークロードを Av2 シリーズの VM に移行する必要があります。この VM では、vCPU あたりのメモリが増え、ソリッドステート ドライブ (SSD) でより高速なストレージが提供されます。 サービス中断を回避するためにも、2024 年 8 月 31 日より前に、Basic および Standard A シリーズ VM から Av2 シリーズ VM にワークロードの移行をお願いいたします。
- 非 ESP ABFS クラスター [全ユーザーが読み取り可能なクラスターのアクセス許可]
- 非 ESP ABFS クラスターに、Hadoop 以外のグループ ユーザーがストレージ操作用に Hadoop コマンドを実行することを制限する変更を導入する予定です。 この変更は、クラスターのセキュリティ体制を改善するためのものです。 お客様は、更新プログラムの計画を立てる必要があります。
リリース日: 2023 年 2 月 28 日
このリリースは、HDInsight 4.0 に適用されます。 および 5.0、5.1。 HDInsight リリースは、数日にわたってすべてのリージョンでご利用になれます。 このリリースは、イメージ番号 2302250400 に適用されます。 画像番号を確認する方法
HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。
OS のバージョン
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
ワークロード固有のバージョンについては、下記を参照してください
重要
Microsoft は CVE-2023-23408 を発行しました。これは現在のリリースでは修正されており、お客様にはクラスターを最新のイメージにアップグレードすることをお勧めします。
HDInsight 5.1
HDInsight 5.1 の新しいバージョンのロールアウトを開始しました。 オープン ソースのすべての新しいリリースは、HDInsight 5.1 で増分リリースとして追加されます。
詳細については、HDInsight 5.1.0 を参照してください
Kafka 3.2.0 アップグレード (プレビュー)
- Kafka 3.2.0 には、いくつかの重要な新機能/機能強化が含まれています。
- Zookeeper を 3.6.3 にアップグレード
- Kafka Streams のサポート
- 既定で有効になっている Kafka プロデューサーのより強力な配信保証。
log4j1.x 置き換え後の関数名reload4j。- パーティション リーダーにヒントを送信して、パーティションを復旧。
JoinGroupRequestとLeaveGroupRequestに理由を添付。- ブローカー数 metrics8 を追加。
Maker2の改良点をミラー化します。
HBase 2.4.11 アップグレード (プレビュー)
- このバージョンには、ブロック キャッシュ用の新しいキャッシュ メカニズムの種類の追加、HBase WEB UI から
hbase:meta tableを変更し、hbase:metaテーブルを表示する機能などの新機能があります。
Phoenix 5.1.2 アップグレード (プレビュー)
- Phoenix バージョンは、このリリースで 5.1.2 にアップグレードされました。 このアップグレードには、Phoenix Query Server が含まれます。 Phoenix Query Server は、標準の Phoenix JDBC ドライバーをプロキシし、その JDBC ドライバーを呼び出すための下位互換性のあるワイヤ プロトコルを提供します。
Ambari CVE
- 複数の Ambari CVE が修正されています。
Note
このリリースでは、ESP は Kafka と HBase でサポートされていません。
2024 年 2 月 10 日に Spark 2.4 で Azure HDInsight クラスターのサポートが終了します。 詳細については、「Azure HDInsight でサポートされている Spark バージョン」を参照してください
参照トピック
- 自動スケーリング
- 自動スケーリングでの待機時間の短縮と複数の機能強化
- クラスター名の変更の制限
- クラスター名の最大長は、Public、Azure China、および Azure Government で 59 から 45 に変更されます。
- セキュリティで保護されたストレージに対するクラスターのアクセス許可
- お客様は、HDInsight クラスター ノードをストレージ アカウントに接続するためにセキュリティで保護されたチャネルを使用するかどうかを (クラスターの作成時に) 指定できます。
- 非 ESP ABFS クラスター [全ユーザーが読み取り可能なクラスターのアクセス許可]
- 非 ESP ABFS クラスターに、Hadoop 以外のグループ ユーザーがストレージ操作用に Hadoop コマンドを実行することを制限する変更を導入する予定です。 この変更は、クラスターのセキュリティ体制を改善するためのものです。 お客様は、更新プログラムの計画を立てる必要があります。
- オープンソースのアップグレード
- Apache Spark 3.3.0 と Hadoop 3.3.4 は HDInsight 5.1 で開発中であり、いくつかの重要な新機能、パフォーマンス、その他の機能強化が含まれます。
Note
最新バージョンの HDInsight イメージを使用して、オープンソース更新プログラム、Azure 更新プログラム、セキュリティ修正プログラムを最大限に活用することをお勧めします。 詳細については、ベスト プラクティスに関するページを参照してください。
リリース日: 2022 年 12 月 12 日
このリリースは、HDInsight 4.0 に適用されます。 また、5.0 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。
HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。
OS のバージョン
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
ワークロード固有のバージョンについては、こちらを参照してください。
- Log Analytics - お客様は、従来の監視機能を使って最新の OMS バージョン 14.19 を取得できます。 以前のバージョンを削除するには、従来の監視を無効にしてから有効にします。
- 非アクティブな場合の Ambari ユーザーの自動 UI ログアウト。 詳細については、このページを参照してください。
- Spark - このリリースでは、Spark 3.1.3 の新しい最適化されたバージョンが含まれています。 Microsoft は、TPC-DS ベンチマークを使って Apache Spark 3.1.2 (以前のバージョン) と Apache Spark 3.1.3 (現在のバージョン) をテストしました。 このテストは、1 TB のワークロードでの Apache Spark について、E8 V3 SKU を使って行われました。 同じハードウェア仕様を使用する TPC-DS クエリのクエリ ランタイム全体で、Apache Spark 3.1.3 (現在のバージョン) のパフォーマンスは Apache Spark 3.1.2 (以前のバージョン) を 40% 以上上回りました。 Microsoft Spark チームは、Azure Synapse と Azure HDInsight で利用できる最適化を追加しました。 詳しくは、「Azure Synapse での Apache Spark 3.1.2 に対するパフォーマンスの更新を使用してデータ ワークロードを高速化する」をご覧ください
- カタール中部
- ドイツ北部
HDInsight は Azul Zulu Java JDK 8 から
Adoptium Temurin JDK 8に移行したため、高品質の TCK 認定ランタイムと、Java エコシステム全体で使うための関連付けられたテクノロジをサポートするようになりました。HDInsight は
reload4jに移行しました。log4jの変更は以下に適用されます- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger
- Apache Sqoop
- Apache Pig
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Livy
- Apache Rubix
- Apache Hive
- Apache Tez
- Apache HBase
- OMI
- Apache Pheonix
HDInsight は今後 TLS1.2 を実装します。このプラットフォーム上の以前のバージョンは更新されます。 HDInsight 上で何らかのアプリケーションを実行しており、それらが TLS 1.0 と 1.1 を使っている場合は、サービスの中断を避けるために TLS 1.2 にアップグレードしてください。
詳細については、トランスポート層セキュリティ (TLS) を有効にする方法に関する記事を参照してください。
2022 年 11 月 30 日から、Ubuntu 16.04 LTS 上の Azure HDInsight クラスターのサポートが終了します。 2021 年 6 月 27 日以降、HDInsight は Ubuntu 18.04 を使ったクラスター イメージのリリースを開始しました。 Ubuntu 16.04 を使ってクラスターを実行しているお客様には、2022 年 11 月 30 日までに最新の HDInsight イメージを使ってクラスターをリビルドすることをお勧めします。
クラスターの Ubuntu バージョンを確認する方法については、こちらを参照してください
ターミナルで "lsb_release -a" コマンドを実行します。
出力の "Description" プロパティの値が "Ubuntu 16.04 LTS" であれば、この更新プログラムはクラスターに適用できます。
- Kafka と HBase (書き込みアクセス) のクラスターに対する可用性ゾーンの選択をサポートしました。
オープンソースのバグ修正
Hive のバグ修正
| バグの修正 | Apache JIRA |
|---|---|
| HIVE-26127 | INSERT OVERWRITE エラー - ファイルが見つかりません |
| HIVE-24957 | サブクエリの相関述語に COALESCE がある場合の間違った結果 |
| HIVE-24999 | HiveSubQueryRemoveRule により、複数の相関関係がある IN サブクエリに対して無効なプランが生成されます。 |
| HIVE-24322 | 直接挿入がある場合、マニフェストの読み取りが失敗するときは試行 ID を確認する必要があります |
| HIVE-23363 | DataNucleus の依存関係を 5.2 へアップグレードします |
| HIVE-26412 | 使用できるスロットをフェッチし、既定値を追加するインターフェイスを作成します |
| HIVE-26173 | derby を 10.14.2.0 にアップグレードします |
| HIVE-25920 | Xerce2 を 2.12.2 にアップグレードします。 |
| HIVE-26300 | CVE-2020-36518 を回避するために Jackson データ バインド バージョンを 2.12.6.1 以降にアップグレードします |
リリース日: 2022 年 8 月 10 日
このリリースは、HDInsight 4.0 に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。
HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。
新機能
1. HDI Hadoop または Spark クラスターに外部ディスクを接続する
HDInsight クラスターには、SKU に基づいて事前定義されたディスク領域が用意されています。 この領域は、大規模なジョブのシナリオでは不十分な可能性があります。
この新機能では、ノード マネージャーのローカル ディレクトリとして使用されるディスクをさらにクラスターに追加できます。 HIVE および Spark クラスターの作成時にワーカー ノードにディスクの数を追加しますが、選択したディスクはノード マネージャーのローカル ディレクトリの一部になります。
注意
追加されたディスクは、ノード マネージャーのローカル ディレクトリに対してのみ構成されます。
詳細については、こちらを参照してください
2. 選択的ログの分析
選択的ログの分析は、パブリック プレビューのためにすべてのリージョンで使用できるようになりました。 クラスターをログ分析ワークスペースに接続できます。 有効にすると、HDInsight セキュリティ ログ、Yarn Resource Manager、システム メトリックなどのログとメトリックを表示できます。ワークロードを監視し、それらがクラスターの安定性にどのように影響しているかを確認できます。 選択的ログを使用すると、すべてのテーブルを有効または無効にしたり、ログ分析ワークスペースで選択したテーブルを有効にしたりできます。 新しいバージョンの Geneva 監視では 1 つのテーブルに複数のソースが含まれるため、テーブルごとにソースの種類を調整できます。
- Geneva 監視システムは、mdsd (MDS デーモン) を使用します。これは監視エージェントであり、統合ログ層を使用してログを収集するための fluentd です。
- 選択的ログでは、スクリプト アクションを使用して、テーブルとそのログの種類を無効または有効にします。 新しいポートを開いたり、既存のセキュリティ設定を変更したりしないため、セキュリティの変更はありません。
- スクリプト アクションは、指定されたすべてのノードで並列に実行され、テーブルとそのログの種類を無効または有効にするために構成ファイルを変更します。
詳細については、こちらを参照してください
修正済み
ログ分析
OMS バージョン 13 を実行している Azure HDInsight と統合された Log Analytics では、最新のセキュリティ更新プログラムを適用するために OMS バージョン 14 にアップグレードする必要があります。 OMS のバージョンが 13 である古いバージョンのクラスターを使用しているお客様は、セキュリティ要件を満たすために OMS バージョン 14 をインストールする必要があります。 (現在のバージョンの確認と 14 のインストールを行う方法)
現在の OMS バージョンを確認する方法
- SSH を使用してクラスターにログインします。
- SSH クライアントで次のコマンドを実行します。
sudo /opt/omi/bin/ominiserver/ --version
OMS バージョンを 13 から 14 にアップグレードする方法
- Azure ポータル
- リソース グループから HDInsight クラスター リソースを選択します
- [スクリプト操作] を選択します
- [スクリプト操作を追加] パネルで、[スクリプトの種類] を [カスタム] として選択します
- Bash スクリプト URL ボックスにリンク https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh を貼り付けます
- [Node type(s)] (ノードの種類) を選択します
- [作成] を選択します
次の手順を使用して、パッチが正常にインストールされたことを確認します。
SSH を使用してクラスターにログインします。
SSH クライアントで次のコマンドを実行します。
sudo /opt/omi/bin/ominiserver/ --version
その他のバグ修正
TFileが破損しているか、空の場合に、Yarn ログの CLI でログが取得できませんでした。- Azure Active Directory から OAuth トークンを取得しているときの無効なサービス プリンシパルの詳細エラーを解決しました。
- 100 個を超えるワーカー ノードが構成されている場合のクラスター作成の信頼性が向上しました。
オープンソースのバグ修正
TEZ のバグ修正
| バグの修正 | Apache JIRA |
|---|---|
| Tez ビルドの失敗: FileSaver.jsが見つかりません | TEZ-4411 |
ウェアハウスと scratchdir が異なる FS 上にある場合の不適切な FS 例外 |
TEZ-4406 |
| 32 MB を超える構成で TezUtils.createConfFromByteString が com.google.protobuf.CodedInputStream 例外をスローする | TEZ-4142 |
| TezUtils::createByteStringFromConf では、DeflaterOutputStream ではなく snappy を使用する必要がある | TEZ-4113 |
| protobuf 依存関係を 3.x に更新する | TEZ-4363 |
Hive のバグ修正
| バグの修正 | Apache JIRA |
|---|---|
| ORC 分割生成でのパフォーマンスの最適化 | HIVE-21457 |
| テーブル名が "delta" で始まるときにテーブルを ACID として読み取らないようにするが、テーブルがトランザクションではなく、BI 分割戦略が使用される | HIVE-22582 |
| AcidUtils#getLogicalLength から FS#exists 呼び出しを削除 | HIVE-23533 |
| ベクター化された OrcAcidRowBatchReader.computeOffset とバケットの最適化 | HIVE-17917 |
既知の問題
HDInsight は Apache HIVE 3.1.2 と互換性があります。 このリリースのバグにより、Hive バージョンは Hive インターフェイスでは 3.1.0 と表示されます。 ただし、機能に影響はありません。
リリース日: 2022 年 8 月 10 日
このリリースは、HDInsight 4.0 に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。
HDInsight では、段階的なリージョン デプロイを含む安全なデプロイ プラクティスを使用します。 新しいリリースまたは新しいバージョンがすべてのリージョンで利用できるようになるには、最大 10 営業日かかる場合があります。
新機能
1. HDI Hadoop または Spark クラスターに外部ディスクを接続する
HDInsight クラスターには、SKU に基づいて事前定義されたディスク領域が用意されています。 この領域は、大規模なジョブのシナリオでは不十分な可能性があります。
この新機能では、ノード マネージャーのローカル ディレクトリとして使用されるディスクをさらにクラスターに追加できます。 HIVE および Spark クラスターの作成時にワーカー ノードにディスクの数を追加しますが、選択したディスクはノード マネージャーのローカル ディレクトリの一部になります。
注意
追加されたディスクは、ノード マネージャーのローカル ディレクトリに対してのみ構成されます。
詳細については、こちらを参照してください
2. 選択的ログの分析
選択的ログの分析は、パブリック プレビューのためにすべてのリージョンで使用できるようになりました。 クラスターをログ分析ワークスペースに接続できます。 有効にすると、HDInsight セキュリティ ログ、Yarn Resource Manager、システム メトリックなどのログとメトリックを表示できます。ワークロードを監視し、それらがクラスターの安定性にどのように影響しているかを確認できます。 選択的ログを使用すると、すべてのテーブルを有効または無効にしたり、ログ分析ワークスペースで選択したテーブルを有効にしたりできます。 新しいバージョンの Geneva 監視では 1 つのテーブルに複数のソースが含まれるため、テーブルごとにソースの種類を調整できます。
- Geneva 監視システムは、mdsd (MDS デーモン) を使用します。これは監視エージェントであり、統合ログ層を使用してログを収集するための fluentd です。
- 選択的ログでは、スクリプト アクションを使用して、テーブルとそのログの種類を無効または有効にします。 新しいポートを開いたり、既存のセキュリティ設定を変更したりしないため、セキュリティの変更はありません。
- スクリプト アクションは、指定されたすべてのノードで並列に実行され、テーブルとそのログの種類を無効または有効にするために構成ファイルを変更します。
詳細については、こちらを参照してください
修正済み
ログ分析
OMS バージョン 13 を実行している Azure HDInsight と統合された Log Analytics では、最新のセキュリティ更新プログラムを適用するために OMS バージョン 14 にアップグレードする必要があります。 OMS のバージョンが 13 である古いバージョンのクラスターを使用しているお客様は、セキュリティ要件を満たすために OMS バージョン 14 をインストールする必要があります。 (現在のバージョンの確認と 14 のインストールを行う方法)
現在の OMS バージョンを確認する方法
- SSH を使用してクラスターにログインします。
- SSH クライアントで次のコマンドを実行します。
sudo /opt/omi/bin/ominiserver/ --version
OMS バージョンを 13 から 14 にアップグレードする方法
- Azure ポータル
- リソース グループから HDInsight クラスター リソースを選択します
- [スクリプト操作] を選択します
- [スクリプト操作を追加] パネルで、[スクリプトの種類] を [カスタム] として選択します
- Bash スクリプト URL ボックスにリンク https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh を貼り付けます
- [Node type(s)] (ノードの種類) を選択します
- [作成] を選択します
次の手順を使用して、パッチが正常にインストールされたことを確認します。
SSH を使用してクラスターにログインします。
SSH クライアントで次のコマンドを実行します。
sudo /opt/omi/bin/ominiserver/ --version
その他のバグ修正
TFileが破損しているか、空の場合に、Yarn ログの CLI でログが取得できませんでした。- Azure Active Directory から OAuth トークンを取得しているときの無効なサービス プリンシパルの詳細エラーを解決しました。
- 100 個を超えるワーカー ノードが構成されている場合のクラスター作成の信頼性が向上しました。
オープンソースのバグ修正
TEZ のバグ修正
| バグの修正 | Apache JIRA |
|---|---|
| Tez ビルドの失敗: FileSaver.jsが見つかりません | TEZ-4411 |
ウェアハウスと scratchdir が異なる FS 上にある場合の不適切な FS 例外 |
TEZ-4406 |
| 32 MB を超える構成で TezUtils.createConfFromByteString が com.google.protobuf.CodedInputStream 例外をスローする | TEZ-4142 |
| TezUtils::createByteStringFromConf では、DeflaterOutputStream ではなく snappy を使用する必要がある | TEZ-4113 |
| protobuf 依存関係を 3.x に更新する | TEZ-4363 |
Hive のバグ修正
| バグの修正 | Apache JIRA |
|---|---|
| ORC 分割生成でのパフォーマンスの最適化 | HIVE-21457 |
| テーブル名が "delta" で始まるときにテーブルを ACID として読み取らないようにするが、テーブルがトランザクションではなく、BI 分割戦略が使用される | HIVE-22582 |
| AcidUtils#getLogicalLength から FS#exists 呼び出しを削除 | HIVE-23533 |
| ベクター化された OrcAcidRowBatchReader.computeOffset とバケットの最適化 | HIVE-17917 |
既知の問題
HDInsight は Apache HIVE 3.1.2 と互換性があります。 このリリースのバグにより、Hive バージョンは Hive インターフェイスでは 3.1.0 と表示されます。 ただし、機能に影響はありません。
リリース日: 2022 年 6 月 3 日
このリリースは、HDInsight 4.0 に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日にわたりリリースがライブになるまでお待ちください。
リリースの概要
Spark v3.1.2 の Hive Warehouse Connector (HWC)
Hive Warehouse Connector (HWC) を使用すると、Hive および Spark の独自の機能を活用して、強力なビッグデータ アプリケーションを構築できます。 HWC は現在、Spark v2.4 でのみサポートされています。 この機能は、Spark を使用する Hive テーブルでの ACID トランザクションを許可することでビジネス価値を高めます。 この機能は、データ資産で Hive と Spark の両方を使用するお客様に役立ちます。 詳細については、「Apache Spark & Hive - Hive Warehouse Connector - Azure HDInsight | Microsoft Docs」を参照してください
Ambari
- スケーリングとプロビジョニングの改善に関する変更
- HDI Hive が OSS バージョン 3.1.2 と互換性を持つようになりました
HDI Hive 3.1 バージョンが OSS Hive 3.1.2 にアップグレードされました。 このバージョンには、オープン ソースの Hive 3.1.2 バージョンで使用できるすべての修正プログラムと機能があります。
注意
Spark
- Azure ユーザー インターフェイスを使用して HDInsight 用の Spark クラスターを作成している場合は、ドロップダウン リストに以前のバージョンと共に他のバージョンの Spark 3.1 (HDI 5.0) が表示されます。 このバージョンは、Spark 3.1 (HDI 4.0) の名前が変更されたバージョンです。 これは UI レベルの変更に過ぎません。これは、既存のユーザーや ARM テンプレートを既に使用しているユーザーには影響しません。
注意
Interactive Query
- Interactive Query クラスターを作成する場合は、ドロップダウン リストに Interactive Query 3.1 (HDI 5.0) として他のバージョンが表示されます。
- ACID のサポートが必要な Hive と共に Spark 3.1 バージョンを使用する場合は、このバージョンの Interactive Query 3.1 (HDI 5.0) を選択する必要があります。
TEZ のバグ修正
| バグの修正 | Apache JIRA |
|---|---|
| 32 MB を超える構成で TezUtils.createConfFromByteString が com.google.protobuf.CodedInputStream 例外をスローする | TEZ-4142 |
| TezUtils createByteStringFromConf では、DeflaterOutputStream ではなく snappy を使用する必要があります | TEZ-4113 |
HBase のバグ修正
| バグの修正 | Apache JIRA |
|---|---|
TableSnapshotInputFormat では、HFiles のスキャンに ReadType.STREAM を使用する必要があります |
HBASE-26273 |
| TableSnapshotInputFormat で scanMetrics を無効にするオプションを追加 | HBASE-26330 |
| バランサーの実行時の ArrayIndexOutOfBoundsException を修正 | HBASE-22739 |
Hive のバグ修正
| バグの修正 | Apache JIRA |
|---|---|
| dynpart の並べ替えの最適化で 'distribute by' 句を使用してデータを挿入する場合の NPE | HIVE-18284 |
| パーティションの削除中にパーティション フィルター処理を使用する MSCK REPAIR コマンドが失敗する | HIVE-23851 |
| capacity<=0 の場合に間違った例外がスローされる | HIVE-25446 |
| HastTable (インターフェイス) の並列読み込みをサポート | HIVE-25583 |
| 既定で HiveServer2 に MultiDelimitSerDe を含める | HIVE-20619 |
| jdbc-standalone jar から glassfish.jersey と mssql-jdbc クラスを削除 | HIVE-22134 |
| MM テーブルに対して圧縮を実行する場合の null ポインター例外。 | HIVE-21280 |
knox を使用した大きなサイズの Hive クエリがパイプの破損で失敗する (書き込みに失敗) |
HIVE-22231 |
| ユーザーがバインド ユーザーを設定する機能の追加 | HIVE-21009 |
| UDF を実装し、その内部表現とグレゴリオ ユリウス暦ハイブリッド カレンダーを使用して日付とタイムスタンプを解釈する | HIVE-22241 |
| 実行レポートを表示または非表示にする Beeline オプション | HIVE-22204 |
| Tez: SplitGenerator により、Tez に存在しないプラン ファイルの検索が試行される | HIVE-22169 |
LLAP キャッシュ hotpath からコストのかかるログを削除 |
HIVE-22168 |
| UDF: FunctionRegistry が org.apache.hadoop.hive.ql.udf.UDFType クラスで同期する | HIVE-22161 |
| プロパティが false に設定されている場合にクエリ ルーティング アペンダーを作成できないようにする | HIVE-22115 |
| partition-eval のクロスクエリ同期を削除 | HIVE-22106 |
| 計画中に Hive スクラッチ ディレクトリの設定をスキップする | HIVE-21182 |
| RPC がオンの場合、tez のスクラッチ ディレクトリの作成をスキップする | HIVE-21171 |
Re2J 正規表現エンジンを使用するように Hive UDF を切り替える |
HIVE-19661 |
| hive 3 の bucketing_version 1 を使用して移行されたクラスター化テーブルで、挿入に bucketing_version 2 が使用される | HIVE-22429 |
| バケット: バケット バージョン 1 でデータが正しくパーティション分割されない | HIVE-21167 |
| 新しく追加されたファイルへの ASF ライセンス ヘッダーの追加 | HIVE-22498 |
| mergeCatalog をサポートするためのスキーマ ツールの機能強化 | HIVE-22498 |
| TEZ UNION ALL と UDTF を含む Hive でデータが失われる | HIVE-21915 |
| ヘッダーとフッターが存在する場合でも、テキスト ファイルを分割する | HIVE-21924 |
| 読み込まれたファイルの列がテーブル スキーマに存在するものよりも多い場合、MultiDelimitSerDe から最後の列に間違った結果が返されます | HIVE-22360 |
| LLAP 外部クライアント - LlapBaseInputFormat#getSplits() 占有領域を削減する必要がある | HIVE-22221 |
| マスク列を持つテーブルの結合を含むクエリが書き換えられた場合は、予約キーワードを持つ列名がエスケープされない (担当: Zoltan Matyus、レビュー: Zoltan Haindrich) | HIVE-22208 |
AMReporter 関連の RuntimeException での LLAP シャットダウンを防止 |
HIVE-22113 |
| LLAP 状態のサービス ドライバーが間違った Yarn アプリ ID で停止する可能性がある | HIVE-21866 |
| OperationManager.queryIdOperation で複数の queryId が適切にクリーンアップされない | HIVE-22275 |
| ノード マネージャーを停止すると、LLAP サービスの再起動がブロックされる | HIVE-22219 |
| 多数のパーティションが削除された場合の StackOverflowError | HIVE-15956 |
| 一時ディレクトリが削除されたときにアクセス確認が失敗する | HIVE-22273 |
| 特定の境界条件における左外部マップ結合での間違った結果や ArrayOutOfBound 例外を修正 | HIVE-22120 |
| pom.xml から配布管理タグを削除 | HIVE-19667 |
| 深く入れ子になったサブクエリがある場合、解析時間が長くなる可能性がある | HIVE-21980 |
ALTER TABLE t SET TBLPROPERTIES ('EXTERNAL'='TRUE') の場合; TBL_TYPE 属性の変更が CAPS 以外で反映されない |
HIVE-20057 |
JDBC: HiveConnection で log4j インターフェイスがシェーディングされる |
HIVE-18874 |
poms のリポジトリ URL を更新する - ブランチ 3.1 バージョン |
HIVE-21786 |
マスターとブランチ 3.1 で DBInstall テストが破損している |
HIVE-21758 |
| バケット化されたテーブルにデータを読み込むと、パーティションの指定が無視され、既定のパーティションにデータが読み込まれる | HIVE-21564 |
| タイムスタンプ、またはローカル タイム ゾーン リテラルのタイムスタンプを持つ結合条件を使用するクエリで SemanticException がスローされる | HIVE-21613 |
| 列のコンピューティング統計の分析で HDFS にステージング ディレクトリが残る | HIVE-21342 |
| Hive バケット計算での互換性のない変更 | HIVE-21376 |
| 他の承認者が使用されていない場合にフォールバック承認者を提供 | HIVE-20420 |
| 一部の alterPartitions 呼び出しで 'NumberFormatException: null' がスローされる | HIVE-18767 |
| HiveServer2: http トランスポート用の事前認証されたサブジェクトが、場合によっては http 通信の期間全体にわたって保持されない | HIVE-20555 |
リリース日: 2022 年 3 月 10 日
このリリースは、HDInsight 4.0 に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日にわたりリリースがライブになるまでお待ちください。
このリリースの OS バージョンは次のとおりです。
- HDInsight 4.0: Ubuntu 18.04.5
Spark 3.1 の一般提供開始
HDInsight 4.0 リリースでは、Spark 3.1 が一般提供されるようになりました。 このリリースには以下が含まれます
- アダプティブ クエリの実行
- 並べ替えマージ結合からブロードキャスト ハッシュ結合への変換
- Spark Catalyst Optimizer
- 動的なパーティションの排除
- お客様は、Spark 3.0 (プレビュー) クラスターではなく、新しい Spark 3.1 クラスターを作成できます。
詳細については、Microsoft Tech Community の「Apache Spark 3.1 が HDInsight で一般提供されます」を参照してください。
機能強化の完全な一覧については、Apache Spark 3.1 のリリース ノートを参照してください。
移行の詳細については、「移行ガイド」を参照してください。
Kafka 2.4 の一般提供開始
Kafka 2.4.1 が一般提供されるようになりました。 詳細については、Kafka 2.4.1 のリリース ノートを参照してください。その他の機能としては、使用できるようになった MirrorMaker 2、新しいメトリック カテゴリ AtMinIsr トピック パーティション、インデックス ファイルの遅延オンデマンド mmap によるブローカーの起動時間の改善、ユーザーのポーリング動作を観察するためのコンシューマー メトリックの増加などがあります。
HWC の Map データ型の HDInsight 4.0 でのサポート
このリリースには、Spark シェル アプリケーションによる HWC 1.0 (Spark 2.4) の Map データ型のサポートと、HWC でサポートされているその他すべての Spark クライアントが含まれています。 他のデータ型と同様に、次の機能強化が含まれています。
ユーザーは次のことができます
- Map データ型を含む任意の列で Hive テーブルを作成し、そのテーブルにデータを挿入して、そこから結果を読み取ります。
- Map 型で Apache Spark データフレームを作成し、バッチとストリームの読み取りと書き込みを実行します。
新しいリージョン
HDInsight の地理的プレゼンスが、2 つの新しいリージョン (中国東部 3 と中国北部 3) に拡張されました。
OSS バックポートの変更
Map データ型をサポートする HWC 1.0 (Spark 2.4) を含む Hive に含まれる OSS バックポート。
このリリースで OSS バックポートされた Apache JIRA:
| 影響を受ける機能 | Apache JIRA |
|---|---|
| IN/(NOT IN) を使用するメタスト直接 SQL クエリを、SQL DB で許容される最大パラメーター数に基づいて分割する必要がある | HIVE-25659 |
log4j 2.16.0 を 2.17.0 にアップグレードする |
HIVE-25825 |
Flatbuffer のバージョンを更新する |
HIVE-22827 |
| Map データ型を Arrow 形式でネイティブにサポートする | HIVE-25553 |
| LLAP 外部クライアント - 親構造体が null の場合に入れ子になった値を処理する | HIVE-25243 |
| Arrow のバージョンを 0.11.0 にアップグレードする | HIVE-23987 |
非推奨の通知
HDInsight での Azure Virtual Machine Scale Sets
HDInsight では、クラスターのプロビジョニングに Azure Virtual Machine Scale Sets が使用されなくなります。破壊的変更は予想されません。 Virtual Machine Scale Sets 上の既存の HDInsight クラスターに影響はありません。最新のイメージ上の新しいクラスターで、Virtual Machine Scale Sets が使用できなくなります。
Azure HDInsight HBase ワークロードのスケーリングは、手動スケーリングを使用する場合にのみサポートされる
2022 年 3 月 1 日から、HDInsight では HBase の手動スケーリングのみがサポートされるようになります。クラスターの実行に影響はありません。 新しい HBase クラスターでは、スケジュール ベースの自動スケーリングを有効にできません。 HBase クラスターの手動スケーリング方法の詳細については、「Azure HDInsight クラスターを手動でスケーリングする」を参照してください
リリース日: 2021 年 12 月 27 日
このリリースは、HDInsight 4.0 に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日にわたりリリースがライブになるまでお待ちください。
このリリースの OS バージョンは次のとおりです。
- HDInsight 4.0: Ubuntu 18.04.5 LTS
HDInsight 4.0 のイメージは、「CVE-2021-44228 Apache Log4j 2 に対するマイクロソフトの対応」に記載されている Log4j の脆弱性を緩和するために更新されています。
Note
- 2021 年 12 月 27 日 00:00 UTC 以降に作成される HDI 4.0 クラスターは、
log4jの脆弱性を軽減する、更新されたバージョンのイメージを使用して作成されます。 したがって、お客様はこれらのクラスターにパッチを適用する必要はなく、クラスターの再起動も不要です。 - 2021 年 12 月 16 日 01:15 UTC から 2021 年 12 月 27 日 00:00 UT Cの間に作成された新しい HDInsight 4.0 クラスター、HDInsight 3.6、または 2021 年 12 月 16 日以降にピン留めされたサブスクリプションでは、クラスターが作成された 1 時間以内にパッチが自動適用されます。ただし、お客様はその後、パッチの適用を完了するためにノードを再起動する必要があります (自動的に再起動される Kafka 管理ノードを除く)。
リリース日: 2021 年 7 月 27 日
このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。
このリリースの OS バージョンは次のとおりです。
- HDInsight 3.6: Ubuntu 16.04.7 LTS
- HDInsight 4.0: Ubuntu 18.04.5 LTS
新機能
制限付きパブリック接続に対する Azure HDInsight のサポートは、2021 年 10 月 15 日に一般提供されます
すべてのリージョンの Azure HDInsight で、制限付きパブリック接続がサポートされるようになります。 この機能の主な特徴を次に示します。
- クラスターからリソース プロバイダーに送信されるように、リソース プロバイダーからクラスターへの通信を反転する機能
- HDInsight クラスターがプライベート ネットワークのみを使用してリソースにアクセスするため、独自の Private Link 対応リソース (ストレージ、SQL、キー コンテナーなど) の持ち込みのサポート
- パブリック IP アドレスはプロビジョニングされたリソースではありません
この新機能を使用すると、HDInsight 管理 IP のインバウンド ネットワーク セキュリティ グループ (NSG) のサービス タグ規則をスキップすることもできます。 パブリック接続の制限の詳細を確認してください
Azure Private Link に対する Azure HDInsight のサポートは、2021 年 10 月 15 日に一般提供されます
プライベート エンドポイントを使用して、プライベート リンク経由で HDInsight クラスターに接続できるようになります。 プライベート リンクは、VNET ピアリングが使用できない、または有効になっていないクロス VNET シナリオで使用できます。
Azure Private Link を使用すると、お使いの仮想ネットワーク内のプライベート エンドポイント経由で Azure PaaS サービス (Azure Storage、SQL Database など) と Azure でホストされている顧客所有の、またはパートナー サービスにアクセスできます。
仮想ネットワークとサービスの間のトラフィックは、Microsoft のバックボーン ネットワークを通ります。 パブリック インターネットにサービスを公開する必要はありません。
プライベート リンクの有効化の詳細を確認してください。
新しい Azure Monitor 統合エクスペリエンス (プレビュー)
新しい Azure Monitor 統合エクスペリエンスは、このリリースで、米国東部と西ヨーロッパでプレビュー段階になります。 新しい Azure Monitor エクスペリエンスについては、こちらをご覧ください。
非推奨
HDInsight 3.6 バージョンは、2022 年 10 月 1 日より非推奨となりました。
動作の変更
HDInsight Interactive Query がスケジュールベースの自動スケーリングのみをサポート
お客様のシナリオがますます成熟し、多様化する中、Interactive Query (LLAP) の負荷ベースの自動スケーリングに制限がいくつかあることがわかりました。 これらの制限は、LLAP クエリ ダイナミクスの性質、将来の負荷予測の精度の問題、LLAP スケジューラのタスク再配布の問題によるものです。 こうした制限により、自動スケーリングが有効になっていると、LLAP クラスター上でのクエリの実行が遅くなる可能性があります。 パフォーマンスへの影響は、自動スケーリングのコスト面での利点を上回る可能性があります。
2021 年 7 月以降、HDInsight 内の Interactive Query ワークロードでは、スケジュールベースの自動スケーリングのみがサポートされます。 新しい Interactive Query クラスター上では負荷ベースの自動スケーリングを有効にできません。 実行中の既存のクラスターについては、前述の既知の制限付きで引き続き実行できます。
Microsoft では、LLAP のスケジュールベースの自動スケーリングに移行することを推奨しています。 Grafana Hive ダッシュボードを使用すると、クラスターの現在の使用パターンを分析できます。 詳細については、「Azure HDInsight クラスターを自動的にスケール調整する」を参照してください。
今後の変更
今後のリリースでは、次の変更が行われます。
ESP Spark クラスターの組み込み LLAP コンポーネントが削除されます
HDInsight 4.0 ESP Spark クラスターには、両方のヘッド ノードで実行される組み込みの LLAP コンポーネントがあります。 ESP Spark クラスターの LLAP コンポーネントは、もともと HDInsight 3.6 ESP Spark 用に追加されましたが、HDInsight 4.0 ESP Spark の実際のユーザー ケースはありません。 2021 年 9 月に予定されている次のリリースでは、HDInsight で HDInsight 4.0 ESP Spark クラスターから組み込みの LLAP コンポーネントが削除されます。 この変更により、ヘッド ノードのワークロードをオフロードできるようになり、ESP Spark と ESP Interactive Hive クラスターの種類の間の混乱を回避できます。
新しいリージョン
- 米国西部 3
Jioインド西部- オーストラリア中部
コンポーネントのバージョンの変更
このリリースでは、次のコンポーネント バージョンが変更されました。
- 1\.5.1 から 1.5.9 への ORC バージョン
HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。
移植された JIRA
このリリースで移植された Apache JIRA を次に示します。
| 影響を受ける機能 | Apache JIRA |
|---|---|
| 日付/タイムスタンプ | HIVE-25104 |
| HIVE-24074 | |
| HIVE-22840 | |
| HIVE-22589 | |
| HIVE-22405 | |
| HIVE-21729 | |
| HIVE-21291 | |
| HIVE-21290 | |
| UDF | HIVE-25268 |
| HIVE-25093 | |
| HIVE-22099 | |
| HIVE-24113 | |
| HIVE-22170 | |
| HIVE-22331 | |
| ORC | HIVE-21991 |
| HIVE-21815 | |
| HIVE-21862 | |
| テーブル スキーマ | HIVE-20437 |
| HIVE-22941 | |
| HIVE-21784 | |
| HIVE-21714 | |
| HIVE-18702 | |
| HIVE-21799 | |
| HIVE-21296 | |
| ワークロード管理 | HIVE-24201 |
| 圧縮 | HIVE-24882 |
| HIVE-23058 | |
| HIVE-23046 | |
| 具体化されたビュー | HIVE-22566 |
HDInsight Dv2 Virtual Machines の価格修正
2021 年 4 月 25 日、HDInsight 上の Dv2 VM シリーズの価格の誤りが修正されました。 この価格の誤りにより、4 月 25 日より前の一部のお客様の請求書に減額された料金が示されていましたが、これが HDInsight 価格ページと HDInsight 料金計算ツールで公開されていたものと一致するように修正されました。 この価格の誤りは、Dv2 VM を使用している以下のリージョンのお客様に影響を与えました。
- カナダ中部
- カナダ東部
- 東アジア
- 南アフリカ北部
- 東南アジア
- アラブ首長国連邦中部
2021 年 4 月 25 日以降、お客様のアカウントに、Dv2 VM の修正後の金額が反映されます。 変更に先立ち、お客様への通知をサブスクリプション所有者にお送りしました。 料金計算ツール、HDInsight 価格ページ、Azure portal 内の [HDInsight クラスターの作成] ブレードのいずれかを使って、ご自身のリージョン内の Dv2 VM の修正されたコストをご確認いただくことができます。
お客様が他に対処する必要ありません。 価格修正は、2021 年 4 月 25 日以降に指定されたリージョン内でご利用いただいた分にのみ適用されます。それ以前のご利用分には適用されません。 最高のパフォーマンスとコスト効率を確実に実現するために、Dv2 クラスターの価格、VCPU、RAM を確認し、Dv2 の仕様と Ev3 VM を比較して、ご自身のソリューションで新しい VM シリーズのいずれかを利用することでメリットを得られる可能性があるかどうかを検討することをお勧めします。
リリース日: 2021 年 6 月 2 日
このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。
このリリースの OS バージョンは次のとおりです。
- HDInsight 3.6: Ubuntu 16.04.7 LTS
- HDInsight 4.0: Ubuntu 18.04.5 LTS
新機能
OS バージョンのアップグレード
Ubuntu のリリース サイクルに関する記事で言及されているように、Ubuntu 16.04 カーネルは、2021 年 4 月にサポート終了 (EOL) となります。 このリリースでは、Ubuntu 18.04 で実行される新しい HDInsight 4.0 クラスター イメージのロールアウトが開始されました。 新しく作成された HDInsight 4.0 クラスターは、使用可能になると、Ubuntu 18.04 で既定で実行されます。 Ubuntu 16.04 上の既存のクラスターは、現状のまま完全にサポートされ実行されます。
HDInsight 3.6 は、Ubuntu 16.04 で引き続き実行されます。 2021 年 7 月 1 日からは、Basic サポートに (Standard サポートから) 変更されます。 日付とサポート オプションの詳細については、「Azure HDInsight のバージョン」を参照してください。 Ubuntu 18.04 は、HDInsight 3.6 ではサポートされません。 Ubuntu 18.04 を使用する場合は、クラスターを HDInsight 4.0 に移行する必要があります。
既存の HDInsight 4.0 クラスターを Ubuntu 18.04 に移動する場合は、クラスターを削除して再作成する必要があります。 Ubuntu 18.04 のサポートが利用可能になった後、クラスターの作成または再作成を計画してください。
新しいクラスターを作成した後は、クラスターに SSH で接続し、sudo lsb_release -a を実行して Ubuntu 18.04 で実行されることを確認できます。 運用環境に移行する前に、まずテスト サブスクリプションでアプリケーションをテストすることをお勧めします。
HBase 高速書き込みクラスターでのスケーリングの最適化
HDInsight では、HBase 高速書き込み対応クラスターのスケーリングに関して、いくつかの機能強化と最適化が行われました。 HBase 高速書き込みの詳細を確認してください。
非推奨
このリリースに非推奨はありません。
動作の変更
HDInsight 4.0 用のヘッド ノードとして Stardard_A5 VM サイズが無効になった
HDInsight クラスターのヘッド ノードは、クラスターの初期化と管理を担当します。 Standard_A5 VM サイズには、HDInsight 4.0 のヘッド ノードとして信頼性の問題があります。 このリリース以降、お客様は、ヘッド ノードとして Standard_A5 VM サイズを使用して、新しいクラスターを作成できなくなります。 E2_v3 や E2s_v3 など、他の 2 コア VM は使用できます。 既存のクラスターはそのまま実行されます。 運用 HDInsight クラスターの高可用性と信頼性を確保するために、ヘッド ノードには 4 コアの VM を強くお勧めします。
Azure 仮想マシン スケール セットで実行されているクラスターでのネットワーク インターフェイス リソースの非表示
HDInsight は Azure 仮想マシン スケール セットに段階的に移行しています。 仮想マシンのネットワーク インターフェイスは、Azure 仮想マシン スケール セットを使用するクラスターの顧客に対しては表示されなくなりました。
今後の変更
今後のリリースでは、次の変更が行われます。
HDInsight Interactive Query がスケジュールベースの自動スケーリングのみをサポート
お客様のシナリオがますます成熟し、多様化する中、Interactive Query (LLAP) の負荷ベースの自動スケーリングに制限がいくつかあることがわかりました。 これらの制限は、LLAP クエリ ダイナミクスの性質、将来の負荷予測の精度の問題、LLAP スケジューラのタスク再配布の問題によるものです。 こうした制限により、自動スケーリングが有効になっていると、LLAP クラスター上でのクエリの実行が遅くなる可能性があります。 パフォーマンスへの影響は、自動スケーリングのコスト面での利点を上回る可能性があります。
2021 年 7 月以降、HDInsight 内の Interactive Query ワークロードでは、スケジュールベースの自動スケーリングのみがサポートされます。 新しい Interactive Query クラスター上では自動スケーリングを有効にできません。 実行中の既存のクラスターについては、前述の既知の制限付きで引き続き実行できます。
Microsoft では、LLAP のスケジュールベースの自動スケーリングに移行することを推奨しています。 Grafana Hive ダッシュボードを使用すると、クラスターの現在の使用パターンを分析できます。 詳細については、「Azure HDInsight クラスターを自動的にスケール調整する」を参照してください。
VM ホストの名前付けが、2021 年 7 月 1 日に変更されます
HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このサービスは Azure 仮想マシン スケール セットに段階的に移行しています。 この移行により、クラスター ホスト名の FQDN 名の形式が変更され、ホスト名に含まれる番号の順番は保証されなくなります。 各ノードの FQDN 名を取得する場合は、「クラスター ノードのホスト名を検索する」を参照してください。
Azure 仮想マシン スケール セットに移行する
HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このサービスは、Azure 仮想マシン スケール セットに段階的に移行します。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。
リリース日: 2021 年 3 月 24 日
新機能
Spark 3.0 プレビュー
HDInsight では、プレビュー機能として HDInsight 4.0 に Spark 3.0.0 のサポートを追加しました。
Kafka 2.4 プレビュー
HDInsight では、プレビュー機能として HDInsight 4.0 に Kafka 2.4.1 のサポートを追加しました。
Eav4 シリーズのサポート
HDInsight のこのリリースでは、Eav4 シリーズのサポートが追加されました。
Azure 仮想マシン スケール セットへの移行
HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このサービスは Azure 仮想マシン スケール セットに段階的に移行しています。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。
非推奨
このリリースに非推奨はありません。
動作の変更
既定のクラスター バージョンは 4.0 に変更されています
HDInsight クラスターの既定のバージョンは 3.6 から 4.0 に変更されています。 使用可能なバージョンの詳細については、「使用可能なバージョン」を参照してください。 HDInsight 4.0 の新機能については、こちらを参照してください。
既定のクラスター VM サイズが Ev3 シリーズに変更
既定のクラスター VM のサイズは、D シリーズから Ev3 シリーズに変更されています。 この変更は、ヘッド ノードとワーカー ノードに適用されます。 この変更がテスト済みのワークフローに影響を与えることを回避するには、使用する VM サイズを ARM テンプレートで指定します。
Azure 仮想マシン スケール セットで実行されているクラスターでのネットワーク インターフェイス リソースの非表示
HDInsight は Azure 仮想マシン スケール セットに段階的に移行しています。 仮想マシンのネットワーク インターフェイスは、Azure 仮想マシン スケール セットを使用するクラスターの顧客に対しては表示されなくなりました。
今後の変更
今後のリリースでは、次の変更が行われます。
HDInsight Interactive Query がスケジュールベースの自動スケーリングのみをサポート
お客様のシナリオがますます成熟し、多様化する中、Interactive Query (LLAP) の負荷ベースの自動スケーリングに制限がいくつかあることがわかりました。 これらの制限は、LLAP クエリ ダイナミクスの性質、将来の負荷予測の精度の問題、LLAP スケジューラのタスク再配布の問題によるものです。 こうした制限により、自動スケーリングが有効になっていると、LLAP クラスター上でのクエリの実行が遅くなる可能性があります。 このパフォーマンスへの影響は、自動スケーリングのコスト面での利点を上回る可能性があります。
2021 年 7 月以降、HDInsight 内の Interactive Query ワークロードでは、スケジュールベースの自動スケーリングのみがサポートされます。 新しい Interactive Query クラスター上では自動スケーリングを有効にできません。 実行中の既存のクラスターについては、前述の既知の制限付きで引き続き実行できます。
Microsoft では、LLAP のスケジュールベースの自動スケーリングに移行することを推奨しています。 Grafana Hive ダッシュボードを使用すると、クラスターの現在の使用パターンを分析できます。 詳細については、「Azure HDInsight クラスターを自動的にスケール調整する」を参照してください。
OS バージョンのアップグレード
現在、HDInsight クラスターは Ubuntu 16.04 LTS で実行されています。 Ubuntu のリリース サイクルに関する記事で言及されているように、Ubuntu 16.04 カーネルは、2021 年 4 月にサポート終了 (EOL) となります。 2021 年 5 月から、Ubuntu 18.04 で実行される新しい HDInsight 4.0 クラスター イメージのロールアウトが開始されます。 新しく作成された HDInsight 4.0 クラスターは、使用可能になった後、既定では Ubuntu 18.04 で実行されます。 Ubuntu 16.04 上の既存のクラスターは、完全サポートでそのまま実行されます。
HDInsight 3.6 は、Ubuntu 16.04 で引き続き実行されます。 2021 年 6 月 30 日で標準サポートが終了し、2021 年 7 月 1 日から Basic サポートに変更されます。 日付とサポート オプションの詳細については、「Azure HDInsight のバージョン」を参照してください。 Ubuntu 18.04 は、HDInsight 3.6 ではサポートされません。 Ubuntu 18.04 を使用する場合は、クラスターを HDInsight 4.0 に移行する必要があります。
既存のクラスターを Ubuntu 18.04 に移動する場合は、クラスターを削除して再作成する必要があります。 Ubuntu 18.04 のサポートが利用可能になった後、クラスターの作成または再作成を計画してください。 新しいイメージがすべてのリージョンで利用可能になった後、別の通知が送信されます。
Ubuntu 18.04 仮想マシン (VM) 上のエッジ ノードにデプロイされているスクリプト アクションとカスタム アプリケーションを事前にテストすることを強くお勧めします。 18.04-LTS で Ubuntu Linux VM を作成し、その後、その VM で Secure Shell (SSH) キー ペアを作成および使用して、エッジ ノードにデプロイされているスクリプト アクションとカスタム アプリケーションを実行およびテストできます。
HDInsight 4.0 用のヘッド ノードとして Stardard_A5 VM サイズが無効になった
HDInsight クラスターのヘッド ノードは、クラスターの初期化と管理を担当します。 Standard_A5 VM サイズには、HDInsight 4.0 のヘッド ノードとして信頼性の問題があります。 2021 年 5 月の次回のリリース以降、お客様は、ヘッド ノードとして Standard_A5 VM サイズを使用した新しいクラスターを作成できなくなります。 E2_v3 や E2s_v3 など、他の 2 コア VM は使用できます。 既存のクラスターはそのまま実行されます。 運用 HDInsight クラスターの高可用性と信頼性を確保するために、ヘッド ノードには 4 コアの VM を強くお勧めします。
バグの修正
HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。
コンポーネントのバージョンの変更
Spark 3.0.0 と Kafka 2.4.1 のプレビューとしてのサポートが追加されました。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。
リリース日: 2021 年 2 月 5 日
このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。
新機能
Dav4 シリーズのサポート
HDInsight のこのリリースでは、Dav4 シリーズのサポートが追加されました。 Dav4 シリーズの詳細についてはこちらを参照してください。
Kafka REST プロキシ GA
Kafka REST プロキシを使用すると、HTTPS 経由の REST API を使用して Kafka クラスターを操作することができます。 Kafka REST プロキシは、このリリース以降、一般提供となります。 Kafka REST プロキシの詳細についてはこちらを参照してください。
Azure 仮想マシン スケール セットへの移行
HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このサービスは Azure 仮想マシン スケール セットに段階的に移行しています。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。
非推奨
無効な VM サイズ
2021 年 1 月 9 日以降は、すべてのお客様が HDInsight で standand_A8、standand_A9、standand_A10、および standand_A11 の VM サイズを使用してクラスターを作成することができなくなります。 既存のクラスターはそのまま実行されます。 システムやサポートが中断される可能性を回避するため、HDInsight 4.0 への移行を検討してください。
動作の変更
既定のクラスター VM サイズが Ev3 シリーズに変更
既定のクラスター VM のサイズは、D シリーズから Ev3 シリーズに変更されます。 この変更は、ヘッド ノードとワーカー ノードに適用されます。 この変更がテスト済みのワークフローに影響を与えることを回避するには、使用する VM サイズを ARM テンプレートで指定します。
Azure 仮想マシン スケール セットで実行されているクラスターでのネットワーク インターフェイス リソースの非表示
HDInsight は Azure 仮想マシン スケール セットに段階的に移行しています。 仮想マシンのネットワーク インターフェイスは、Azure 仮想マシン スケール セットを使用するクラスターの顧客に対しては表示されなくなりました。
今後の変更
今後のリリースでは、次の変更が行われます。
既定のクラスター バージョンは 4.0 に変更されます
2021 年 2 月以降、HDInsight クラスターの既定のバージョンは 3.6 から 4.0 に変更されます。 使用可能なバージョンの詳細については、「使用可能なバージョン」を参照してください。 HDInsight 4.0 の新機能については、こちらを参照してください。
OS バージョンのアップグレード
HDInsight では、OS バージョンが Ubuntu 16.04 から 18.04 にアップグレードされます。 アップグレードは、2021 年 4 月までに完了する予定です。
HDInsight 3.6 は 2021 年 6 月 30 日にサポート終了
HDInsight 3.6 のサポートが終了します。 2021 年 6 月 30 日以降は、お客様は新しい HDInsight 3.6 クラスターを作成することはできなくなります。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、HDInsight 4.0 への移行を検討してください。
コンポーネントのバージョンの変更
このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。
リリース日: 2020 年 11 月 18 日
このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。
新機能
保存時におけるカスタマー マネージド キー暗号化の自動キー ローテーション
このリリース以降、お客様はカスタマー マネージド キーの暗号化に、バージョンレスの Azure KeyValut 暗号化キー URL を使用できます。 HDInsight は、有効期限が切れたとき、または新しいバージョンに置き換えられたときに、自動的にキーをローテーションします。 詳細についてはここを参照してください。
Spark、Hadoop、および ML Services 用のさまざまな Zookeeper 仮想マシン サイズを選択する機能
これまで、HDInsight では、Spark、Hadoop、ML Services のクラスターの種類に対して Zookeeper ノード サイズのカスタマイズはサポートされていませんでした。 既定値は A2_v2 および A2 の仮想マシン サイズであり、無料で提供されます。 このリリース以降、お客様のシナリオに最も適した Zookeeper 仮想マシン サイズを選択できます。 A2_v2 および A2 以外の仮想マシン サイズの Zookeeper ノードには課金されます。 A2_v2 および A2 の仮想マシンは引き続き無料で提供されます。
Azure 仮想マシン スケール セットへの移行
HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このリリース以降、サービスは徐々に Azure 仮想マシン スケール セットに移行されます。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。
非推奨
HDInsight 3.6 ML Services クラスターの非推奨
HDInsight 3.6 ML Services クラスターの種類は、2020 年 12 月 31 日でサポート終了となります。 2021 年 1 月 1 日以降は新しい 3.6 ML Services クラスターを作成できなくなります。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 HDInsight のバージョンとクラスターの種類に関するサポートの有効期限については、こちらで確認してください。
無効な VM サイズ
2020 年 11 月 16 日以降、新規のお客様が HDInsight で standand_A8、standand_A9、standand_A10、および standand_A11 の VM サイズを使用してクラスターを作成することができなくなります。 過去 3 か月間、これらの VM サイズを使用していた既存のお客様は、影響を受けません。 2021 年 1 月 9 日以降は、すべてのお客様が HDInsight で standand_A8、standand_A9、standand_A10、および standand_A11 の VM サイズを使用してクラスターを作成することができなくなります。 既存のクラスターはそのまま実行されます。 システムやサポートが中断される可能性を回避するため、HDInsight 4.0 への移行を検討してください。
動作の変更
スケーリング操作の前に NSG ルール チェックを追加する
HDInsight では、ネットワーク セキュリティ グループ (NSG) とユーザー定義ルート (UDR) のチェックがスケーリング操作で追加されました。 クラスターの作成に加えて、クラスターのスケーリングについても同じ検証が行われます。 この検証により、予測できないエラーを防ぐことができます。 検証が成功しなかった場合、スケーリングは失敗します。 NSG と UDR を正しく構成する方法の詳細については、「HDInsight 管理 IP アドレス」を参照してください。
コンポーネントのバージョンの変更
このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。
リリース日: 2020 年 11 月 9 日
このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。
新機能
HDInsight Identity Broker (HIB) の一般提供が開始されました
このリリースで、ESP クラスターに対して OAuth 認証を有効にする HDInsight Identity Broker (HIB) の一般提供が開始されました。 このリリース以降に作成された HIB クラスターには、次の最新の HIB 機能があります。
- 高可用性 (HA)
- 多要素認証 (MFA) のサポート
- フェデレーション ユーザーの AAD-DS へのパスワード ハッシュ同期なしのサインインの詳細については、HIB のドキュメントを参照してください。
Azure 仮想マシン スケール セットへの移行
HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このリリース以降、サービスは徐々に Azure 仮想マシン スケール セットに移行されます。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。
非推奨
HDInsight 3.6 ML Services クラスターの非推奨
HDInsight 3.6 ML Services クラスターの種類は、2020 年 12 月 31 日でサポート終了となります。 2021 年 1 月 1 日以降は新しい 3.6 ML Services クラスターを作成できなくなります。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 HDInsight のバージョンとクラスターの種類に関するサポートの有効期限については、こちらで確認してください。
無効な VM サイズ
2020 年 11 月 16 日以降、新規のお客様が HDInsight で standand_A8、standand_A9、standand_A10、および standand_A11 の VM サイズを使用してクラスターを作成することができなくなります。 過去 3 か月間、これらの VM サイズを使用していた既存のお客様は、影響を受けません。 2021 年 1 月 9 日以降は、すべてのお客様が HDInsight で standand_A8、standand_A9、standand_A10、および standand_A11 の VM サイズを使用してクラスターを作成することができなくなります。 既存のクラスターはそのまま実行されます。 システムやサポートが中断される可能性を回避するため、HDInsight 4.0 への移行を検討してください。
動作の変更
このリリースに動作変更はありません。
今後の変更
今後のリリースでは、次の変更が行われます。
Spark、Hadoop、および ML Services 用のさまざまな Zookeeper 仮想マシン サイズを選択する機能
現在、HDInsight では、Spark、Hadoop、および ML サービス クラスターの種類での Zookeeper ノード サイズのカスタマイズはサポートされていません。 既定値は A2_v2 および A2 の仮想マシン サイズであり、無料で提供されます。 今後のリリースでは、お客様のシナリオに最も適した Zookeeper 仮想マシン サイズを選択できます。 A2_v2 および A2 以外の仮想マシン サイズの Zookeeper ノードには課金されます。 A2_v2 および A2 の仮想マシンは引き続き無料で提供されます。
既定のクラスター バージョンは 4.0 に変更されます
2021 年 2 月以降、HDInsight クラスターの既定のバージョンは 3.6 から 4.0 に変更されます。 サポートされているバージョンの詳細については、「使用可能なバージョン」を参照してください。 HDInsight 4.0 の新機能については、こちらを参照してください
HDInsight 3.6 は 2021 年 6 月 30 日にサポート終了
HDInsight 3.6 のサポートが終了します。 2021 年 6 月 30 日以降は、お客様は新しい HDInsight 3.6 クラスターを作成することはできなくなります。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、HDInsight 4.0 への移行を検討してください。
バグの修正
HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。
クラスター内の VM の再起動に関する問題を修正
クラスター内の VM の再起動に関する問題が修正されました。PowerShell または REST API を使用して、クラスター内のノードをもう一度再起動することができます。
コンポーネントのバージョンの変更
このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。
リリース日: 2020 年 10 月 8 日
このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。
新機能
パブリック IP とプライベート リンクを使用しない HDInsight プライベート クラスター (プレビュー)
HDInsight は、プレビュー段階でクラスターへのパブリック IP およびプライベート リンク アクセスを使用しないクラスターの作成をサポートするようになりました。 新しい高度なネットワーク設定を使用して、パブリック IP を使用しない完全に分離されたクラスターを作成し、独自のプライベート エンドポイントを使用してクラスターにアクセスできます。
Azure 仮想マシン スケール セットへの移行
HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このリリース以降、サービスは徐々に Azure 仮想マシン スケール セットに移行されます。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。
非推奨
HDInsight 3.6 ML Services クラスターの非推奨
HDInsight 3.6 ML Services クラスターの種類は、2020 年 12 月 31 日でサポートの終了となります。 その後は新しい 3.6 ML Services クラスターを作成できなくなります。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 HDInsight のバージョンとクラスターの種類に関するサポートの有効期限については、こちらで確認してください。
動作の変更
このリリースに動作変更はありません。
今後の変更
今後のリリースでは、次の変更が行われます。
Spark、Hadoop、および ML Services 用のさまざまな Zookeeper 仮想マシン サイズを選択する機能
現在、HDInsight では、Spark、Hadoop、および ML サービス クラスターの種類での Zookeeper ノード サイズのカスタマイズはサポートされていません。 既定値は A2_v2 および A2 の仮想マシン サイズであり、無料で提供されます。 今後のリリースでは、お客様のシナリオに最も適した Zookeeper 仮想マシン サイズを選択できます。 A2_v2 および A2 以外の仮想マシン サイズの Zookeeper ノードには課金されます。 A2_v2 および A2 の仮想マシンは引き続き無料で提供されます。
バグの修正
HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。
コンポーネントのバージョンの変更
このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。
リリース日: 2020 年 9 月 28 日
このリリースは HDInsight 3.6 と HDInsight 4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。
新機能
HDInsight 4.0 での対話型クエリの自動スケールが一般提供を開始
対話型クエリ クラスター タイプの自動スケールが、HDInsight 4.0 向けに一般提供 (GA) されました。 2020 年 8 月 27 日以降に作成されたすべての対話型クエリ 4.0 クラスターでは、自動スケールの GA サポートが提供されます。
HBase クラスターが Premium ADLS Gen2 をサポート
HDInsight では、HDInsight HBase 3.6 および 4.0 クラスターのプライマリ ストレージ アカウントとして、Premium ADLS Gen2 がサポートされるようになりました。 高速書き込みと併用して、HBase クラスターのパフォーマンスを向上させることができます。
Azure 障害ドメインでの Kafka パーティション分散
障害ドメインとは、Azure データ センター内にある基になるハードウェアの論理的なグループです。 各障害ドメインは、一般的な電源とネットワーク スイッチを共有します。 以前の HDInsight Kafka では、パーティションのレプリカがすべて同じ障害ドメインに格納される可能性があります。 このリリースから、HDInsight では、Azure 障害ドメインに基づく Kafka パーティションの自動分散がサポートされるようになりました。
転送中の暗号化
お客様は、プラットフォーム マネージド キーによる IPSec 暗号化を使用して、クラスター ノード間での転送中の暗号化を有効にすることができます。 このオプションは、クラスターの作成時に有効にすることができます。 詳しくは、転送中の暗号化を有効にする方法についての記事をご覧ください。
ホストでの暗号化
ホストでの暗号化を有効にすると、VM ホスト上の格納データは、保存時に暗号化され、暗号化された状態でストレージ サービスに送られます。 このリリースでは、クラスターの作成時に、一時データ ディスク上のホストでの暗号化を有効にすることができます。 ホストでの暗号化は、限られたリージョンの特定の VM SKU でのみサポートされています。 HDInsight では、次のノード構成と SKU がサポートされています。 詳しくは、ホストでの暗号化を有効にする方法についての記事をご覧ください。
Azure 仮想マシン スケール セットへの移行
HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このリリース以降、サービスは徐々に Azure 仮想マシン スケール セットに移行されます。 プロセス全体には数か月かかる場合があります。 リージョンとサブスクリプションが移行された後は、新しく作成された HDInsight クラスターは、お客様が操作することなく、仮想マシン スケール セット上で動作するようになります。 破壊的変更は想定されていません。
非推奨
このリリースに非推奨はありません。
動作の変更
このリリースに動作変更はありません。
今後の変更
今後のリリースでは、次の変更が行われます。
Spark、Hadoop、および ML サービスのさまざまな Zookeeper SKU を選択する機能
現在、HDInsight では、Spark、Hadoop、および ML サービス クラスターの種類での Zookeeper SKU の変更はサポートされていません。 Zookeeper ノードでは A2_v2/A2 SKU が使用され、これには課金されません。 今後のリリースでは、必要に応じて、Spark、Hadoop、および ML サービスの Zookeeper SKU を変更できます。 A2_v2/A2 以外の SKU を持つ Zookeeper ノードは課金されます。 既定の SKU は引き続き A2_v2/A2 であり、無料でご利用いただけます。
バグの修正
HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。
コンポーネントのバージョンの変更
このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。
リリース日: 2020 年 8 月 9 日
このリリースは、HDInsight 4.0 にのみ適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。
新機能
SparkCruise のサポート
SparkCruise は、Spark 用の自動計算再利用システムです。 これは、過去のクエリ ワークロードに基づいて具体化する共通の部分式を選択します。 SparkCruise は、これらの部分式をクエリ処理の一部として具体化します。計算の再利用は、バックグラウンドで自動的に適用されます。 Spark コードを変更しなくても、SparkCruise の機能を使用できます。
HDInsight 4.0 での Hive ビューのサポート
Apache Ambari Hive ビューは、Web ブラウザーから Hive クエリを作成、最適化、および実行する際に役立つように設計されています。 Hive ビューは、このリリース以降の HDInsight 4.0 クラスターでネイティブにサポートされています。 既存のクラスターには適用されません。 組み込みの Hive ビューを取得するには、クラスターを削除して再作成する必要があります。
HDInsight 4.0 での Tez ビューのサポート
Apache Tez ビューは、Hive Tez ジョブの実行を追跡およびデバッグする際に使用されます。 Tez ビューは、このリリース以降の HDInsight 4.0 でネイティブにサポートされています。 既存のクラスターには適用されません。 組み込みの Tez ビューを取得するには、クラスターを削除して再作成する必要があります。
非推奨
HDInsight 3.6 Spark クラスターでの Spark 2.1 と 2.2 の非推奨化
2020 年 7 月 1 日以降、HDInsight 3.6 で Spark 2.1 と 2.2 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断する可能性を回避するため、2020 年 6月 30 日までに HDInight 3.6 で Spark 2.3 に移行することを検討してください。
HDInsight 4.0 Spark クラスターでの Spark 2.3 の非推奨化
2020 年 7 月 1 日以降、HDInsight 4.0 で Spark 2.3 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断する可能性を回避するため、2020 年 6月 30 日までに HDInight 4.0 で Spark 2.4 に移行することを検討してください。
HDInsight 4.0 Kafka クラスターの Kafka 1.1 の廃止
2020 年 7 月 1 日以降、HDInsight 4.0 で Kafka 1.1 を使用して新しい Kafka クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、2020 年 6 月 30 日までに HDInsight 4.0 で Kafka 2.1 に移行することを検討してください。
動作の変更
Ambari スタック バージョンの変更
このリリースでは、Ambari のバージョンが 2.x.x.x から 4.1 に変更されます。 Ambari のスタック バージョン (HDInsight 4.1) は、[Ambari] > [User](ユーザー) > [Versions](バージョン) で確認できます。
今後の変更
注意を払う必要があり、近く予定されている破壊的変更はありません。
バグの修正
HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。
Hive の場合、以下の JIRA が移植されます。
HBase の場合、以下の JIRA が移植されます。
コンポーネントのバージョンの変更
このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。
既知の問題
Azure portal で、SSH 認証の種類の公開キーを使用して Azure HDInsight クラスターを作成するときにエラーが発生する問題が修正されました。 ユーザーが [確認と作成] をクリックすると、"SSH ユーザー名に含まれる 3 文字以上連続する文字列を使用することはできません" というエラーを受け取ります。この問題は修正されましたが、CTRL + F5 キーを押してブラウザーのキャッシュを更新し、修正されたビューを読み込む必要がある場合があります。 この問題の回避策は、ARM テンプレートを使用してクラスターを作成することでした。
リリース日: 2020 年 7 月 13 日
このリリースは、HDInsight 3.6 と4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。
新機能
Microsoft Azure 用カスタマー ロックボックスのサポート
Azure HDInsight で Azure カスタマー ロックボックスがサポートされるようになりました。 ここでは、お客様が顧客データへのアクセス要求を承認または拒否するインターフェイスが用意されています。 これは、Microsoft のエンジニアがサポート要求の際に顧客データにアクセスする必要がある場合に使用されます。 詳細については、「Microsoft Azure 用カスタマー ロックボックス」を参照してください。
ストレージのサービス エンドポイント ポリシー
お客様は、HDInsight クラスター サブネットでサービス エンドポイント ポリシー (SEP) を使用できるようになりました。 Azure サービス エンドポイント ポリシーの詳細を確認してください。
非推奨
HDInsight 3.6 Spark クラスターでの Spark 2.1 と 2.2 の非推奨化
2020 年 7 月 1 日以降、HDInsight 3.6 で Spark 2.1 と 2.2 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断する可能性を回避するため、2020 年 6月 30 日までに HDInight 3.6 で Spark 2.3 に移行することを検討してください。
HDInsight 4.0 Spark クラスターでの Spark 2.3 の非推奨化
2020 年 7 月 1 日以降、HDInsight 4.0 で Spark 2.3 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断する可能性を回避するため、2020 年 6月 30 日までに HDInight 4.0 で Spark 2.4 に移行することを検討してください。
HDInsight 4.0 Kafka クラスターの Kafka 1.1 の廃止
2020 年 7 月 1 日以降、HDInsight 4.0 で Kafka 1.1 を使用して新しい Kafka クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、2020 年 6 月 30 日までに HDInsight 4.0 で Kafka 2.1 に移行することを検討してください。
動作の変更
注意する必要がある動作変更はありません。
今後の変更
今後のリリースでは、次の変更が行われます。
Spark、Hadoop、および ML サービスのさまざまな Zookeeper SKU を選択する機能
現在、HDInsight では、Spark、Hadoop、および ML サービス クラスターの種類での Zookeeper SKU の変更はサポートされていません。 Zookeeper ノードでは A2_v2/A2 SKU が使用され、これには課金されません。 今後のリリースでは、必要に応じて、Spark、Hadoop、および ML サービスの Zookeeper SKU を変更できるようになります。 A2_v2/A2 以外の SKU を持つ Zookeeper ノードは課金されます。 既定の SKU は引き続き A2_v2/A2 であり、無料でご利用いただけます。
バグの修正
HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。
Hive Warehouse Connector の問題の修正
以前のリリースでは、Hive Warehouse Connector の操作性に問題がありました。 この問題は修正されました。
Zeppelin Notebook で先頭の 0 が切り捨てられる問題の修正
Zeppelin では、文字列形式のテーブル出力の先頭の 0 が誤って切り捨てられていました。 この問題は、今回のリリースで修正されています。
コンポーネントのバージョンの変更
このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらのドキュメントを参照してください。
リリース日: 2020 年 6 月 11 日
このリリースは、HDInsight 3.6 と4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。
新機能
Azure 仮想マシン スケール セットへの移行
HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 このリリースから、新しく作成された HDInsight クラスターでは、Azure 仮想マシン スケール セットの使用が開始されます。 変更は段階的にロールアウト中です。 破壊的変更は予期されていません。 Azure 仮想マシン スケール セットについてご確認ください。
HDInsight クラスターでの VM の再起動
このリリースでは、応答しないノードを再起動するために、HDInsight クラスターでの VM の再起動がサポートされます。 現時点では API からのみ実行可能で、PowerShell と CLI でのサポートが予定されています。 API の詳細については、このドキュメントを参照してください。
非推奨
HDInsight 3.6 Spark クラスターでの Spark 2.1 と 2.2 の非推奨化
2020 年 7 月 1 日以降、HDInsight 3.6 で Spark 2.1 と 2.2 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断する可能性を回避するため、2020 年 6月 30 日までに HDInight 3.6 で Spark 2.3 に移行することを検討してください。
HDInsight 4.0 Spark クラスターでの Spark 2.3 の非推奨化
2020 年 7 月 1 日以降、HDInsight 4.0 で Spark 2.3 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断する可能性を回避するため、2020 年 6月 30 日までに HDInight 4.0 で Spark 2.4 に移行することを検討してください。
HDInsight 4.0 Kafka クラスターの Kafka 1.1 の廃止
2020 年 7 月 1 日以降、HDInsight 4.0 で Kafka 1.1 を使用して新しい Kafka クラスターを作成することはできません。 既存のクラスターはそのまま実行され、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、2020 年 6 月 30 日までに HDInsight 4.0 で Kafka 2.1 に移行することを検討してください。
動作の変更
ESP Spark クラスターのヘッド ノード サイズの変更
ESP Spark クラスターに対して許される最小ノード サイズが、Standard_D13_V2 に変更されています。 コア数やメモリが少ないヘッド ノードとしての VM は、CPU とメモリの容量が比較的少ないため、ESP クラスターの問題の原因となる可能性があります。 リリース以降、ESP Spark クラスターのヘッド ノードとしては Standard_D13_V2 および Standard_E16_V3 よりも上位の SKU を使用してください。
ヘッド ノードには最低 4 コアの VM が必要
HDInsight クラスターの高可用性と信頼性を確保するには、ヘッド ノード用に少なくとも 4 コアの VM が必要です。 2020 年 4 月 6 日以降、お客様は新しい HDInsight クラスターのヘッド ノードに、4 コア以上の VM のみを選択することができます。 既存のクラスターは正常に実行されます。
クラスターのワーカー ノードに関するプロビジョニングの変更
ワーカー ノードのうち 80% の準備ができると、クラスターは運用可能ステージに入ります。 このステージでは、スクリプトやジョブの実行など、データ プレーンのすべての操作を行えます。 しかし、スケールアップやスケールダウンなど、コントロール プレーンの操作を行うことはできません。 削除のみがサポートされます。
運用可能ステージになってから、クラスターは残り 20% のワーカー ノードのために、さらに 60 分待機します。 この 60 分間が経過すると、まだすべてのワーカー ノードを使用できない場合でも、クラスターは実行中ステージに移行します。 いったんクラスターが実行中ステージに入れば、クラスターを通常どおり使用できます。 スケールアップやスケールダウンなどのコントロール プレーンの操作と、スクリプトやジョブの実行などのデータ プレーンの操作の両方が受け付けられます。 要求されたワーカー ノードの一部を使用できない場合、クラスターは一部成功としてマークされます。 課金されるのは、正常にデプロイされたノードに対してです。
HDInsight を通した新しいサービス プリンシパルの作成
以前はクラスターの作成時に、Azure portal の接続されている ADLS Gen 1 アカウントにアクセスする新しいサービス プリンシパルを作成できました。 2020 年 6 月 15 日以降は、HDInsight の作成ワークフローでは新しいサービス プリンシパルは作成できず、既存のサービス プリンシパルのみがサポートされます。 Azure Active Directory を使用してサービス プリンシパルと証明書を作成することに関するページを参照してください。
クラスター作成でのスクリプト アクションのタイムアウト
HDInsight では、クラスター作成でのスクリプト アクションの実行がサポートされています。 このリリースからは、クラスター作成でのすべてのスクリプト アクションが 60 分 以内に完了する必要があり、そうでない場合はタイムアウトします。実行中のクラスターに送信されたスクリプト アクションは影響を受けません。 詳細についてはここを参照してください。
今後の変更
注意を払う必要があり、近く予定されている破壊的変更はありません。
バグの修正
HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。
コンポーネントのバージョンの変更
HBase 2.0 から 2.1.6
HBase のバージョンが、バージョン 2.0 から 2.1.6 にアップグレードされています。
Spark 2.4.0 から 2.4.4
Spark のバージョンが、バージョン 2.4.0 から 2.4.4 にアップグレードされています。
Kafka 2.1.0 から 2.1.1
Kafka のバージョンが、バージョン 2.1.0 から 2.1.1 にアップグレードされています。
HDInsight 4.0 と HDInsight 3.6 の現在のコンポーネント バージョンについては、このドキュメントで確認できます
既知の問題
Hive Warehouse Connector の問題
このリリースでは、Hive Warehouse Connector の問題があります。 次のリリースに修正プログラムが含められる予定です。 このリリースより前に作成された既存のクラスターは、影響を受けません。 可能であれば、クラスターの削除と再作成を避けてください。 この問題についてさらに支援が必要な場合は、サポート チケットを開いてください。
リリース日: 2020 年 1 月 9 日
このリリースは、HDInsight 3.6 と4.0 の両方に適用されます。 HDInsight リリースは、数日以内にすべてのリージョンでご利用になれます。 ここのリリース日は、最初のリージョンのリリース日です。 次の変更が見られない場合は、お客様のリージョンで数日リリースがライブになるまでお待ちください。
新機能
TLS 1.2 の適用
TLS (トランスポート層セキュリティ) と SSL (Secure Sockets Layer) は、コンピューター ネットワーク上の通信にセキュリティを確保する暗号プロトコルです。 TLS の詳細を参照してください。 HDInsight はパブリック HTTPs エンドポイントで TLS 1.2 を使用しますが、TLS 1.1 も下位互換性のために引き続きサポートされています。
このリリースでは、お客様はパブリック クラスター エンドポイント経由のすべての接続でのみ TLS 1.2 を選択できます。 これのサポートに、クラスターの作成時に指定できる新しいプロパティ minSupportedTlsVersion が導入されました。 このプロパティを設定しない場合、クラスターは TLS 1.0、1.1、1.2 を引き続きサポートします。これは、今日の動作と同じです。 お客様はこのプロパティの値を "1.2" に設定できます。これは、クラスターが TLS 1.2 以降のみをサポートすることを意味します。 詳細については、「トランスポート層セキュリティ」を参照してください。
Bring Your Own Key でディスクを暗号化する
HDInsight のマネージド ディスクはすべて、Azure Storage Service Encryption (SSE) で保護されます。 これらのディスク上のデータは、既定で Microsoft が管理するキーを使用して暗号化されます。 このリリース以降、ディスクの暗号化に Bring Your Own Key (BYOK) を使用し、Azure Key Vault を使用して管理することができます。 BYOK 暗号化はクラスターの作成時に 1 回のステップで構成でき、他のコストはかかりません。 Azure Key Vault にマネージド ID として HDInsight を登録し、お使いのクラスターの作成時に暗号化キーを追加するだけです。 詳細については、「お客様が管理するキー ディスクの暗号化」を参照してください。
非推奨
このリリースに非推奨はありません。 今後の非推奨に備えるには、「今後の変更」を参照してください。
動作の変更
このリリースに動作変更はありません。 今後の変更に備えるには、「今後の変更」を参照してください。
今後の変更
今後のリリースでは、次の変更が行われます。
HDInsight 3.6 Spark クラスターでの Spark 2.1 と 2.2 の非推奨化
2020 年 7 月 1 日以降、HDInsight 3.6 で Spark 2.1 と 2.2 を使用して新しい Spark クラスターを作成することはできません。 既存のクラスターはそのまま動作しますが、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、2020 年 6 月 30 日までに HDInsight 3.6 で Spark 2.3 に移行することを検討してください。
HDInsight 4.0 Spark クラスターでの Spark 2.3 の非推奨化
2020 年 7 月 1 日以降は、HDInsight 4.0 で Spark 2.3 を使用して新しい Spark クラスターを作成できません。 既存のクラスターはそのまま動作しますが、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、2020 年 6 月 30 日までに HDInsight 4.0 で Spark 2.4 に移行することを検討してください。
HDInsight 4.0 Kafka クラスターの Kafka 1.1 の廃止
2020 年 7 月 1 日以降、HDInsight 4.0 で Kafka 1.1 を使用して新しい Kafka クラスターを作成することはできません。 既存のクラスターはそのまま動作しますが、Microsoft からのサポートはありません。 システムやサポートが中断される可能性を回避するため、2020 年 6 月 30 日までに HDInsight 4.0 で Kafka 2.1 に移行することを検討してください。 詳細については、「Apache Kafka のワークロードを Azure HDInsight 4.0 に移行する」を参照してください。
HBase 2.0 から 2.1.6
今後の HDInsight 4.0 リリースでは、HBase のバージョンがバージョン 2.0 から 2.1.6 にアップグレードされます
Spark 2.4.0 から 2.4.4
今後の HDInsight 4.0 リリースでは、Spark のバージョンがバージョン 2.4.0 から 2.4.4 にアップグレードされます
Kafka 2.1.0 から 2.1.1
今後の HDInsight 4.0 リリースでは、Kafka のバージョンがバージョン 2.1.0 から 2.1.1 にアップグレードされます
ヘッド ノードには最低 4 コアの VM が必要
HDInsight クラスターの高可用性と信頼性を確保するには、ヘッド ノード用に少なくとも 4 コアの VM が必要です。 2020 年 4 月 6 日以降、お客様は新しい HDInsight クラスターのヘッド ノードに、4 コア以上の VM のみを選択することができます。 既存のクラスターは正常に実行されます。
ESP Spark クラスター ノード サイズの変更
今後のリリースで、ESP Spark クラスターに許容される最小ノード サイズは Standard_D13_V2 に変更されます。 A シリーズの VM は、CPU とメモリの容量が比較的少ないため、ESP クラスターで問題が発生する可能性があります。 新しい ESP クラスターの作成に A シリーズの VM は非推奨です。
Azure 仮想マシン スケール セットへの移行
HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 今後のリリースでは、HDInsight では代わりに Azure 仮想マシン スケール セットを使用します。 Azure 仮想マシン スケール セットの詳細をご確認ください。
バグの修正
HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。
コンポーネントのバージョンの変更
このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 および HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらを参照してください。
リリース日: 12/17/2019
このリリースは、HDInsight 3.6 と4.0 の両方に適用されます。
新機能
サービス タグ
サービス タグを利用することで、ネットワーク アクセスを Azure サービスに簡単に制限できるため、Azure 仮想マシンと Azure 仮想ネットワークのセキュリティが簡単になります。 ネットワーク セキュリティ グループ (NSG) ルールでサービス タグを使用し、グローバルで、または Azure リージョンごとに特定の Azure サービスへのトラフィックを許可または拒否できます。 Azure では、各タグの基になる IP アドレスが保守管理されます。 ネットワーク セキュリティ グループ (NSG) 用の HDInsight サービス タグは、正常性および管理サービスのための IP アドレスのグループです。 これらのグループを使用すると、セキュリティ規則の作成の複雑さを最小限に抑えることができます。 HDInsight をご利用のお客様は Azure portal、PowerShell、REST API からサービス タグを有効にできます。 詳細については、「Azure HDInsight のネットワーク セキュリティ グループ (NSG) サービス タグ」を参照してください。
カスタム Ambari DB
HDInsight では、自分の SQL DB for Apache Ambari を使用できるようになりました。 このカスタム Ambari DB は、Azure portal または Resource Manager テンプレートから構成できます。 この機能により、自分に必要な処理と容量に最適な SQL DB を選択できます。 また、事業の成長に合わせて簡単にアップグレードできます。 詳細については、「カスタム Ambari DB を使用して HDInsight クラスターを設定する」を参照してください。
廃止
このリリースに非推奨はありません。 今後の非推奨に備えるには、「今後の変更」を参照してください。
動作の変更
このリリースに動作変更はありません。 今後の動作変更に備えるには、「今後の変更」を参照してください。
今後の変更
今後のリリースでは、次の変更が行われます。
トランスポート層セキュリティ (TLS) 1.2 施行
TLS (トランスポート層セキュリティ) と SSL (Secure Sockets Layer) は、コンピューター ネットワーク上の通信にセキュリティを確保する暗号プロトコルです。 詳細については、「トランスポート層セキュリティ」を参照してください。 Azure HDInsight クラスターのパブリック HTTPS エンドポイントは TLS 1.2 に対応していますが、旧クライアントとの下位互換性のため、TLS 1.1 も引き続きサポートされます。
次のリリースから、新しい HDInsight クラスターで TLS 1.2 接続のみを許可するように選択し、構成できます。
2020 年 6 月 30 日以降、Azure HDInsight ではすべての HTTPS 接続で TLS 1.2 以降のバージョンが強制されます。 すべてのクライアントで確実に TLS 1.2 以降のバージョンに対応できるようにすることをお勧めします。
Azure 仮想マシン スケール セットへの移行
HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 2020 年 2 月より (正式な日付は今後通達します)、HDInsight では Azure 仮想マシン スケール セットが代わりに使用されます。 Azure 仮想マシン スケール セットについてご確認ください。
ESP Spark クラスター ノード サイズの変更
次期リリースで:
- ESP Spark クラスターに許容される最小ノード サイズが Standard_D13_V2 に変更されます。
- CPU とメモリの容量が比較的低いことに起因し、A シリーズの VM は ESP クラスターに問題を引き起こす可能性があるため、新しい ESP クラスターの作成するとき、A シリーズ VM は非推奨となります。
HBase 2.0 から 2.1
今後の HDInsight 4.0 リリースでは、HBase のバージョンがバージョン 2.0 から 2.1 にアップグレードされます。
バグの修正
HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。
コンポーネントのバージョンの変更
HDInsight 3.6 のサポートが 2020 年 12 月 31 日に延長されます。 詳細は「サポートされている HDInsight バージョン」にあります。
HDInsight 4.0 のコンポーネント バージョン変更はありません。
HDInsight 3.6 の Apache Zeppelin: 0.7.0-->0.7.3。
最新のコンポーネント バージョンについてはこちらのドキュメントでご確認いただけます。
新しいリージョン
アラブ首長国連邦北部
アラブ首長国連邦北部の管理 IP: 65.52.252.96 と 65.52.252.97
リリース日: 2019/07/11
このリリースは、HDInsight 3.6 と4.0 の両方に適用されます。
新機能
HDInsight Identity Broker (HIB) (プレビュー)
HDInsight Identity Broker (HIB) を使用すると、ユーザーは多要素認証 (MFA) を使用して Apache Ambari にサインインし、Azure Active Directory Domain Services (AAD-DS) でパスワードハッシュを必要とせずに必要な Kerberos チケットを取得できます。 現在、HIB は Azure Resource Management (ARM) テンプレートを使用してデプロイされたクラスターでのみ使用できます。
Kafka REST API プロキシ (プレビュー)
Kafka REST API プロキシでは、セキュリティで保護された Azure AD 承認と OAuth プロトコルを使用して、Kafka クラスターで高可用性 REST プロキシをワンクリックでデプロイできます。
自動スケール
Apache Spark および Hadoop クラスターの種類向けに、すべてのリージョンで Azure HDInsight の自動スケールの一般提供が開始されました。 この機能により、よりコスト効率に優れた生産性の高い方法で、ビッグ データ分析のワークロードを管理できるようになります。 HDInsight クラスターの使用を最適化し、必要な分だけ支払うことができるようになりました。
要件に応じて、負荷ベースまたはスケジュール ベースの自動スケーリングを選択できます。 負荷ベースの自動スケールでは、現在のリソースのニーズに基づいてクラスター サイズをスケールアップ/スケールダウンできます。スケジュール ベースの自動スケールでは、事前定義されたスケジュールに基づいてクラスター サイズを変更できます。
自動スケールでの HBase および LLAP ワークロードのサポートもパブリック プレビュー段階です。 詳細については、「Azure HDInsight クラスターを自動的にスケール調整する」を参照してください。
HDInsight の Apache HBase 用書き込みアクセラレータ
高速書き込みでは、Azure Premium SSD マネージド ディスクが使用されて、Apache HBase の先書きログ (WAL) のパフォーマンスが向上します。 詳細については、「Azure HDInsight の Apache HBase 用書き込みアクセラレータ」を参照してください。
カスタム Ambari DB
HDInsight では、お客様が独自の SQL DB for Ambari を使用できるようにするための新しい容量が提供されるようになりました。 お客様は、適切な SQL DB for Ambari を選択し、独自のビジネス拡張要件に基づいて簡単にアップグレードすることができます。 デプロイには、Azure Resource Manager テンプレートを使用します。 詳細については、「カスタム Ambari DB を使用して HDInsight クラスターを設定する」を参照してください。
HDInsight で F シリーズの仮想マシンを使用できるようになりました
F シリーズの仮想マシン (VM) は、低負荷の処理要件を持つ HDInsight の使用を開始する場合に適しています。 F シリーズは時間あたりの料金が抑えられており、vCPU あたりの Azure コンピューティング ユニット (ACU) に基づく Azure ポートフォリオにおいて、最もコスト パフォーマンスに優れています。 詳細については、「Azure HDInsight クラスターの適切な VM サイズの選択」を参照してください。
非推奨
G シリーズの仮想マシンの非推奨
このリリースから、G シリーズの VM は HDInsight で提供されなくなりました。
Dv1 仮想マシンの非推奨
このリリースから、HDInsight での Dv1 VM の使用は非推奨とされます。 Dv1 のお客様の要求は、Dv2 で自動的に提供されます。 Dv1 と Dv2 VM の価格に違いはありません。
動作の変更
クラスター マネージド ディスクのサイズ変更
HDInsight では、クラスターにマネージド ディスク領域が用意されています。 このリリースから、新しく作成されたクラスター内の各ノードのマネージド ディスクのサイズが 128 GB に変更されます。
今後の変更
今後のリリースでは、次の変更が行われます。
Azure 仮想マシン スケール セットへの移行
HDInsight では、Azure 仮想マシンを使用してクラスターをプロビジョニングするようになりました。 12 月以降、HDInsight では代わりに Azure 仮想マシン スケール セットが使用されます。 Azure 仮想マシン スケール セットについてご確認ください。
HBase 2.0 から 2.1
今後の HDInsight 4.0 リリースでは、HBase のバージョンがバージョン 2.0 から 2.1 にアップグレードされます。
ESP クラスターにおける A シリーズの仮想マシンの非推奨
A シリーズの VM では、CPU とメモリの容量が比較的少ないため、ESP クラスターの問題が発生する可能性があります。 今後のリリースでは、新しい ESP クラスターを作成するために A シリーズの VM が非推奨とされます。
バグの修正
HDInsight は引き続き、クラスターの信頼性とパフォーマンスの向上を実現します。
コンポーネントのバージョンの変更
このリリースでは、コンポーネントのバージョン変更はありません。 HDInsight 4.0 および HDInsight 3.6 の現在のコンポーネント バージョンについては、こちらを参照してください。
リリース日:2019/08/07
コンポーネントのバージョン
以下に HDInsight 4.0 のすべてのコンポーネントの正式な Apache バージョンを示します。 ここに列挙されているコンポーネントは、利用できる最新の安定したバージョンのリリースです。
- Apache Ambari 2.7.1
- Apache Hadoop 3.1.1
- Apache HBase 2.0.0
- Apache Hive 3.1.0
- Apache Kafka 1.1.1、2.1.0
- Apache Mahout 0.9.0+
- Apache Oozie 4.2.0
- Apache Phoenix 4.7.0
- Apache Pig 0.16.0
- Apache Ranger 0.7.0
- Apache Slider 0.92.0
- Apache Spark 2.3.1、2.4.0
- Apache Sqoop 1.4.7
- Apache TEZ 0.9.1
- Apache Zeppelin 0.8.0
- Apache ZooKeeper 3.4.6
新しいバージョンの Apache のコンポーネントは、上の一覧のバージョンに加えて HDP ディストリビューションにバンドルされていることがあります。 この場合、これらの新しいバージョンの一覧はテクニカル プレビューの表に表示され、運用環境で上の一覧の Apache コンポーネントのバージョンの代替にはなりません。
Apache のパッチ情報
HDInsight 4.0 で使用可能なパッチの詳細については、以下の表の各製品のパッチ一覧を参照してください。
| 製品名 | パッチ情報 |
|---|---|
| Ambari | Ambari のパッチ情報 |
| Hadoop | Hadoop のパッチ情報 |
| hbase | HBase のパッチ情報 |
| Hive | このリリースでは、Hive 3.1.0 に Apache パッチが提供されなくなりました。 |
| Kafka | このリリースでは、Kafka 1.1.1 に Apache パッチは提供されなくなりました。 |
| Oozie | Oozie のパッチ情報 |
| Phoenix | Phoenix のパッチ情報 |
| Pig | Pig のパッチ情報 |
| Ranger | Ranger のパッチ情報 |
| Spark | Spark のパッチ情報 |
| Sqoop | このリリースでは、Sqoop 1.4.7 に Apache パッチは提供されなくなりました。 |
| Tez | このリリースでは、Tez 0.9.1 に Apache パッチは提供されなくなりました。 |
| Zeppelin | このリリースでは、Zeppelin 0.8.0 に Apache パッチは提供されなくなりました。 |
| Zookeeper | Zookeeper のパッチ情報 |
修正された共通脆弱性識別子
このリリースで解決されたセキュリティの問題の詳細については、Hortonworks の「Fixed Common Vulnerabilities and Exposures for HDP 3.0.1」を参照してください。
既知の問題
既定のインストールで Secure HBase のレプリケーションが破損する
HDInsight 4.0 の場合は、次の手順を実行します。
クラスター間通信を有効にします。
アクティブなヘッドノードにサインインします。
次のコマンドを使用して、スクリプトをダウンロードしてレプリケーションを有効にします。
sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.shコマンド
sudo kinit <domainuser>を入力します。次のコマンドを入力して、スクリプトを実行します。
sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata
HDInsight 3.6
アクティブな HMaster ZK にサインインします。
次のコマンドを使用して、スクリプトをダウンロードしてレプリケーションを有効にします。
sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.shコマンド
sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>を入力します。次のコマンドを入力します。
sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata
HBase クラスターを HDInsight 4.0 に移行した後に Phoenix Sqlline の動作が停止する
手順は次のとおりです。
- 次の Phoenix テーブルを削除します。
SYSTEM.FUNCTIONSYSTEM.SEQUENCESYSTEM.STATSSYSTEM.MUTEXSYSTEM.CATALOG
- テーブルを削除できない場合は、HBase を再起動してテーブルへの接続をすべて解除してください。
sqlline.pyをもう一度実行します。 手順 1 で削除されたすべてのテーブルが Phoenix によって再作成されます。- HBase データ用の Phoenix テーブルとビューを再生成します。
HBase Phoenix のメタデータを HDInsight 3.6 から 4.0 にレプリケートした後に Phoenix Sqlline の動作が停止する
手順は次のとおりです。
- レプリケーションを行う前に、宛先の 4.0 クラスターに移動して
sqlline.pyを実行します。 このコマンドによって、4.0 にのみ存在するSYSTEM.MUTEXやSYSTEM.LOGなどのPhoenix テーブルが生成されます。 - 次のテーブルを削除します。
SYSTEM.FUNCTIONSYSTEM.SEQUENCESYSTEM.STATSSYSTEM.CATALOG
- HBase レプリケーションの起動
非推奨
Apache Storm と ML サービスは、HDInsight 4.0 では使用できません。
リリース日:2019/04/14
新機能
新しい更新内容や機能は、次のカテゴリに分類されます。
Hadoop と他のオープンソース プロジェクトの更新 – この更新では、20 以上のオープンソース プロジェクト全体で 1,000 個以上のバグが修正され、さらに新しいバージョンの Spark (2.3) と Kafka (1.0) も追加されました。
Microsoft R Server 9.1 から Machine Learning Services 9.3 への更新 – このリリースでは、データ サイエンティストとエンジニア向けに先進的なアルゴリズムと使いやすさで強化したオープンソースを提供しています。すべての機能を Apache Spark の速度で、好みの言語で利用できます。 このリリースでは、Microsoft R Server で提供されている機能に基づいて拡張し、Python のサポートを追加したため、クラスター名を Microsoft R Server から ML Services に変更しました。
Azure Data Lake Storage Gen2 のサポート – HDInsight では、Azure Data Lake Storage Gen2 のプレビュー リリースがサポートされます。 利用可能なリージョンのお客様は、HDInsight クラスターの主ストアまたは 2 次ストアとして、ADLS Gen2 アカウントを選択できるようになります。
HDInsight Enterprise セキュリティ パッケージの更新プログラム (プレビュー) – (プレビュー) 仮想ネットワーク サービス エンドポイントでは、Azure Blob Storage、ADLS Gen1、Azure Cosmos DB、および Azure DB をサポートします。
コンポーネントのバージョン
以下に HDInsight 3.6 のすべてのコンポーネントの正式な Apache バージョンの一覧を示します。 ここに列挙されているすべてのコンポーネントは、利用できる最新の安定したバージョンの公式の Apache リリースです。
Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ 0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6
新しいバージョンの Apache のいくつかのコンポーネントは、上の一覧のバージョンに加えて HDP ディストリビューションにバンドルされています。 この場合、これらの新しいバージョンの一覧はテクニカル プレビューの表に表示され、運用環境で上の一覧の Apache コンポーネントのバージョンの代替にはなりません。
Apache のパッチ情報
Hadoop
このリリースは、Hadoop Common 2.7.3 と次の Apache のパッチを提供します。
HADOOP-13190: KMS HA ドキュメントで LoadBalancingKMSClientProvider をメンションする。
HADOOP-13227: AsyncCallHandler ではイベント ドリブン アーキテクチャを使用して非同期呼び出しが処理される必要がある。
HADOOP-14104: クライアントによって KMS プロバイダー パスの NameNode が常に確認される必要がある。
HADOOP-14799: nimbus-jose-jwt を 4.41.1 に更新する。
HADOOP-14814: FsServerDefaults の互換性のない API の変更を HADOOP-14104 に修正する。
HADOOP-14903: json-smart を pom.xml に明示的に追加する。
HADOOP-15042: numberOfPagesRemaining が 0 の場合に、Azure PageBlobInputStream.skip() が負の値を返すことがある。
HADOOP-15255: LdapGroupsMapping 内のグループ名の大文字/小文字の変換をサポートする。
HADOOP-15265: hadoop auth pom.xml から json-smart を明示的に除外する。
HDFS-7922: ShortCircuitCache#close によって ScheduledThreadPoolExecutors が解放されない。
HDFS-8496: FSDatasetImpl をロックした状態で stopWriter() を呼び出すと別のスレッド (cmccabe) をブロックすることがする。
HDFS-10267: FsDatasetImpl#recoverAppend と FsDatasetImpl#recoverClose が追加で "同期" される。
HDFS-10489: HDFS 暗号化ゾーンの dfs.encryption.key.provider.uri を廃止する。
HDFS-11384: NameNode の rpc.CallQueueLength の急増を回避するために、バランサーで getBlocks 呼び出しを分散するためのオプションを追加する。
HDFS-11689:
DFSClient%isHDFSEncryptionEnabledがhackyHive コードを中断したことによってスローされる新しい例外。HDFS-11711: DN が "開かれたファイルが多すぎる" 例外の発生時にブロックを削除してはならない。
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay が頻繁に失敗する。
HDFS-12781:
Datanodeが停止すると、NamenodeUI の [Datanode] タブに警告メッセージがスローされる。HDFS 13054:
DFSClientの削除呼び出しで PathIsNotEmptyDirectoryException を処理する。HDFS-13120: 連結後にスナップショットの差分が破損することがある。
YARN-3742:
ZKClientの作成がタイムアウトすると YARN RM がシャットダウンする。YARN-6061: RM 内の重大なスレッドに UncaughtExceptionHandler を追加する。
YARN-7558: UI 認証を有効にすると、yarn logs コマンドが実行中のコンテナーのログの取得に失敗する。
YARN-7697: ログの集計が完了した場合でも、完成したアプリケーションに関するログのフェッチが失敗する。
HDP 2.6.4 は、Hadoop Common 2.7.3 と次の Apache のパッチを提供します。
HADOOP-13700: TrashPolicy#initialize シグネチャと #getInstance シグネチャからスローされていない
IOExceptionを削除する。HADOOP-13709: プロセスの終了時に、サブプロセスをクリーンアップする機能がシェルによって生成される。
HADOOP-14059:
s3arename(self, subdir) エラー メッセージのタイポ。HADOOP-14542: slf4j logger API を受け取る IOUtils.cleanupWithLogger を追加する。
HDFS-9887: WebHdfs ソケットのタイムアウトを構成できるようになる。
HDFS-9914: 構成可能な WebhDFS 接続または読み取りのタイムアウトを修正する。
MAPREDUCE-6698: TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser のタイムアウトを増やす。
YARN-4550: 英語以外のロケールの環境で TestContainerLanch のいくつかのテストが失敗する。
YARN-4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir がクリーンアップからの IllegalArgumentException により断続的に失敗する。
YARN-5042: 読み取り専用マウントとして Docker コンテナーに /sys/fs/cgroup をマウントする。
YARN-5318: TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider の断続的なテスト エラーを修正する。
YARN-5641: コンテナーが完成した後にローカライザーが tarball を後に残す。
YARN-6004: TestResourceLocalizationService#testDownloadingResourcesOnContainer が 150 行を上回らないようにリファクタリングします。
YARN-6078: コンテナーがローカライズ中の状態でスタックする。
YARN-6805: PrivilegedOperationException の終了コードが null であることにより LinuxContainerExecutor に NPE が発生する。
hbase
このリリースは、HBase 1.1.2 と次の Apache のパッチを提供します。
HBASE-13376: Stochastic ロード バランサーの機能強化。
HBASE-13716: Hadoop の FSConstants の使用を停止する。
HBASE-13848: Credential Provider API 経由で InfoServer SSL のパスワードにアクセスする。
HBASE-13947: AssignmentManager で Server の代わりに MasterServices を使用する。
HBASE-14135: HBase バックアップおよび復元フェーズ 3: バックアップ イメージをマージする。
HBASE-14473: リージョンの地域を並列に計算する。
HBASE-14517: マスター ステータス ページに
regionserver'sのバージョンを表示する。HBASE-14606: Apache 上でビルドされたトランクの TestSecureLoadIncrementalHFiles のテストがタイムアウトする。
HBASE-15210: ミリ秒ごとに何十行ものログを記録するアグレッシブなロード バランサーを元に戻す。
HBASE-15515: バランサーの LocalityBasedCandidateGenerator を改善する。
HBASE-15615:
RegionServerCallableの再試行が必要なときのスリープ時間が間違っている。HBASE-16135: 削除されたピアのリージョン サーバーの下にある PeerClusterZnode が削除されない場合がある。
HBASE-16570: 起動時にリージョンの地域を並列に計算する。
HBASE-16810:
regionserversが /hbase/draining の znode にあり、アンロードされているときに、HBase バランサーが ArrayIndexOutOfBoundsException をスローする。HBASE-16852: ブランチ 1.3 で TestDefaultCompactSelection が失敗した。
HBASE-17387: RegionActionResult の multi() に関する例外レポートのオーバーヘッドを削減する。
HBASE-17850: システム修復ユーティリティをバックアップする。
HBASE-17931: 最上位バージョンのサーバーにシステム テーブルを割り当てる。
HBASE-18083: 大きい/小さいファイルのクリーンアップのスレッド数を HFileCleaner で構成できるようにする。
HBASE-18084: より多くのディスク領域を消費するディレクトリからクリーンアップするよう CleanerChore を改善する。
HBASE-18164: 地域コスト関数と候補ジェネレーターがより速くなる。
HBASE-18212: スタンドアロン モードのローカル ファイルシステムの HBase ログの警告メッセージ: Failed to invoke 'unbuffer' method in class class org.apache.hadoop.fs.FSDataInputStream.
HBASE-18808: BackupLogCleaner#getDeletableFiles() の効果的でないコンフィグ チェック。
HBASE-19052: ブランチ 1.x で FixedFileTrailer によって CellComparatorImpl クラスが認識される必要がある。
HBASE-19065: HRegion#bulkLoadHFiles() が同時実行の Region#flush() の完了を待つ必要がある。
HBASE-19285: テーブルごとの待ち時間ヒストグラムを追加する。
HBASE-19393: SSL を使用した HBase UI へのアクセス中に HTTP 413 FULL head が発生する。
HBASE-19395: [ブランチ 1] の TestEndToEndSplitTransaction.testMasterOpsWhileSplitting が NPE により失敗する。
HBASE-19421: ブランチ 1 が Hadoop 3.0.0 に対してコンパイルされない。
HBASE-19934: 読み取りレプリカが有効になっており、リージョンの分割後にオンラインのスナップショットが作成されるときに、HBaseSnapshotException が発生する。
HBASE-20008: リージョン分割後にスナップショットを復元するときに、NullPointerException を [バックポート] する。
Hive
このリリースは、次のパッチに加えて、Hive 1.2.1 と Hive 2.1.0 を提供します。
Hive 1.2.1 の Apache のパッチ:
HIVE-10697: ObjectInspectorConvertors#UnionConvertor が問題のある変換を実行する。
HIVE-11266: 外部テーブルのテーブルの統計情報に基づく count(*) の結果が正しくない。
HIVE-12245: HBase によって裏付けられるテーブルの列のコメントをサポートする。
HIVE-12315: ベクター化された倍精度浮動小数点のゼロ除算を修正する。
HIVE-12360: 述語プッシュダウンによる非圧縮の ORC のシークが正しくない。
HIVE-12378: HBaseSerDe.serialize バイナリ フィールドでの例外。
HIVE-12785: 構造体への共用体型および UDF によるビューが壊れている。
HIVE-14013: テーブル定義が Unicode を正しく表示しない。
HIVE-14205: Hive が AVRO ファイル形式の共用体型をサポートしない。
HIVE-14421: FS.deleteOnExit が _tmp_space.db ファイルへの参照を保持する。
HIVE-15563: SQLOperation.runQuery の不正な操作の状態遷移の例外を無視して、実際の例外を公開する。
HIVE-15680: MR モードにおいて、hive.optimize.index.filter=true で、クエリで同じ ORC テーブルが 2 回参照されると、正しくない結果になる。
HIVE-15883: Hive の HBase にマッピングされたテーブルの 10 進数の挿入が失敗する。
HIVE-16232: QuotedIdentifier に含まれている列の統計の計算をサポートする。
HIVE-16828: CBO が有効な場合に、パーティション ビューに対するクエリによって IndexOutOfBoundException がスローされる。
HIVE-17013: ビュー上の選択に基づくサブクエリによる要求を削除する。
HIVE-17063: 最初にパーティションをドロップすると、外部テーブルへのパーティションの insert overwrite が失敗する。
HIVE-17259: Hive JDBC で共用体型の列が認識されない。
HIVE-17419: ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS コマンドを使用すると、マスクされたテーブルの計算された統計情報が表示される。
HIVE-17530:
uniontypeを変換するときに ClassCastException が発生する。HIVE-17621: HCatInputFormat の分割計算中は Hive サイト設定が無視される。
HIVE-17636:
blobstoresに multiple_agg.q test を追加する。HIVE-17729: データベースを追加し、関連する blobstore のテストについて説明する。
HIVE-17731: 外部ユーザーに対して HIVE-11985 への後方
compatオプションを追加する。HIVE-17803: Pig による複数クエリにより、2 つの HCatStorer の同じテーブルへの書き込みが互いの出力に干渉する。
HIVE-17829: ArrayIndexOutOfBoundsException -
Hive2内の Avro スキーマにより HBASE で裏付けされたテーブル。HIVE-17845: ターゲット テーブルの列が小文字でない場合は挿入が失敗する。
HIVE-17900: 圧縮機によってトリガーされた列の統計情報を分析すると、> 1 のパーティション列を持つ無効な SQL が生成される。
HIVE-18026: Hive の WebHCat プリンシパル構成の最適化。
HIVE-18031: Alter Database 操作のレプリケーションをサポートする。
HIVE-18090: Hadoop の資格情報を介して metastore に接続されている場合、ACID のハートビートが失敗する。
HIVE-18189: hive.groupby.orderby.position.alias が true に設定されると、間違った結果が Hive クエリによって返される。
HIVE-18258: ベクター化: 重複する列を含む削減側の GROUP BY MERGEPARTIAL が壊れている。
HIVE-18293: Hive が、HiveMetaStore を実行している ID が所有していないフォルダー内に含まれるテーブルの圧縮に失敗する。
HIVE-18327: MiniHiveKdc に不要な HiveConf 依存関係を削除する。
HIVE-18341: 同じ暗号化キーを使用して TDE の "raw" 名前空間を追加するための REPL LOAD のサポートを追加する。
HIVE-18352: その他のツールの統合を許可する REPL DUMP を行う際に METADATAONLY オプションを導入する。
HIVE-18353: CompactorMR によって jobclient.close() が呼び出され、クリーンアップがトリガーされる必要がある。
HIVE 18390: ColumnPruner でパーティション ビューをクエリすると、IndexOutOfBoundsException が発生する。
HIVE-18429: 出力が生成されないケースが圧縮で処理される必要がある。
HIVE-18447: JDBC: JDBC のユーザーが接続文字列を使用してクッキーの情報を渡す方法を指定する。
HIVE-18460: Table プロパティが圧縮機によって ORC ライターに渡されない。
HIVE-18467: ウェアハウス ダンプ / 読み込み + データベース イベントの作成/ドロップ全体をサポートする (Anishek Agarwal、レビュー: Sankar Hariappan)。
HIVE-18551: ベクター化: VectorMapOperator によって書き込みが試行される Hybrid Grace 用のベクター列の数が多すぎる。
HIVE-18587: DML イベントの挿入によりディレクトリのチェックサムの計算を試行する場合がある。
HIVE-18613: バイナリ型をサポートするよう JsonSerDe を拡張する。
HIVE-18626: REPL LOAD の "with" 句によって config がタスクに渡されない。
HIVE-18660: PCR がパーティション列と仮想列の間で分散されない。
HIVE-18754: REPL STATUS が "with" 句をサポートする必要がある。
HIVE-18754: REPL STATUS が "with" 句をサポートする必要がある。
HIVE-18788: JDBC PreparedStatement 内の入力をクリーンアップする。
HIVE-18794: REPL LOAD の "with" 句によって非パーティション テーブルのタスクに config が渡されない。
HIVE-18808: 統計情報の更新が失敗したときに圧縮をより堅牢にする。
HIVE-18817: ACID テーブルの読み取り中に ArrayIndexOutOfBounds 例外が発生する
HIVE-18833: "orcfile としてディレクトリに挿入" すると自動マージが失敗する。
HIVE-18879: クラスパスに xercesImpl.jar がある場合、UDFXPathUtil 内に埋め込まれた要素の無効化が機能する必要がある。
HIVE-18907: HIVE-18817 の ACID キーのインデックスの問題を修正するユーティリティを作成する。
Hive 2.1.0 の Apache のパッチ:
HIVE-14013: テーブル定義が Unicode を正しく表示しない。
HIVE-14205: Hive が AVRO ファイル形式の共用体型をサポートしない。
HIVE-15563: SQLOperation.runQuery の不正な操作の状態遷移の例外を無視して、実際の例外を公開する。
HIVE-15680: MR モードにおいて、hive.optimize.index.filter=true で、クエリで同じ ORC テーブルが 2 回参照されると、正しくない結果になる。
HIVE-15883: Hive の HBase にマッピングされたテーブルの 10 進数の挿入が失敗する。
HIVE-16757: 非推奨の AbstractRelNode.getRows への呼び出しを削除する。
HIVE-16828: CBO が有効な場合に、パーティション ビューに対するクエリによって IndexOutOfBoundException がスローされる。
HIVE-17063: 最初にパーティションをドロップすると、外部テーブルへのパーティションの insert overwrite が失敗する。
HIVE-17259: Hive JDBC で共用体型の列が認識されない。
HIVE-17530:
uniontypeを変換するときに ClassCastException が発生する。HIVE-17600: ユーザーが OrcFile の "enforceBufferSize" を設定できるようにする。
HIVE-17601: LlapServiceDriver でのエラー処理を改善する。
HIVE-17613: 短い、同一スレッドに割り当てられるオブジェクト プールを削除する。
HIVE-17617: 空の結果セットのロールアップに空のグループ化セットのグループ化が含まれている必要がある。
HIVE-17621: HCatInputFormat の分割計算中は Hive サイト設定が無視される。
HIVE-17629: CachedStore: 承認済み/未承認の config にテーブルまたはパーティションの選択キャッシュを許可し、事前ウォームアップ中での読み取りを許可する。
HIVE-17636:
blobstoresに multiple_agg.q test を追加する。HIVE-17702: ORC の 10 進数リーダーの isRepeating の処理が間違っている。
HIVE-17729: データベースを追加し、関連する blobstore のテストについて説明する。
HIVE-17731: 外部ユーザーに対して HIVE-11985 への後方
compatオプションを追加する。HIVE-17803: Pig による複数クエリにより、2 つの HCatStorer の同じテーブルへの書き込みが互いの出力に干渉する。
HIVE-17845: ターゲット テーブルの列が小文字でない場合は挿入が失敗する。
HIVE-17900: 圧縮機によってトリガーされた列の統計情報を分析すると、> 1 のパーティション列を持つ無効な SQL が生成される。
HIVE-18006: HLLDenseRegister のメモリ占有領域を最適化する。
HIVE-18026: Hive の WebHCat プリンシパル構成の最適化。
HIVE-18031: Alter Database 操作のレプリケーションをサポートする。
HIVE-18090: Hadoop の資格情報を介して metastore に接続されている場合、ACID のハートビートが失敗する。
HIVE-18189:
cboが無効になっていると、位置による並べ替えが機能しない。HIVE-18258: ベクター化: 重複する列を含む削減側の GROUP BY MERGEPARTIAL が壊れている。
HIVE-18269: LLAP: 低速のプロセス パイプラインによる高速な
llapの入出力は OOM につながる場合がある。HIVE-18293: Hive が、HiveMetaStore を実行している ID が所有していないフォルダー内に含まれるテーブルの圧縮に失敗する。
HIVE-18318: ブロックされないときでも LLAP レコード リーダーによって中断がチェックされる必要があります。
HIVE-18326: LLAP Tez スケジューラ - タスク間に依存関係が存在する場合にそれらのタスクの中断のみを行う。
HIVE-18327: MiniHiveKdc に不要な HiveConf 依存関係を削除する。
HIVE-18331: TGT の有効期限が切れたときに、再ログインといくつかのログ記録/ラムダを追加する。
HIVE-18341: 同じ暗号化キーを使用して TDE の "raw" 名前空間を追加するための REPL LOAD のサポートを追加する。
HIVE-18352: その他のツールの統合を許可する REPL DUMP を行う際に METADATAONLY オプションを導入する。
HIVE-18353: CompactorMR によって jobclient.close() が呼び出され、クリーンアップがトリガーされる必要がある。
HIVE-18384:
log4j2.xライブラリに ConcurrentModificationException が発生する。HIVE 18390: ColumnPruner でパーティション ビューをクエリすると、IndexOutOfBoundsException が発生する。
HIVE-18447: JDBC: JDBC のユーザーが接続文字列を使用してクッキーの情報を渡す方法を指定する。
HIVE-18460: Table プロパティが圧縮機によって ORC ライターに渡されない。
HIVE-18462: (マップ結合によりフォーマットされたクエリに、フォーマットされていない列名を備えた columnExprMap があることについて説明する)。
HIVE-18467:ウェアハウス ダンプ / 読み込み + データベース イベントの作成/ドロップ全体をサポートする。
HIVE-18488: LLAP ORC リーダーにいくつかの null チェックがない。
HIVE-18490: EXISTS と NOT EXISTS が指定され、述語が同値でないクエリによって、間違った結果が生成されることがある。
HIVE-18506: LlapBaseInputFormat - 負の値の配列インデックス。
HIVE-18517: ベクター化: VRB を受け取るように VectorMapOperator を修正し、LLAP キャッシュをサポートするように正しくベクター化されたフラグをチェックする。
HIVE-18523: 入力がない場合に概要の行を修正する。
HIVE-18528: ObjectStore の統計情報を集計すると間違った結果が取得される。
HIVE-18530: (現在のところ) レプリケーションで MM テーブルがスキップされる必要がある。
HIVE-18548:
log4jのインポートを修正する。HIVE-18551: ベクター化: VectorMapOperator によって書き込みが試行される Hybrid Grace 用のベクター列の数が多すぎる。
HIVE-18577: SemanticAnalyzer.validate に無意味な metastore の呼び出しがいくつかある。
HIVE-18587: DML イベントの挿入によりディレクトリのチェックサムの計算を試行する場合がある。
HIVE-18597: LLAP: 常に
org.apache.log4j用にlog4j2API jar をパッケージ化する。HIVE-18613: バイナリ型をサポートするよう JsonSerDe を拡張する。
HIVE-18626: REPL LOAD の "with" 句によって config がタスクに渡されない。
HIVE-18643: ACID 操作用にアーカイブされたパーティションをチェックしない。
HIVE-18660: PCR がパーティション列と仮想列の間で分散されない。
HIVE-18754: REPL STATUS が "with" 句をサポートする必要がある。
HIVE-18788: JDBC PreparedStatement 内の入力をクリーンアップする。
HIVE-18794: REPL LOAD の "with" 句によって非パーティション テーブルのタスクに config が渡されない。
HIVE-18808: 統計情報の更新が失敗したときに圧縮をより堅牢にする。
HIVE-18815: HPL/SQL の使用されていない機能を削除する。
HIVE-18817: ACID テーブルの読み取り中に ArrayIndexOutOfBounds 例外が発生する
HIVE-18833: "orcfile としてディレクトリに挿入" すると自動マージが失敗する。
HIVE-18879: クラスパスに xercesImpl.jar がある場合、UDFXPathUtil 内に埋め込まれた要素の無効化が機能する必要がある。
HIVE-18944: DPP 中に Grouping Sets の位置が間違って設定されている。
Kafka
このリリースは、Kafka 1.0.0 と次の Apache のパッチを提供します。
KAFKA-4827: Kafka の接続: コネクタ名に特殊文字が入っているとエラーが発生する。
KAFKA-6118: kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials で一時的なエラーが発生する。
KAFKA-6156: Windows スタイルのディレクトリ パスが JmxReporter によって処理されない。
KAFKA-6164: ログの読み込み中にエラーが発生した場合、ClientQuotaManager スレッドでシャットダウンが回避される。
KAFKA-6167: ストリーム ディレクトリのタイムスタンプに無効な文字であるコロンが含まれている。
KAFKA-6179: MinTimestampTracker で管理された一覧が RecordQueue.clear() によってクリアされない。
HDFS-6185: セレクタのメモリ リークで、下位変換があると OOM になる可能性が高い。
KAFKA-6190: トランザクション メッセージを使用するときに GlobalKTable の復元が完了しない。
KAFKA-6210: inter.broker.protocol.version または log.message.format.version で 1.0.0 が使用されている場合に IllegalArgumentException が発生する。
KAFKA-6214: メモリ内状態ストアでスタンバイ レプリカを使用すると、ストリームのクラッシュが発生する。
KAFKA-6215: KafkaStreamsTest がトランクで失敗する。
KAFKA-6238: 1.0.0 へのローリング アップグレードを適用するときにプロトコルのバージョンに問題が発生する。
KAFKA-6260: AbstractCoordinator で NULL 例外がはっきりと処理されない。
KAFKA-6261: ack = 0 の場合に要求ログによって例外がスローされる。
KAFKA-6274:
KTableソース状態ストアで自動生成された名前を改善する。
Mahout
HDP-2.3.x と 2.4.x では、Mahout という特定 Apache リリースを配布する代わりに、Apache Mahout トランク上の特定のリビジョン ポイントに同期しました。 このリビジョン ポイントは、0.9.0 リリースの後、かつ 0.10.0 リリースの前です。 これには 0.9.0 リリースを上回る多数のバグ修正と機能改善が施されており、新しい Spark ベースの 0.10.0 の Mahout に完全に変換される前の Mahout の機能の安定版リリースを提供します。
HDP 2.3.x と 2.4.x で Mahout 用に選択されたリビジョン ポイントは、Apache Mahout の "mahout-0.10.x" ブランチからのもので、2014 年 12 月 19 日の GitHub のリビジョン 0f037cb03e77c096 です。
HDP-2.5.x と 2.6.x では、"commons-httpclient" ライブラリをセキュリティ上問題がある可能性がある古いライブラリであると見なし、Mahout から削除しました。また、Mahout の Hadoop-Client を、HDP-2.5 で使用されている同じバージョンである 2.7.3 にアップグレードしました。 その結果、次のような影響が出ています。
以前にコンパイルした Mahout のジョブを、HDP-2.5 または 2.6 の環境で再コンパイルする必要があります。
一部の Mahout のジョブで、"org.apache.commons.httpclient"、"net.java.dev.jets3t"、または関連するクラス名のプレフィックスに関連して、"ClassNotFoundException" や "クラスを読み込めない" エラーが低い確率で発生する場合があります。 これらのエラーが発生した場合、古いライブラリのセキュリティ上の問題のリスクがお使いの環境で許容されるのであれば、ジョブのクラスパスに必要な jar を手動でインストールするかどうかを検討してもかまいません。
さらに低い確率で、一部の Mahout のジョブで、バイナリの互換性の問題により、Mahout の HBase クライアント コードが Hadoop の共通ライブラリを呼び出すと、クラッシュが発生する場合があります。 残念ながら、セキュリティ上問題がある可能性がある HDP-2.4.2 バージョンの Mahout に戻す以外に、この問題を解決する方法はありません。 繰り返しますが、これはまれなケースで、ほとんどの Mahout ジョブ スイートでは発生しません。
Oozie
このリリースは、Oozie 4.2.0 と次の Apache のパッチを提供します。
OOZIE-2571: Scala 2.11 を使用できるように spark.scala.binary.version Maven プロパティを追加する。
OOZIE-2606: Spark 2.0 を Oozie で修正するために spark.yarn.jars を設定する。
OOZIE-2658: --driver-class-path が SparkMain のクラスパスを上書きする場合がある。
OOZIE-2787: Oozie がアプリケーション jar を 2 回配布し、Spark ジョブが失敗する。
OOZIE-2792: Hive が Spark 上にあるとき、
Hive2アクションがログ ファイルから Spark アプリケーション ID を正しく解析しない。OOZIE-2799: Spark SQL 用のログの場所を Hive 上に設定する。
OOZIE-2802:
sharelibsの重複が原因で、Spark 2.1.0 で Spark のアクションが失敗する。OOZIE-2923: Spark のオプションの解析を改善する。
OOZIE-3109: SCA: クロスサイト スクリプティング: 反映済み。
OOZIE-3139: Oozie でワークフローが正しく検証されない。
OOZIE-3167: Oozie 4.3 ブランチ上の Tomcat のバージョンをアップグレードする。
Phoenix
このリリースは、Phoenix 4.7.0 と次の Apache のパッチを提供します。
PHOENIX-1751: postScannerOpen の代わりに preScannerNext 内で集計、並べ替えなどを実行する。
PHOENIX-2714: BaseResultIterators の byte の見積もりを修正し、インターフェイスとして公開する。
PHOENIX-2724: 大量のガイドポストを使用したクエリが、統計情報なしと比較して低速になる。
PHOENIX-2855: 回避策 TimeRange の増分が HBase 1.2 でシリアル化されていない。
PHOENIX-3023: 既定で limit クエリが並列に実行されるとパフォーマンスが低下する。
PHOENIX-3040: クエリを連続で実行するためにガイドポストを使用してはならない。
PHOENIX-3112: 行の部分的なスキャンが正しく処理されない。
PHOENIX-3240: Pig ローダーから ClassCastException が発生する。
PHOENIX-3452: NULLS FIRST/NULL LAST が GROUP BY で順序が保持されるかどうかに影響を及ぼしてはならない。
PHOENIX-3469: NULLS LAST/NULLS FIRST の DESC 主キーの並べ替え順序が正しくない。
PHOENIX-3789: postBatchMutateIndispensably でクロス リージョン インデックス管理呼び出しを実行する。
PHOENIX-3865: 最初の列ファミリがフィルター処理されないと、IS NULL が正しい結果を返さない。
PHOENIX-4290: 不変のインデックスがあるテーブルで DELETE が実行されると、フル テーブル スキャンが実行される。
PHOENIX-4373: アップサート中にローカル インデックスの可変長キーの末尾が null になる場合がある。
PHOENIX-4466: java.lang.RuntimeException: 応答コード 500 - Phoenix のクエリ サーバーに接続し、データを読み込む Spark ジョブを実行する。
PHOENIX-4489: Phoenix MR のジョブで HBase の接続リークが発生する。
PHOENIX-4525: GroupBy の実行で整数がオーバーフローする。
PHOENIX-4560:
pk列に WHERE がある場合に、ORDER BY と GROUP BY が一緒に動作しない。PHOENIX-4586: UPSERT SELECT がサブクエリの比較演算子を考慮に入れない
PHOENIX-4588: その子に Determinism.PER_INVOCATION がある場合は、式もクローンする。
Pig
このリリースは、Pig 0.16.0 と次の Apache のパッチを提供します。
Ranger
このリリースは、Ranger 0.7.0 と次の Apache のパッチを提供します。
RANGER-1805: js のベスト プラクティスに従うようにコードを改善する。
RANGER-1960: 削除でスナップショットのテーブル名を考慮に入れる。
RANGER-1982: Ranger Admin と Ranger KMS の分析メトリックのエラーを改善する。
RANGER-1984: HBase の監査ログのレコードに、アクセスした列に関連付けられたすべてのタグが表示されない場合がある。
RANGER-1988: 安全でないランダム性を修正する。
RANGER-1990: 一方向の SSL MySQL サポートを Ranger Admin に追加する。
RANGER 2006: Ranger
usersyncのldap同期ソースで静的コードの分析によって検出された問題を修正する。RANGER-2008: マルチライン ポリシー条件でポリシーの評価が失敗する。
スライダー
このリリースでは、Slider 0.92.0 に Apache パッチは提供されなくなりました。
Spark
このリリースは、Spark 2.3.0 と次の Apache のパッチを提供します。
SPARK-13587: PySpark で VirtualEnv をサポートする。
SPARK-19964: SparkSubmitSuite のリモート リポジトリからの読み取りを回避する。
SPARK-22882: 構造化ストリーミング用の ML テスト: ml.classification。
SPARK-22915: spark.ml.feature のストリーミング テスト (N から Z まで)。
SPARK-23020: プロセス内ランチャー テストで別の競合を修正する。
SPARK-23040: シャッフル リーダーの割り込み可能な反復子を返す。
SPARK-23173: JSON からデータを読み込むときに、破損している Parquet ファイルを作成しないようにする。
SPARK-23264: literals.sql.out の scala.MatchError を修正する。
SPARK-23288: Parquet シンクを使用して出力メトリックを修正する。
SPARK-23329: 三角関数のドキュメントを修正する。
SPARK-23406: ブランチ 2.3 のストリーム間の自己結合を有効にする。
SPARK-23434: Spark が HDFS ファイル パスの "メタデータ ディレクトリ" を警告してはならない。
SPARK-23436: 日付にキャストできる場合にのみ、パーティションを日付として推論する。
SPARK-23457: 最初に ParquetFileFormat でタスク完了リスナーを登録する。
SPARK-23462: `StructType` のフィールドが不足しているエラー メッセージを改善する。
SPARK-23490: CreateTable の既存のテーブルで storage.locationUri を確認する。
SPARK-23524: ローカルの大きなシャッフル ブロックの破損をチェックしないようにする必要がある。
SPARK-23525: 外部の Hive テーブルの ALTER TABLE CHANGE COLUMN COMMENT をサポートする。
SPARK-23553: テストで "spark.sql.sources.default" の既定値を想定しない必要がある。
SPARK-23569: pandas_udf が Python3 スタイルの型注釈関数で機能することを許可する。
SPARK-23570: Spark 2.3.0 を HiveExternalCatalogVersionsSuite に追加する。
SPARK-23598: BufferedRowIterator のメソッドをパブリックにして、大きなクエリでランタイム エラーを回避する。
SPARK-23599: UUID ジェネレーターを擬似ランダム数値から追加する。
SPARK-23599: UUID の式で RandomUUIDGenerator を使用する。
SPARK-23601: リリースから
.md5ファイルを削除する。SPARK-23608: SHS の attachSparkUI 関数と detachSparkUI 関数の間に同期を追加して、Jetty ハンドラーへの同時修正の問題を回避する。
SPARK-23614: キャッシュが使用されるときに、正しくない再利用交換を修正する。
SPARK-23623: CachedKafkaConsumer (ブランチ 2.3) でキャッシュされたコンシューマーの同時使用を回避する。
SPARK-23624: Datasource V2 のメソッド pushFilters のドキュメントを改訂する。
SPARK-23628: calculateParamLength が 1 + 式の数を返さないようにする必要がある。
SPARK-23630: ユーザーによる Hadoop の構成のカスタマイズを有効にすることを許可する。
SPARK-23635: Spark の Executor の環境変数が同じ名前の AM の環境変数によって上書きされる。
SPARK-23637: 同じ Executor が複数回中止された場合に、Yarn がより多くのリソースを割り当てる可能性がある。
SPARK-23639: SparkSQL CLI の metastore クライアントを初期化する前にトークンを取得する。
SPARK-23642: AccumulatorV2 サブクラスの isZero
scaladocの修正。SPARK-23644: SHS での REST 呼び出しのための絶対パスを使用する。
SPARK-23645: ドキュメントに RE `pandas_udf` をキーワード変数と共に追加する。
SPARK-23649: UTF-8 で許可されない文字をスキップする。
SPARK-23658: InProcessAppHandle によって、getLogger で間違ったクラスが使用される。
SPARK-23660: アプリケーションが早く終了したときに YARN クラスター モードの例外を修正する。
SPARK-23670: SparkPlanGraphWrapper でメモリ リークを修正する。
SPARK-23671: 条件を修正して SHS スレッド プールを有効にする。
SPARK-23691: PySpark テストでできるだけ sql_conf ユーティリティを使用する。
SPARK-23695: Kinesis のストリーミング テストのエラー メッセージを修正する。
SPARK-23706: PySpark で spark.conf.get(value, default=None) によって None が生成される必要がある。
SPARK-23728: ML テストをストリーミング テストで予想される例外を使用して修正する。
SPARK-23729: glob を解決するときに URI フラグメントを考慮する。
SPARK-23759: Spark UI を特定のホスト名または IP にバインドできない。
SPARK-23760: CodegenContext.withSubExprEliminationExprs によって CSE 状態が正しく保存または復元される。
SPARK-23769:
Scalastyleチェックを不必要に無効にするコメントを削除する。SPARK-23788: StreamingQuerySuite の競合を修正する。
SPARK-23802: PropagateEmptyRelation でクエリ プランが未解決の状態のままになる場合がある。
SPARK-23806: Broadcast.unpersist を動的割り当てで使用すると、致命的な例外が発生することがある。
SPARK-23808: 既定の Spark セッションをテスト専用の Spark セッションに設定する。
SPARK-23809: getOrCreate によってアクティブな SparkSession が設定される必要がある。
SPARK-23816: 中止されたタスクで FetchFailure が無視される必要がある。
SPARK-23822: Parquet スキーマの不一致に対するエラー メッセージを改善する。
SPARK-23823: transformExpression の原点を保持する。
SPARK-23827: StreamingJoinExec が、入力データが特定の数のパーティションに分割されることを確認する必要がある。
SPARK-23838: SQL クエリの実行が SQL タブに "completed" と表示される。
SPARK-23881: 不安定なテスト JobCancellationSuite."interruptible iterator of shuffle reader" を修正する。
Sqoop
このリリースでは、Sqoop 1.4.6 に Apache パッチは提供されなくなりました。
Storm
このリリースは、Storm 1.1.1 と次の Apache のパッチを提供します。
STORM-2652: JmsSpout の open メソッドで例外がスローされる。
STORM-2841: testNoAcksIfFlushFails UT が NullPointerException で失敗する。
STORM-2854: IEventLogger を公開してイベントのログ記録をプラグ可能にする。
STORM-2870: FileBasedEventLogger がデーモン以外の ExecutorService をリークし、プロセスの完了を妨害する。
STORM-2960: Storm プロセスの適切な OS アカウントを設定することの重要性をより強調する。
Tez
このリリースは、Tez 0.7.0 と次の Apache のパッチを提供します。
- TEZ-1526: TezTaskID の LoadingCache が大きなジョブで低速になる。
Zeppelin
このリリースでは、Zeppelin 0.7.3 に Apache パッチが提供されなくなりました。
ZEPPELIN-3072: ノートブックが多すぎると Zeppelin UI が低速または応答しなくなる。
ZEPPELIN-3129: Zeppelin UI が IE でサインアウトしない。
ZEPPELIN-903: CXF を
Jersey2に置き換える。
ZooKeeper
このリリースは、ZooKeeper 3.4.6 と次の Apache のパッチを提供します。
ZOOKEEPER-1256: macOS X で ClientPortBindTest が失敗する。
ZOOKEEPER-1901: [JDK8] AsyncOps テストで比較のために子を並べ替える。
ZOOKEEPER-2423: セキュリティの脆弱性から Netty のバージョンを更新する (CVE-2014-3488)。
ZOOKEEPER-2693: 4 文字単語 (4lw) wchp/wchc による DOS 攻撃。
ZOOKEEPER-2726: パッチにより潜在的な競合状態が発生する。
修正された共通脆弱性識別子
このセクションでは、このリリースで対処されているすべての共通脆弱性識別子 (CVE) を紹介します。
CVE-2017-7676
| 概要: Apache Ranger ポリシーの評価で '*' ワイルドカード文字の後の文字が無視される |
|---|
| 重大度: Critical |
| ベンダー: Hortonworks |
| 影響を受けるバージョン: Apache Ranger バージョン 0.5.x/0.6.x/0.7.0 を含む HDInsight 3.6 バージョン |
| 影響を受けるユーザー: '*' ワイルドカード文字の後に文字を含む Ranger ポリシー (my*test、test*.txt など) を使用する環境 |
| 影響: ポリシー リソースのマッチ機能では '*' ワイルドカード文字の後の文字が無視されます。これにより、意図しない動作が実行されることがあります。 |
| 修正の詳細: ワイルドカードの一致を正しく処理するように、Ranger ポリシー リソースのマッチ機能が更新されました。 |
| 推奨される操作: HDI 3.6 (および Apache Ranger 0.7.1 以降) にアップグレードしてください。 |
CVE-2017-7677
| 概要: 外部の場所が指定された場合、Apache Ranger Hive Authorizer は RWX のアクセス許可をチェックする必要がある |
|---|
| 重大度: Critical |
| ベンダー: Hortonworks |
| 影響を受けるバージョン: Apache Ranger バージョン 0.5.x/0.6.x/0.7.0 を含む HDInsight 3.6 バージョン |
| 影響を受けるユーザー: hive テーブルに外部の場所を使用する環境 |
| 影響: hive テーブルに外部の場所を使用する環境では、Apache Ranger Hive Authorizer は、テーブル作成用に指定された外部の場所に対する RWX のアクセス許可をチェックする必要があります。 |
| 修正の詳細: 外部の場所に関するアクセス許可のチェックを正しく処理するように、Ranger Hive Authorizer が更新されました。 |
| 推奨される操作: ユーザーは、HDI 3.6 (および Apache Ranger 0.7.1+) にアップグレードしてください。 |
CVE-2017-9799
| 概要: Apache Storm で正しくないユーザーとしてコードが実行される可能性がある |
|---|
| 重大度: 重要 |
| ベンダー: Hortonworks |
| 影響を受けるバージョン: HDP 2.4.0、HDP-2.5.0、HDP-2.6.0 |
| 影響を受けるユーザー: Storm をセキュア モードで使用し、かつ blobstore を使用してトポロジ ベースの成果物を配布しているか、または blobstore を使用してすべてのトポロジ リソースを配布しているユーザー。 |
| 影響: ストームの状況や構成によっては、トポロジの所有者が、別の (ルート 以外の) ユーザーとしてワーカー を起動するようにスーパーバイザーをだますことが理論的に可能になる場合があります。 最悪の場合、他のユーザーのセキュリティ資格情報が侵害されることがあります。 この脆弱性は、セキュリティが有効な Apache Storm のインストールにのみ当てはまります。 |
| 対応策: 現時点は対処法がないため、HDP-2.6.2.1 にアップグレードしてください。 |
CVE-2016-4970
| 概要: 4.0.37 より前の Netty 4.0.x の handler/ssl/OpenSslEngine.java。 Final と 4.1.1 より前の 4.1.x。 Final により、リモート攻撃者がサービス拒否を引き起こすことができる (無限ループ) |
|---|
| 重大度: 中 |
| ベンダー: Hortonworks |
| 影響を受けるバージョン: 2.3. x 以降の HDP 2.x.x |
| 影響を受けるユーザー: HDFS を使用しているすべてのユーザー。 |
| 影響: Hortonworks は Hadoop コードベースで直接 OpenSslEngine.java を使用していないため、影響は大きくありません。 |
| 推奨される操作: HDP 2.6.3 にアップグレードしてください。 |
CVE-2016-8746
| 概要: ポリシーの評価における Apache Ranger のパス照合の問題 |
|---|
| 重大度: Normal |
| ベンダー: Hortonworks |
| 影響を受けるバージョン: Apache Ranger バージョン 0.6.0/0.6.1/0.6.2 を含むすべての HDP 2.5 バージョン |
| 影響を受けるユーザー: Ranger ポリシー管理ツールのすべてのユーザー。 |
| 影響: ポリシーにワイルドカードや recursive フラグか含まれている場合は、特定の条件で Ranger ポリシー エンジンがパスを誤って照合します。 |
| 修正の詳細: ポリシー評価のロジックを修正しました |
| 推奨される操作: ユーザーは、HDP 2.5.4 以降 (および Apache Ranger 0.6.3 以降) または HDP 2.6 以降 (および Apache Ranger 0.7.0 以降) にアップグレードしてください |
CVE-2016-8751
| 概要: Apache Ranger の蓄積型クロス サイト スクリプティングの問題 |
|---|
| 重大度: Normal |
| ベンダー: Hortonworks |
| 影響を受けるバージョン: Apache Ranger バージョン 0.5.x/0.6.0/0.6.1/0.6.2 を含むすべての HDP 2.3/2.4/2.5 バージョン |
| 影響を受けるユーザー: Ranger ポリシー管理ツールのすべてのユーザー。 |
| 影響: カスタム ポリシー条件を入力する場合、Apache Ranger は蓄積型クロス サイト スクリプティングに対して脆弱です。 管理者ユーザーは、一般ユーザーがサインインしてポリシーにアクセスするときに、任意の JavaScript コードの実行を一部格納できます。 |
| 修正の詳細: ユーザー入力をサニタイズするロジックを追加しました。 |
| 推奨される操作: ユーザーは、HDP 2.5.4 以降 (および Apache Ranger 0.6.3 以降) または HDP 2.6 以降 (および Apache Ranger 0.7.0 以降) にアップグレードしてください |
修正されたサポートの問題
修正された問題は、以前に Hortonworks のサポートにログされたことのある選択された問題を表しますが、現在のリリースでは対処されています。 これらの問題は、以前のバージョンの「既知の問題」セクション内で報告されている場合があります。それらはお客様によって報告されたか、Hortonworks の Quality Engineering チームによって特定された問題であることを意味します。
正しくない結果
| バグ ID | Apache JIRA | まとめ |
|---|---|---|
| BUG-100019 | YARN-8145 | yarn rmadmin -getGroups が更新されたユーザーのグループを返さない |
| BUG-100058 | PHOENIX-2645 | ワイルドカード文字が改行文字に一致しない |
| BUG-100266 | PHOENIX-3521、PHOENIX-4190 | ローカル インデックスにより結果が間違っている |
| BUG-88774 | HIVE-17617、HIVE-18413、HIVE-18523 | query36 が失敗する、行カウントが一致しない |
| BUG-89765 | HIVE-17702 | ORC の 10 進数リーダーの isRepeating の処理が間違っている |
| BUG-92293 | HADOOP-15042 | numberOfPagesRemaining が 0 の場合に、Azure PageBlobInputStream.skip() が負の値を返すことがある |
| BUG-92345 | ATLAS-2285 | UI: 保存した検索の名前を日付属性で変更した。 |
| BUG-92563 | HIVE-17495、HIVE-18528 | ObjectStore の統計情報を集計すると間違った結果が取得される |
| BUG-92957 | HIVE-11266 | 外部テーブルのテーブルの統計情報に基づく count(*) の結果が正しくない |
| BUG-93097 | RANGER-1944 | 管理者監査のアクション フィルターが機能しない |
| BUG-93335 | HIVE-12315 | 二重計算により vectorization_short_regress.q の結果が間違っている |
| BUG-93415 | HIVE-18258、HIVE-18310 | ベクター化: 重複する列を含む削減側の GROUP BY MERGEPARTIAL が壊れている |
| BUG-93939 | ATLAS-2294 | 型を作成するときに追加パラメーター "description" が追加される |
| BUG-94007 | PHOENIX-1751、PHOENIX-3112 | HBase の部分的な行により Phoenix のクエリが Null 値を返す |
| BUG-94266 | HIVE-12505 | 同じ暗号化されたゾーンに insert overwrite を実行すると、一部の既存ファイルの削除がサイレントに失敗する |
| BUG-94414 | HIVE-15680 | hive.optimize.index.filter=true で、クエリで同じ ORC テーブルが 2 回参照されると、正しくない結果になる |
| BUG-95048 | HIVE-18490 | EXISTS と NOT EXISTS が指定され、述語が同値でないクエリは間違った結果を生成することがある |
| BUG-95053 | PHOENIX-3865 | 最初の列ファミリがフィルター処理されないと、IS NULL が正しい結果を返さない |
| BUG-95476 | RANGER-1966 | 一部のケースで、ポリシー エンジンの初期化によりコンテキスト エンリッチャーが作成されない |
| BUG-95566 | SPARK-23281 | 複合的な order by 句が元の列とエイリアスの両方を参照すると、クエリが正しくない順序で結果を生成する |
| BUG-95907 | PHOENIX-3451、PHOENIX-3452、PHOENIX-3469、PHOENIX-4560 | クエリに集計があるときに ORDER BY ASC で問題を修正する |
| BUG-96389 | PHOENIX-4586 | UPSERT SELECT がサブクエリの比較演算子を考慮に入れない |
| BUG-96602 | HIVE-18660 | PCR がパーティション列と仮想列間で分散されない |
| BUG-97686 | ATLAS-2468 | [基本的な検索] NEQ が数値型で使用されたときの OR ケースの問題 |
| BUG-97708 | HIVE-18817 | ACID テーブルの読み取り中に ArrayIndexOutOfBounds 例外が発生する |
| BUG-97864 | HIVE-18833 | "orcfile としてディレクトリに挿入" すると自動マージが失敗する |
| BUG-97889 | RANGER-2008 | マルチライン ポリシー条件でポリシーの評価が失敗する。 |
| BUG-98655 | RANGER-2066 | HBase の列ファミリのアクセスが列ファミリのタグ付けされた列によって承認される |
| BUG-99883 | HIVE-19073、HIVE-19145 | StatsOptimizer が定数列を分割する場合がある |
その他
| バグ ID | Apache JIRA | まとめ |
|---|---|---|
| BUG-100267 | HBASE-17170 | クラス ローダーの違いにより HBase も DoNotRetryIOException を再試行している。 |
| BUG-92367 | YARN-7558 | UI 認証を有効にすると、"yarn logs" コマンドが実行中のコンテナーのログの取得に失敗する。 |
| BUG-93159 | OOZIE-3139 | Oozie ワークフローを正しく検証しない |
| BUG-93936 | ATLAS-2289 | kafka/zookeeper サーバーの埋め込みの開始/停止コードが KafkaNotification の実装からなくなる |
| BUG-93942 | ATLAS-2312 | ThreadLocal DateFormat オブジェクトを使用して複数スレッドからの同時使用を回避する |
| BUG-93946 | ATLAS-2319 | UI: フラット構造とツリー構造の両方でタグ一覧の 25 を超える位置にあるタグを削除するには更新が必要である。 |
| BUG-94618 | YARN-5037、YARN-7274 | リーフ キュー レベルで弾力性を無効にする機能 |
| BUG-94901 | HBASE-19285 | テーブルごとの待機時間ヒストグラムを追加する |
| BUG-95259 | HADOOP-15185、HADOOP-15186 | 現在のバージョンの ADLS SDK を使用するよう adls コネクタを更新する |
| BUG-95619 | HIVE-18551 | ベクター化: VectorMapOperator によって書き込みが試行される Hybrid Grace 用のベクター列の数が多すぎる |
| BUG-97223 | SPARK-23434 | Spark が HDFS ファイル パスの "メタデータ ディレクトリ" を警告してはならない |
パフォーマンス
| バグ ID | Apache JIRA | まとめ |
|---|---|---|
| BUG-83282 | HBASE-13376、HBASE-14473、HBASE-15210、HBASE-15515、HBASE-16570、HBASE-16810、HBASE-18164 | バランサーで地域をすばやく計算する |
| BUG-91300 | HBASE-17387 | RegionActionResult の multi() の例外レポートのオーバーヘッドを削減する |
| BUG-91804 | TEZ-1526 | TezTaskID の LoadingCache が大きなジョブで低速になる |
| BUG-92760 | ACCUMULO-4578 | FATE の圧縮操作のキャンセルが名前空間のロックを解放しない |
| BUG-93577 | RANGER-1938 | オーディオ セットアップの Solr が DocValue を効果的に使用しない |
| BUG-93910 | HIVE-18293 | HiveMetaStore を実行している ID によって所有されていないフォルダーに含まれたテーブルの圧縮が Hive で失敗する |
| BUG-94345 | HIVE-18429 | 圧縮が出力を生成しないケースを処理する必要がある |
| BUG-94381 | HADOOP-13227、HDFS-13054 | RequestHedgingProxyProvider RetryAction の順序の処理: FAIL < RETRY < FAILOVER_AND_RETRY。 |
| BUG-94432 | HIVE-18353 | CompactorMR が jobclient.close() を呼び出してクリーンアップをトリガーする必要がある |
| BUG-94869 | PHOENIX-4290、PHOENIX-4373 | ローカル インデックス付きのソルト化された Phoenix テーブルの HRegion に対する Get で範囲外の行を要求する。 |
| BUG-94928 | HDFS-11078 | LazyPersistFileScrubber の NPE を修正する |
| BUG-94964 | HIVE-18269、HIVE-18318、HIVE-18326 | 複数の LLAP の修正 |
| BUG-95669 | HIVE-18577、HIVE-18643 | パーティション分割された ACID テーブルで更新/削除クエリを実行すると、HS2 が各パーティションをすべて読み取る。 |
| BUG-96390 | HDFS-10453 | 大きなクラスターにおいて、同じファイルのレプリケーションと削除の間に競合があることにより、ReplicationMonitor が長時間スタックする場合がある。 |
| BUG-96625 | HIVE-16110 | "ベクター化: VectorUDFAdaptor にフォールバックする代わりに 2 つの値の CASE WHEN をサポートする" を元に戻す |
| BUG-97109 | HIVE-16757 | 新しい estimateRowCount(RelMetadataQuery...) の代わりに非推奨の getRows() を使用するとパフォーマンスに重大な影響を及ぼす |
| BUG-97110 | PHOENIX-3789 | postBatchMutateIndispensably でクロス リージョン インデックス管理呼び出しを実行する |
| BUG-98833 | YARN-6797 | TimelineWriter が POST 応答を完全には使用しない |
| BUG-98931 | ATLAS-2491 | Atlas v2 の通知を使用するよう Hive Hook を更新する |
データ損失の可能性
| バグ ID | Apache JIRA | まとめ |
|---|---|---|
| BUG-95613 | HBASE-18808 | BackupLogCleaner#getDeletableFiles() の効果的でないコンフィグ チェック |
| BUG-97051 | HIVE-17403 | アンマネージド テーブルとトランザクション テーブルの連結に失敗する |
| BUG-97787 | HIVE-18460 | 圧縮機が ORC ライターに Table プロパティを渡さない |
| BUG-97788 | HIVE-18613 | バイナリ型をサポートするよう JsonSerDe を拡張する |
クエリの失敗
| バグ ID | Apache JIRA | まとめ |
|---|---|---|
| BUG-100180 | CALCITE-2232 | 集計インデックスを調整している間に AggregatePullUpConstantsRule でアサーション エラーが発生する |
| BUG-100422 | HIVE-19085 | FastHiveDecimal abs(0) がサインを +ve に設定する |
| BUG-100834 | PHOENIX-4658 | IllegalStateException: ReversedKeyValueHeap で requestSeek を呼び出すことができない |
| BUG-102078 | HIVE-17978 | TPCDS のクエリ 58 と 83 がベクター化で例外を生成する。 |
| BUG-92483 | HIVE-17900 | 圧縮機によってトリガーされた列の統計情報を分析すると、> 1 のパーティション列を持つ無効な SQL が生成される |
| BUG-93135 | HIVE-15874、HIVE-18189 | hive.groupby.orderby.position.alias が true に設定されると、Hive クエリが間違った結果を返す |
| BUG-93136 | HIVE-18189 | cbo が無効になっていると、位置による並べ替えが機能しない |
| BUG-93595 | HIVE-12378、HIVE-15883 | Hive の HBase にマッピングされたテーブルの 10 進数列およびバイナリ列の挿入が失敗する |
| BUG-94007 | PHOENIX-1751、PHOENIX-3112 | HBase の部分的な行により Phoenix のクエリが Null 値を返す |
| BUG-94144 | HIVE-17063 | 最初にパーティションをドロップすると、外部テーブルへのパーティションの insert overwrite が失敗する |
| BUG-94280 | HIVE-12785 | 構造体を `キャストする` ための共用体型および UDF によるビューが壊れている |
| BUG-94505 | PHOENIX-4525 | GroupBy の実行で整数がオーバーフローする |
| BUG-95618 | HIVE-18506 | LlapBaseInputFormat - 負の値の配列インデックス |
| BUG-95644 | HIVE-9152 | CombineHiveInputFormat: Hive クエリが java.lang.IllegalArgumentException 例外により Tez で失敗する |
| BUG-96762 | PHOENIX-4588 | 式の子に Determinism.PER_INVOCATION がある場合は、その式もクローンする |
| BUG-97145 | HIVE-12245、HIVE-17829 | HBase によって裏付けられるテーブルの列のコメントをサポートする |
| BUG-97741 | HIVE-18944 | DPP 中に Grouping Sets の位置が間違って設定されている |
| BUG-98082 | HIVE-18597 | LLAP: 常に org.apache.log4j 用に log4j2 API jar をパッケージ化する |
| BUG-99849 | 該当なし | ファイル ウィザードからの新しいテーブルの作成に、既定のデータベースの使用を試行する |
Security
| バグ ID | Apache JIRA | まとめ |
|---|---|---|
| BUG-100436 | RANGER-2060 | Ranger で knox-sso を使用した Knox プロキシが動作しない |
| BUG-101038 | SPARK-24062 | Zeppelin %Spark インタープリターの "Connection refused" エラー、"A secret key must be specified..." エラーが HiveThriftServer で発生する |
| BUG-101359 | ACCUMULO-4056 | リリースされたときに commons-collection のバージョンを 3.2.2 に更新する |
| BUG-54240 | HIVE-18879 | クラスパスに xercesImpl.jar がある場合、UDFXPathUtil 内に埋め込まれた要素の無効化が機能する必要がある |
| BUG-79059 | OOZIE-3109 | ログ ストリーミングの HTML 固有の文字をエスケープする |
| BUG-90041 | OOZIE-2723 | JSON.org ライセンスが CatX になる |
| BUG-93754 | RANGER-1943 | コレクションが空または null のときに Ranger Solr の承認がスキップされる |
| BUG-93804 | HIVE-17419 | ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS コマンドが、マスクされたテーブルの計算された統計情報を表示する |
| BUG-94276 | ZEPPELIN-3129 | Zeppelin UI が IE でサインアウトしない |
| BUG-95349 | ZOOKEEPER-1256、ZOOKEEPER-1901 | Netty をアップグレードする |
| BUG-95483 | 該当なし | CVE-2017-15713 の修正プログラム |
| BUG-95646 | OOZIE-3167 | Oozie 4.3 ブランチ上の Tomcat のバージョンをアップグレードする |
| BUG-95823 | 該当なし | Knox: Beanutils をアップグレードする |
| BUG-95908 | RANGER-1960 | スナップショットの削除において、HBase の認証がテーブルの名前空間を考慮に入れない |
| BUG-96191 | FALCON-2322、FALCON-2323 | セキュリティの脆弱性を回避するために Jackson と Spring のバージョンをアップグレードする |
| BUG-96502 | RANGER-1990 | Ranger Admin に一方向の SSL MySQL サポートを追加する |
| BUG-96712 | FLUME-3194 | Derby を最新バージョン (1.14.1.0) にアップグレードする |
| BUG-96713 | FLUME-2678 | CVE-2014-0107 の脆弱性に対処するために Xalan を 2.7.2 にアップグレードする |
| BUG-96714 | FLUME-2050 | log4j2 にアップグレードする (GA のとき) |
| BUG-96737 | 該当なし | Java io ファイルシステムのメソッドを使用してローカル ファイルにアクセスする |
| BUG-96925 | 該当なし | Hadoop で Tomcat を 6.0.48 から 6.0.53 にアップグレードする |
| BUG-96977 | FLUME-3132 | Tomcat の jasper ライブラリの依存関係をアップグレードする |
| BUG-97022 | HADOOP-14799、HADOOP-14903、HADOOP-15265 | Nimbus-JOSE-JWT ライブラリをバージョン 4.39 以上にアップグレードする |
| BUG-97101 | RANGER-1988 | 安全でないランダム性を修正する |
| BUG-97178 | ATLAS-2467 | Spring と nimbus-jose-jwt の依存関係をアップグレードする |
| BUG-97180 | 該当なし | Nimbus-jose-jwt をアップグレードする |
| BUG-98038 | HIVE-18788 | JDBC PreparedStatement 内の入力をクリーンアップする |
| BUG-98353 | HADOOP-13707 | "HTTP SPNEGO が構成されていない間に Kerberos が有効になると、一部のリンクにアクセスできなくなる" を元に戻す |
| BUG-98372 | HBASE-13848 | Credential Provider API 経由で InfoServer SSL のパスワードにアクセスする |
| BUG-98385 | ATLAS-2500 | Atlas の応答により多くのヘッダーを追加する。 |
| BUG-98564 | HADOOP-14651 | okhttp のバージョンを 2.7.5 に更新する |
| BUG-99440 | RANGER-2045 | 明示的な許可ポリシーのない Hive のテーブル列が 'desc table' コマンドで列挙される |
| BUG-99803 | 該当なし | Oozie が HBase クラスの動的な読み込みを無効にする必要がある |
安定性
| バグ ID | Apache JIRA | まとめ |
|---|---|---|
| BUG-100040 | ATLAS-2536 | Atlas Hive Hook の NPE |
| BUG-100057 | HIVE-19251 | LIMIT が指定された ObjectStore.getNextNotification はより少ないメモリを使用する必要がある |
| BUG-100072 | HIVE-19130 | REPL LOAD がドロップ パーティション イベントを適用したときに NPE がスローされる。 |
| BUG-100073 | 該当なし | hiveserver からデータ ノードへの close_wait 接続が多すぎる |
| BUG-100319 | HIVE-19248 | ファイルのコピーが失敗した場合に REPL LOAD がエラーをスローしない。 |
| BUG-100352 | 該当なし | CLONE - RM が論理スキャン/レジストリ znode を消去する頻度が高すぎる |
| BUG-100427 | HIVE-19249 | レプリケーション: WITH 句がすべてのケースでタスクに構成を正しく渡さない |
| BUG-100430 | HIVE-14483 | java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays |
| BUG-100432 | HIVE-19219 | 要求されたイベントがクリーンアップされた場合、増分 REPL DUMP がエラーをスローする必要がある。 |
| BUG-100448 | SPARK-23637、SPARK-23802、SPARK-23809、SPARK-23816、SPARK-23822、SPARK-23823、SPARK-23838、SPARK-23881 | Spark2 を 2.3.0+ (4/11) に更新する |
| BUG-100740 | HIVE-16107 | JDBC: HttpClient が NoHttpResponseException 時に 1 回以上再試行される必要がある |
| BUG-100810 | HIVE-19054 | Hive 関数のレプリケーションが失敗する |
| BUG-100937 | MAPREDUCE-6889 | Job#close API を追加して MR クライアント サービスをシャットダウンする。 |
| BUG-101065 | ATLAS-2587 | Knox プロキシが読み取れるように HA の /apache_atlas/active_server_info znode に対して読み取り ACL を設定する。 |
| BUG-101093 | STORM-2993 | 時間回転ポリシーが使用されると、Storm HDFS ボルトが ClosedChannelException をスローする |
| BUG-101181 | 該当なし | PhoenixStorageHandler が述語の中の AND を正しく処理しない |
| BUG-101266 | PHOENIX-4635 | Org.apache.phoenix.hive.mapreduce.PhoenixInputFormat での HBase の接続リーク |
| BUG-101458 | HIVE-11464 | 複数の出力がある場合に、系列情報が不足する |
| BUG-101485 | 該当なし | Hive metastore Thrift API が低速でクライアントのタイムアウトを引き起こす |
| BUG-101628 | HIVE-19331 | Hive のクラウドへの増分レプリケーションが失敗する。 |
| BUG-102048 | HIVE-19381 | Hive のクラウドへの関数レプリケーションが FunctionTask で失敗する |
| BUG-102064 | 該当なし | ReplCopyTask で \[ onprem to onprem \] への Hive のレプリケーション テストが失敗する |
| BUG-102137 | HIVE-19423 | ReplCopyTask で \[ Onprem to Cloud \] への Hive のレプリケーション テストが失敗する |
| BUG-102305 | HIVE-19430 | HS2 と Hive metastore の OOM をダンプする |
| BUG-102361 | 該当なし | 複数の挿入が、ターゲット Hive クラスターに対して単一の挿入がレプリケートされる結果になる ( onprem - s3 ) |
| BUG-87624 | 該当なし | Storm イベントのログ記録を有効にすると、worker が連続して終了する原因になる |
| BUG-88929 | HBASE-15615 | RegionServerCallable に再試行が必要なときのスリープ時間が正しくない |
| BUG-89628 | HIVE-17613 | 短い、同一スレッドに割り当てられるオブジェクト プールを削除する |
| BUG-89813 | 該当なし | SCA: コードの正確性: 非同期メソッドが同期メソッドをオーバーライドする |
| BUG-90437 | ZEPPELIN-3072 | ノートブックが多すぎると Zeppelin UI が低速または応答しなくなる |
| BUG-90640 | HBASE-19065 | HRegion#bulkLoadHFiles() が同時実行の Region#flush() の完了を待つ必要がある |
| BUG-91202 | HIVE-17013 | ビュー上の選択に基づくサブクエリによる要求を削除する |
| BUG-91350 | KNOX-1108 | NiFiHaDispatch がフェールオーバーしない |
| BUG-92054 | HIVE-13120 | ORC の分割を生成するときに doAs を伝達する |
| BUG-92373 | FALCON-2314 | BeanShell 依存関係を回避するために TestNG バージョンを 6.13.1 にバンプする |
| BUG-92381 | 該当なし | testContainerLogsWithNewAPI と testContainerLogsWithOldAPI UT が失敗する |
| BUG-92389 | STORM-2841 | testNoAcksIfFlushFails UT が NullPointerException で失敗する |
| BUG-92586 | SPARK-17920、SPARK-20694、SPARK-21642、SPARK-22162、SPARK-22289、SPARK-22373、SPARK-22495、SPARK-22574、SPARK-22591、SPARK-22595、SPARK-22601、SPARK-22603、SPARK-22607、SPARK-22635、SPARK-22637、SPARK-22653、SPARK-22654、SPARK-22686、SPARK-22688、SPARK-22817、SPARK-22862、SPARK-22889、SPARK-22972、SPARK-22975、SPARK-22982、SPARK-22983、SPARK-22984、SPARK-23001、SPARK-23038、SPARK-23095 | Spark2 を最新の 2.2.1 に更新する (1 月 16 日) |
| BUG-92680 | ATLAS-2288 | HBase テーブルが Hive を介して作成されるとき、import-hive スクリプトの実行中に NoClassDefFoundError 例外が発生する |
| BUG-92760 | ACCUMULO-4578 | FATE の圧縮操作のキャンセルが名前空間のロックを解放しない |
| BUG-92797 | HDFS-10267、HDFS-8496 | 特定のユースケースで DataNode のロックの競合を減らす |
| BUG-92813 | FLUME-2973 | HDFS シンクでデッドロックが発生する |
| BUG-92957 | HIVE-11266 | 外部テーブルのテーブルの統計情報に基づく count(*) の結果が正しくない |
| BUG-93018 | ATLAS-2310 | HA で、パッシブ ノードが間違った URL エンコードで要求をリダイレクトする |
| BUG-93116 | RANGER-1957 | 増分同期が有効になっていると、Ranger Usersync がユーザーまたはグループを定期的に同期しない。 |
| BUG-93361 | HIVE-12360 | 述語プッシュダウンによる非圧縮の ORC のシークが正しくない |
| BUG-93426 | CALCITE-2086 | Authorization ヘッダーが大きいことが原因で、特定の状況で HTTP/413 が発生する |
| BUG-93429 | PHOENIX-3240 | Pig ローダーから ClassCastException が発生する |
| BUG-93485 | 該当なし | テーブル mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException を取得できない: LLAP の列に対するテーブル分析の実行時にテーブルが見つからない |
| BUG-93512 | PHOENIX-4466 | java.lang.RuntimeException: 応答コード 500 - Phoenix のクエリ サーバーに接続し、データを読み込む Spark ジョブを実行する |
| BUG-93550 | 該当なし | Scala のバージョンが一致しないため、Zeppelin %spark.r が spark1 で機能しない |
| BUG-93910 | HIVE-18293 | HiveMetaStore を実行している ID によって所有されていないフォルダーに含まれたテーブルの圧縮が Hive で失敗する |
| BUG-93926 | ZEPPELIN-3114 | >1 日のストレス テスト後、Zeppelin にノートブックやインタープリターが保存されない |
| BUG-93932 | ATLAS-2320 | クエリによる分類 "*" が 500 内部サーバー例外をスローする。 |
| BUG-93948 | YARN-7697 | log-aggregation のリークが原因で NM が OOM によりダウンする (パート #1) |
| BUG-93965 | ATLAS-2229 | DSL の検索: orderby の文字列以外の属性が例外をスローする |
| BUG-93986 | YARN-7697 | log-aggregation のリークが原因で NM が OOM によりダウンする (パート #2) |
| BUG-94030 | ATLAS-2332 | コレクションのデータ型が入れ子になっている場合、属性を使用した型の作成が失敗する |
| BUG-94080 | YARN-3742、YARN-6061 | セキュリティで保護されたクラスターで両方の RM がスタンバイになる |
| BUG-94081 | HIVE-18384 | log4j2.x ライブラリに ConcurrentModificationException が発生する |
| BUG-94168 | 該当なし | サービス レジストリが間違った状態にあるエラーにより Yarn RM がダウンする |
| BUG-94330 | HADOOP-13190、HADOOP-14104、HADOOP-14814、HDFS-10489、HDFS-11689 | HDFS が 複数の KMS Uris をサポートする必要がある |
| BUG-94345 | HIVE-18429 | 圧縮が出力を生成しないケースを処理する必要がある |
| BUG-94372 | ATLAS-2229 | DSL クエリ: hive_table name = ["t1","t2"] が無効な DSL クエリ例外をスローする |
| BUG-94381 | HADOOP-13227、HDFS-13054 | RequestHedgingProxyProvider RetryAction の順序の処理: FAIL < RETRY < FAILOVER_AND_RETRY。 |
| BUG-94432 | HIVE-18353 | CompactorMR が jobclient.close() を呼び出してクリーンアップをトリガーする必要がある |
| BUG-94575 | SPARK-22587 | fs.defaultFS とアプリケーション jar の URL が異なる場合に Spark のジョブが失敗する |
| BUG-94791 | SPARK-22793 | Spark Thrift サーバーでメモリ リークが発生する |
| BUG-94928 | HDFS-11078 | LazyPersistFileScrubber の NPE を修正する |
| BUG-95013 | HIVE-18488 | LLAP ORC リーダーにいくつかの null チェックがない |
| BUG-95077 | HIVE-14205 | Hive が AVRO ファイル形式の共用体型をサポートしない |
| BUG-95200 | HDFS-13061 | SaslDataTransferClient#checkTrustAndSend が部分的に信頼されたチャネルを信頼してはならない |
| BUG-95201 | HDFS-13060 | TrustedChannelResolver に BlacklistBasedTrustedChannelResolver を追加する |
| BUG-95284 | HBASE-19395 | [ブランチ 1] の TestEndToEndSplitTransaction.testMasterOpsWhileSplitting が NPE により失敗する |
| BUG-95301 | HIVE-18517 | ベクター化: VRB を受け取るように VectorMapOperator を修正し、LLAP キャッシュをサポートするように正しくベクター化されたフラグをチェックする |
| BUG-95542 | HBASE-16135 | 削除されたピアのリージョン サーバーの下にある PeerClusterZnode が削除されない場合がある |
| BUG-95595 | HIVE-15563 | SQLOperation.runQuery の不正な操作の状態遷移の例外を無視して、実際の例外を公開する。 |
| BUG-95596 | YARN-4126、YARN-5750 | TestClientRMService が失敗する |
| BUG-96019 | HIVE-18548 | log4j インポートを修正する |
| BUG-96196 | HDFS-13120 | 連結後スナップショットの差分が破損することがある |
| BUG-96289 | HDFS-11701 | 未解決のホストからの NPE が永続的な DFSInputStream のエラーの原因になる |
| BUG-96291 | STORM-2652 | JmsSpout の open メソッドで例外がスローされる |
| BUG-96363 | HIVE-18959 | LLAP 内に余分なスレッドのプールが作成されることを回避する |
| BUG-96390 | HDFS-10453 | 大きなクラスターにおいて、レプリケーションと削除の間に競合があることにより、ReplicationMonitor が長時間スタックする場合がある。 |
| BUG-96454 | YARN-4593 | AbstractService.getConfig() でデッドロックが発生する |
| BUG-96704 | FALCON-2322 | submitAndSchedule フィード中に ClassCastException が発生する |
| BUG-96720 | SLIDER-1262 | Kerberized 環境でスライダーの機能テストが失敗する |
| BUG-96931 | SPARK-23053、SPARK-23186、SPARK-23230、SPARK-23358、SPARK-23376、SPARK-23391 | Spark2 を最新に更新する (2 月 19 日) |
| BUG-97067 | HIVE-10697 | ObjectInspectorConvertors#UnionConvertor によって問題のある変換が行われる |
| BUG-97244 | KNOX-1083 | HttpClient の既定のタイムアウトに実用的な値を指定する必要がある |
| BUG-97459 | ZEPPELIN-3271 | スケジューラを無効にするためのオプション |
| BUG-97511 | KNOX-1197 | サービスで認証が匿名のときに AnonymousAuthFilter が追加されない |
| BUG-97601 | HIVE-17479 | 更新/削除のクエリでステージング ディレクトリがクリーンアップされない |
| BUG-97605 | HIVE-18858 | MR ジョブを送信するときにジョブ構成内のシステム プロパティが解決されない |
| BUG-97674 | OOZIE-3186 | Oozie が jceks://file/... を使用してリンクされている構成を使用できない |
| BUG-97743 | 該当なし | Storm トポロジのデプロイ中に java.lang.NoClassDefFoundError 例外が発生する |
| BUG-97756 | PHOENIX-4576 | LocalIndexSplitMergeIT のテストの修正が失敗する |
| BUG-97771 | HDFS-11711 | DN が "開かれたファイルが多すぎる" 例外の発生時にブロックを削除してはならない |
| BUG-97869 | KNOX-1190 | Knox SSO の Google OIDC のサポートが壊れている。 |
| BUG-97879 | PHOENIX-4489 | Phoenix MR のジョブで HBase の接続リークが発生する |
| BUG-98392 | RANGER-2007 | ranger-tagsync の Kerberos チケットが更新に失敗する |
| BUG-98484 | 該当なし | Hive のクラウドへの増分レプリケーションが機能しない |
| BUG-98533 | HBASE-19934、HBASE-20008 | Null ポインターの例外により HBase のスナップショットの復元が失敗する |
| BUG-98555 | PHOENIX-4662 | キャッシュの TableResultIterator.java に NullPointerException が再送信される |
| BUG-98579 | HBASE-13716 | Hadoop の FSConstants の使用を停止する |
| BUG-98705 | KNOX-1230 | Knox への同時要求が多いと URL が分割される |
| BUG-98983 | KNOX-1108 | NiFiHaDispatch がフェールオーバーしない |
| BUG-99107 | HIVE-19054 | 関数レプリケーションが "hive.repl.replica.functions.root.dir" をルートとして使用する必要がある |
| BUG-99145 | RANGER-2035 | Oracle のバックエンドで空の implClass により servicedefs へのアクセスが失敗する |
| BUG-99160 | SLIDER-1259 | スライダーがマルチホーム環境で機能しない |
| BUG-99239 | ATLAS-2462 | すべてのテーブルの Sqoop のインポートでコマンドにテーブルが指定されないと NPE がスローされる |
| BUG-99301 | ATLAS-2530 | hive_process および hive_column_lineage の名前属性の先頭に新しい行 |
| BUG-99453 | HIVE-19065 | metastore クライアントの互換性チェックに syncMetaStoreClient が含まれている必要がある |
| BUG-99521 | 該当なし | 反復子が再インスタンス化されたときに HashJoin の ServerCache が再作成されない |
| BUG-99590 | PHOENIX-3518 | RenewLeaseTask でメモリ リークが発生する |
| BUG-99618 | SPARK-23599、SPARK-23806 | Spark2 を 2.3.0+ (3/28) に更新する |
| BUG-99672 | ATLAS-2524 | Hive Hook と V2 通知 - 'alter view as' 操作の処理が正しくない |
| BUG-99809 | HBASE-20375 | hbase-spark モジュールで getCurrentUserCredentials の使用を削除する |
サポート可能性
| バグ ID | Apache JIRA | まとめ |
|---|---|---|
| BUG-87343 | HIVE-18031 | Alter Database 操作のレプリケーションをサポートする。 |
| BUG-91293 | RANGER-2060 | Ranger で knox-sso を使用した Knox プロキシが動作しない |
| BUG-93116 | RANGER-1957 | 増分同期が有効になっていると、Ranger Usersync がユーザーまたはグループを定期的に同期しない。 |
| BUG-93577 | RANGER-1938 | オーディオ セットアップの Solr が DocValue を効果的に使用しない |
| BUG-96082 | RANGER-1982 | Ranger Admin と Ranger Kms の分析メトリックのエラーを改善する |
| BUG-96479 | HDFS-12781 | Datanode が停止すると、Namenode UI の [Datanode] タブに警告メッセージがスローされる。 |
| BUG-97864 | HIVE-18833 | "orcfile としてディレクトリに挿入" すると自動マージが失敗する |
| BUG-98814 | HDFS-13314 | NameNode は FsImage の破損を検出した場合に必要に応じて終了する必要がある |
アップグレード
| バグ ID | Apache JIRA | まとめ |
|---|---|---|
| BUG-100134 | SPARK-22919 | "Apache の httpclient のバージョンをバンプする" を元に戻す |
| BUG-95823 | 該当なし | Knox: Beanutils をアップグレードする |
| BUG-96751 | KNOX-1076 | nimbus-jose-jwt を 4.41.2 に更新する |
| BUG-97864 | HIVE-18833 | "orcfile としてディレクトリに挿入" すると自動マージが失敗する |
| BUG-99056 | HADOOP-13556 | 反復子の代わりに getProps を使用するように Configuration.getPropsWithPrefix を変更する |
| BUG-99378 | ATLAS-2461、ATLAS-2554 | Titan グラフ データベースの Atlas データをエクスポートする移行ユーティリティ |
使いやすさ
| バグ ID | Apache JIRA | まとめ |
|---|---|---|
| BUG-100045 | HIVE-19056 | ORC ファイルの行数が 0 のときに FixAcidKeyIndex で IllegalArgumentException が発生する |
| BUG-100139 | KNOX-1243 | KnoxToken サービスで構成されている必要な DN を正規化する |
| BUG-100570 | ATLAS-2557 | UGI からのグループが間違って設定されている、または空でないときに、Hadoop ldap のグループを lookup するように修正する |
| BUG-100646 | ATLAS-2102 | Atlas UI の改善: 検索結果ページ |
| BUG-100737 | HIVE-19049 | Druid の ALTER TABLE ADD 列のサポートを追加する |
| BUG-100750 | KNOX-1246 | Ranger の最新の構成をサポートするよう Knox でサービスの構成を更新する。 |
| BUG-100965 | ATLAS-2581 | V2 Hive Hook の通知の回帰: テーブルを別のデータベースに移動する |
| BUG-84413 | ATLAS-1964 | UI: 検索テーブルの列の整列をサポートする |
| BUG-90570 | HDFS-11384、HDFS-12347 | NameNode の rpc.CallQueueLength の急増を回避するために、バランサーに getBlocks 呼び出しを分散するためのオプションを追加する |
| BUG-90584 | HBASE-19052 | ブランチ 1.x で FixedFileTrailer が CellComparatorImpl クラスを認識する必要がある |
| BUG-90979 | KNOX-1224 | HA で Atlas をサポートする Knox プロキシ HADispatcher。 |
| BUG-91293 | RANGER-2060 | Ranger で knox-sso を使用した Knox プロキシが動作しない |
| BUG-92236 | ATLAS-2281 | null/not null のフィルターによるタグ/型属性フィルターのクエリを保存する。 |
| BUG-92238 | ATLAS-2282 | お気に入りの検索結果が 25 を超えるとき、保存されたお気に入りの検索が作成後の更新時にのみ表示される。 |
| BUG-92333 | ATLAS-2286 | 事前に構築された型 'kafka_topic' が 'topic' 属性を一意として宣言してはならない |
| BUG-92678 | ATLAS-2276 | hdfs_path 型エンティティのパス値が hive-bridge から小文字に設定される。 |
| BUG-93097 | RANGER-1944 | 管理者監査のアクション フィルターが機能しない |
| BUG-93135 | HIVE-15874、HIVE-18189 | hive.groupby.orderby.position.alias が true に設定されると、Hive クエリが間違った結果を返す |
| BUG-93136 | HIVE-18189 | cbo が無効になっていると、位置による並べ替えが機能しない |
| BUG-93387 | HIVE-17600 | ユーザーが OrcFile の enforceBufferSize を設定できるようにする。 |
| BUG-93495 | RANGER-1937 | Atlas のインポート機能をサポートするように、Ranger tagsync が ENTITY_CREATE の通知を処理する必要がある |
| BUG-93512 | PHOENIX-4466 | java.lang.RuntimeException: 応答コード 500 - Phoenix のクエリ サーバーに接続し、データを読み込む Spark ジョブを実行する |
| BUG-93801 | HBASE-19393 | SSL を使用した HBase UI へのアクセス中に HTTP 413 FULL head が発生する。 |
| BUG-93804 | HIVE-17419 | ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS コマンドが、マスクされたテーブルの計算された統計情報を表示する |
| BUG-93932 | ATLAS-2320 | クエリによる分類 "*" が 500 内部サーバー例外をスローする。 |
| BUG-93933 | ATLAS-2286 | 事前に構築された型 'kafka_topic' が 'topic' 属性を一意として宣言してはならない |
| BUG-93938 | ATLAS-2283、ATLAS-2295 | 分類用の UI の更新 |
| BUG-93941 | ATLAS-2296、ATLAS-2307 | オプションでサブタイプ エンティティとサブ分類タイプを除外するよう基本的な検索を改善する |
| BUG-93944 | ATLAS-2318 | UI: 子タグを 2 回クリックすると、親タグが選択される |
| BUG-93946 | ATLAS-2319 | UI: フラット構造とツリー構造の両方でタグ一覧の 25 を超える位置にあるタグを削除するには更新が必要である。 |
| BUG-93977 | HIVE-16232 | QuotedIdentifier 内の列の統計の計算をサポートする |
| BUG-94030 | ATLAS-2332 | コレクションのデータ型が入れ子になっている場合、属性を使用した型の作成が失敗する |
| BUG-94099 | ATLAS-2352 | Atlas サーバーが Kerberos DelegationToken の有効性を指定する構成を提供する必要がある |
| BUG-94280 | HIVE-12785 | 構造体を `キャストする` ための共用体型および UDF によるビューが壊れている |
| BUG-94332 | SQOOP-2930 | Sqoop のジョブの実行が保存されたジョブの汎用のプロパティをオーバーライドしない |
| BUG-94428 | 該当なし | Dataplane プロファイラー エージェント REST API Knox サポート |
| BUG-94514 | ATLAS-2339 | UI: 基本的な検索の結果ビューの "列" を修正すると DSL にも影響が及ぶ。 |
| BUG-94515 | ATLAS-2169 | ハードの削除が構成されると削除要求が失敗する |
| BUG-94518 | ATLAS-2329 | ユーザーが正しくない別のタグをクリックすると、Atlas UI の複数のホバーが表示される |
| BUG-94519 | ATLAS-2272 | 検索条件の保存 API を使用してドラッグした列の状態を保存する。 |
| BUG-94627 | HIVE-17731 | 外部ユーザーに対して HIVE-11985 への後方 compat オプションを追加する |
| BUG-94786 | HIVE-6091 | 接続の作成/切断用に空の pipeout ファイルが作成される |
| BUG-94793 | HIVE-14013 | テーブル定義が Unicode を正しく表示しない |
| BUG-94900 | OOZIE-2606、OOZIE-2658、OOZIE-2787、OOZIE-2802 | Spark 2.0 を Oozie で修正するために spark.yarn.jars を設定する |
| BUG-94901 | HBASE-19285 | テーブルごとの待機時間ヒストグラムを追加する |
| BUG-94908 | ATLAS-1921 | UI: エンティティと特性の属性を使用して検索する。UI によって範囲チェックが行われず、整数および浮動小数点数のデータ型に範囲外の値を指定することが許可される。 |
| BUG-95086 | RANGER-1953 | ユーザー グループ ページ一覧の改善 |
| BUG-95193 | SLIDER-1252 | Python 2.7.5-58 で Slider エージェントが SSL 検証エラーにより失敗する |
| BUG-95314 | YARN-7699 | getApp REST API 呼び出しで queueUsagePercentage が INF になる |
| BUG-95315 | HBASE-13947、HBASE-14517、HBASE-17931 | 最上位バージョンのサーバーにシステム テーブルを割り当てる |
| BUG-95392 | ATLAS-2421 | V2 のデータ構造をサポートするための通知の更新 |
| BUG-95476 | RANGER-1966 | 一部のケースで、ポリシー エンジンの初期化によりコンテキスト エンリッチャーが作成されない |
| BUG-95512 | HIVE-18467 | ウェアハウス ダンプ / 読み込み + データベース イベントの作成/ドロップ全体をサポートする |
| BUG-95593 | 該当なし | Spark2sharelib の作成をサポートするように Oozie DB ユーティリティを拡張する |
| BUG-95595 | HIVE-15563 | SQLOperation.runQuery の不正な操作の状態遷移の例外を無視して、実際の例外を公開する。 |
| BUG-95685 | ATLAS-2422 | エクスポート: 型ベースのエクスポートをサポートする |
| BUG-95798 | PHOENIX-2714、PHOENIX-2724、PHOENIX-3023、PHOENIX-3040 | クエリを連続で実行するためにガイドポストを使用してはならない |
| BUG-95969 | HIVE-16828、HIVE-17063、HIVE-18390 | パーティション分割されたビューが FAILED: IndexOutOfBoundsException Index: 1, Size: 1 により失敗する1 |
| BUG-96019 | HIVE-18548 | log4j インポートを修正する |
| BUG-96288 | HBASE-14123、HBASE-14135、HBASE-17850 | HBase のバックアップ/復元のバックポート 2.0 |
| BUG-96313 | KNOX-1119 | Pac4J OAuth/OpenID プリンシパルを構成可能にする必要がある |
| BUG-96365 | ATLAS-2442 | エンティティのリソースに対して読み取り専用のアクセス許可を持つユーザーは基本的な検索を実行できない |
| BUG-96479 | HDFS-12781 | Datanode が停止すると、Namenode UI の [Datanode] タブに警告メッセージがスローされる。 |
| BUG-96502 | RANGER-1990 | Ranger Admin に一方向の SSL MySQL サポートを追加する |
| BUG-96718 | ATLAS-2439 | V2 の通知を使用するように Sqoop のフックを更新する |
| BUG-96748 | HIVE-18587 | DML イベントの挿入によりディレクトリのチェックサムの計算を試行する場合がある |
| BUG-96821 | HBASE-18212 | スタンドアロン モードのローカル ファイルシステムの HBase ログの警告メッセージ: Failed to invoke 'unbuffer' method in class org.apache.hadoop.fs.FSDataInputStream |
| BUG-96847 | HIVE-18754 | REPL STATUS が 'with' 句をサポートする必要がある |
| BUG-96873 | ATLAS-2443 | Capture が送信される DELETE メッセージにエンティティの属性を要求する |
| BUG-96880 | SPARK-23230 | hive.default.fileformat が別の種類のファイルのとき、textfile テーブルを作成すると serde エラーが発生する |
| BUG-96911 | OOZIE-2571、OOZIE-2792、OOZIE-2799、OOZIE-2923 | Spark のオプションの解析を改善する |
| BUG-97100 | RANGER-1984 | HBase の監査ログのレコードに、アクセスした列に関連付けられたすべてのタグが表示されない場合がある |
| BUG-97110 | PHOENIX-3789 | postBatchMutateIndispensably でクロス リージョン インデックス管理呼び出しを実行する |
| BUG-97145 | HIVE-12245、HIVE-17829 | HBase によって裏付けられるテーブルの列のコメントをサポートする |
| BUG-97409 | HADOOP-15255 | LdapGroupsMapping 内のグループ名の大文字/小文字の変換をサポートする |
| BUG-97535 | HIVE-18710 | Hive 2.X で inheritPerms を ACID に拡張する |
| BUG-97742 | OOZIE-1624 | sharelib JAR の除外パターン |
| BUG-97744 | PHOENIX-3994 | RPC のインデックス付けの優先度が、まだ hbase-site.xml のコントローラー ファクトリーのプロパティに依存する |
| BUG-97787 | HIVE-18460 | 圧縮機が ORC ライターに Table プロパティを渡さない |
| BUG-97788 | HIVE-18613 | バイナリ型をサポートするよう JsonSerDe を拡張する |
| BUG-97899 | HIVE-18808 | 統計情報の更新が失敗したときに圧縮をより堅牢にする |
| BUG-98038 | HIVE-18788 | JDBC PreparedStatement 内の入力をクリーンアップする |
| BUG-98383 | HIVE-18907 | HIVE-18817 の ACID キーのインデックスの問題を修正するユーティリティを作成する |
| BUG-98388 | RANGER-1828 | 優れたコーディング プラクティス - Ranger により多くのヘッダーを追加する |
| BUG-98392 | RANGER-2007 | ranger-tagsync の Kerberos チケットが更新に失敗する |
| BUG-98533 | HBASE-19934、HBASE-20008 | Null ポインターの例外により HBase のスナップショットの復元が失敗する |
| BUG-98552 | HBASE-18083、HBASE-18084 | 大きい/小さいファイルのクリーンアップのスレッド数を HFileCleaner で構成できるようにする |
| BUG-98705 | KNOX-1230 | Knox への同時要求が多いと URL が分割される |
| BUG-98711 | 該当なし | service.xml の修正なしに NiFi ディスパッチが双方向 SSL を使用できない |
| BUG-98880 | OOZIE-3199 | システム プロパティの制限を構成可能にする |
| BUG-98931 | ATLAS-2491 | Atlas v2 の通知を使用するよう Hive Hook を更新する |
| BUG-98983 | KNOX-1108 | NiFiHaDispatch がフェールオーバーしない |
| BUG-99088 | ATLAS-2511 | Hive から Atlas にデータベース/テーブルを選択的にインポートするオプションを提供する |
| BUG-99154 | OOZIE-2844、OOZIE-2845、OOZIE-2858、OOZIE-2885 | Spark のクエリが "java.io.FileNotFoundException: hive-site.xml (Permission denied)" の例外により失敗する |
| BUG-99239 | ATLAS-2462 | すべてのテーブルの Sqoop のインポートでコマンドにテーブルが指定されないと NPE がスローされる |
| BUG-99636 | KNOX-1238 | ゲートウェイのトラスト ストアのカスタム設定を修正する |
| BUG-99650 | KNOX-1223 | Zeppelin の Knox プロキシが /api/ticket を期待どおりにリダイレクトしない |
| BUG-99804 | OOZIE-2858 | HiveMain、ShellMain および SparkMain がプロパティをオーバーライドまたはファイルをローカルで構成してはならない |
| BUG-99805 | OOZIE-2885 | Spark アクションを実行するためにクラスパスに Hive を必要としてはならない |
| BUG-99806 | OOZIE-2845 | HiveConf に変数を設定するリフレクションベースのコードを置き換える |
| BUG-99807 | OOZIE-2844 | log4j.properties が見つからないか読み取れないときに、Oozie のアクションの安定性を向上させる |
| RMP-9995 | AMBARI-22222 | ローカル ディスク上の /apps/druid の代わりに /var/druid ディレクトリを使用するように druid を切り替える |
動作の変更
| Apache コンポーネント | Apache JIRA | まとめ | 詳細 |
|---|---|---|---|
| Spark 2.3 | N/A | Apache Spark のリリース ノートに記載されている変更点 | - 「Deprecation」(廃止) のドキュメントと「Change of behavior」(動作変更) のガイド (https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations ) がある - SQL に関する内容については、別の詳細な「Migration」(移行) ガイド (2.2 から 2.3) (https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23|) がある |
| Spark | HIVE-12505 | Spark ジョブは正常に完了するが、HDFS のディスク クォータ超過のエラーが発生する | シナリオ: コマンドを実行するユーザーのごみ箱フォルダー上にクォータが設定されているときに insert overwrite を実行します。 以前の動作: ごみ箱にデータを移動することに失敗しても、ジョブが成功します。 結果に以前にテーブルに存在していたデータの一部が間違って含まれることがあります。 新しい動作: ごみ箱フォルダーへの移動が失敗すると、ファイルは永続的に削除されます。 |
| Kafka 1.0 | N/A | Apache Spark のリリース ノートに記載されている変更点 | https://kafka.apache.org/10/documentation.html#upgrade_100_notable |
| Hive/ Ranger | INSERT OVERWRITE に Ranger Hive の他のポリシーが必要とされる | シナリオ:INSERT OVERWRITE に Ranger Hive の他のポリシーが必要とされる 以前の動作: Hive の INSERT OVERWRITE のクエリが通常どおりに成功します。 新しい動作: HDP-2.6.x にアップグレードすると、Hive の INSERT OVERWRITE のクエリがエラーにより予期せず失敗します。 Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user jdoe does not have WRITE privilege on /tmp/*(state=42000,code=40000) HDP-2.6.0 以降、Hive の INSERT OVERWRITE のクエリで書き込み操作を許可するには、ユーザーに HDFS ポリシーを通じて書き込みアクセス許可が付与されている場合でも、Ranger URI ポリシーが必要です。 回避策/期待されるアクション: 1.Hive リポジトリの下に新しいポリシーを作成します。 2.データベースが表示されるドロップダウンで、[URI] を選択します。 3.パス (例: /tmp/*) を更新します。 4.ユーザーやグループを追加して保存します。 5.insert クエリを再試行します。 |
|
| HDFS | N/A | HDFS が 複数の KMS Uris をサポートする必要がある |
以前の動作: KMS プロバイダー パスの構成に dfs.encryption.key.provider.uri プロパティが使用されていました。 新しい動作: dfs.encryption.key.provider.uri が非推奨になり、KMS プロバイダー パスの構成に hadoop.security.key.provider.path が優先的に使用されるようになりました。 |
| Zeppelin | ZEPPELIN-3271 | スケジューラを無効にするためのオプション | 影響を受けるコンポーネント: Zeppelin サーバー 以前の動作: Zeppelin の以前のリリースでは、スケジューラを無効にするオプションがありませんでした。 新しい動作: 既定でスケジューラが無効になっているため、既定ではユーザーにスケジューラが表示されなくなります。 回避策/期待されるアクション: スケジューラを有効にするには、Ambari から Zeppelin の設定の zeppelin のカスタム サイトの下に、値が true の azeppelin.notebook.cron.enable を追加する必要があります。 |
既知の問題
HDInsight と ADLS Gen 2 の統合 Azure Data Lake Storage Gen 2 を使用する HDInsight ESP クラスターには、ユーザー ディレクトリとアクセス許可に関して次の 2 つの問題があります。
ユーザーのホーム ディレクトリが、ヘッド ノード 1 に作成されません。 回避策として、ディレクトリを手動で作成し、所有権をそれぞれのユーザーの UPN に変更します。
/hdp ディレクトリに対するアクセス許可が、現在は 751 に設定されません。 これを次のように設定する必要があります
chmod 751 /hdp chmod –R 755 /hdp/apps
Spark 2.3
[SPARK-23523][SQL] ルール OptimizeMetadataOnlyQuery により正しくない結果になる
[SPARK-23406] ストリーム間の自己結合でバグが発生する
Azure Data Lake Storage (Gen2) がクラスターの既定のストレージである場合、Spark のサンプル ノートブックは使用できません。
Enterprise セキュリティ パッケージ
- Spark Thrift サーバーは、ODBC クライアントからの接続は受け入れません。
回避策の手順:
- クラスターの作成後、約 15 分間待機します。
- Ranger UI に hivesampletable_policy があることを確認します。
- Spark サービスを再起動します。 これで STS の接続が機能するようになります。
- Spark Thrift サーバーは、ODBC クライアントからの接続は受け入れません。
回避策の手順:
Ranger サービス チェック エラーの回避策
RANGER-1607: 以前の HDP のバージョンから HDP 2.6.2 へのアップグレード中に、Ranger サービス チェック エラーを回避する方法。
注意
SSL が有効な Ranger でのみ有効です。
この問題は、Ambari を使用して以前の HDP のバージョンから HDP-2.6.1 へのアップグレードを試行するときに発生します。 Ambari は curl 呼び出しを使用して、Ambari の Rnager サービスのサービス チェックを行います。 Ambari で使用されている JDK バージョンが JDK-1.7 の場合、curl 呼び出しは以下のエラーで失敗します。
curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failureこのエラーは、Ranger で使用されている Tomcat のバージョンが Tomcat-7.0.7* であることが原因です。 JDK-1.7 の使用は、Tomcat-7.0.7* で提供されている既定の暗号と競合します。
この問題は、次の 2 つの方法で解決できます。
Ambari で使用されている JDK を JDK-1.7 から JDK-1.8 に更新する (Ambari リファレンス ガイドの「Change the JDK Version」(JDK バージョンの変更) のセクションを参照)。
JDK-1.7 環境のサポートを継続する場合:
Ambari Ranger の構成の ranger-admin-site セクションに、プロパティ ranger.tomcat.ciphers を次の値で追加します。
SSL_RSA_WITH_RC4_128_MD5、SSL_RSA_WITH_RC4_128_SHA、TLS_RSA_WITH_AES_128_CBC_SHA、SSL_RSA_WITH_3DES_EDE_CBC_SHA
お使いの環境が Ranger-KMS に対して構成されている場合、Ambari Ranger の構成の ranger-kms-site セクションに、プロパティ ranger.tomcat.ciphers を次の値で追加します。
SSL_RSA_WITH_RC4_128_MD5、SSL_RSA_WITH_RC4_128_SHA、TLS_RSA_WITH_AES_128_CBC_SHA、SSL_RSA_WITH_3DES_EDE_CBC_SHA
Note
記載されている値は実施例であり、お使いの環境を示していない可能性があります。 これらのプロパティを設定した方法が、お使いの環境の構成方法と一致していることを確認します。
RangerUI: ポリシー フォームに入力されているポリシー条件テキストのエスケープ
影響を受けるコンポーネント: Ranger
問題の説明
ユーザーがカスタム ポリシー条件でポリシーを作成することを希望し、式やテキストに特殊文字が含まれている場合、ポリシーの適用が機能しません。 特殊文字は、データベースにポリシーを保存する前に、ASCII に変換されます。
特殊文字: & <> " ` '
たとえば、ポリシーが保存されると、条件 tags.attributes['type']='abc' は次のように変換されます。
tags.attds['dsds']='cssdfs'
編集モードでポリシーを開くと、これらの文字でポリシーの条件を確認できます。
回避策
オプション #1: Ranger REST API でポリシーを作成/更新する
REST URL: http://<host>:6080/service/plugins/policies
ポリシー条件でポリシーを作成する:
次の例では、`tags-test` のタグを含むポリシーを作成し、それを select、update、create、drop、alter、index、lock、all などの hive コンポーネントのすべてのアクセス許可を選択することによって、ポリシー条件 astags.attr['type']=='abc' と共に `public` グループに割り当てます。
例:
curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'ポリシー条件で既存のポリシーを更新する:
次の例では、`tags-test` のタグを含むポリシーを更新し、それを select、update、create、drop、alter、index、lock、all などの hive コンポーネントのすべてのアクセス許可を選択することによって、ポリシー条件 astags.attr['type']=='abc' と共に `public` グループに割り当てます。
REST URL: http://<host-name>:6080/service/plugins/policies/<policy-id>
例:
curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'オプション #2: JavaScript の変更を適用する
JS ファイルを更新する手順:
/usr/hdp/current/ranger-admin の下にある PermissionList.js ファイルを確認する
renderPolicyCondtion 関数の定義を確認する (行番号: 404)。
その関数から次の行を削除します。つまり、display 関数の下 (行番号: 434)
val = _.escape(val);//Line No:460
上記の行を削除すると、Ranger UI で特殊文字を含むポリシー条件を使用してポリシーを作成できるようになり、その同じポリシーでポリシーの評価が正常になります。
HDInsight と ADLS Gen 2 の統合: ESP クラスターでのユーザー ディレクトリとアクセス許可の問題 1. ユーザーのホーム ディレクトリがヘッド ノード 1 に作成されていません。 回避策は、これらを手動で作成し、所有権をそれぞれのユーザーの UPN に変更することです。 2. /hdp に対するアクセス許可が、現在は 751 に設定されません。 これは、次のように設定する必要があります。a. chmod 751 /hdp b. chmod –R 755 /hdp/apps
非推奨
OMS ポータル: HDInsight のリソース ページから OMC ポータルへのリンクを削除しました。 Azure Monitor ログでは当初、その構成を管理したり収集されたデータを分析したりすることを目的とした "OMS ポータル" と呼ばれる独自のポータルが使用されていました。 このポータルの機能はすべて Azure portal に移行され、今後はそちらで開発が継続されることになります。 HDInsight では、OMC ポータルのサポートが非推奨になりました。 お客様は Azure portal の HDInsight Azure Monitor ログの統合を使用します。
Spark 2.3:Spark リリース 2.3.0 の非推奨
アップグレード
これらの機能はすべて HDInsight 3.6 で利用できます。 Spark、Kafka、および Microsoft R Server (Machine Learning Services) の最新バージョンを取得するには、HDInsight 3.6 クラスターを作成するときに、Spark、Kafka、ML Services のバージョンを選択します。 ADLS のサポートを受けるには、オプションとして ADLS ストレージ タイプを選択できます。 既存のクラスターは、これらのバージョンに自動的にはアップグレードされません。
2018 年 6 月以降に作成されたすべての新しいクラスターは、すべてのオープン ソースのプロジェクトにわたって、1000 件を超えるバグ フィックスを自動的に取得します。 より新しい HDInsight のバージョンにアップグレードするベスト プラクティスについては、こちらのガイドに従ってください。