보관된 릴리스 정보

아티클
04/16/2024

요약

Azure HDInsight는 Azure에서 오픈 소스 분석을 위해 기업 고객들 사이에서 가장 인기 있는 서비스 중 하나입니다. HDInsight 및 모든 HDInsight 버전에 대한 최신 정보를 보려면 HDInsight 릴리스 정보를 구독합니다.

구독하려면 배너에서 "시청" 단추를 클릭하고 HDInsight 릴리스를 살펴봅니다.

릴리스 정보

릴리스 날짜: 2024년 2월 15일

이 릴리스는 HDInsight 4.x 및 5.x 버전에 적용됩니다. HDInsight 릴리스는 며칠 동안의 준비 작업을 거쳐 모든 지역에서 사용할 수 있게 됩니다. 이 릴리스는 이미지 번호 2401250802에 적용할 수 있습니다. 이미지 번호를 확인하는 방법

HDInsight는 점진적 지역 배포를 포함하는 안전한 배포 방법을 사용합니다. 모든 지역에서 새 릴리스 또는 새 버전을 사용할 수 있기까지 영업일 기준 최대 10일이 소요될 수 있습니다.

OS 버전

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

참고 항목

Ubuntu 18.04는 Azure HDInsight 2023년 7월 릴리스 이후 Azure Linux 팀의 ESM(확장 보안 유지 관리)에서 지원됩니다.

워크로드별 버전은 다음을 참조하세요.

새로운 기능

엔터프라이즈 보안 패키지가 포함된 Spark 3.3.0(HDInsight 버전 5.1)의 Spark SQL에 대한 Apache Ranger 지원 여기에서 자세히 알아보세요.

해결된 문제

Ambari 및 Oozie 구성 요소의 보안 수정 사항

출시 예정

기본 및 표준 A 시리즈 VM 사용 중지.
- 2024년 8월 31일에 기본/표준 A 시리즈 VM을 사용 중지합니다. 이 날짜가 되기 전에 vCPU별로 더 많은 메모리를 제공하고 SSD(반도체 드라이브)에서 더 빠른 스토리지를 제공하는 Av2 시리즈 VM으로 워크로드를 마이그레이션해야 합니다.
- 서비스 중단을 방지하려면 2024년 8월 31일 마이그레이션에 기본 및 표준 A 시리즈 VM에서 Av2 시리즈 VM으로 워크로드를 마이그레이션합니다.

더 궁금한 점이 있으면 Azure 지원팀에 문의하세요.

Azure HDInsight - Microsoft Q&A에서 HDInsight에 대해 언제든지 문의하실 수 있습니다.

여기에 더 많은 아이디어와 기타 토픽을 추가하고 투표할 수 있습니다-HDInsight 아이디어. 추가 업데이트는 AzureHDInsight Community에서 팔로우하세요.

참고 항목

고객은 최신 버전의 HDInsight 이미지를 사용하여 오픈 소스 업데이트, Azure 업데이트 및 보안 수정 사항을 최대한 활용하는 것이 좋습니다. 자세한 내용은 모범 사례를 참조하세요.

다음 단계

Azure HDInsight는 Azure에서 오픈 소스 분석을 위해 기업 고객들 사이에서 가장 인기 있는 서비스 중 하나입니다. 릴리스 정보를 구독하려면 이 GitHub 리포지토리에서 릴리스를 확인하세요.

릴리스 날짜: 2024년 1월 10일

이 핫픽스 릴리스는 HDInsight 4.x 및 5.x 버전에 적용됩니다. HDInsight 릴리스는 며칠 동안의 준비 작업을 거쳐 모든 지역에서 사용할 수 있게 됩니다. 이 릴리스는 이미지 번호 2401030422에 적용할 수 있습니다. 이미지 번호를 확인하는 방법

OS 버전

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

참고 항목

Ubuntu 18.04는 Azure HDInsight 2023년 7월 릴리스 이후 Azure Linux 팀의 ESM(확장 보안 유지 관리)에서 지원됩니다.

워크로드별 버전은 다음을 참조하세요.

해결된 문제

Ambari 및 Oozie 구성 요소의 보안 수정 사항

출시 예정

기본 및 표준 A 시리즈 VM 사용 중지.
- 2024년 8월 31일에 기본/표준 A 시리즈 VM을 사용 중지합니다. 이 날짜가 되기 전에 vCPU별로 더 많은 메모리를 제공하고 SSD(반도체 드라이브)에서 더 빠른 스토리지를 제공하는 Av2 시리즈 VM으로 워크로드를 마이그레이션해야 합니다.
- 서비스 중단을 방지하려면 2024년 8월 31일 마이그레이션에 기본 및 표준 A 시리즈 VM에서 Av2 시리즈 VM으로 워크로드를 마이그레이션합니다.

더 궁금한 점이 있으면 Azure 지원팀에 문의하세요.

Azure HDInsight - Microsoft Q&A에서 HDInsight에 대해 언제든지 문의하실 수 있습니다.

여기에 더 많은 아이디어와 기타 토픽을 추가하고 투표할 수 있습니다-HDInsight 아이디어. 추가 업데이트는 AzureHDInsight Community에서 팔로우하세요.

참고 항목

릴리스 날짜: 2023년 10월 26일

이 릴리스는 HDInsight 4.x에 적용되며 5.x HDInsight 릴리스는 며칠에 걸쳐 모든 지역에서 사용할 수 있습니다. 이 릴리스는 이미지 번호 2310140056에 적용할 수 있습니다. 이미지 번호를 확인하는 방법

OS 버전

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

워크로드별 버전은 다음을 참조하세요.

새로운 기능

HDInsight는 2023년 11월 1일부터 HDInsight 5.1의 일반 공급에 대해 발표합니다. 이 릴리스는 오픈 소스 구성 요소 및 Microsoft의 통합에 대한 전체 스택 새로 고침을 제공합니다.
- 최신 오픈 소스 버전 – HDInsight 5.1에는 안정적인 최신 오픈 소스 버전이 제공됩니다. 고객은 모든 최신 오픈 소스 기능, Microsoft 성능 향상 및 버그 수정 혜택을 받을 수 있습니다.
- 보안 – 최신 버전에는 Microsoft의 오픈 소스 보안 수정 및 보안 개선 사항 모두에 대한 최신 보안 수정 사항이 제공됩니다.
- 낮은 TCO – 성능 향상을 통해 고객은 향상된 자동 크기 조정과 함께 운영 비용을 낮출 수 있습니다.
보안 스토리지에 대한 클러스터 권한
- 고객은 (클러스터를 만드는 동안) HDInsight 클러스터 노드에 보안 채널을 사용하여 스토리지 계정에 연결할지 여부를 지정할 수 있습니다.
사용자 지정 VNet을 사용하여 HDInsight 클러스터 만들기
- HDInsight 클러스터의 전반적인 보안 태세를 개선하려면 사용자 지정 VNET을 사용하는 HDInsight 클러스터는 사용자가 만들기 작업을 수행하기 위해 Microsoft Network/virtualNetworks/subnets/join/action에 대한 권한이 있는지 확인해야 합니다. 이 검사를 사용하도록 설정하지 않으면 고객이 생성 실패에 직면할 수 있습니다.
비 ESP ABFS 클러스터 [Word 읽기 가능에 대한 클러스터 권한]
- ESP ABFS 클러스터가 아닌 클러스터는 비 Hadoop 그룹 사용자가 스토리지 작업을 위해 Hadoop 명령을 실행하지 못하도록 제한합니다. 클러스터 보안 상태를 개선하기 위한 변경 내용입니다.
인라인 할당량 업데이트.
- 이제 내 할당량 페이지에서 직접 할당량 증가를 요청할 수 있습니다. 직접 API 호출을 사용하면 훨씬 더 빠릅니다. API 호출이 실패하는 경우 할당량 증가에 대한 새 지원 요청을 만들 수 있습니다.

출시 예정

클러스터의 보안 태세를 강화하기 위해 클러스터 이름의 최대 길이가 59자에서 45자로 변경됩니다. 이 변경 내용은 이후 릴리스를 시작하는 모든 지역에 롤아웃됩니다.
기본 및 표준 A 시리즈 VM 사용 중지.
- 2024년 8월 31일에 기본 및 표준 A 시리즈 VM을 사용 중지합니다. 이 날짜가 되기 전에 vCPU별로 더 많은 메모리를 제공하고 SSD(반도체 드라이브)에서 더 빠른 스토리지를 제공하는 Av2 시리즈 VM으로 워크로드를 마이그레이션해야 합니다.
- 서비스 중단을 방지하려면 2024년 8월 31일 마이그레이션에 기본 및 표준 A 시리즈 VM에서 Av2 시리즈 VM으로 워크로드를 마이그레이션합니다.

더 궁금한 점이 있으면 Azure 지원팀에 문의하세요.

Azure HDInsight - Microsoft Q&A에서 HDInsight에 대해 언제든지 문의하실 수 있습니다.

여기에 더 많은 아이디어와 기타 토픽을 추가하고 투표할 수 있습니다-HDInsight 아이디어. 추가 업데이트는 AzureHDInsight Community에서 팔로우하세요.

참고 항목

이 릴리스에서는 2023년 9월 12일에 MSRC에서 릴리스된 다음 CVE를 해결합니다. 작업은 최신 이미지 2308221128 또는 2310140056으로 업데이트하는 것입니다. 고객은 이에 따라 계획을 세우는 것이 좋습니다.

CVE	심각도	CVE 제목	설명
CVE-2023-38156	Important	Azure HDInsight Apache Ambari 권한 상승 취약성	이미지 2308221128 또는 2310140056에 포함됨
CVE-2023-36419	Important	Azure HDInsight Apache Oozie 워크플로 스케줄러 권한 상승 취약성	클러스터에 스크립트 작업 적용 또는 2310140056 이미지로 업데이트

참고 항목

릴리스 날짜: 2023년 9월 7일

이 릴리스는 HDInsight 4.x에 적용되며 5.x HDInsight 릴리스는 며칠에 걸쳐 모든 지역에서 사용할 수 있습니다. 이 릴리스는 이미지 번호 2308221128 적용할 수 있습니다. 이미지 번호를 확인하는 방법

OS 버전

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

워크로드별 버전은 다음을 참조하세요.

Important

이 릴리스에서는 2023년 9월 12일에 MSRC에서 릴리스된 다음 CVE를 해결합니다. 작업은 최신 이미지 2308221128로 업데이트하는 것입니다. 고객은 이에 따라 계획을 세우는 것이 좋습니다.

CVE	심각도	CVE 제목	설명
CVE-2023-38156	Important	Azure HDInsight Apache Ambari 권한 상승 취약성	2308221128 이미지에 포함되었습니다.
CVE-2023-36419	Important	Azure HDInsight Apache Oozie 워크플로 스케줄러 권한 상승 취약성	클러스터에 스크립트 작업을 적용합니다.

서비스 예정

클러스터의 보안 태세를 강화하기 위해 클러스터 이름의 최대 길이가 59자에서 45자로 변경됩니다. 이 변경 내용은 2023년 9월 30일까지 시행됩니다.
보안 스토리지에 대한 클러스터 권한
- 고객은 (클러스터를 만드는 동안) HDInsight 클러스터 노드에 보안 채널을 사용하여 스토리지 계정에 연결할지 여부를 지정할 수 있습니다.
인라인 할당량 업데이트.
- 내 할당량 페이지에서 직접 할당량 증가를 요청합니다. 이는 직접 API 호출로 더 빠릅니다. API 호출이 실패하면 고객은 할당량 증가에 대한 새로운 지원 요청을 만들어야 합니다.
사용자 지정 VNet을 사용하여 HDInsight 클러스터 만들기
- HDInsight 클러스터의 전반적인 보안 태세를 개선하려면 사용자 지정 VNET을 사용하는 HDInsight 클러스터는 사용자가 만들기 작업을 수행하기 위해 Microsoft Network/virtualNetworks/subnets/join/action에 대한 권한이 있는지 확인해야 합니다. 이 변경 내용은 2023년 9월 30일 이전에 클러스터 만들기 실패를 방지하기 위한 필수 확인 사항이므로 고객은 그에 따라 계획을 세워야 합니다. 
기본 및 표준 A 시리즈 VM 사용 중지.
- 2024년 8월 31일에 기본/표준 A 시리즈 VM을 사용 중지합니다. 이 날짜가 되기 전에 vCPU별로 더 많은 메모리를 제공하고 SSD(반도체 드라이브)에서 더 빠른 스토리지를 제공하는 Av2 시리즈 VM으로 워크로드를 마이그레이션해야 합니다. 서비스 중단을 방지하려면 2024년 8월 31일 마이그레이션에 기본 및 표준 A 시리즈 VM에서 Av2 시리즈 VM으로 워크로드를 마이그레이션합니다.
비 ESP ABFS 클러스터[워드 읽기 가능 클러스터 사용]
- 비 ESP ABFS 클러스터의 변경을 도입하여 비 Hadoop 그룹 사용자가 스토리지 작업을 위해 Hadoop 명령을 실행하지 못하도록 제한할 계획입니다. 클러스터 보안 상태를 개선하기 위한 변경 내용입니다. 고객은 2023년 9월 30일 이전에 업데이트를 계획해야 합니다.

더 궁금한 점이 있으면 Azure 지원팀에 문의하세요.

Azure HDInsight - Microsoft Q&A에서 HDInsight에 대해 언제든지 문의하실 수 있습니다.

여기에 더 많은 제안과 아이디어, 기타 항목을 추가하고 응답할 수 있습니다(HDInsight 커뮤니티(azure.com)).

참고 항목

릴리스 날짜: 2023년 7월 25일

이 릴리스는 HDInsight 4.x에 적용되며 5.x HDInsight 릴리스는 며칠에 걸쳐 모든 지역에서 사용할 수 있습니다. 이 릴리스는 이미지 번호 2307201242를 적용할 수 있습니다. 이미지 번호를 확인하는 방법

OS 버전

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

워크로드별 버전은 다음을 참조하세요.

새로운 기능

HDInsight 5.1은 이제 ESP 클러스터에서 지원됩니다.
Ranger 2.3.0 및 Oozie 5.2.1의 업그레이드된 버전은 이제 HDInsight 5.1의 일부입니다.
Spark 3.3.1(HDInsight 5.1) 클러스터는 Interactive Query(HDInsight 5.1) 클러스터와 함께 작동하는 HWC(Hive Warehouse Connector) 2.1과 함께 제공됩니다.
Ubuntu 18.04는 Azure HDInsight 2023년 7월 릴리스 이후 Azure Linux 팀의 ESM(확장 보안 유지 관리)에서 지원됩니다.

Important

이 릴리스에서는 2023년 8월 8일에 MSRC에서 릴리스된 다음 CVE를 해결합니다. 작업은 최신 이미지 2307201242로 업데이트하는 것입니다. 고객은 이에 따라 계획을 세우는 것이 좋습니다.

CVE	심각도	CVE 제목
CVE-2023-35393	Important	Azure Apache Hive 스푸핑 취약성
CVE-2023-35394	Important	Azure HDInsight Jupyter Notebook 스푸핑 취약성
CVE-2023-36877	Important	Azure Apache Oozie 스푸핑 취약성
CVE-2023-36881	Important	Azure Apache Ambari 스푸핑 취약성
CVE-2023-38188	Important	Azure Apache Hadoop 스푸핑 취약성

출시 예정

클러스터의 보안 태세를 강화하기 위해 클러스터 이름의 최대 길이가 59자에서 45자로 변경됩니다. 고객은 2023년 9월 30일 이전에 업데이트를 계획해야 합니다.
보안 스토리지에 대한 클러스터 권한
- 고객은 (클러스터를 만드는 동안) HDInsight 클러스터 노드에 보안 채널을 사용하여 스토리지 계정에 연결할지 여부를 지정할 수 있습니다.
인라인 할당량 업데이트.
- 내 할당량 페이지에서 직접 할당량 증가를 요청합니다. 이는 직접 API 호출로 더 빠릅니다. API 호출이 실패하면 고객은 할당량 증가에 대한 새로운 지원 요청을 만들어야 합니다.
사용자 지정 VNet을 사용하여 HDInsight 클러스터 만들기
- HDInsight 클러스터의 전반적인 보안 태세를 개선하려면 사용자 지정 VNET을 사용하는 HDInsight 클러스터는 사용자가 만들기 작업을 수행하기 위해 Microsoft Network/virtualNetworks/subnets/join/action에 대한 권한이 있는지 확인해야 합니다. 이 변경 내용은 2023년 9월 30일 이전에 클러스터 만들기 실패를 방지하기 위한 필수 확인 사항이므로 고객은 그에 따라 계획을 세워야 합니다. 
기본 및 표준 A 시리즈 VM 사용 중지
- 2024년 8월 31일에 기본/표준 A 시리즈 VM을 사용 중지합니다. 이 날짜가 되기 전에 vCPU별로 더 많은 메모리를 제공하고 SSD(반도체 드라이브)에서 더 빠른 스토리지를 제공하는 Av2 시리즈 VM으로 워크로드를 마이그레이션해야 합니다. 서비스 중단을 방지하려면 2024년 8월 31일 마이그레이션에 기본 및 표준 A 시리즈 VM에서 Av2 시리즈 VM으로 워크로드를 마이그레이션합니다.
비 ESP ABFS 클러스터[워드 읽기 가능 클러스터 사용]
- 비 ESP ABFS 클러스터의 변경을 도입하여 비 Hadoop 그룹 사용자가 스토리지 작업을 위해 Hadoop 명령을 실행하지 못하도록 제한할 계획입니다. 클러스터 보안 상태를 개선하기 위한 변경 내용입니다. 고객은 2023년 9월 30일 이전에 업데이트를 계획해야 합니다.

더 궁금한 점이 있으면 Azure 지원팀에 문의하세요.

Azure HDInsight - Microsoft Q&A에서 HDInsight에 대해 언제든지 문의하실 수 있습니다.

여기에 더 많은 제안과 아이디어, 기타 항목을 추가하고 응답할 수 있습니다(HDInsight 커뮤니티(azure.com)). 추가 업데이트는 twitter에서 팔로우하세요.

참고 항목

릴리스 날짜: 2023년 5월 8일

이 릴리스는 HDInsight 4.x에 적용되며 5.x HDInsight 릴리스는 며칠에 걸쳐 모든 지역에서 사용할 수 있습니다. 이 릴리스는 이미지 번호 2304280205를 적용할 수 있습니다. 이미지 번호를 확인하는 방법

OS 버전

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

워크로드별 버전은 다음을 참조하세요.

Azure HDInsight 5.1이 업데이트됨
1. Apache HBase 2.4.11
2. Apache Phoenix 5.1.2
3. Apache Hive 3.1.2
4. 아파치 스파크 3.3.1
5. Apache Tez 0.9.1
6. Apache Zeppelin 0.10.1
7. Apache Livy 0.5
8. Apache Kafka 3.2.0
참고 항목
- 모든 구성 요소는 Hadoop 3.3.4 및 ZK 3.6.3과 통합됩니다.
- 업그레이드된 모든 구성 요소는 이제 공개 미리 보기를 위해 비 ESP 클러스터에서 사용할 수 있습니다.

HDInsight의 향상된 자동 스케일링

Azure HDInsight는 자동 스케일링의 안정성 및 대기 시간을 크게 개선했으며, 중요한 변경 사항에는 스케일링 결정에 대한 피드백 루프 개선, 스케일링 대기 시간에 대한 상당한 개선 및 서비스 해제된 노드 서비스 등록, 향상된 기능에 대한 자세한 정보, 클러스터를 사용자 지정 구성하고 향상된 자동 스케일링으로 마이그레이션하는 방법이 포함됩니다. 향상된 자동 스케일링 기능은 지원되는 모든 지역에서 2023년 5월 17일부터 사용할 수 있습니다.
Apache Kafka 2.4.1용 Azure HDInsight ESP가 이제 일반 공급됩니다.

Apache Kafka 2.4.1용 Azure HDInsight ESP는 2022년 4월부터 공개 미리 보기로 제공됩니다. CVE 수정 및 안정성이 크게 개선된 후 Azure HDInsight ESP Kafka 2.4.1은 이제 프로덕션 워크로드에 대해 일반 공급되고 준비됩니다. 구성 및 마이그레이션 방법에 대한 세부 정보를 알아보세요.
HDInsight에 대한 할당량 관리

HDInsight는 현재 지역 수준에서 고객 구독에 할당량을 할당합니다. 고객에게 할당된 코어는 일반용이며 VM 제품군 수준에서 분류되지 않습니다(예: Dv2, Ev3, Eav4 등).

HDInsight는 가족 수준 VM에 대한 할당량 세부 정보와 분류를 제공하는 향상된 보기를 도입했으며, 이 기능을 통해 고객은 VM 제품군 수준에서 지역의 현재 할당량과 남은 할당량을 볼 수 있습니다. 향상된 보기를 통해 고객은 할당량 계획 및 더 나은 사용자 환경을 위해 보다 풍부한 가시성을 확보합니다. 이 기능은 현재 미국 동부 EUAP 지역의 HDInsight 4.x 및 5.x에서 사용할 수 있습니다. 다른 지역은 나중에 사용 가능합니다.

자세한 내용은 Azure HDInsight의 클러스터 용량 계획 | Microsoft Learn을 참조하세요.

폴란드 중부

클러스터의 보안 태세를 강화하기 위해 클러스터 이름의 최대 길이가 59자에서 45자로 변경됩니다.
보안 스토리지에 대한 클러스터 권한
- 고객은 (클러스터를 만드는 동안) HDInsight 클러스터 노드에 보안 채널을 사용하여 스토리지 계정에 연결할지 여부를 지정할 수 있습니다.
인라인 할당량 업데이트
- 내 할당량 페이지에서 직접 할당량 증가를 요청합니다. 이는 직접 API 호출로 더 빠릅니다. API 호출이 실패하면 고객은 할당량 증가에 대한 새로운 지원 요청을 만들어야 합니다.
사용자 지정 VNet을 사용하여 HDInsight 클러스터 만들기
- HDInsight 클러스터의 전반적인 보안 태세를 개선하려면 사용자 지정 VNET을 사용하는 HDInsight 클러스터는 사용자가 만들기 작업을 수행하기 위해 Microsoft Network/virtualNetworks/subnets/join/action에 대한 권한이 있는지 확인해야 합니다. 이 내용은 클러스터 만들기 실패를 방지하기 위한 필수 확인 사항이므로 고객은 그에 따라 계획을 세워야 합니다.
기본 및 표준 A 시리즈 VM 사용 중지
- 2024년 8월 31일에 기본/표준 A 시리즈 VM을 사용 중지합니다. 이 날짜가 되기 전에 vCPU별로 더 많은 메모리를 제공하고 SSD(반도체 드라이브)에서 더 빠른 스토리지를 제공하는 Av2 시리즈 VM으로 워크로드를 마이그레이션해야 합니다. 서비스 중단을 방지하려면 2024년 8월 31일 마이그레이션에 기본 및 표준 A 시리즈 VM에서 Av2 시리즈 VM으로 워크로드를 마이그레이션합니다.
비 ESP ABFS 클러스터 [월드 읽기 가능 클러스터 사용 권한]
- 비 ESP ABFS 클러스터의 변경을 도입하여 비 Hadoop 그룹 사용자가 스토리지 작업을 위해 Hadoop 명령을 실행하지 못하도록 제한할 계획입니다. 클러스터 보안 상태를 개선하기 위한 변경 내용입니다. 고객은 업데이트를 계획해야 합니다.

릴리스 날짜: 2023년 2월 28일

이 릴리스는 HDInsight 4.0에 적용됩니다. 및 5.0, 5.1 HDInsight 릴리스는 며칠 동안의 준비 작업을 거쳐 모든 지역에서 사용할 수 있습니다. 이 릴리스는 이미지 번호 2302250400 적용할 수 있습니다. 이미지 번호를 확인하는 방법

OS 버전

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

워크로드별 버전은 다음을 참조하세요.

Important

Microsoft는 현재 릴리스에서 수정된 CVE-2023-23408을 발급했으며 고객은 클러스터를 최신 이미지로 업그레이드하는 것이 좋습니다.

HDInsight 5.1

새 버전의 HDInsight 5.1을 출시하기 시작했습니다. 모든 새 오픈 소스 릴리스는 HDInsight 5.1에서 증분 릴리스로 추가됩니다.

자세한 내용은 HDInsight 5.1.0을 참조하세요.

Kafka 3.2.0 업그레이드(미리 보기)

Kafka 3.2.0에는 몇 가지 중요한 새로운 기능/개선 사항이 포함되어 있습니다.
- Zookeeper를 3.6.3으로 업그레이드했습니다.
- Kafka Streams 지원
- 기본적으로 사용하도록 설정된 Kafka 생산자에 대한 더 강력한 제공 보장.
- log4j 1.x 대체 이름 reload4j
- 파티션을 복구하기 위해 파티션 리더에 힌트를 보냅니다.
- JoinGroupRequest 및 LeaveGroupRequest 에는 이유가 연결되어 있습니다.
- Broker 개수 metric8이 추가되었습니다.
- 사소한 Maker2 개선 사항

HBase 2.4.11 업그레이드(미리 보기)

이 버전에는 블록 캐시에 대한 새로운 캐싱 메커니즘 유형 추가, HBase WEB UI에서 hbase:meta table을 변경하고 hbase:meta 테이블을 보는 기능과 같은 새로운 기능이 있습니다.

Phoenix 5.1.2 업그레이드(미리 보기)

Phoenix 버전은 이 릴리스에서 5.1.2로 업그레이드되었습니다. 이 업그레이드에는 Phoenix Query Server가 포함됩니다. Phoenix Query Server는 표준 Phoenix JDBC 드라이버를 프록시하고 이전 버전과 호환되는 유선 프로토콜을 제공하여 해당 JDBC 드라이버를 호출합니다.

Ambari CVEs

여러 Ambari CVE가 수정되었습니다.

참고 항목

ESP는 이 릴리스에서 Kafka 및 HBase에 대해 지원되지 않습니다.

Spark 2.4에서 Azure HDInsight 클러스터에 대한 지원 종료 2024년 2월 10일. 자세한 내용은 Azure HDInsight에서 지원되는 Spark 버전을 참조하세요.

다음 단계

{b>자동 스케일링
향상된 대기 시간으로 자동 스케일링 및 몇 가지 개선 사항

클러스터 이름 변경 제한

클러스터 이름의 최대 길이는 공용, Azure 중국 및 Azure Government에서 59에서 45로 변경됩니다.

보안 스토리지에 대한 클러스터 권한

고객은 (클러스터를 만드는 동안) HDInsight 클러스터 노드에 보안 채널을 사용하여 스토리지 계정에 연결할지 여부를 지정할 수 있습니다.

비 ESP ABFS 클러스터 [월드 읽기 가능 클러스터 사용 권한]

비 ESP ABFS 클러스터의 변경을 도입하여 비 Hadoop 그룹 사용자가 스토리지 작업을 위해 Hadoop 명령을 실행하지 못하도록 제한할 계획입니다. 클러스터 보안 상태를 개선하기 위한 변경 내용입니다. 고객은 업데이트를 계획해야 합니다.

오픈 소스 업그레이드

Apache Spark 3.3.0 및 Hadoop 3.3.4는 HDInsight 5.1에서 개발 중이며 몇 가지 중요한 새로운 기능, 성능 및 기타 개선 사항을 포함합니다.

참고 항목

릴리스 날짜: 2022년 12월 12일

이 릴리스는 HDInsight 4.0에 적용됩니다. 및 5.0 HDInsight 릴리스는 며칠 동안의 준비 작업을 거쳐 모든 지역에서 사용할 수 있게 됩니다.

OS 버전

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

워크로드별 버전은 여기를 참조하세요.

Log Analytics - 고객은 클래식 모니터링을 사용하도록 설정하여 최신 OMS 버전 14.19를 가져올 수 있습니다. 이전 버전을 제거하려면 클래식 모니터링을 사용하지 않도록 설정했다가 다시 사용하도록 설정합니다.
비활성으로 인한 Ambari 사용자 자동 UI 로그아웃 자세한 내용은 여기를 참조하세요.
Spark - Spark 3.1.3의 최적화된 새 버전이 이 릴리스에 포함되어 있습니다. TPC-DS 벤치마크를 사용하여 Apache Spark 3.1.2(이전 버전) 및 Apache Spark 3.1.3(현재 버전)을 테스트했습니다. 이 테스트는 1TB 워크로드의 Apache Spark용 E8 V3 SKU를 사용하여 수행되었습니다. Apache Spark 3.1.3(현재 버전)은 동일한 하드웨어 사양을 사용하는 TPC-DS 쿼리에 대한 총 쿼리 런타임에서 Apache Spark 3.1.2(이전 버전)를 40% 이상 능가했습니다. Microsoft Spark 팀은 Azure HDInsight가 있는 Azure Synapse에서 사용할 수 있는 최적화를 추가했습니다. 자세한 내용은 Azure Synapse에서 Apache Spark 3.1.2에 대한 성능 업데이트를 통해 데이터 워크로드 가속화를 참조하세요.

카타르 중부
독일 북부

HDInsight는 Azul Zulu Java JDK 8에서 고품질 TCK 인증 런타임을 지원하는 Adoptium Temurin JDK 8 및 Java 에코시스템에서 사용하기 위한 관련 기술로 전환되었습니다.
HDInsight는 reload4j(으)로 마이그레이션되었습니다. log4j 변경 내용은 다음에 적용됩니다.
- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger
- Apache Sqoop
- Apache Pig
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Livy
- Apache Rubix
- Apache Hive
- Apache Tez
- Apache HBase
- OMI
- Apache Pheonix

앞으로 TLS1.2를 구현하기 위한 HDInsight 및 이전 버전이 플랫폼에서 업데이트됩니다. HDInsight를 기반으로 애플리케이션을 실행하고 있으며 TLS 1.0 및 1.1을 사용하는 경우 서비스 중단을 방지하기 위해 TLS 1.2로 업그레이드하세요.

자세한 내용은 TLS(전송 계층 보안)를 사용하도록 설정하는 방법을 참조하세요.

Ubuntu 16.04 LTS의 Azure HDInsight 클러스터에 대한 지원 종료는 2022년 11월 30일부터 시작되었습니다. HDInsight는 2021년 6월 27일부터 Ubuntu 18.04를 사용하여 클러스터 이미지 릴리스를 시작합니다. Ubuntu 16.04를 사용하여 클러스터를 실행하는 고객은 2022년 11월 30일까지 최신 HDInsight 이미지로 클러스터를 다시 빌드하는 것이 좋습니다.

클러스터의 Ubuntu 버전을 검사하는 방법에 대한 자세한 내용은 여기를 참조하세요.

터미널에서 "lsb_release -a" 명령을 실행합니다.
출력의 "Description" 속성 값이 "Ubuntu 16.04 LTS"인 경우 이 업데이트를 클러스터에 적용할 수 있습니다.

Kafka 및 HBase(쓰기 액세스) 클러스터에 대한 가용성 영역 선택 지원

오픈 소스 버그 수정

Hive 버그 수정

버그 수정	Apache JIRA
HIVE-26127	INSERT OVERWRITE 오류 - 파일을 찾을 수 없음
HIVE-24957	하위 쿼리의 상관 관계 조건자에 COALESCE가 있는 경우 잘못된 결과가 표시됩니다.
HIVE-24999	HiveSubQueryRemoveRule이 여러 상관 관계가 있는 IN 하위 쿼리에 대한 잘못된 플랜을 생성합니다.
HIVE-24322	직접 삽입이 있는 경우 매니페스트를 읽지 못할 때 시도 ID를 확인해야 합니다.
HIVE-23363	DataNucleus 종속성을 5.2로 업그레이드합니다.
HIVE-26412	사용 가능한 슬롯을 가져오고 기본값을 추가하는 인터페이스를 만듭니다.
HIVE-26173	derby를 10.14.2.0으로 업그레이드합니다.
HIVE-25920	`Xerce2`이(가) 2.12.2로 변경
HIVE-26300	CVE-2020-36518을 방지하려면 Jackson 데이터 바인딩 버전을 2.12.6.1 이상으로 업그레이드합니다.

릴리스 날짜: 2022/08/10

이 릴리스는 HDInsight 4.0에 적용됩니다. HDInsight 릴리스는 며칠 동안의 준비 작업을 거쳐 모든 지역에서 사용할 수 있게 됩니다.

새 기능

1. HDI Hadoop/Spark 클러스터에 외부 디스크 연결

HDInsight 클러스터는 SKU를 기반으로 미리 정의된 디스크 공간과 함께 제공됩니다. 대규모 작업 시나리오에서는 이 공간이 충분하지 않을 수 있습니다.

이 새로운 기능을 사용하면 노드 관리자 로컬 디렉터리로 사용될 클러스터에 디스크를 더 추가할 수 있습니다. HIVE 및 Spark 클러스터 만들기 중에 작업자 노드에 디스크 수를 추가하고 선택한 디스크는 노드 관리자의 로컬 디렉터리에 포함됩니다.

참고 항목

추가된 디스크는 노드 관리자 로컬 디렉터리에 대해서만 구성됩니다.

자세한 내용은 여기를 참조하세요.

2. 선택적 로깅 분석

이제 공개 미리 보기를 위해 모든 지역에서 선택적 로깅 분석을 사용할 수 있습니다. 클러스터를 로그 분석 작업 영역에 연결할 수 있습니다. 사용하도록 설정되면 HDInsight Security Logs, Yarn Resource Manager, System Metrics 등과 같은 로그 및 메트릭을 볼 수 있습니다. 워크로드를 모니터링하고 클러스터 안정성에 미치는 영향을 확인할 수 있습니다. 선택적 로깅을 사용하면 모든 테이블을 사용하도록 설정/사용하지 않도록 설정하거나 로그 분석 작업 영역에서 선택적 테이블을 사용하도록 설정할 수 있습니다. 새 버전의 Geneva 모니터링에서는 하나의 테이블에 여러 원본이 있으므로 각 테이블의 원본 형식을 조정할 수 있습니다.

Geneva 모니터링 시스템은 모니터링 에이전트인 mdsd(MDS daemon)와 통합 로깅 계층을 사용하여 로그를 수집하는 fluentd를 사용합니다.
선택적 로깅은 스크립트 작업을 사용하여 테이블 및 해당 로그 형식을 사용하지 않도록 설정/사용하도록 설정합니다. 새 포트를 열거나 기존 보안 설정을 변경하지 않으므로 보안 변경 내용이 없습니다.
스크립트 작업은 지정된 모든 노드에서 병렬로 실행되며 테이블 및 해당 로그 형식을 사용하지 않도록 설정/사용하도록 설정하기 위한 구성 파일을 변경합니다.

자세한 내용은 여기를 참조하세요.

고정

로그 분석

최신 보안 업데이트를 적용하려면 OMS 버전 13을 실행하는 Azure HDInsight와 통합된 Log Analytics를 OMS 버전 14로 업그레이드해야 합니다. OMS 버전 13과 함께 이전 버전의 클러스터를 사용하는 고객은 보안 요구 사항을 충족하기 위해 OMS 버전 14를 설치해야 합니다. (현재 버전 및 설치 14 확인 방법)

현재 OMS 버전을 확인하는 방법

SSH를 사용하여 클러스터에 로그인합니다.
SSH 클라이언트에서 다음 명령을 실행합니다.

sudo /opt/omi/bin/ominiserver/ --version

OMS 업그레이드 확인 방법을 보여 주는 스크린샷.

OMS 버전을 13에서 14로 업그레이드하는 방법 14

Azure 포털
리소스 그룹에서 HDInsight 클러스터 리소스를 선택합니다.
스크립트 동작을 선택합니다.
스크립트 작업 제출 패널에서 사용자 지정으로 스크립트 형식을 선택합니다.
Bash 스크립트 URL 상자 https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh에 다음 링크를 붙여넣습니다.
노드 형식을 선택합니다.
만들기를 선택합니다.

OMS 업그레이드 방법을 보여 주는 스크린샷.

다음 단계에서 패치가 성공적으로 설치되었는지 확인합니다.
SSH를 사용하여 클러스터에 로그인합니다.
SSH 클라이언트에서 다음 명령을 실행합니다.

sudo /opt/omi/bin/ominiserver/ --version

다른 버그 수정

Yarn 로그의 CLI는 TFile이(가) 손상되었거나 비어 있는 경우 로그를 검색하지 못했습니다.
Azure Active Directory에서 OAuth 토큰을 가져오는 동안 잘못된 서비스 주체 세부 정보 오류가 해결되었습니다.
100개 이상의 작업 노드가 구성된 경우 클러스터 만들기 안정성이 개선되었습니다.

오픈 소스 버그 수정

TEZ 버그 수정

버그 수정	Apache JIRA
Tez 빌드 실패: FileSaver.js를 찾을 수 없음	TEZ-4411
웨어하우스와 `scratchdir`이(가) 다른 FS에 있을 때 잘못된 FS 예외	TEZ-4406
32MB보다 큰 구성의 TezUtils.createConfFromByteString에서 com.google.protobuf.CodedInputStream 예외 발생	TEZ-4142
TezUtils::createByteStringFromConf는 DeflaterOutputStream 대신 snappy를 사용해야 합니다.	TEZ-4113
protobuf 종속성을 3.x로 업데이트	TEZ-4363

Hive 버그 수정

버그 수정	Apache JIRA
ORC 분할 세대의 성능 최적화	HIVE-21457
테이블 이름이 "delta"로 시작하지만 테이블이 트랜잭션이 아니며 BI 분할 전략이 사용되는 경우 테이블을 ACID로 읽지 마세요.	HIVE-22582
AcidUtils#getLogicalLength에서 FS#exists 호출 제거	HIVE-23533
벡터화된 OrcAcidRowBatchReader.computeOffset 및 버킷 최적화	HIVE-17917

알려진 문제

HDInsight는 Apache HIVE 3.1.2와 호환됩니다. 이 릴리스의 버그로 인해 Hive 버전은 Hive 인터페이스에서 3.1.0으로 표시됩니다. 그러나 기능에는 영향이 없습니다.

릴리스 날짜: 2022/08/10

이 릴리스는 HDInsight 4.0에 적용됩니다. HDInsight 릴리스는 며칠 동안의 준비 작업을 거쳐 모든 지역에서 사용할 수 있게 됩니다.

새 기능

1. HDI Hadoop/Spark 클러스터에 외부 디스크 연결

HDInsight 클러스터는 SKU를 기반으로 미리 정의된 디스크 공간과 함께 제공됩니다. 대규모 작업 시나리오에서는 이 공간이 충분하지 않을 수 있습니다.

참고 항목

추가된 디스크는 노드 관리자 로컬 디렉터리에 대해서만 구성됩니다.

자세한 내용은 여기를 참조하세요.

2. 선택적 로깅 분석

Geneva 모니터링 시스템은 모니터링 에이전트인 mdsd(MDS daemon)와 통합 로깅 계층을 사용하여 로그를 수집하는 fluentd를 사용합니다.
선택적 로깅은 스크립트 작업을 사용하여 테이블 및 해당 로그 형식을 사용하지 않도록 설정/사용하도록 설정합니다. 새 포트를 열거나 기존 보안 설정을 변경하지 않으므로 보안 변경 내용이 없습니다.
스크립트 작업은 지정된 모든 노드에서 병렬로 실행되며 테이블 및 해당 로그 형식을 사용하지 않도록 설정/사용하도록 설정하기 위한 구성 파일을 변경합니다.

자세한 내용은 여기를 참조하세요.

고정

로그 분석

현재 OMS 버전을 확인하는 방법

SSH를 사용하여 클러스터에 로그인합니다.
SSH 클라이언트에서 다음 명령을 실행합니다.

sudo /opt/omi/bin/ominiserver/ --version

OMS 업그레이드 확인 방법을 보여 주는 스크린샷.

OMS 버전을 13에서 14로 업그레이드하는 방법 14

Azure 포털
리소스 그룹에서 HDInsight 클러스터 리소스를 선택합니다.
스크립트 동작을 선택합니다.
스크립트 작업 제출 패널에서 사용자 지정으로 스크립트 형식을 선택합니다.
Bash 스크립트 URL 상자 https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh에 다음 링크를 붙여넣습니다.
노드 형식을 선택합니다.
만들기를 선택합니다.

OMS 업그레이드 방법을 보여 주는 스크린샷.

다음 단계에서 패치가 성공적으로 설치되었는지 확인합니다.
SSH를 사용하여 클러스터에 로그인합니다.
SSH 클라이언트에서 다음 명령을 실행합니다.

sudo /opt/omi/bin/ominiserver/ --version

다른 버그 수정

Yarn 로그의 CLI는 TFile이(가) 손상되었거나 비어 있는 경우 로그를 검색하지 못했습니다.
Azure Active Directory에서 OAuth 토큰을 가져오는 동안 잘못된 서비스 주체 세부 정보 오류가 해결되었습니다.
100개 이상의 작업 노드가 구성된 경우 클러스터 만들기 안정성이 개선되었습니다.

오픈 소스 버그 수정

TEZ 버그 수정

버그 수정	Apache JIRA
Tez 빌드 실패: FileSaver.js를 찾을 수 없음	TEZ-4411
웨어하우스와 `scratchdir`이(가) 다른 FS에 있을 때 잘못된 FS 예외	TEZ-4406
32MB보다 큰 구성의 TezUtils.createConfFromByteString에서 com.google.protobuf.CodedInputStream 예외 발생	TEZ-4142
TezUtils::createByteStringFromConf는 DeflaterOutputStream 대신 snappy를 사용해야 합니다.	TEZ-4113
protobuf 종속성을 3.x로 업데이트	TEZ-4363

Hive 버그 수정

버그 수정	Apache JIRA
ORC 분할 세대의 성능 최적화	HIVE-21457
테이블 이름이 "delta"로 시작하지만 테이블이 트랜잭션이 아니며 BI 분할 전략이 사용되는 경우 테이블을 ACID로 읽지 마세요.	HIVE-22582
AcidUtils#getLogicalLength에서 FS#exists 호출 제거	HIVE-23533
벡터화된 OrcAcidRowBatchReader.computeOffset 및 버킷 최적화	HIVE-17917

알려진 문제

릴리스 날짜: 2022/06/03

이 릴리스는 HDInsight 4.0에 적용됩니다. HDInsight 릴리스는 며칠 동안의 준비 작업을 거쳐 모든 지역에서 사용할 수 있게 됩니다. 여기에 나오는 릴리스 날짜는 첫 번째 지역 릴리스 날짜를 나타냅니다. 다음 변경 내용이 표시되지 않으면 릴리스가 해당 지역에서 며칠에 걸쳐 릴리스될 때까지 기다리세요.

릴리스 관련 주요 사항

Spark v3.1.2의 HWC(Hive Warehouse Connector)

HWC(Hive Warehouse Connector)를 사용하면 Hive 및 Spark의 고유한 기능을 활용하여 강력한 빅 데이터 애플리케이션을 빌드할 수 있습니다. HWC는 현재 Spark v2.4에서만 지원됩니다. 이 기능은 Spark를 사용하여 Hive 테이블에서 ACID 트랜잭션을 허용하여 비즈니스 가치를 추가합니다. 이 기능은 데이터 자산에서 Hive와 Spark를 모두 사용하는 고객에게 유용합니다. 자세한 내용은 Apache Spark & Hive - Hive Warehouse Connector - Azure HDInsight | Microsoft Docs를 참조하세요.

Ambari

크기 조정 및 프로비저닝 개선 변경 내용
HDI 하이브는 이제 OSS 버전 3.1.2와 호환됩니다.

HDI Hive 3.1 버전이 OSS Hive 3.1.2로 업그레이드되었습니다. 이 버전에는 오픈 소스 Hive 3.1.2 버전에서 사용할 수 있는 모든 수정 사항과 기능이 있습니다.

참고 항목

Spark

Azure 사용자 인터페이스를 사용하여 HDInsight용 Spark 클러스터를 만드는 경우 드롭다운 목록에 이전 버전과 함께 다른 버전 Spark 3.1(HDI 5.0)이 표시됩니다. 이 버전은 Spark 3.1.(HDI 4.0)의 이름이 변경된 버전입니다. 이는 UI 수준의 변경일 뿐이며 기존 사용자와 이미 ARM 템플릿을 사용하고 있는 사용자에게는 아무 영향도 미치지 않습니다.

HDI 5.0용 spark 3.1의 스크린샷

참고 항목

Interactive Query

Interactive Query 클러스터를 만드는 경우 드롭다운 목록에 Interactive Query 3.1(HDI 5.0)과 같은 다른 버전이 표시됩니다.
ACID 지원이 필요한 Hive와 함께 Spark 3.1 버전을 사용하려는 경우 이 버전 Interactive Query 3.1(HDI 5.0)을 선택해야 합니다.

HDI 5.0용 Interactive Query 3.1의 스크린샷

TEZ 버그 수정

버그 수정	Apache JIRA
32MB보다 큰 구성의 TezUtils.createConfFromByteString에서 com.google.protobuf.CodedInputStream 예외 발생	TEZ-4142
TezUtils createByteStringFromConf는 DeflaterOutputStream 대신 snappy를 사용해야 합니다.	TEZ-4113

HBase 버그 수정

버그 수정	Apache JIRA
TableSnapshotInputFormat은 `HFiles`을(를) 검사하기 위해 ReadType.STREAM을 사용해야 합니다.	HBASE-26273
TableSnapshotInputFormat에서 scanMetrics를 사용하지 않도록 설정하는 옵션 추가	HBASE-26330
분산 장치가 실행될 때 ArrayIndexOutOfBoundsException 수정	HBASE-22739

Hive 버그 수정

버그 수정	Apache JIRA
dynpart 정렬 최적화를 사용하여 'distribute by' 절이 있는 데이터를 삽입할 때 NPE	HIVE-18284
파티션을 삭제하는 동안 파티션 필터링이 있는 MSCK REPAIR 명령이 실패함	HIVE-23851
capacity<=0인 경우 잘못된 예외 발생	HIVE-25446
HastTables에 대한 병렬 로드 지원 - 인터페이스	HIVE-25583
기본적으로 HiveServer2에 MultiDelimitSerDe 포함	HIVE-20619
jdbc-standalone jar에서 glassfish.jersey 및 mssql-jdbc 클래스 제거	HIVE-22134
MM 테이블에 대해 압축을 실행할 때 Null 포인터 예외가 발생했습니다.	HIVE-21280
`knox`을(를) 통한 큰 크기의 Hive 쿼리가 끊어진 파이프 쓰기 실패로 실패함	HIVE-22231
사용자가 바인드 사용자를 설정할 수 있는 기능 추가	HIVE-21009
UDF를 구현하여 내부 표현과 그레고리력-율리우스력 하이브리드 달력을 사용하여 날짜/타임스탬프를 해석합니다.	HIVE-22241
실행 보고서를 표시하거나 표시하지 않는 Beeline 옵션	HIVE-22204
Tez: SplitGenerator는 Tez에 존재하지 않는 계획 파일을 찾으려고 합니다.	HIVE-22169
LLAP 캐시 `hotpath`에서 비용이 많이 드는 로깅 제거	HIVE-22168
UDF: FunctionRegistry는 org.apache.hadoop.hive.ql.udf.UDFType 클래스에서 동기화합니다.	HIVE-22161
속성이 false로 설정된 경우 쿼리 라우팅 어펜더 만들기 방지	HIVE-22115
파티션 평가에 대한 교차 쿼리 동기화 제거	HIVE-22106
계획하는 동안 하이브 스크래치 디렉터리 설정 건너뛰기	HIVE-21182
RPC가 켜져 있는 경우 tez용 스크래치 디렉터리 만들기 건너뛰기	HIVE-21171
`Re2J` 정규식 엔진을 사용하도록 Hive UDF 전환	HIVE-19661
Hive 3에서 bucketing_version 1을 사용하여 마이그레이션된 클러스터링된 테이블은 삽입을 위해 bucketing_version 2를 사용합니다.	HIVE-22429
버킷팅: 버킷팅 버전 1이 데이터를 잘못 분할하고 있습니다.	HIVE-21167
새로 추가된 파일에 ASF 라이선스 헤더 추가	HIVE-22498
mergeCatalog를 지원하기 위한 스키마 도구 개선 사항	HIVE-22498
TEZ UNION ALL 및 UDTF를 사용하는 Hive는 데이터 손실을 초래합니다.	HIVE-21915
머리글/바닥글이 있어도 텍스트 파일 분할	HIVE-21924
MultiDelimitSerDe는 로드된 파일에 테이블 스키마에 있는 것보다 더 많은 열이 있는 경우 마지막 열에 잘못된 결과를 반환합니다.	HIVE-22360
LLAP 외부 클라이언트 - LlapBaseInputFormat#getSplits() 공간을 줄여야 함	HIVE-22221
마스크 열이 있는 테이블에 대한 조인을 포함하는 쿼리를 다시 작성할 때 예약된 키워드가 있는 열 이름이 이스케이프되지 않음(Zoltan Haindrich를 통한 Zoltan Matyus)	HIVE-22208
`AMReporter` 관련 RuntimeException에서 LLAP 종료 방지	HIVE-22113
LLAP 상태 서비스 드라이버가 잘못된 Yarn 앱 ID로 멈출 수 있습니다.	HIVE-21866
OperationManager.queryIdOperation이 여러 queryId를 제대로 정리하지 않습니다.	HIVE-22275
노드 관리자를 중단하면 LLAP 서비스의 다시 시작이 차단됩니다.	HIVE-22219
많은 파티션을 삭제할 때 StackOverflowError	HIVE-15956
임시 디렉터리 제거 시 액세스 확인 실패	HIVE-22273
특정 경계 조건에서 왼쪽 우선 외부 맵 조인의 잘못된 결과/ArrayOutOfBound 예외 수정	HIVE-22120
pom.xml에서 배포 관리 태그 제거	HIVE-19667
깊게 중첩된 하위 쿼리가 있는 경우 구문 분석 시간이 길어질 수 있습니다.	HIVE-21980
ALTER TABLE의 경우 t SET TBLPROPERTIES('EXTERNAL'='TRUE'); `TBL_TYPE` 특성 변경 내용이 CAPS가 아닌 경우 반영되지 않음	HIVE-20057
JDBC: HiveConnection은 `log4j` 인터페이스를 음영 처리합니다.	HIVE-18874
`poms`에서 리포지토리 URL 업데이트 - 분기 3.1 버전	HIVE-21786
master 및 branch-3.1에서 `DBInstall` 테스트가 중단됨	HIVE-21758
버킷 테이블에 데이터 로드는 파티션 사양을 무시하고 기본 파티션에 데이터를 로드합니다.	HIVE-21564
지역 표준 시간대 리터럴이 있는 타임스탬프 또는 타임스탬프가 있는 조인 조건이 있는 쿼리는 SemanticException을 던집니다.	HIVE-21613
HDFS의 스테이징 디렉터리에 남겨진 열에 대한 컴퓨팅 통계 분석	HIVE-21342
Hive 버킷 계산의 호환되지 않는 변경	HIVE-21376
사용 중인 다른 권한 부여자가 없을 때 대체 권한 부여자 제공	HIVE-20420
일부 alterPartitions 호출에서 'NumberFormatException: null' 발생	HIVE-18767
HiveServer2: http 전송에 대해 사전 인증된 주체가 일부 경우 http 통신의 전체 기간 동안 유지되지 않습니다.	HIVE-20555

릴리스 날짜: 2022/03/10

이 릴리스의 OS 버전은 다음과 같습니다.

HDInsight 4.0: Ubuntu 18.04.5

이제 Spark 3.1이 일반 공급됩니다.

Spark 3.1은 이제 HDInsight 4.0 릴리스부터 일반적으로 사용 가능합니다. 이 릴리스에는 다음 관리 팩이 포함되어 있습니다.

적응 쿼리 실행,
정렬 병합 조인을 브로드캐스트 해시 조인으로 변환,
Spark Catalyst Optimizer,
Dynamic Partition Pruning,
고객은 Spark 3.0(미리 보기) 클러스터가 아닌 새 Spark 3.1 클러스터를 만들 수 있습니다.

자세한 내용은 이제 HDInsight에서 일반적으로 사용 가능한 Apache Spark 3.1 - Microsoft 기술 커뮤니티를 참조하세요.

전체 개선 사항 목록은 Apache Spark 3.1 릴리스 정보를 참조하세요.

마이그레이션에 대한 자세한 내용은 마이그레이션 가이드를 참조하세요.

이제 Kafka 2.4가 일반적으로 사용 가능합니다.

이제 Kafka 2.4.1이 일반적으로 사용 가능합니다. 자세한 내용은 Kafka 2.4.1 릴리스 정보를 참조하세요. 기타 기능에는 MirrorMaker 2 가용성, 새로운 메트릭 범주 AtMinIsr 토픽 파티션, 인덱스 파일의 요청 시 지연 mmap(으)로 브로커 작동 시간 개선, 사용자 폴링 동작을 관찰하기 위한 소비자 메트릭 증가 등이 있습니다.

HWC의 맵 데이터 형식은 이제 HDInsight 4.0에서 지원됩니다.

이 릴리스에는 HWC가 지원하는 Spark 셸 애플리케이션 및 기타 모든 Spark 클라이언트를 통한 HWC 1.0(Spark 2.4)에 대한 맵 데이터 형식 지원이 포함되어 있습니다. 다른 데이터 형식과 마찬가지로 다음과 같은 개선 사항이 포함됩니다.

사용자는 다음 작업을 수행할 수 있습니다.

Map 데이터 형식이 포함된 열로 Hive 테이블을 만들고 여기에 데이터를 삽입하고 결과를 읽습니다.
Map 형식으로 Apache Spark 데이터 프레임을 만들고 일괄 처리/스트림 읽기 및 쓰기를 수행합니다.

새 지역

HDInsight는 이제 두 개의 새로운 지역인 중국 동부 3과 중국 북부 3으로 지리적 입지를 확장했습니다.

OSS 백포트 변경 내용

Hive에 포함된 OSS 백포트(Map 데이터 형식을 지원하는 HWC 1.0(Spark 2.4) 포함)

이 릴리스에 대해 OSS 백포트된 Apache JIRA는 다음과 같습니다.

영향을 받는 기능	Apache JIRA
IN/(NOT IN)이 있는 Metastore 직접 SQL 쿼리는 SQL DB에서 허용하는 최대 매개 변수에 따라 분할되어야 합니다.	HIVE-25659
`log4j` 2.16.0에서 2.17.0으로 업그레이드	HIVE-25825
`Flatbuffer` 버전 업데이트	HIVE-22827
기본적으로 Arrow 형식의 Map 데이터 형식 지원	HIVE-25553
LLAP 외부 클라이언트 - 부모 구조체가 null일 때 중첩된 값 처리	HIVE-25243
화살표 버전을 0.11.0으로 업그레이드	HIVE-23987

사용 중단 알림

HDInsight의 Azure Virtual Machine Scale Sets

HDInsight는 더 이상 Azure Virtual Machine Scale Sets를 사용하여 클러스터를 프로비저닝하지 않으며 호환성이 손상되는 변경은 예상되지 않습니다. Virtual Machine Scale Sets의 기존 HDInsight 클러스터는 영향을 미치지 않으며 최신 이미지의 새 클러스터는 더 이상 Virtual Machine Scale Sets를 사용하지 않습니다.

Azure HDInsight HBase 워크로드의 크기 조정은 이제 수동 크기 조정을 통해서만 지원됩니다.

2022년 3월 1일부터 HDInsight는 HBase에 대한 수동 확장만 지원하며 클러스터 실행에는 영향이 없습니다. 새 HBase 클러스터는 일정 기반의 자동 크기 조정을 사용하도록 설정할 수 없습니다. HBase 클러스터를 수동으로 크기 조정하는 방법에 대한 자세한 내용은 Azure HDInsight 클러스터 수동 크기 조정에 대한 설명서를 참조하세요.

릴리스 날짜: 2021/12/27

이 릴리스의 OS 버전은 다음과 같습니다.

HDInsight 4.0: Ubuntu 18.04.5 LTS

HDInsight 4.0 이미지는 Log4jCVE-2021-44228 Apache Log4j 2에 대한 Microsoft의 응답에 설명된 대로 Log4j 취약성을 완화하기 위해 업데이트되었습니다.

참고 항목

2021년 12월 27일 00:00 UTC 이후 만들어진 HDI 4.0 클러스터는 log4j 취약성을 완화하는 업데이트된 버전의 이미지로 만들어집니다. 따라서 고객은 이러한 클러스터를 패치/다시 부팅할 필요가 없습니다.
2021년 12월 16일 01:15 UTC에서 2021년 12월 27일 00:00 UTC 사이에 만들어진 새로운 HDInsight 4.0 클러스터의 경우, HDInsight 3.6 또는 2021년 12월 16일 이후에 고정된 구독에서 패치는 클러스터가 만들어진 시간 내에 자동으로 적용되지만 패치가 완료되려면 고객이 해당 노드를 다시 부팅해야 합니다(Kafka 관리 노드 제외, 자동으로 다시 부팅됨).

릴리스 날짜: 2021/07/27

이 릴리스는 HDInsight 3.6 및 4.0 모두에 적용됩니다. HDInsight 릴리스는 며칠 동안의 준비 작업을 거쳐 모든 지역에서 사용할 수 있게 됩니다. 여기에 나오는 릴리스 날짜는 첫 번째 지역 릴리스 날짜를 나타냅니다. 아래의 변경 내용이 표시되지 않으면 며칠 후에 해당 지역에서 릴리스가 라이브될 때까지 기다려주세요.

이 릴리스의 OS 버전은 다음과 같습니다.

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

새로운 기능

제한된 공용 연결에 대한 Azure HDInsight 지원은 2021년 10월 15일에 일반 공급됨

이제 Azure HDInsight는 모든 지역에서 제한된 공용 연결을 지원합니다. 아래에 이 기능의 주요 사항 중 일부가 나와 있습니다.

리소스 공급자를 클러스터에서 리소스 공급자로 아웃바운드하도록 클러스터 통신으로 되돌리는 기능
HDinsight 클러스터가 프라이빗 네트워크를 통해서만 리소스에 액세스할 수 있도록 고유한 Private Link 지원 리소스(예: 스토리지, SQL, 키 자격 증명 모음)를 가져오는 지원 기능
공용 IP 주소에 프로비전된 리소스가 없음

이 새로운 기능을 사용하면 HDInsight 관리 IP에 대한 인바운드 NSG(네트워크 보안 그룹) 서비스 태그 규칙을 건너뛸 수도 있습니다. 공용 연결 제한에 대해 자세히 알아보세요.

Azure Private Link에 대한 Azure HDInsight 지원은 2021년 10월 15일에 일반 공급됩니다.

이제 프라이빗 링크를 통해 HDInsight 클러스터에 연결하는 프라이빗 엔드포인트를 사용할 수 있습니다. 프라이빗 링크는 VNET 피어링을 사용할 수 없거나 사용하도록 설정되지 않은 VNET 간 시나리오에서 활용할 수 있습니다.

Azure Private Link를 사용하면 가상 네트워크의 프라이빗 엔드포인트를 통해 Azure PaaS Services(예: Azure Storage 및 SQL Database)와 Azure 호스팅 고객 소유/파트너 서비스에 액세스할 수 있습니다.

가상 네트워크와 서비스 사이의 트래픽은 Microsoft 백본 네트워크를 통해 이동합니다. 서비스를 공용 인터넷에 더 이상 노출할 필요가 없습니다.

프라이빗 링크를 사용하도록 설정하는 방법에 대해 자세히 알아보겠습니다. 

새 Azure Monitor 통합 환경(미리 보기)

새 Azure Monitor 통합 환경은 이번 릴리스와 함께 미국 동부와 서유럽에서 미리 보기로 제공됩니다. 새 Azure Monitor 환경에 대한 자세한 내용은 여기를 참조하세요.

감가 상각

HDInsight 3.6 버전은 2022년 10월 1일부터 사용 중지되었습니다.

동작 변경

HDInsight Interactive Query는 일정 기반 자동 스케일링만 지원합니다.

고객 시나리오가 점점 더 성숙하고 다양해짐에 따라 Interactive Query(LLAP) 부하 기반 자동 스케일링에 대한 몇 가지 제한 사항을 확인했습니다. 이 제한 사항은 LLAP 쿼리 역학의 특징, 향후 부하 예측 정확도 문제 및 LLAP 스케줄러의 작업 재배포 문제 때문에 발생합니다. 이러한 제한 사항으로 인해 사용자는 자동 크기 조정이 사용되는 경우 LLAP 클러스터에서 쿼리 실행 속도가 느려지는 것을 알 수 있습니다. 성능에 미치는 영향이 자동 스케일링의 비용 이점보다 클 수 있습니다.

2021년 7월부터 HDInsight의 Interactive Query 워크로드는 일정 기반 자동 스케일링만 지원합니다. 새 Interactive Query 클러스터에서는 더 이상 부하 기반 자동 스케일링을 사용하도록 설정할 수 없습니다. 기존에 실행 중인 클러스터는 위에서 설명된 알려진 제한 사항을 적용하여 계속 실행할 수 있습니다.

LLAP를 위해 일정 기반 자동 스케일링으로 이동하는 것이 좋습니다. Grafana Hive 대시보드를 통해 클러스터의 현재 사용 패턴을 분석할 수 있습니다. 자세한 내용은 Azure HDInsight 클러스터 자동 크기 조정을 참조하세요.

예정된 변경

이후 릴리스에서는 다음과 같은 변경이 수행됩니다.

ESP Spark 클러스터의 기본 제공 LLAP 구성 요소가 제거됩니다.

HDInsight 4.0 ESP Spark 클러스터에는 두 헤드 노드에서 모두 실행되는 기본 제공 LLAP 구성 요소가 있습니다. ESP Spark 클러스터의 LLAP 구성 요소는 원래 HDInsight 3.6 ESP Spark용으로 추가되었지만 HDInsight 4.0 ESP Spark용 실제 사용자 사례는 없습니다. 2021년 9월로 예정된 다음 릴리스에서 HDInsight는 HDInsight 4.0 ESP Spark 클러스터에서 기본 제공 LLAP 구성 요소를 제거합니다. 이렇게 변경하면 헤드 노드 워크로드를 오프로드하고 ESP Spark와 ESP Interactive Hive 클러스터 유형 간의 혼동을 방지하는 데 도움이 됩니다.

새 지역

미국 서부 3
Jio 인도 서부
오스트레일리아 중부

구성 요소 버전 변경

이 릴리스에서 변경된 구성 요소 버전은 다음과 같습니다.

ORC 버전 1.5.1에서 1.5.9로 변경

이 문서에서 HDInsight 4.0 및 HDInsight 3.6의 최신 구성 요소 버전을 찾을 수 있습니다.

백포팅된 JIRA

이 릴리스를 위해 백포팅된 Apache JIRA는 다음과 같습니다.

영향을 받는 기능	Apache JIRA
날짜/타임스탬프	HIVE-25104
	HIVE-24074
	HIVE-22840
	HIVE-22589
	HIVE-22405
	HIVE-21729
	HIVE-21291
	HIVE-21290
UDF	HIVE-25268
	HIVE-25093
	HIVE-22099
	HIVE-24113
	HIVE-22170
	HIVE-22331
ORC	HIVE-21991
	HIVE-21815
	HIVE-21862
테이블 스키마	HIVE-20437
	HIVE-22941
	HIVE-21784
	HIVE-21714
	HIVE-18702
	HIVE-21799
	HIVE-21296
워크로드 관리	HIVE-24201
압축	HIVE-24882
	HIVE-23058
	HIVE-23046
구체화된 뷰	HIVE-22566

HDInsight `Dv2` Virtual Machines에 대한 가격 수정

2021년 4월 25일에 HDInsight의 Dv2 VM 시리즈에 대한 가격 책정 오류가 수정되었습니다. 가격 책정 오류로 인해 4월 25일 이전 일부 고객의 청구서에서 요금이 적게 청구되었으며, 수정을 통해 가격은 이제 HDInsight 가격 책정 페이지 및 HDInsight 가격 계산기에 게시된 가격과 일치합니다. 가격 책정 오류는 Dv2 VM을 사용한 다음 지역의 고객에게 영향을 주었습니다.

캐나다 중부
캐나다 동부
동아시아
남아프리카 북부
동남 아시아
아랍에미리트 중부

2021년 4월 25일부터 Dv2 VM의 수정된 금액이 계정에 표시됩니다. 변경 전에 구독 소유자에게 고객 알림이 전송되었습니다. Azure Portal에서 가격 계산기, HDInsight 가격 책정 페이지 또는 HDInsight 클러스터 만들기 블레이드를 사용하여 해당 지역 Dv2 VM의 수정된 비용을 확인할 수 있습니다.

다른 작업은 필요하지 않습니다. 가격 수정은 지정된 지역에서 2021년 4월 25일 또는 그 이후 사용량에만 적용되며 이 날짜 이전 사용량에는 적용되지 않습니다. 가장 성능이 뛰어나고 비용 효율적인 솔루션을 사용하려면 Dv2 클러스터의 가격 책정, VCPU 및 RAM을 검토하고 Dv2 사양을 Ev3 VM과 비교하여 솔루션이 최신 VM 시리즈 중 하나를 유용하게 활용하는지 확인하는 것이 좋습니다.

릴리스 날짜: 2021/06/02

이 릴리스의 OS 버전은 다음과 같습니다.

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

새로운 기능

OS 버전 업그레이드

Ubuntu의 릴리스 주기에서 언급된 대로 Ubuntu 16.04 커널은 2021년 4월에 EOL(수명 종료)에 도달합니다. 이 리릴스에서는 Ubuntu 18.04에서 실행되는 새 HDInsight 4.0 클러스터 이미지 출시를 시작했습니다. 새로 만든 HDInsight 4.0 클러스터는 제공된 후 기본적으로 Ubuntu 18.04에서 실행됩니다. Ubuntu 16.04의 기존 클러스터는 완벽한 지원과 함께 있는 그대로 실행됩니다.

HDInsight 3.6은 Ubuntu 16.04에서 계속 실행됩니다. 2021년 7월 1일부터 기본 지원(표준 지원에서)으로 변경됩니다. 날짜 및 지원 옵션에 관한 자세한 내용은 Azure HDInsight 버전을 참조하세요. HDInsight 3.6에서는 Ubuntu 18.04가 지원되지 않습니다. Ubuntu 18.04를 사용하려면 클러스터를 HDInsight 4.0으로 마이그레이션해야 합니다.

기존 HDInsight 4.0 클러스터를 Ubuntu 18.04로 이동하려면 클러스터를 삭제하고 다시 만들어야 합니다. Ubuntu 18.04 지원이 제공된 후 클러스터를 만들거나 다시 만들 계획입니다.

새 클러스터를 만든 후 클러스터에 SSH를 실행하고 sudo lsb_release -a를 실행하여 Ubuntu 18.04에서 실행되는지 확인할 수 있습니다. 프로덕션으로 이동하기 전에 먼저 테스트 구독에서 애플리케이션을 테스트하는 것이 좋습니다.

HBase 가속 쓰기 클러스터에서 최적화 크기 조정

HDInsight는 HBase 가속 쓰기 지원 클러스터의 크기 조정에 대해 몇 가지 개선 및 최적화를 수행했습니다. HBase 가속 쓰기에 대해 자세히 알아봅니다.

감가 상각

이 릴리스에서는 사용 중단되지 않습니다.

동작 변경

HDInsight 4.0의 헤드 노드로 Stardard_A5 VM 크기 사용 안 함

HDInsight 클러스터 헤드 노드는 클러스터 초기화 및 관리를 처리합니다. Standard_A5 VM 크기는 HDInsight 4.0의 헤드 노드로서 안정성 문제가 있습니다. 이 릴리스부터 고객은 Standard_A5 VM 크기를 헤드 노드로 사용하여 새 클러스터를 만들 수 없습니다. E2_v3 또는 E2s_v3 같은 다른 2코어 VM을 사용할 수 있습니다. 기존 클러스터는 계속 운영됩니다. 프로덕션 HDInsight 클러스터의 고가용성 및 안정성을 보장하기 위해 헤드 노드에는 4코어 VM을 사용하는 것이 좋습니다.

Azure Virtual Machine Scale Sets에서 실행되는 클러스터에 대한 네트워크 인터페이스 리소스가 표시되지 않음

HDInsight는 Azure Virtual Machine Scale Sets로 점진적으로 마이그레이션되고 있습니다. 가상 머신의 네트워크 인터페이스는 Azure Virtual Machine Scale Sets를 사용하는 클러스터의 고객에게는 더 이상 표시되지 않습니다.

예정된 변경

이후 릴리스에서는 다음과 같은 변경이 수행됩니다.

HDInsight Interactive Query는 일정 기반 자동 스케일링만 지원합니다.

2021년 7월부터 HDInsight의 Interactive Query 워크로드는 일정 기반 자동 스케일링만 지원합니다. 새 Interactive Query 클러스터에서는 더 이상 자동 스케일링을 사용하도록 설정할 수 없습니다. 기존에 실행 중인 클러스터는 위에서 설명된 알려진 제한 사항을 적용하여 계속 실행할 수 있습니다.

VM 호스트 이름은 2021년 7월 1일에 변경됩니다.

이제 HDInsight는 Azure Virtual Machines를 사용하여 클러스터를 프로비저닝합니다. 이 서비스는 Azure Virtual Machine Scale Sets로 점진적으로 마이그레이션됩니다. 이 마이그레이션은 클러스터 호스트 이름 FQDN 이름 형식을 변경하며 호스트 이름의 숫자는 순서대로 보장되지 않습니다. 각 노드에 대한 FQDN 이름을 가져오려면 클러스터 노드의 호스트 이름 찾기를 참조하세요.

Azure 가상 머신 확장 집합으로 이동

이제 HDInsight는 Azure Virtual Machines를 사용하여 클러스터를 프로비저닝합니다. 이 서비스는 Azure 가상 머신 확장 집합으로 점진적으로 마이그레이션됩니다. 전체 프로세스는 몇 개월이 소요될 수 있습니다. 지역 및 구독이 마이그레이션된 후에는 새로 생성된 HDInsight 클러스터가 고객의 작업 없이도 Virtual Machine Scale Sets에서 실행됩니다. 호환성이 손상되는 변경 사항은 없을 것으로 예상됩니다.

릴리스 날짜: 2021/03/24

새로운 기능

Spark 3.0 미리 보기

HDInsight는 HDInsight 4.0에 Spark 3.0.0 지원을 미리 보기 기능으로 추가했습니다.

Kafka 2.4 미리 보기

HDInsight는 HDInsight 4.0에 Kafka 2.4.1 지원을 미리 보기 기능으로 추가했습니다.

`Eav4` 시리즈 지원

HDInsight는 이 릴리스에서 Eav4 시리즈 지원 기능을 추가했습니다.

Azure Virtual Machine Scale Sets로 전환

이제 HDInsight는 Azure Virtual Machines를 사용하여 클러스터를 프로비저닝합니다. 이 서비스는 Azure Virtual Machine Scale Sets로 점진적으로 마이그레이션됩니다. 전체 프로세스는 몇 개월이 소요될 수 있습니다. 지역 및 구독이 마이그레이션된 후에는 새로 생성된 HDInsight 클러스터가 고객의 작업 없이도 Virtual Machine Scale Sets에서 실행됩니다. 호환성이 손상되는 변경 사항은 없을 것으로 예상됩니다.

감가 상각

이 릴리스에서는 사용 중단되지 않습니다.

동작 변경

기본 클러스터 버전이 4.0으로 변경됨

HDInsight 클러스터의 기본 버전이 3.6에서 4.0으로 변경되었습니다. 사용 가능한 버전에 관한 자세한 내용은 사용 가능한 버전을 참조하세요. HDInsight 4.0의 새로운 기능에 관해 자세히 알아보세요.

기본 클러스터 VM 크기가 `Ev3` 시리즈로 변경됨

기본 클러스터 VM 크기가 D 시리즈에서 Ev3 시리즈로 변경됩니다. 이 변경 내용은 헤드 노드와 작업자 노드에 적용됩니다. 이러한 변경 내용이 테스트된 워크플로에 영향을 주지 않도록 하려면 ARM 템플릿에서 사용할 VM 크기를 지정합니다.

Azure Virtual Machine Scale Sets에서 실행되는 클러스터에 대한 네트워크 인터페이스 리소스가 표시되지 않음

예정된 변경

이후 릴리스에서는 다음과 같은 변경이 수행됩니다.

HDInsight Interactive Query는 일정 기반 자동 스케일링만 지원합니다.

OS 버전 업그레이드

HDInsight 클러스터는 현재 Ubuntu 16.04 LTS에서 실행되고 있습니다. Ubuntu의 릴리스 주기에서 언급된 대로 Ubuntu 16.04 커널은 2021년 4월에 EOL(수명 종료)에 도달합니다. 2021년 5월에 Ubuntu 18.04에서 실행되는 새 HDInsight 4.0 클러스터 이미지 출시를 시작합니다. 새로 만든 HDInsight 4.0 클러스터는 제공된 후 기본적으로 Ubuntu 18.04에서 실행됩니다. Ubuntu 16.04의 기존 클러스터는 완벽한 지원과 함께 있는 그대로 실행됩니다.

HDInsight 3.6은 Ubuntu 16.04에서 계속 실행됩니다. 2021년 6월 30일까지 표준 지원이 종료되고 2021년 7월 1일부터 기본 지원으로 변경됩니다. 날짜 및 지원 옵션에 대한 자세한 내용은 Azure HDInsight 버전을 참조하세요. HDInsight 3.6에서는 Ubuntu 18.04가 지원되지 않습니다. Ubuntu 18.04를 사용하려면 클러스터를 HDInsight 4.0으로 마이그레이션해야 합니다.

기존 클러스터를 Ubuntu 18.04로 이동하려면 클러스터를 삭제하고 다시 만들어야 합니다. Ubuntu 18.04 지원이 제공된 후 클러스터를 만들거나 다시 만들 계획을 세웁니다. 새 이미지가 모든 지역에서 사용할 수 있게 되면 또 다른 알림을 보냅니다.

Ubuntu 18.04 VM(가상 머신)의 에지 노드에 배포된 스크립트 작업 및 사용자 지정 애플리케이션을 미리 테스트하는 것이 좋습니다. 18.04-LTS에서 Ubuntu Linux VM을 만든 다음, VM에서 SSH(Secure Shell) 키 쌍을 만들고 사용하여 에지 노드에 배포된 스크립트 작업 및 사용자 지정 애플리케이션을 실행하고 테스트할 수 있습니다.

HDInsight 4.0의 헤드 노드로 Stardard_A5 VM 크기 사용 안 함

HDInsight 클러스터 헤드 노드는 클러스터 초기화 및 관리를 처리합니다. Standard_A5 VM 크기는 HDInsight 4.0의 헤드 노드로서 안정성 문제가 있습니다. 2021년 5월의 다음 릴리스부터, 고객은 Standard_A5 VM 크기를 헤드 노드로 사용하여 새 클러스터를 만들 수 없습니다. E2_v3 또는 E2s_v3 같은 다른 2코어 VM을 사용할 수 있습니다. 기존 클러스터는 계속 운영됩니다. 프로덕션 HDInsight 클러스터의 고가용성 및 안정성을 보장하기 위해 헤드 노드에는 4코어 VM을 사용하는 것이 좋습니다.

버그 수정

HDInsight는 계속해서 클러스터 안정성과 성능을 향상시킵니다.

구성 요소 버전 변경

Spark 3.0.0 및 Kafka 2.4.1에 대한 지원이 미리 보기로 추가되었습니다. 이 문서에서 HDInsight 4.0 및 HDInsight 3.6의 최신 구성 요소 버전을 찾을 수 있습니다.

릴리스 날짜: 02/05/2021

새로운 기능

Dav4 시리즈 지원

HDInsight는 이 릴리스에서 Dav4 시리즈 지원 기능을 추가했습니다. Dav4 시리즈에 대한 자세한 정보는 여기에서 알아봅니다.

Kafka REST 프록시 GA

Kafka REST 프록시를 사용하면 HTTPS를 통한 REST API를 통해 Kafka 클러스터와 상호 작용할 수 있습니다. 이번 릴리스부터는 Kafka REST 프록시가 일반적으로 사용 가능합니다. Kafka REST 프록시에 대한 자세한 정보는 여기에서 자세히 알아봅니다.

Azure Virtual Machine Scale Sets로 전환

감가 상각

사용하지 않는 VM 크기

2021년 1월 9일부터 HDInsight는 standand_A8, standand_A9, standand_A10 및 standand_A11 VM 크기를 사용하여 클러스터를 만드는 모든 고객을 차단합니다. 기존 클러스터는 계속 운영됩니다. 잠재적인 시스템/지원 중단을 방지하기 위해 HDInsight 4.0으로 전환하는 것이 좋습니다.

동작 변경

기본 클러스터 VM 크기가 `Ev3` 시리즈로 변경됩니다

Azure Virtual Machine Scale Sets에서 실행되는 클러스터에 대한 네트워크 인터페이스 리소스가 표시되지 않음

예정된 변경

이후 릴리스에서는 다음과 같은 변경이 수행됩니다.

기본 클러스터 버전이 4.0으로 변경됩니다

2021년 2월부터 HDInsight 클러스터의 기본 버전이 3.6에서 4.0으로 변경됩니다. 사용 가능한 버전에 관한 자세한 내용은 사용 가능한 버전을 참조하세요. HDInsight 4.0의 새로운 기능에 관해 자세히 알아보세요.

OS 버전 업그레이드

HDInsight는 Ubuntu 16.04에서 18.04로 OS 버전을 업그레이드하고 있습니다. 업그레이드는 2021년 4월 이전에 완료됩니다.

2021년 6월 30일자로 HDInsight 3.6 지원 종료

HDInsight 3.6은 지원이 종료될 예정입니다. 2021년 6월 30일부터 고객은 새로운 HDInsight 3.6 클러스터를 만들 수 없습니다. 기존 클러스터는 Microsoft의 지원 없이 있는 그대로 실행됩니다. 잠재적인 시스템/지원 중단을 방지하기 위해 HDInsight 4.0으로 전환하는 것이 좋습니다.

구성 요소 버전 변경

이 릴리스에 대한 구성 요소 버전이 변경되지 않았습니다. 이 문서에서 HDInsight 4.0 및 HDInsight 3.6의 최신 구성 요소 버전을 찾을 수 있습니다.

릴리스 날짜: 11/18/2020

새로운 기능

휴지 상태의 고객 관리형 키 암호화를 위한 자동 키 회전

이 릴리스부터는 고객이 휴지 상태의 고객 관리형 키 암호화를 위해 Azure KeyValut 버전이 없는 암호화 키 URL을 사용할 수 있습니다. HDInsight는 키가 만료되거나 새 버전으로 바뀔 때 자동으로 키를 회전시킵니다. 자세한 내용은 여기를 참조하세요.

Spark, Hadoop 및 ML 서비스에 대한 다양한 Zookeeper 가상 머신 크기를 선택하는 기능

이전에 HDInsight는 Spark, Hadoop 및 ML 서비스 클러스터 유형에 대한 Zookeeper 노드 크기 사용자 지정을 지원하지 않았습니다. 기본적으로 A2_v2/A2 가상 머신 크기가 무료로 제공됩니다. 이 릴리스부터는 시나리오에 가장 적합한 Zookeeper 가상 머신 크기를 선택할 수 있습니다. A2_v2/A2 이외의 가상 머신 크기를 포함하는 Zookeeper 노드에는 요금이 부과됩니다. A2_v2 및 A2 가상 머신은 계속 무료로 제공됩니다.

Azure Virtual Machine Scale Sets로 전환

이제 HDInsight는 Azure Virtual Machines를 사용하여 클러스터를 프로비저닝합니다. 이 릴리스부터 서비스는 Azure Virtual Machine Scale Sets로 점진적으로 마이그레이션됩니다. 전체 프로세스는 몇 개월이 소요될 수 있습니다. 지역 및 구독이 마이그레이션된 후에는 새로 생성된 HDInsight 클러스터가 고객의 작업 없이도 Virtual Machine Scale Sets에서 실행됩니다. 호환성이 손상되는 변경 사항은 없을 것으로 예상됩니다.

감가 상각

HDInsight 3.6 ML 서비스 클러스터의 사용 중단

HDInsight 3.6 ML 서비스 클러스터 유형은 2020년 12월 31일부터 지원이 종료됩니다. 고객은 2020년 12월 31일 이후 새로운 3.6 ML 서비스 클러스터를 만들 수 없습니다. 기존 클러스터는 Microsoft의 지원 없이 있는 그대로 실행됩니다. 여기에서 HDInsight 버전 및 클러스터 유형 지원 만료를 확인하세요.

사용하지 않는 VM 크기

2020년 11월 16일부터 HDInsight는 standand_A8, standand_A9, standand_A10 및 standand_A11 VM 크기를 사용하여 클러스터를 만드는 새로운 고객을 차단합니다. 지난 3개월 동안 이러한 VM 크기를 사용한 기존 고객에게는 영향이 없습니다. 2021년 1월 9일부터 HDInsight는 standand_A8, standand_A9, standand_A10 및 standand_A11 VM 크기를 사용하여 클러스터를 만드는 모든 고객을 차단합니다. 기존 클러스터는 계속 운영됩니다. 잠재적인 시스템/지원 중단을 방지하기 위해 HDInsight 4.0으로 전환하는 것이 좋습니다.

동작 변경

크기 조정 작업 전에 NSG 규칙 검사 추가

HDInsight는 크기 조정 작업을 통해 NSG(네트워크 보안 그룹) 및 UDR(사용자 정의 경로) 검사를 추가했습니다. 클러스터 만들기뿐만 아니라 클러스터 크기 조정을 위해서도 동일한 유효성 검사가 수행됩니다. 이 유효성 검사는 예기치 않은 오류를 방지하는 데 유용합니다. 유효성 검사를 통과하지 못하면 크기 조정이 실패합니다. NSG 및 UDR을 올바르게 구성하는 방법에 대한 자세한 내용은 HDInsight 관리 IP 주소를 참조하세요.

구성 요소 버전 변경

이 릴리스에 대한 구성 요소 버전이 변경되지 않았습니다. 이 문서에서 HDInsight 4.0 및 HDInsight 3.6의 최신 구성 요소 버전을 찾을 수 있습니다.

릴리스 날짜: 11/09/2020

새로운 기능

HIB(HDInsight Identity Broker)는 이제 GA입니다

이 릴리스로 ESP 클러스터에 대한 OAuth 인증을 사용하는 HIB(HDInsight Identity Broker)가 이제 일반적으로 공급됩니다. 이 릴리스 이후에 생성되는 모든 HIB 클러스터는 최신 HIB의 기능을 제공합니다.

HA(고가용성)
MFA(Multi-Factor Authentication) 지원
페더레이션 사용자는 AAD-DS에 대한 암호 해시 동기화를 사용하지 않고 로그인합니다. 자세한 내용은 HIB 설명서를 참조하세요.

Azure Virtual Machine Scale Sets로 전환

감가 상각

HDInsight 3.6 ML 서비스 클러스터의 사용 중단

사용하지 않는 VM 크기

동작 변경

이 릴리스에 동작 변경은 없습니다.

예정된 변경

이후 릴리스에서는 다음과 같은 변경이 수행됩니다.

Spark, Hadoop 및 ML 서비스에 대한 다양한 Zookeeper 가상 머신 크기를 선택하는 기능

현재 HDInsight는 Spark, Hadoop 및 ML 서비스 클러스터 유형에 대한 Zookeeper 노드 크기 사용자 지정을 지원하지 않습니다. 기본적으로 A2_v2/A2 가상 머신 크기가 무료로 제공됩니다. 향후 릴리스에서는 시나리오에 가장 적합한 Zookeeper 가상 머신 크기를 선택할 수 있습니다. A2_v2/A2 이외의 가상 머신 크기를 포함하는 Zookeeper 노드에는 요금이 부과됩니다. A2_v2 및 A2 가상 머신은 계속 무료로 제공됩니다.

기본 클러스터 버전이 4.0으로 변경됩니다

2021년 2월부터 HDInsight 클러스터의 기본 버전이 3.6에서 4.0으로 변경됩니다. 사용 가능한 버전에 대한 자세한 내용은 지원되는 버전을 참조하세요. HDInsight 4.0의 새로운 기능에 대한 자세한 정보를 알아봅니다

2021년 6월 30일자로 HDInsight 3.6 지원 종료

버그 수정

HDInsight는 계속해서 클러스터 안정성과 성능을 향상시킵니다.

클러스터에서 VM을 다시 시작하는 문제 해결

클러스터에서 VM을 다시 시작하는 문제가 해결되었습니다. PowerShell 또는 REST API를 사용하여 클러스터의 노드를 다시 부팅할 수 있습니다.

구성 요소 버전 변경

이 릴리스에 대한 구성 요소 버전이 변경되지 않았습니다. 이 문서에서 HDInsight 4.0 및 HDInsight 3.6의 최신 구성 요소 버전을 찾을 수 있습니다.

릴리스 날짜: 10/08/2020

새로운 기능

공용 IP 및 프라이빗 링크가 없는 HDInsight 개인 클러스터(미리 보기)

이제 HDInsight는 미리 보기에서 클러스터에 대한 공용 IP 및 프라이빗 링크 액세스 권한이 없는 클러스터 만들기를 지원합니다. 고객은 새로운 고급 네트워킹 설정을 사용하여 공용 IP가 없는 완전히 격리된 클러스터를 만들고 자신의 프라이빗 엔드포인트를 사용하여 클러스터에 액세스할 수 있습니다.

Azure Virtual Machine Scale Sets로 전환

감가 상각

HDInsight 3.6 ML 서비스 클러스터의 사용 중단

HDInsight 3.6 ML 서비스 클러스터 유형은 2020년 12월 31일부터 지원이 중단됩니다. 그 이후부터 고객은 새로운 3.6 ML 서비스 클러스터를 만들 수 없습니다. 기존 클러스터는 Microsoft의 지원 없이 있는 그대로 실행됩니다. 여기에서 HDInsight 버전 및 클러스터 유형 지원 만료를 확인하세요.

동작 변경

이 릴리스에 동작 변경은 없습니다.

예정된 변경

이후 릴리스에서는 다음과 같은 변경이 수행됩니다.

Spark, Hadoop 및 ML 서비스에 대한 다양한 Zookeeper 가상 머신 크기를 선택하는 기능

버그 수정

HDInsight는 계속해서 클러스터 안정성과 성능을 향상시킵니다.

구성 요소 버전 변경

이 릴리스에 대한 구성 요소 버전이 변경되지 않았습니다. 이 문서에서 HDInsight 4.0 및 HDInsight 3.6의 최신 구성 요소 버전을 찾을 수 있습니다.

릴리스 날짜: 09/28/2020

새로운 기능

HDInsight 4.0을 사용하여 Interactive Query 자동 크기 조정이 이제 일반적으로 사용 가능합니다

Interactive Query 클러스터 유형에 대한 자동 크기 조정 기능은 이제 HDInsight 4.0에 GA(일반 공급)로 제공됩니다. 2020년 8월 27일 이후에 만들어진 모든 Interactive Query 4.0 클러스터에는 자동 크기 조정에 대한 GA 지원이 포함됩니다.

HBase 클러스터는 Premium ADLS Gen2를 지원

이제 HDInsight는 HDInsight HBase 3.6 및 4.0 클러스터에 대한 기본 스토리지 계정으로 Premium ADLS Gen2를 지원합니다. 가속 쓰기로 HBase 클러스터의 더 나은 성능을 얻을 수 있습니다.

Azure 장애 도메인의 Kafka 파티션 배포

장애 도메인은 Azure 데이터 센터에 있는 기본 하드웨어의 논리적 그룹입니다. 장애 도메인마다 공통 전원과 네트워크 스위치를 공유합니다. HDInsight Kafka가 모든 파티션 복제본을 같은 장애 도메인에 저장하기 전에. 이 릴리스부터 이제 HDInsight는 Azure 장애 도메인을 기반으로 Kafka 파티션의 자동 배포를 지원합니다.

전송 중 암호화

고객은 플랫폼 관리형 키를 사용하는 IPSec 암호화를 사용하여 클러스터 노드 간에 전송 중 암호화를 사용하도록 설정할 수 있습니다. 이 옵션은 클러스터를 만들 때 사용할 수 있습니다. 전송 중 암호화를 사용하는 방법에 대한 자세한 내용을 참조하세요.

호스트에서 암호화

호스트에서 암호화를 사용하도록 설정하면 VM 호스트에 저장된 데이터는 휴지 상태로 암호화되고 스토리지 서비스에 암호화된 채로 전송됩니다. 이 릴리스부터 클러스터를 만들 때 임시 데이터 디스크의 호스트에서 암호화를 사용할 수 있습니다. 호스트의 암호화는 제한된 지역의 특정 VM SKU에서만 지원됩니다. HDInsight는 다음 노드 구성 및 SKU를 지원합니다. 호스트에서 암호화를 사용하는 방법에 대한 자세한 내용을 참조하세요.

Azure Virtual Machine Scale Sets로 전환

감가 상각

이 릴리스는 사용 중단되지 않습니다.

동작 변경

이 릴리스에 동작 변경은 없습니다.

예정된 변경

이후 릴리스에서는 다음과 같은 변경이 수행됩니다.

Spark, Hadoop 및 ML 서비스에 대해 다양한 Zookeeper SKU를 선택하는 기능

현재 HDInsight는 Spark, Hadoop 및 ML 서비스 클러스터 유형에 대한 Zookeeper SKU 변경을 지원하지 않습니다. Zookeeper 노드에는 A2_v2/A2 SKU가 사용되고 고객은 이에 관련된 요금은 청구받지 않습니다. 향후 릴리스에서 고객은 필요에 따라 Spark, Hadoop 및 ML 서비스의 Zookeeper SKU를 변경할 수 있습니다. A2_v2/A2가 아닌 SKU를 사용하는 Zookeeper 노드에는 요금이 청구됩니다. 기본 SKU는 A2_V2/A2로 유지되며 무료로 제공됩니다.

버그 수정

HDInsight는 계속해서 클러스터 안정성과 성능을 향상시킵니다.

구성 요소 버전 변경

이 릴리스에 대한 구성 요소 버전이 변경되지 않았습니다. 이 문서에서 HDInsight 4.0 및 HDInsight 3.6의 최신 구성 요소 버전을 찾을 수 있습니다.

릴리스 날짜: 08/09/2020

이 릴리스는 HDInsight 4.0에만 적용됩니다. HDInsight 릴리스는 며칠 동안의 준비 작업을 거쳐 모든 지역에서 사용할 수 있게 됩니다. 여기에 나오는 릴리스 날짜는 첫 번째 지역 릴리스 날짜를 나타냅니다. 아래의 변경 내용이 표시되지 않으면 며칠 후에 해당 지역에서 릴리스가 라이브될 때까지 기다려주세요.

새로운 기능

SparkCruise 지원

SparkCruise는 Spark의 자동 계산 재사용 시스템입니다. 이전 쿼리 워크로드를 기준으로 구체화할 공통 하위 식을 선택합니다. SparkCruise는 이러한 하위 식을 쿼리 처리의 일부로 구체화하며 계산 재사용은 백그라운드에서 자동으로 적용됩니다. Spark 코드를 수정하지 않고 SparkCruise의 혜택을 누릴 수 있습니다.

HDInsight 4.0의 Hive View 지원

Apache Ambari Hive View는 웹 브라우저에서 Hive 쿼리를 작성, 최적화 및 실행하는 데 유용하게 설계되었습니다. Hive View는 이 릴리스부터 HDInsight 4.0 클러스터에 기본적으로 지원됩니다. 기존 클러스터에는 적용되지 않습니다. 기본 제공 Hive View를 가져오려면 클러스터를 삭제하고 다시 만들어야 합니다.

HDInsight 4.0의 Tez View 지원

Apache Tez View는 Hive Tez 작업의 실행을 추적하고 디버그하는 데 사용됩니다. Tez VIew는 이 릴리스부터 HDInsight 4.0에 기본적으로 지원됩니다. 기존 클러스터에는 적용되지 않습니다. 기본 제공 Tez View를 가져오려면 클러스터를 삭제하고 다시 만들어야 합니다.

감가 상각

HDInsight 3.6 Spark 클러스터의 Spark 2.1 및 2.2 사용 중단

2020년 7월 1일부터 고객은 HDInsight 3.6에서 Spark 2.1 및 2.2를 사용하여 새로운 Spark 클러스터를 만들 수 없습니다. 기존 클러스터는 Microsoft의 지원 없이 있는 그대로 실행됩니다. 잠재적인 시스템/지원 중단을 방지하기 위해 2020년 6월 30일까지 HDInsight 3.6의 Spark 2.3으로 전환하는 것이 좋습니다.

HDInsight 4.0 Spark 클러스터의 Spark 2.3 사용 중단

2020년 7월 1일부터 고객은 HDInsight 4.0에서 Spark 2.3을 사용하여 새로운 Spark 클러스터를 만들 수 없습니다. 기존 클러스터는 Microsoft의 지원 없이 있는 그대로 실행됩니다. 잠재적인 시스템/지원 중단을 방지하기 위해 2020년 6월 30일까지 HDInsight 4.0의 Spark 2.4로 전환하는 것이 좋습니다.

HDInsight 4.0 Kafka 클러스터의 Kafka 1.1 사용 중단

2020년 7월 1일부터 고객은 HDInsight 4.0의 Kafka 1.1을 사용하여 새 Kafka 클러스터를 만들 수 없습니다. 기존 클러스터는 Microsoft의 지원 없이 있는 그대로 실행됩니다. 잠재적인 시스템/지원 중단을 방지하기 위해 2020년 6월 30일까지 HDInsight 4.0의 Kafka 2.1로 전환하는 것이 좋습니다.

동작 변경

Ambari 스택 버전 변경

이 릴리스에서 Ambari 버전은 2.x.x.x에서 4.1로 변경됩니다. Ambari: Ambari > 사용자 > 버전에서 스택 버전(HDInsight 4.1)을 확인할 수 있습니다.

예정된 변경

주의해야 할 호환성이 손상되는 변경 사항은 없습니다.

버그 수정

HDInsight는 계속해서 클러스터 안정성과 성능을 향상시킵니다.

아래 JIRA는 Hive로 다시 포트됩니다.

아래 JIRA는 HBase로 백포트됩니다.

구성 요소 버전 변경

이 릴리스에 대한 구성 요소 버전이 변경되지 않았습니다. 이 문서에서 HDInsight 4.0 및 HDInsight 3.6의 최신 구성 요소 버전을 찾을 수 있습니다.

알려진 문제

Azure Portal에서 사용자가 SSH 인증 유형의 공개 키를 사용하여 Azure HDInsight 클러스터를 만들 때 오류가 발생하던 문제가 해결되었습니다. 사용자가 검토 + 만들기를 클릭하면 "SSH 사용자 이름에서 연속된 문자 세 개를 포함해서는 안 됩니다" 오류가 표시됩니다. 이 문제는 해결되었지만 수정된 보기를 로드하려면 CTRL + F5를 눌러 브라우저 캐시를 새로 고쳐야 할 수도 있습니다. 이 문제에 대한 해결 방법은 ARM 템플릿을 사용하여 클러스터를 만드는 것이었습니다.

릴리스 날짜: 07/13/2020

이 릴리스는 HDInsight 3.6 및 4.0 둘 다에 적용됩니다. HDInsight 릴리스는 며칠 동안의 준비 작업을 거쳐 모든 지역에서 사용할 수 있게 됩니다. 여기에 나오는 릴리스 날짜는 첫 번째 지역 릴리스 날짜를 나타냅니다. 아래의 변경 내용이 표시되지 않으면 며칠 후에 해당 지역에서 릴리스가 라이브될 때까지 기다려주세요.

새로운 기능

Microsoft Azure용 고객 Lockbox 지원

Azure HDInsight는 이제 Azure 고객 Lockbox를 지원합니다. 이는 고객 데이터 액세스 요청을 검토하고 승인하거나 거부하기 위한 인터페이스입니다. 지원 요청 시 Microsoft 엔지니어가 고객 데이터에 액세스해야 하는 경우에 사용됩니다. 자세한 내용은 Microsoft Azure용 고객 Lockbox를 참조하세요.

스토리지에 대한 서비스 엔드포인트 정책

이제 고객은 HDInsight 클러스터 서브넷에서 SEP(서비스 엔드포인트 정책)를 사용할 수 있습니다. Azure 서비스 엔드포인트 정책에 대한 자세한 정보를 알아봅니다.

감가 상각

HDInsight 3.6 Spark 클러스터의 Spark 2.1 및 2.2 사용 중단

HDInsight 4.0 Spark 클러스터의 Spark 2.3 사용 중단

HDInsight 4.0 Kafka 클러스터의 Kafka 1.1 사용 중단

동작 변경

주의해야 하는 동작 변경은 없습니다.

예정된 변경

이후 릴리스에서는 다음과 같은 변경이 수행됩니다.

Spark, Hadoop 및 ML 서비스에 대해 다양한 Zookeeper SKU를 선택하는 기능

버그 수정

HDInsight는 계속해서 클러스터 안정성과 성능을 향상시킵니다.

Hive Warehouse Connector 문제를 해결했습니다

이전 릴리스에는 Hive Warehouse Connector 유용성에 문제가 있었습니다. 이 문제가 해결되었습니다.

Zeppelin Notebook이 선행 0을 잘라 버리는 문제를 해결

Zeppelin이 문자열 형식의 테이블 출력에서 선행 0을 잘못 자르는 문제가 있었습니다. 이 릴리스에서는 이 문제가 해결되었습니다.

구성 요소 버전 변경

이 릴리스에 대한 구성 요소 버전이 변경되지 않았습니다. 이 문서에서 HDInsight 4.0 및 HDInsight 3.6의 최신 구성 요소 버전을 찾을 수 있습니다.

릴리스 날짜: 06/11/2020

새로운 기능

Azure Virtual Machine Scale Sets로 전환

이제 HDInsight는 Azure 가상 머신을 사용하여 클러스터를 프로비저닝합니다. 이 릴리스부터, 새로 만든 HDInsight 클러스터는 Azure Virtual Machine Scale Sets를 사용합니다. 변경 내용은 점진적으로 롤아웃됩니다. 호환성이 손상되는 변경 내용은 없을 것으로 예상됩니다. Azure Virtual Machine Scale Sets에 대한 자세한 정보를 알아봅니다.

HDInsight 클러스터에서 VM 재부팅

이 릴리스에서는 응답이 없는 노드를 재부팅하기 위해 HDInsight 클러스터의 VM을 재부팅하는 기능을 지원합니다. 현재는 API를 통해서만 이 작업을 수행할 수 있으며, PowerShell 및 CLI 지원은 추가하는 중입니다. API에 대한 자세한 내용은 이 문서를 참조하세요.

감가 상각

HDInsight 3.6 Spark 클러스터의 Spark 2.1 및 2.2 사용 중단

HDInsight 4.0 Spark 클러스터의 Spark 2.3 사용 중단

HDInsight 4.0 Kafka 클러스터의 Kafka 1.1 사용 중단

동작 변경

ESP Spark 클러스터 헤드 노드 크기 변경

ESP Spark 클러스터에 허용되는 최소 헤드 노드 크기가 Standard_D13_V2로 변경됩니다. 코어 수가 낮거나 메모리를 헤드 노드로 사용하는 VM은 CPU와 메모리 용량이 상대적으로 적기 때문에 ESP 클러스터 문제를 일으킬 수 있습니다. 이 릴리스부터는 Standard_D13_V2 보다 높은 SKU를 사용하고 Standard_E16_V3를 ESP Spark 클러스터의 헤드 노드로 합니다.

헤드 노드에는 최소 4코어 VM이 필요합니다.

HDInsight 클러스터의 고가용성 및 안정성을 보장하기 위해 헤드 노드에는 최소 4코어 VM이 필요합니다. 2020년 4월 6일부터 고객은 새 HDInsight 클러스터에 대한 헤드 노드로 4코어 이상의 VM만 선택할 수 있습니다. 기존 클러스터는 계속해서 예상대로 실행됩니다.

클러스터 작업자 노드 프로비저닝 변경

작업자 노드의 80%가 준비되면 클러스터가 작동 단계에 들어갑니다. 이 단계에서 고객은 스크립트 및 작업 실행과 같은 모든 데이터 평면 작업을 수행할 수 있습니다. 하지만 고객은 규모 확장/축소와 같은 컨트롤 플레인 작업을 수행할 수는 없습니다. 오직 삭제만 지원됩니다.

작동 단계 이후 클러스터는 남은 20%의 작업자 노드를 다시 60분 동안 기다립니다. 이 60분이 끝나면 모든 작업자 노드를 아직 사용할 수 없더라도 클러스터가 실행 단계로 전환됩니다. 클러스터가 실행 단계로 들어가면 정상적으로 사용할 수 있습니다. 규모 확장/축소와 같은 제어 계획 작업과 스크립트 및 작업 실행과 같은 데이터 계획 작업이 모두 허용됩니다. 요청된 작업자 노드 중 일부를 사용할 수 없는 경우 클러스터가 부분 성공으로 표시됩니다. 성공적으로 배포된 노드에 대한 요금이 청구됩니다.

HDInsight를 통해 새 서비스 주체 만들기

이전에는 클러스터를 만들 때 고객이 Azure Portal의 연결된 ADLS Gen 1 계정에 액세스하는 새 서비스 주체를 만들 수 있었습니다. 2020년 6월 15일부터 HDInsight 만들기 워크플로에 새 서비스 주체를 만들 수 없으며 기존 서비스 주체만 지원됩니다. Azure Active Directory를 사용하여 서비스 주체 및 인증서 만들기를 참조하세요.

클러스터를 만들기를 이용한 스크립트 작업 시간 초과

HDInsight는 클러스터 만들기를 이용한 스크립트 작업 실행을 지원합니다. 이 릴리스부터 클러스터 만들기를 이용한 모든 스크립트 작업은 60분 이내에 완료되어야 하며 그렇지 않으면 시간 제한이 초과됩니다. 실행 중인 클러스터에 제출된 스크립트 작업에는 영향을 주지 않습니다. 자세한 내용은 여기를 참조하세요.

예정된 변경

주의해야 할 호환성이 손상되는 변경 사항은 없습니다.

버그 수정

HDInsight는 계속해서 클러스터 안정성과 성능을 향상시킵니다.

구성 요소 버전 변경

HBase 2.0-2.1.6

HBase 버전이 2.0에서 2.1.6으로 업그레이드되었습니다.

Spark 2.4.0-2.4.4

Spark 버전이 2.4.0에서 2.4.4로 업그레이드되었습니다.

Kafka 2.1.0-2.1.1

Kafka 버전이 2.1.0에서 2.1.1로 업그레이드되었습니다.

이 문서에서 HDInsight 4.0 및 HDInsight 3.6의 최신 구성 요소 버전을 찾을 수 있습니다

알려진 문제

Hive Warehouse Connector 문제

이 릴리스에는 Hive Warehouse Connector에 문제가 있습니다. 다음 릴리스에서 수정될 예정입니다. 이 릴리스 이전에 만든 기존 클러스터는 영향을 받지 않습니다. 가능하면 클러스터를 삭제하고 다시 만들지 마세요. 이에 대한 추가 도움이 필요한 경우 지원 티켓을 엽니다.

릴리스 날짜: 2020/09/01

새로운 기능

TLS 1.2 적용

TLS(전송 계층 보안) 및 SSL(Secure Sockets Layer)은 컴퓨터 네트워크를 통해 통신 보안을 제공하는 암호화 프로토콜입니다. TLS에 대해 자세히 알아봅니다. HDInsight는 퍼블릭 HTTP의 엔드포인트에서 TLS 1.2를 사용하지만 TLS 1.1은 이전 버전과의 호환성을 위해 계속 지원됩니다.

이 릴리스에서 고객은 퍼블릭 클러스터 엔드포인트를 통한 모든 연결에 대해서만 TLS 1.2를 옵트인(opt in)할 수 있습니다. 이를 지원하기 위해 새 속성 minSupportedTlsVersion이 도입되었으며 클러스터를 만드는 동안 이 속성을 지정할 수 있습니다. 이 속성을 설정하지 않으면 클러스터는 현재 동작처럼 TLS 1.0, 1.1 및 1.2를 계속 지원합니다. 고객은 이 속성의 값을 "1.2"로 설정할 수 있습니다. 이렇게 하면 클러스터는 TLS 1.2 이상만 지원합니다. 자세한 내용은 전송 계층 보안을 참조하세요.

디스크 암호화를 위한 사용자 고유 키 가져오기

HDInsight의 모든 관리 디스크는 Azure SSE(스토리지 서비스 암호화)로 보호됩니다. 기본적으로 해당 디스크의 데이터는 Microsoft 관리 키를 사용하여 암호화됩니다. 이 릴리스부터는 디스크 암호화에 대해 BYOK(Bring Your Own Key)를 수행하고 Azure Key Vault를 사용하여 관리할 수 있습니다. BYOK 암호화는 다른 비용 없이 클러스터를 만드는 동안 진행되는 1단계 구성입니다. Azure Key Vault를 통해 HDInsight를 관리 ID로 등록하고 클러스터를 만들 때 암호화 키를 추가합니다. 자세한 내용은 고객 관리형 키 디스크 암호화를 참조하세요.

감가 상각

이 릴리스의 사용 중단은 없습니다. 예정된 사용 중단을 대비하려면 예정된 변경을 참조하세요.

동작 변경

이 릴리스에 대한 동작 변경은 없습니다. 예정된 변경을 대비하려면 예정된 변경을 참조하세요.

예정된 변경

이후 릴리스에서는 다음과 같은 변경이 수행됩니다.

HDInsight 3.6 Spark 클러스터의 Spark 2.1 및 2.2 사용 중단

2020년 7월 1일부터 고객은 HDInsight 3.6의 Spark 2.1 및 2.2를 사용하여 새 Spark 클러스터를 만들 수 없습니다. 기존 클러스터는 Microsoft의 지원 없이 있는 그대로 실행됩니다. 잠재적인 시스템/지원 중단을 방지하기 위해 2020년 6월 30일까지 HDInsight 3.6의 Spark 2.3으로 전환하는 것이 좋습니다.

HDInsight 4.0 Spark 클러스터의 Spark 2.3 사용 중단

2020년 7월 1일부터 고객은 HDInsight 4.0의 Spark 2.3을 사용하여 새 Spark 클러스터를 만들 수 없습니다. 기존 클러스터는 Microsoft의 지원 없이 있는 그대로 실행됩니다. 잠재적인 시스템/지원 중단을 방지하기 위해 2020년 6월 30일까지 HDInsight 4.0의 Spark 2.4로 전환하는 것이 좋습니다.

HDInsight 4.0 Kafka 클러스터의 Kafka 1.1 사용 중단

2020년 7월 1일부터 고객은 HDInsight 4.0의 Kafka 1.1을 사용하여 새로운 Kafka 클러스터를 만들 수 없습니다. 기존 클러스터는 Microsoft의 지원 없이 있는 그대로 실행됩니다. 잠재적인 시스템/지원 중단을 방지하기 위해 2020년 6월 30일까지 HDInsight 4.0의 Kafka 2.1로 전환하는 것이 좋습니다. 자세한 내용은 Azure HDInsight 4.0으로 Apache Kafka 워크로드 마이그레이션을 참조하세요.

HBase 2.0-2.1.6

예정된 HDInsight 4.0 릴리스에서 HBase 버전은 버전 2.0에서 2.1.6로 업그레이드됩니다.

Spark 2.4.0-2.4.4

예정된 HDInsight 4.0 릴리스에서 Spark 버전은 버전 2.4.0에서 2.4.4로 업그레이드됩니다.

Kafka 2.1.0-2.1.1

예정된 HDInsight 4.0 릴리스에서 Kafka 버전은 버전 2.1.0에서 2.1.1로 업그레이드됩니다.

헤드 노드에는 최소 4코어 VM이 필요합니다.

ESP Spark 클러스터 노드 크기 변경

예정된 릴리스에서 ESP Spark 클러스터에 허용되는 최소 노드 크기가 Standard_D13_V2로 변경됩니다. A 시리즈 VM은 비교적 낮은 CPU와 메모리 용량 때문에 ESP 클러스터 이슈를 유발할 수 있습니다. A 시리즈 VM은 새 ESP 클러스터를 만드는 데 사용되지 않습니다.

Azure Virtual Machine Scale Sets로 전환

이제 HDInsight는 Azure Virtual Machines를 사용하여 클러스터를 프로비저닝합니다. 예정된 릴리스에서 HDInsight는 Azure Virtual Machine Scale Sets를 대신 사용합니다. Azure Virtual Machine Scale Sets에 대한 자세한 정보를 알아봅니다.

버그 수정

HDInsight는 계속해서 클러스터 안정성과 성능을 향상시킵니다.

구성 요소 버전 변경

이 릴리스에 대한 구성 요소 버전이 변경되지 않았습니다. HDInsight 4.0 및 HDInsight 3.6의 최신 구성 요소 버전을 여기에서 찾을 수 있습니다.

릴리스 날짜: 12/17/2019

이 릴리스는 HDInsight 3.6 및 4.0 둘 다에 적용됩니다.

새로운 기능

서비스 태그

서비스 태그는 Azure 서비스에 대한 네트워크 액세스를 쉽게 제한하도록 하여 Azure 가상 머신 및 Azure 가상 네트워크에 대한 보안을 간소화합니다. NSG(네트워크 보안 그룹) 규칙에서 서비스 태그를 사용하여 전역적으로 또는 Azure 지역에 따라 특정 Azure 서비스에 대한 트래픽을 허용하거나 거부할 수 있습니다. Azure는 각 태그를 기반으로 하는 IP 주소의 유지 관리를 제공합니다. NSG(네트워크 보안 그룹)의 HDInsight 서비스 태그는 상태 및 관리 서비스에 대한 IP 주소 그룹입니다. 이러한 그룹은 보안 규칙 만들기의 복잡성을 최소화하는 데 유용합니다. HDInsight 고객은 Azure Portal, PowerShell, REST API를 통해 서비스 태그를 사용할 수 있습니다. 자세한 내용은 Azure HDInsight용 NSG(네트워크 보안 그룹) 서비스 태그를 참조하세요.

사용자 지정 Ambari DB

이제 HDInsight를 사용하여 Apache Ambari에 고유 SQL DB를 사용할 수 있습니다. 이 사용자 지정 Ambari DB는 Azure Portal 또는 Resource Manager 템플릿을 통해 구성할 수 있습니다. 이 기능을 사용하여 처리 및 용량 요구 사항에 적합한 SQL DB를 선택할 수 있습니다. 비즈니스 성장 요구 사항에 맞게 간단히 업그레이드할 수도 있습니다. 자세한 내용은 사용자 지정 Ambari DB를 사용하여 HDInsight 클러스터 설정을 참조하세요.

사용자 지정 Ambari DB.

감가 상각

이 릴리스의 사용 중단은 없습니다. 예정된 사용 중단을 대비하려면 예정된 변경을 참조하세요.

동작 변경

이 릴리스에 대한 동작 변경은 없습니다. 예정된 동작 변경에 대비하려면 예정된 변경을 참조하세요.

예정된 변경

이후 릴리스에서는 다음과 같은 변경이 수행됩니다.

TLS(전송 계층 보안) 1.2 적용

TLS(전송 계층 보안) 및 SSL(Secure Sockets Layer)은 컴퓨터 네트워크를 통해 통신 보안을 제공하는 암호화 프로토콜입니다. 자세한 내용은 전송 계층 보안을 참조하세요. Azure HDInsight 클러스터는 공용 HTTPS 엔드포인트에서 TLS 1.2 연결을 허용하지만, 구 클라이언트와의 호환성을 위해 TLS 1.1은 계속 지원됩니다.

다음 릴리스부터 TLS 1.2 연결만 수락하도록 새 HDInsight 클러스터를 옵트인하고 구성할 수 있습니다.

이후 6/30/2020부터 Azure HDInsight는 모든 HTTPS 연결에 TLS 1.2 또는 그 이상 버전을 적용합니다. 모든 클라이언트가 TLS 1.2 이상 버전을 처리할 수 있도록 대비하는 것이 좋습니다.

Azure Virtual Machine Scale Sets로 전환

이제 HDInsight는 Azure Virtual Machines를 사용하여 클러스터를 프로비저닝합니다. 2020년 2월(정확한 날짜는 나중에 전달 예정)부터 HDInsight는 Azure Virtual Machine Scale Sets를 대신 사용합니다. Azure Virtual Machine Scale Sets에 대한 자세한 정보를 알아봅니다.

ESP Spark 클러스터 노드 크기 변경

예정된 릴리스에서는 다음을 수행합니다.

ESP Spark 클러스터에 허용되는 최소 노드 크기가 Standard_D13_V2로 변경됩니다.
A 시리즈 VM은 CPU와 메모리 용량이 상대적으로 부족해서 ESP 클러스터 문제를 일으킬 수 있으므로 새 ESP 클러스터를 만드는 데 사용되지 않습니다.

HBase 2.0에서 2.1로

예정된 HDInsight 4.0 릴리스에서 HBase 버전은 버전 2.0에서 2.1로 업그레이드됩니다.

버그 수정

HDInsight는 계속해서 클러스터 안정성과 성능을 향상시킵니다.

구성 요소 버전 변경

HDInsight 3.6 지원이 2020년 12월 31일까지 연장되었습니다. 자세한 내용은 지원되는 HDInsight 버전에서 확인할 수 있습니다.

HDInsight 4.0에 대한 구성 요소 버전은 변경되지 않았습니다.

HDInsight 3.6의 Apache Zeppelin이 0.7.0-->0.7.3으로 변경되었습니다.

이 문서에서 최신 구성 요소 버전을 찾을 수 있습니다.

새 지역

아랍에미리트 북부

아랍에미리트 북부의 관리 IP는 65.52.252.96 및 65.52.252.97입니다.

릴리스 날짜: 11/07/2019

이 릴리스는 HDInsight 3.6 및 4.0 둘 다에 적용됩니다.

새로운 기능

HIB(HDInsight Identity Broker)(미리 보기)

HIB(HDInsight Identity Broker)를 사용하면 사용자가 MFA(다단계 인증)를 사용하여 Apache Ambari에 로그인하고 AAD-DS(Azure Active Directory Domain Services)에서 암호 해시 없이도 필요한 Kerberos 티켓을 가져올 수 있습니다. 현재 HIB는 ARM(Azure Resource Management) 템플릿을 통해 배포된 클러스터에만 사용할 수 있습니다.

Kafka REST API 프록시(미리 보기)

Kafka REST API 프록시는 보호되는 Azure AD 권한 부여 및 OAuth 프로토콜을 통해 Kafka 클러스터와 함께 고가용성 REST 프록시의 원클릭 배포 기능을 제공합니다.

자동 크기 조정

Azure HDInsight의 자동 크기 조정은 이제 Apache Spark 및 Hadoop 클러스터 유형의 모든 지역에서 일반 공급됩니다. 이 기능을 사용하면 보다 비용 효율적이고 생산적인 방식으로 빅 데이터 분석 워크로드를 관리할 수 있습니다. 이제 HDInsight 클러스터 사용을 최적화하고 필요한 만큼만 비용을 지불할 수 있습니다.

원하는 대로 부하 기반 및 일정 기반 자동 크기 조정 중에서 선택할 수 있습니다. 부하 기반 자동 크기 조정은 현재 리소스 요구에 따라 클러스터 크기를 확장 및 축소 스케일링할 수 있는 반면 일정 기반 자동 크기 조정에서는 미리 정의된 일정에 따라 클러스터 크기를 변경할 수 있습니다.

HBase 및 LLAP 워크로드 자동 크기 조정 지원도 공개 미리 보기가 가능합니다. 자세한 내용은 Azure HDInsight 클러스터 자동 크기 조정을 참조하세요.

Apache HBase용 HDInsight 가속 쓰기

가속 쓰기는 Azure 프리미엄 SSD 관리 디스크를 사용하여 Apache HBase WAL(Write Ahead Log)의 성능을 개선합니다. 자세한 내용은 Apache HBase에 대한 Azure HDInsight 가속 쓰기를 참조하세요.

사용자 지정 Ambari DB

이제 HDInsight는 고객이 자신의 Ambari용 SQL DB를 사용하도록 새 용량을 제공합니다. 이제 고객은 Ambari에 적합한 SQL DB를 선택하고, 고유한 비즈니스 성장 요구 사항에 따라 간편하게 업그레이드할 수 있습니다. 배포에는 Azure Resource Manager 템플릿을 사용합니다. 자세한 내용은 사용자 지정 Ambari DB를 사용하여 HDInsight 클러스터 설정을 참조하세요.

이제 HDInsight로 F 시리즈 가상 머신을 사용할 수 있습니다

F 시리즈 VM(가상 머신)은 가벼운 처리 요구 사항으로 HDInsight를 시작하는 데 적합합니다. 시간당 가격이 더 낮은 F 시리즈는 vCPU당 ACU(Azure 컴퓨팅 단위)를 기준으로 하는 Azure 포트폴리오에서 가격 대비 성능이 가장 좋습니다. 자세한 내용은 Azure HDInsight 클러스터에 적합한 VM 크기 선택을 참조하세요.

감가 상각

G 시리즈 가상 머신 사용 중단

이 릴리스부터 G 시리즈 VM은 더 이상 HDInsight에서 제공되지 않습니다.

`Dv1` 가상 머신 사용 중단

이 릴리스부터 HDInsight에서 Dv1 VM 사용이 중단됩니다. Dv1에 대한 고객 요청은 자동으로 Dv2(으)로 제공됩니다. Dv1및 Dv2 VM 사이에는 가격 차이가 없습니다.

동작 변경

클러스터 관리 디스크 크기 변경

HDInsight는 클러스터에 관리 디스크 공간을 제공합니다. 이 릴리스부터는 새로 만든 클러스터의 각 노드에 대한 관리 디스크 크기가 128GB로 변경되었습니다.

예정된 변경

이후 릴리스에서는 다음과 같은 변경이 수행됩니다.

Azure Virtual Machine Scale Sets로 전환

이제 HDInsight는 Azure Virtual Machines를 사용하여 클러스터를 프로비저닝합니다. 12월부터 HDInsight는 Azure Virtual Machine Scale Sets를 대신 사용합니다. Azure Virtual Machine Scale Sets에 대한 자세한 정보를 알아봅니다.

HBase 2.0에서 2.1로

예정된 HDInsight 4.0 릴리스에서 HBase 버전은 버전 2.0에서 2.1로 업그레이드됩니다.

A 시리즈 가상 머신의 ESP 클러스터 사용 중단

A 시리즈 VM은 비교적 낮은 CPU와 메모리 용량으로 인해 ESP 클러스터 문제를 일으킬 수 있습니다. 향후 릴리스에서 A 시리즈 VM은 새 ESP 클러스터를 만드는 데 사용되지 않습니다.

버그 수정

HDInsight는 계속해서 클러스터 안정성과 성능을 향상시킵니다.

구성 요소 버전 변경

이 릴리스에 대한 구성 요소 버전이 변경되지 않았습니다. HDInsight 4.0 및 HDInsight 3.6의 최신 구성 요소 버전을 여기에서 찾을 수 있습니다.

릴리스 날짜: 08/07/2019

구성 요소 버전

모든 HDInsight 4.0 구성 요소의 공식 Apache 버전은 다음과 같습니다. 나열된 구성 요소는 사용 가능한 가장 최신의 안정적인 버전의 릴리스입니다.

Apache Ambari 2.7.1
Apache Hadoop 3.1.1
Apache HBase 2.0.0
Apache Hive 3.1.0
Apache Kafka 1.1.1, 2.1.0
Apache Mahout 0.9.0 이상
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.3.1, 2.4.0
Apache Sqoop 1.4.7
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6

이후 버전의 Apache 구성 요소는 위에 나열된 버전 외에도 HDP 배포에 번들로 제공되기도 합니다. 이 경우 이러한 최신 버전은 Technical Previews 표에 나열되며 프로덕션 환경에서 위의 목록에 있는 Apache 구성 요소 버전을 대체해서는 안 됩니다.

Apache 패치 정보

HDInsight 4.0에서 사용할 수 있는 패치에 대한 자세한 내용은 아래 표에 나와 있는 각 제품의 패치 목록을 참조하세요.

제품 이름	패치 정보
Ambari	Ambari 패치 정보
Hadoop은	Hadoop 패치 정보
HBase	HBase 패치 정보
Hive	이 릴리스에서는 추가 Apache 패치가 없는 Hive 3.1.0을 제공합니다.
Kafka	이 릴리스에서는 추가 Apache 패치가 없는 Kafka 1.1.1을 제공합니다.
Oozie	Oozie 패치 정보
Phoenix	Phoenix 패치 정보
Pig	Pig 패치 정보
Ranger	Ranger 패치 정보
Spark	Spark 패치 정보
Sqoop	이 릴리스에서는 추가 Apache 패치가 없는 Sqoop 1.4.7을 제공합니다.
Tez	이 릴리스에서는 추가 Apache 패치가 없는 Tez 0.9.1을 제공합니다.
Zeppelin	이 릴리스는 추가 Apache 패치가 없는 Zeppelin 0.8.0을 제공합니다.
Zookeeper	Zookeeper 패치 정보

수정된 일반 취약성 및 노출

이 릴리스에서 해결된 보안 문제에 대한 자세한 내용은 Hortonworks의 HDP 3.0.1에 대한 수정된 일반적인 취약성 및 노출을 참조하세요.

알려진 문제

기본 설치를 사용하는 Secure HBase에 대한 복제가 중단됨

HDInsight 4.0의 경우 다음 단계를 수행합니다.

클러스터 간 통신을 사용합니다.
활성 헤드 노드에 로그인합니다.

다음 명령을 사용하여 스크립트를 다운로드해 복제를 사용합니다.

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

sudo kinit <domainuser> 명령을 입력합니다.

다음 명령을 입력하여 스크립트를 실행합니다.

sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

HDInsight 3.6용

활성 HMaster ZK에 로그인합니다.

다음 명령을 사용하여 스크립트를 다운로드해 복제를 사용합니다.

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN> 명령을 입력합니다.

다음 명령을 입력합니다.

sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

HBase 클러스터를 HDInsight 4.0으로 마이그레이션한 후 Phoenix Sqlline 작동이 중지됨

다음 단계를 수행합니다.

다음 Phoenix 테이블을 삭제합니다.
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.MUTEX
5. SYSTEM.CATALOG
테이블을 하나도 삭제할 수 없는 경우 HBase를 다시 시작하여 테이블과의 모든 연결을 지우세요.
sqlline.py을 다시 실행합니다. Phoenix는 1단계에서 삭제된 모든 테이블을 다시 만듭니다.
HBase 데이터에 대해 Phoenix 테이블 및 뷰를 다시 생성합니다.

HDInsight 3.6에서 4.0으로 HBase Phoenix 메타데이터를 복제한 후 Phoenix Sqlline 작동이 중지됨

다음 단계를 수행합니다.

복제를 수행하기 전에 대상 4.0 클러스터로 이동하여 sqlline.py를 실행합니다. 이 명령은 4.0에만 있는 SYSTEM.MUTEX과 SYSTEM.LOG 같은 Phoenix 테이블을 생성합니다.
다음 테이블을 삭제합니다.
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.CATALOG
HBase 복제 시작

감가 상각

Apache Storm 및 ML 서비스는 HDInsight 4.0에서 사용할 수 없습니다.

릴리스 날짜: 04/14/2019

새로운 기능

새로운 업데이트와 기능은 다음 범주로 분류됩니다.

Hadoop 및 기타 오픈 소스 프로젝트 업데이트 – 20개 이상의 오픈 소스 프로젝트에서 1,000개 이상의 버그 수정 외에도 이 업데이트는 새로운 버전의 Spark(2.3) 및 Kafka(1.0)를 포함합니다.

a. Apache Spark 2.3의 새로운 기능

b. Apache Kafka 1.0의 새로운 기능
R Server 9.1을 Machine Learning Services 9.3으로 업데이트 – 이 릴리스에서는 데이터 과학자와 엔지니어에게 알고리즘 혁신과 간편 조작화 성능을 통해 향상된 최상의 오픈 소스를 Apache Spark의 속도로 기본 설정 언어로 모두 사용할 수 있게 제공합니다. 이 릴리스는 Python에 대한 추가 지원을 통해 R Server에서 제공되는 기능을 확장하므로 클러스터 이름이 R 서버에서 ML 서비스로 변경됩니다.
Azure Data Lake Storage Gen2에 대한 지원 – HDInsight는 Azure Data Lake Storage Gen2의 미리 보기 릴리스를 지원합니다. 사용 가능한 지역에서 고객은 ADLS Gen2 계정을 HDInsight 클러스터용 기본 또는 보조 저장소로 선택할 수 있습니다.
HDInsight Enterprise Security Package 업데이트(미리 보기) - (미리 보기) Azure Blob Storage, ADLS Gen1, Cosmos DB 및 Azure DB에 대한 가상 네트워크 서비스 엔드포인트가 지원됩니다.

구성 요소 버전

모든 HDInsight 3.6 구성 요소의 공식 Apache 버전은 다음과 같습니다. 여기에 나열된 구성 요소는 모두 사용 가능한 가장 안정적인 버전의 공식 Apache 릴리스입니다.

Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0 이상
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ 0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6

위에 나열된 버전 외에도, 이후 버전의 몇 가지 Apache 구성 요소는 HDP 배포에서 번들로 제공되는 경우가 있습니다. 이 경우 이러한 최신 버전은 Technical Previews 표에 나열되며 프로덕션 환경에서 위의 목록에 있는 Apache 구성 요소 버전을 대체해서는 안 됩니다.

Apache 패치 정보

Hadoop은

이 릴리스에서는 Hadoop Common 2.7.3 및 다음 Apache 패치를 제공합니다.

HADOOP-13190: KMS HA 설명서의 LoadBalancingKMSClientProvider에 대해 설명합니다.
HADOOP-13227: AsyncCallHandler에서 이벤트 기반 아키텍처를 사용하여 비동기 호출을 처리해야 합니다.
HADOOP-14104: 클라이언트에서 KMS 공급자 경로에 대해 항상 namenode를 요청해야 합니다.
HADOOP-14799: nimbus-jose-jwt를 4.41.1로 업데이트합니다.
HADOOP-14814: FsServerDefaults에서 호환되지 않는 API 변경 내용을 HADOOP-14104로 수정합니다.
HADOOP-14903: json-smart를 pom.xml에 명시적으로 추가합니다.
HADOOP-15042: numberOfPagesRemaining이 0인 경우 Azure PageBlobInputStream.skip()에서 음수 값을 반환할 수 있습니다.
HADOOP-15255: LdapGroupsMapping에서 그룹 이름에 대해 대/소문자 변환을 지원합니다.
HADOOP-15265: hadoop-auth pom.xml에서 json-smart를 명시적으로 제외합니다.
HDFS-7922: ShortCircuitCache#close에서 ScheduledThreadPoolExecutors를 릴리스하지 않습니다.
HDFS-8496: FSDatasetImpl 잠금이 있는 stopWriter()를 호출하면 다른 스레드(cmccabe)가 차단될 수 있습니다.
HDFS-10267: 여분의 ‘synchronized’가 FsDatasetImpl#recoverAppend 및 FsDatasetImpl#recoverClose에 있습니다.
HDFS-10489: HDFS 암호화 영역에 대해 dfs.encryption.key.provider.uri의 사용을 중단합니다.
HDFS-11384: 분산 장치에서 getBlocks 호출을 분산시키는 옵션을 추가하여 NameNode의 rpc.CallQueueLength 스파이크를 방지합니다.
HDFS-11689: DFSClient%isHDFSEncryptionEnabled 중단 hacky 하이브 코드에서 throw한 새 예외입니다.
HDFS-11711: DN은 “파일이 너무 많이 열려 있습니다.”에서 블록을 삭제하지 않아야 합니다.
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay가 자주 실패합니다.
HDFS-12781: Datanode 중단 후 Namenode UI Datanode 탭에서 throw한 경고 메시지입니다.
HDFS-13054: DFSClient delete 호출의 PathIsNotEmptyDirectoryException을 처리합니다.
HDFS-13120: 스냅샷 diff가 연결 후에 손상될 수 있습니다.
YARN-3742: ZKClient 만들기 시간이 초과되면 YARN RM이 종료됩니다.
YARN-6061: RM의 중요한 스레드에 대해 UncaughtExceptionHandler를 추가합니다.
YARN-7558: UI 인증이 활성화되면 yarn logs 명령에서 실행 중인 컨테이너에 대한 로그를 가져오지 못합니다.
YARN-7697: 로그 집계가 완료된 경우에도 완료된 애플리케이션에 대한 로그를 가져오지 못합니다.

HDP 2.6.4에서는 Hadoop Common 2.7.3 및 다음 Apache 패치를 제공합니다.

HADOOP-13700: TrashPolicy#initialize 및 #getInstance 서명에서 throw되지 않은 IOException을(를) 제거합니다.
HADOOP-13709: 프로세스가 종료될 때 Shell에서 생성된 하위 프로세스를 정리할 수 있습니다.
HADOOP-14059: s3a 이름 바꾸기(self, subdir) 오류 메시지에 오타가 있습니다.
HADOOP-14542: slf4j 로거 API를 허용하는 IOUtils.cleanupWithLogger를 추가합니다.
HDFS-9887: WebHdfs 소켓 시간 제한은 구성할 수 있어야 합니다.
HDFS-9914: 구성 가능한 WebhDFS 연결/읽기 시간 제한을 수정합니다.
MAPREDUCE-6698: TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser의 시간 제한을 늘립니다.
YARN-4550: TestContainerLanch의 일부 테스트가 영어가 아닌 로캘 환경에서 실패합니다.
YARN-4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir가 정리에서 IllegalArgumentException으로 인해 일시적으로 실패합니다.
YARN-5042: /sys/fs/cgroup을 읽기 전용으로 Docker 컨테이너에 탑재합니다.
YARN-5318: TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider의 일시적 테스트 오류를 수정합니다.
YARN-5641: 컨테이너가 완료되면 로컬라이저에서 tarball을 남깁니다.
YARN-6004: 150줄 미만이 되도록 TestResourceLocalizationService#testDownloadingResourcesOnContainer를 리팩터링합니다.
YARN-6078: 컨테이너가 Localizing 상태에서 멈춰 있습니다.
YARN-6805: PrivilegedOperationException null 종료 코드로 인해 LinuxContainerExecutor에서 NPE를 수행합니다.

HBase

이 릴리스에서는 HBase 1.1.2 및 다음 Apache 패치를 제공합니다.

HBASE-13376: 확률적 부하 분산 장치를 향상시킵니다.
HBASE-13716: Hadoop의 FSConstants 사용을 중지합니다.
HBASE-13848: 자격 증명 공급자 API를 통해 InfoServer SSL 암호에 액세스합니다.
HBASE-13947: AssignmentManager에서 Server 대신 MasterServices를 사용합니다.
HBASE-14135: HBase 백업/복원 단계 3: 백업 이미지 병합.
HBASE-14473: 지역 위치를 병렬로 컴퓨팅합니다.
HBASE-14517: 마스터 상태 페이지에서 regionserver's의 버전을 표시합니다.
HBASE-14606: TestSecureLoadIncrementalHFiles 테스트에서 Apache의 트렁크 빌드 시간이 초과되었습니다.
HBASE-15210: 밀리초당 수십 개 줄의 공격적인 부하 분산 장치 로깅을 실행 취소합니다.
HBASE-15515: 분산 장치의 LocalityBasedCandidateGenerator를 향상시킵니다.
HBASE-15615: RegionServerCallable을(를) 다시 시도해야 때 일시 중지 시간이 잘못되었습니다.
HBASE-16135: 제거된 피어의 rs 아래에 있는 PeerClusterZnode가 삭제되지 않을 수 있습니다.
HBASE-16570: 시작 시 지역 위치를 병렬로 컴퓨팅합니다.
HBASE-16810: regionservers이(가) /hbase/draining znode에 있고 언로드되면 HBase 분산 장치에서 ArrayIndexOutOfBoundsException을 throw합니다.
HBASE-16852: branch-1.3에서 TestDefaultCompactSelection이 실패했습니다.
HBASE-17387: multi()에 대한 RegionActionResult에서 예외 보고서의 오버헤드를 줄입니다.
HBASE-17850: 백업 시스템 복구 유틸리티입니다.
HBASE-17931: 가장 높은 버전의 서버에 시스템 테이블을 할당합니다.
HBASE-18083: 크고 작은 파일을 HFileCleaner에서 구성 가능한 깨끗한 스레드 번호로 만듭니다.
HBASE-18084: 디스크 공간을 많이 사용하는 디렉터리를 지우도록 CleanerChore를 향상시킵니다.
HBASE-18164: 훨씬 빠른 위치 비용 함수 및 후보 생성기입니다.
HBASE-18212: 로컬 파일 시스템 HBase 로그가 있는 독립 실행형 모드의 경고 메시지: org.apache.hadoop.fs.FSDataInputStream 클래스에서 'unbuffer' 메서드를 호출하지 못했습니다.
HBASE-18808: BackupLogCleaner#getDeletableFiles()의 구성 검사가 비효율적입니다.
HBASE-19052: FixedFileTrailer에서 branch-1.x의 CellComparatorImpl 클래스를 인식해야 합니다.
HBASE-19065: 동시 Region#flush()가 완료될 때까지 HRegion#bulkLoadHFiles()에서 기다려야 합니다.
HBASE-19285: 테이블당 대기 시간 히스토그램을 추가합니다.
HBASE-19393: SSL을 사용하여 HBase UI에 액세스하는 동안 "HTTP 413 헤더가 가득 찼음" 오류가 발생합니다.
HBASE-19395: [branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting이 NPE에서 실패합니다.
HBASE-19421: branch-1에서 Hadoop 3.0.0에 대해 컴파일하지 않습니다.
HBASE-19934: 복제본 읽기가 활성화되고 지역 분할 후 온라인 스냅샷을 가져오는 경우 HBaseSnapshotException이 발생합니다.
HBASE-20008: [백포트] 지역을 분할한 후 스냅샷을 복원하면 NullPointerException이 발생합니다.

Hive

이 릴리스에서는 다음 패치 외에도 Hive 1.2.1 및 Hive 2.1.0을 제공합니다.

Hive 1.2.1 Apache 패치:

HIVE-10697: ObjectInspectorConvertors#UnionConvertor에서 잘못된 변환을 수행합니다.
HIVE-11266: 외부 테이블에 대한 테이블 통계를 기반으로 하여 잘못된 count(*) 결과를 반환합니다.
HIVE-12245: HBase 지원 테이블에 대한 열 주석을 지원합니다.
HIVE-12315: double형 벡터화 0으로 나누기를 수정합니다.
HIVE-12360: 조건자 푸시다운을 통해 압축되지 않은 ORC에서 잘못 탐색합니다.
HIVE-12378: HBaseSerDe.serialize 이진 필드에서 예외가 발생합니다.
HIVE-12785: 구조체에 대한 공용 구조체 형식 및 UDF가 있는 보기가 손상되었습니다.
HIVE-14013: 테이블에서 유니코드가 제대로 표시되지 않는다고 설명합니다.
HIVE-14205: Hive에서 AVRO 파일 형식의 공용 구조체 형식을 지원하지 않습니다.
HIVE-14421: FS.deleteOnExit에서 _tmp_space.db 파일에 대한 참조를 보유합니다.
HIVE-15563: 실제 예외를 노출하려면 SQLOperation.runQuery에서 잘못된 연산 상태 전환 예외를 무시합니다.
HIVE-15680: MR 모드에서 hive.optimize.index.filter=true이고 동일한 ORC 테이블이 쿼리에서 두 번 참조되면 잘못된 결과가 발생합니다.
HIVE-15883: Hive 삽입의 HBase 매핑된 테이블이 10진수에 대해 실패합니다.
HIVE-16232: QuotedIdentifier의 열에 대한 통계 계산을 지원합니다.
HIVE-16828: CBO가 사용되면 분할된 뷰에 대한 쿼리에서 IndexOutOfBoundException을 throw합니다.
HIVE-17013: 뷰에서 선택한 항목에 따라 하위 쿼리를 사용하여 요청을 삭제합니다.
HIVE-17063: 파티션을 먼저 삭제할 때 외부 테이블에 파티션 덮어쓰기를 삽입하면 실패합니다.
HIVE-17259: Hive JDBC에서 UNIONTYPE 열을 인식하지 못합니다.
HIVE-17419: ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS 명령에서 마스킹된 테이블에 대해 계산된 통계를 보여 줍니다.
HIVE-17530: uniontype을(를) 변환하는 경우 ClassCastException이 발생합니다.
HIVE-17621: hive-site 설정이 HCatInputFormat 분할 계산 중에 무시됩니다.
HIVE-17636: blobstores에 대한 multiple_agg.q 테스트를 추가합니다.
HIVE-17729: 데이터베이스를 추가하고 관련 blobstore 테스트를 설명합니다.
HIVE-17731: 외부 사용자에 대한 이전 버전과의 호환성 compat 옵션을 HIVE-11985에 추가합니다.
HIVE-17803: Pig 다중 쿼리를 사용하여 동일한 테이블에 2개의 HCatStorer를 작성하면 서로의 출력이 손상됩니다.
HIVE-17829: ArrayIndexOutOfBoundsException - HBASE에서 Hive2에 Avro 스키마가 있는 테이블을 지원했습니다.
HIVE-17845: 대상 테이블 열이 소문자가 아니면 삽입이 실패합니다.
HIVE-17900: 콤팩터에서 트리거된 열의 통계를 분석하면 1보다 큰 파티션 열이 있는 잘못된 형식의 SQL이 생성됩니다.
HIVE-18026: Hive WebHCat 보안 주체 구성 최적화
HIVE-18031: Alter Database 작업에 대한 복제를 지원합니다.
HIVE-18090: metastore가 Hadoop 자격 증명을 통해 연결되면 ACID 하트 비트가 실패합니다.
HIVE-18189: hive.groupby.orderby.position.alias가 true로 설정되면 Hive 쿼리에서 잘못된 결과를 반환합니다.
HIVE-18258: 벡터화: 중복 열이 있는 축소 쪽 GROUP BY MERGEPARTIAL이 손상되었습니다.
HIVE-18293: Hive에서 HiveMetaStore를 실행하는 ID로 소유되지 않은 폴더에 포함된 테이블을 압축하지 못합니다.
HIVE-18327: MiniHiveKdc에 대한 불필요한 HiveConf 종속성을 제거합니다.
HIVE-18341: 동일한 암호화 키를 사용하여 TDE에 대한 "원시" 네임스페이스를 추가하기 위한 repl load 지원을 추가합니다.
HIVE-18352: REPL DUMP를 수행하는 동안 METADATAONLY 옵션을 사용하여 다른 도구를 통합할 수 있습니다.
HIVE-18353: CompactorMR에서 jobclient.close()를 호출하여 정리를 트리거해야 합니다.
HIVE-18390: ColumnPruner에서 분할된 뷰를 쿼리할 때 IndexOutOfBoundsException이 발생합니다.
HIVE-18429: 압축에서 출력을 생성하지 않는 경우를 처리해야 합니다.
HIVE-18447: JDBC: JDBC 사용자가 연결 문자열을 통해 쿠키 정보를 전달할 수 있는 방법을 제공합니다.
HIVE-18460: 콤팩터에서 테이블 속성을 Orc 기록기에 전달하지 않습니다.
HIVE-18467: 전체 웨어하우스 덤프/로드 및 데이터베이스 이벤트 만들기/삭제를 지원합니다(Anishek Agarwal, Sankar Hariappan 검토).
HIVE-18551: 벡터화: VectorMapOperator에서 하이브리드 유예 기간 동안 너무 많은 벡터 열을 쓰려고 합니다.
HIVE-18587: DML 삽입 이벤트에서 디렉터리에 대한 체크섬을 계산하려고 시도할 수 있습니다.
HIVE-18613: BINARY 형식을 지원하도록 JsonSerDe를 확장합니다.
HIVE-18626: Repl load "with" 절에서 구성을 작업으로 전달하지 않습니다.
HIVE-18660: PCR에서 파티션과 가상 열을 구분하지 않습니다.
HIVE-18754: REPL STATUS에서 'with' 절을 지원해야 합니다.
HIVE-18754: REPL STATUS에서 'with' 절을 지원해야 합니다.
HIVE-18788: JDBC PreparedStatement에서 입력을 정리합니다.
HIVE-18794: Repl load "with" 절에서 구성을 비분할 테이블에 대한 작업으로 전달하지 않습니다.
HIVE-18808: 통계 업데이트에 실패하면 압축을 더 강력하게 만듭니다.
HIVE-18817: ACID 테이블을 읽는 동안 ArrayIndexOutOfBounds 예외가 발생합니다.
HIVE-18833: "디렉터리에 orcfile로 삽입"하면 자동 병합이 실패합니다.
HIVE-18879: 클래스 경로에 xercesImpl.jar이 있으면 UDFXPathUtil에 포함 요소를 허용하지 않습니다.
HIVE-18907: HIVE-18817의 ACID 키 인덱스 문제를 해결하는 유틸리티를 만듭니다.

Hive 2.1.0 Apache 패치:

HIVE-14013: 테이블에서 유니코드가 제대로 표시되지 않는다고 설명합니다.
HIVE-14205: Hive에서 AVRO 파일 형식의 공용 구조체 형식을 지원하지 않습니다.
HIVE-15563: 실제 예외를 노출하려면 SQLOperation.runQuery에서 잘못된 연산 상태 전환 예외를 무시합니다.
HIVE-15680: MR 모드에서 hive.optimize.index.filter=true이고 동일한 ORC 테이블이 쿼리에서 두 번 참조되면 잘못된 결과가 발생합니다.
HIVE-15883: Hive 삽입의 HBase 매핑된 테이블이 10진수에 대해 실패합니다.
HIVE-16757: 사용되지 않는 AbstractRelNode.getRows 호출을 삭제합니다.
HIVE-16828: CBO가 사용되면 분할된 뷰에 대한 쿼리에서 IndexOutOfBoundException을 throw합니다.
HIVE-17063: 파티션을 먼저 삭제할 때 외부 테이블에 파티션 덮어쓰기를 삽입하면 실패합니다.
HIVE-17259: Hive JDBC에서 UNIONTYPE 열을 인식하지 못합니다.
HIVE-17530: uniontype을(를) 변환하는 경우 ClassCastException이 발생합니다.
HIVE-17600: 사용자가 OrcFile의 enforceBufferSize를 설정할 수 있도록 합니다.
HIVE-17601: LlapServiceDriver에서 오류 처리를 향상시킵니다.
HIVE-17613: 짧고 동일한 스레드 할당을 위해 개체 풀을 제거합니다.
HIVE-17617: 빈 결과 집합의 롤업에는 빈 그룹화 집합의 그룹화가 포함되어야 합니다.
HIVE-17621: hive-site 설정이 HCatInputFormat 분할 계산 중에 무시됩니다.
HIVE-17629: CachedStore: 테이블/파티션을 선택적으로 캐시하고 사전 준비 중에 읽을 수 있게 하는 허용/차단 구성이 있습니다.
HIVE-17636: blobstores에 대한 multiple_agg.q 테스트를 추가합니다.
HIVE-17702: ORC의 10진수 판독기에서 isRepeating을 잘못 처리합니다.
HIVE-17729: 데이터베이스를 추가하고 관련 blobstore 테스트를 설명합니다.
HIVE-17731: 외부 사용자에 대한 이전 버전과의 호환성 compat 옵션을 HIVE-11985에 추가합니다.
HIVE-17803: Pig 다중 쿼리를 사용하여 동일한 테이블에 2개의 HCatStorer를 작성하면 서로의 출력이 손상됩니다.
HIVE-17845: 대상 테이블 열이 소문자가 아니면 삽입이 실패합니다.
HIVE-17900: 콤팩터에서 트리거된 열의 통계를 분석하면 1보다 큰 파티션 열이 있는 잘못된 형식의 SQL이 생성됩니다.
HIVE-18006: HLLDenseRegister의 메모리 공간을 최적화합니다.
HIVE-18026: Hive WebHCat 보안 주체 구성 최적화
HIVE-18031: Alter Database 작업에 대한 복제를 지원합니다.
HIVE-18090: metastore가 Hadoop 자격 증명을 통해 연결되면 ACID 하트 비트가 실패합니다.
HIVE-18189: cbo이(가) 사용되지 않으면 위치별 정렬이 작동하지 않습니다.
HIVE-18258: 벡터화: 중복 열이 있는 축소 쪽 GROUP BY MERGEPARTIAL이 손상되었습니다.
HIVE-18269: LLAP: 느린 처리 파이프라인을 사용하는 빠른 llap IO로 인해 OOM이 발생할 수 있습니다.
HIVE-18293: Hive에서 HiveMetaStore를 실행하는 ID로 소유되지 않은 폴더에 포함된 테이블을 압축하지 못합니다.
HIVE-18318: 차단하지 않는 경우에도 LLAP 레코드 판독기에서 인터럽트를 확인해야 합니다.
HIVE-18326: LLAP Tez 스케줄러 - 작업 간에 종속성이 있는 경우에만 작업을 선점합니다.
HIVE-18327: MiniHiveKdc에 대한 불필요한 HiveConf 종속성을 제거합니다.
HIVE-18331: TGT가 만료되고 일부 로깅/람다가 있으면 relogin을 추가합니다.
HIVE-18341: 동일한 암호화 키를 사용하여 TDE에 대한 "원시" 네임스페이스를 추가하기 위한 repl load 지원을 추가합니다.
HIVE-18352: REPL DUMP를 수행하는 동안 METADATAONLY 옵션을 사용하여 다른 도구를 통합할 수 있습니다.
HIVE-18353: CompactorMR에서 jobclient.close()를 호출하여 정리를 트리거해야 합니다.
HIVE-18384: log4j2.x 라이브러리에서 ConcurrentModificationException이 발생합니다.
HIVE-18390: ColumnPruner에서 분할된 뷰를 쿼리할 때 IndexOutOfBoundsException이 발생합니다.
HIVE-18447: JDBC: JDBC 사용자가 연결 문자열을 통해 쿠키 정보를 전달할 수 있는 방법을 제공합니다.
HIVE-18460: 콤팩터에서 테이블 속성을 Orc 기록기에 전달하지 않습니다.
HIVE-18462: 맵 조인이 있는 쿼리 형식이 설명되면 형식이 지정되지 않은 열 이름이 포함된 columnExprMap이 있습니다.
HIVE-18467: 전체 웨어하우스 덤프/로드 및 데이터베이스 이벤트 만들기/삭제를 지원합니다.
HIVE-18488: LLAP ORC 판독기에서 일부 null 검사가 누락되었습니다.
HIVE-18490: 비동등 조건자가 있는 EXISTS 및 NOT EXISTS를 사용하여 쿼리하면 잘못된 결과를 생성할 수 있습니다.
HIVE-18506: LlapBaseInputFormat - 음수 배열 인덱스
HIVE-18517: 벡터화: VectorMapOperator에서 VRB를 허용하고 벡터화 플래그를 올바르게 검사하여 LLAP 캐싱을 지원하도록 수정합니다.
HIVE-18523: 입력이 없는 경우 요약 행을 수정합니다.
HIVE-18528: ObjectStore의 집계 통계에서 잘못된 결과를 가져옵니다.
HIVE-18530: 복제에서 MM 테이블을 건너뜁니다(당분간).
HIVE-18548: log4j 가져오기를 수정합니다.
HIVE-18551: 벡터화: VectorMapOperator에서 하이브리드 유예 기간 동안 너무 많은 벡터 열을 쓰려고 합니다.
HIVE-18577: SemanticAnalyzer.validate에 일부 무의미한 metastore 호출이 있습니다.
HIVE-18587: DML 삽입 이벤트에서 디렉터리에 대한 체크섬을 계산하려고 시도할 수 있습니다.
HIVE-18597: LLAP: 항상 org.apache.log4j에 대한 log4j2 API jar를 패키징합니다.
HIVE-18613: BINARY 형식을 지원하도록 JsonSerDe를 확장합니다.
HIVE-18626: Repl load "with" 절에서 구성을 작업으로 전달하지 않습니다.
HIVE-18643: ACID 작업에 대한 보관 파티션을 확인하지 않습니다.
HIVE-18660: PCR에서 파티션과 가상 열을 구분하지 않습니다.
HIVE-18754: REPL STATUS에서 'with' 절을 지원해야 합니다.
HIVE-18788: JDBC PreparedStatement에서 입력을 정리합니다.
HIVE-18794: Repl load "with" 절에서 구성을 비분할 테이블에 대한 작업으로 전달하지 않습니다.
HIVE-18808: 통계 업데이트에 실패하면 압축을 더 강력하게 만듭니다.
HIVE-18815: HPL/SQL에서 사용하지 않는 기능을 제거합니다.
HIVE-18817: ACID 테이블을 읽는 동안 ArrayIndexOutOfBounds 예외가 발생합니다.
HIVE-18833: "디렉터리에 orcfile로 삽입"하면 자동 병합이 실패합니다.
HIVE-18879: 클래스 경로에 xercesImpl.jar이 있으면 UDFXPathUtil에 포함 요소를 허용하지 않습니다.
HIVE-18944: DPP 중에 그룹화 집합 위치가 잘못 설정되었습니다.

Kafka

이 릴리스에서는 Kafka 1.0.0 및 다음 Apache 패치를 제공합니다.

KAFKA-4827: Kafka 연결: 커넥터 이름에 특수 문자가 포함된 오류가 있습니다.
KAFKA-6118: kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials에 일시적인 오류가 있습니다.
KAFKA-6156: JmxReporter에서 Windows 스타일 디렉터리 경로를 처리할 수 없습니다.
KAFKA-6164: 로그를 로드하는 오류가 발생하면 ClientQuotaManager 스레드에서 종료를 방지합니다.
KAFKA-6167: 스트림 디렉터리의 타임스탬프에 잘못된 문자인 콜론이 포함되어 있습니다.
KAFKA-6179: RecordQueue.clear()에서 MinTimestampTracker의 유지 관리 목록을 지우지 않습니다.
KAFKA-6185: 축소 변환이 있는 경우 OOM 가능성이 높은 선택기 메모리 누수가 발생합니다.
KAFKA-6190: 트랜잭션 메시지를 사용하는 경우 GlobalKTable에서 복원을 완료하지 않습니다.
KAFKA-6210: 1.0.0이 inter.broker.protocol.version 또는 log.message.format.version에 사용되면 IllegalArgumentException이 발생합니다.
KAFKA-6214: 메모리 상태 저장소에서 대기 복제본을 사용하면 Streams가 중단됩니다.
KAFKA-6215: 트렁크에서 KafkaStreamsTest가 실패합니다.
KAFKA-6238: 1.0.0으로 롤링 업그레이드를 적용하면 프로토콜 버전 관련 문제가 발생합니다.
KAFKA-6260: AbstractCoordinator에서 NULL 예외를 명확하게 처리하지 않습니다.
KAFKA-6261: acks=0인 경우 요청 로깅에서 예외를 throw합니다.
KAFKA-6274: KTable 원본 상태 저장소에 대한 이름 자동 생성을 향상시킵니다.

Mahout

HDP-2.3.x 및 2.4.x에서는 Mahout의 특정 Apache 릴리스를 전달하는 대신, Apache Mahout 트렁크의 특정 수정 버전 지점에 동기화했습니다. 이 수정 버전 지점은 0.9.0 릴리스 이후 및 0.10.0 릴리스 이전입니다. 이렇게 하면 0.9.0 릴리스에 비해 많은 수의 버그 수정과 향상된 기능을 제공하지만, 0.10.0의 새로운 Spark 기반 Mahout로 완전히 변환하기 전에 안정적인 릴리스의 Mahout 기능을 제공합니다.

HDP 2.3.x 및 2.4.x에서 Mahout에 대해 선택된 수정 버전 지점은 Apache Mahout의 "mahout-0.10.x" 분기(2014년 12월 19일 기준, GitHub의 0f037cb03e77c096 수정 버전)에 있습니다.

HDP-2.5.x 및 2.6.x에서는 가능한 보안 문제가 있는 쓸모 없는 라이브러리로 간주하고 Mahout의 Hadoop-Client를 2.7.3 버전(HDP-2.5에서 사용된 것과 동일한 버전)으로 업그레이드했기 때문에 Mahout에서 "commons-httpclient" 라이브러리를 제거했습니다. 결과적으로 다음이 수행됩니다.

이전에 컴파일된 Mahout 작업은 HDP-2.5 또는 2.6 환경에서 다시 컴파일해야 합니다.
일부 Mahout 작업에서 "org.apache.commons.httpclient", "net.java.dev.jets3t" 또는 관련 클래스 이름 접두사와 관련된 “ClassNotFoundException” 또는 “클래스를 로드할 수 없습니다” 오류가 발생할 수 있는 가능성이 약간 있습니다. 이러한 오류가 발생하면 사용되지 않는 라이브러리의 보안 문제에 대한 위험이 사용자 환경에서 허용되는 경우 작업에 필요한 jar를 클래스 경로에 수동으로 설치할지 여부를 고려할 수 있습니다.
이진 호환성 문제로 인해 Mahout의 hbase-client 코드에서 hadoop-common 라이브러리를 호출할 때 일부 Mahout 작업에서 충돌이 발생할 가능성이 훨씬 더 작습니다. 유감스럽게도 보안 문제가 있을 수 있는 Mahout의 HDP-2.4.2 버전으로 되돌아가는 것을 제외하고는 이 문제를 해결할 수 있는 방법이 없습니다. 다시 말하지만, 이는 예외적이며 지정된 Mahout 작업 모음에서 발생할 가능성은 거의 없습니다.

Oozie

이 릴리스에서는 Oozie 4.2.0에 다음 Apache 패치를 제공합니다.

OOZIE-2571: Scala 2.11을 사용할 수 있도록 spark.scala.binary.version Maven 속성을 추가합니다.
OOZIE-2606: Spark.yarn.jars를 설정하여 Spark 2.0을 Oozie로 수정합니다.
OOZIE-2658: --driver-class-path는 SparkMain의 클래스 경로를 덮어쓸 수 있습니다.
OOZIE-2787: Oozie에서 애플리케이션 jar를 두 번 배포하여 Spark 작업이 실패하게 만듭니다.
OOZIE-2792: Hive가 Spark에 있으면 Hive2 작업이 로그 파일에서 Spark 애플리케이션 ID를 제대로 구문 분석하지 않습니다.
OOZIE-2799: Hive에 spark sql에 대한 로그 위치를 설정합니다.
OOZIE-2802: Spark 2.1.0에서 중복된 sharelibs(으)로 인해 Spark 작업이 실패합니다.
OOZIE-2923: Spark 옵션 구문 분석을 향상시킵니다.
OOZIE-3109: SCA: 사이트 간 스크립팅: 반영됨.
OOZIE-3139: Oozie에서 워크플로의 유효성이 잘못 검사되었는지 확인합니다.
OOZIE-3167: Oozie 4.3 분기에서 Tomcat 버전을 업그레이드합니다.

Phoenix

이 릴리스에서는 Phoenix 4.7.0 및 다음 Apache 패치를 제공합니다.

PHOENIX-1751: postScannerOpen 대신 preScannerNext에서 집계, 정렬 등을 수행합니다.
PHOENIX-2714: BaseResultIterators에서 바이트 추정을 수정하고 인터페이스로 노출합니다.
PHOENIX-2724: 많은 수의 가이드 포스트가 있는 쿼리는 통계가 없는 경우보다 더 느립니다.
PHOENIX-2855: 해결 방법: TimeRange를 늘리면 HBase 1.2에 대해 직렬화되지 않습니다.
PHOENIX-3023: 제한 쿼리가 기본적으로 병렬로 실행되면 성능이 저하됩니다.
PHOENIX-3040: 쿼리를 순차적으로 실행하는 데 가이드 포스트를 사용하지 않습니다.
PHOENIX-3112: 부분 행 검색이 올바르게 처리되지 않습니다.
PHOENIX-3240: Pig 로더에서 ClassCastException이 발생합니다.
PHOENIX-3452: NULLS FIRST/NULL LAST는 GROUP BY에서 순서를 유지하는지 여부에 영향을 주지 않습니다.
PHOENIX-3469: NULLS LAST/NULLS FIRST에 대한 DESC 기본 키에 대한 정렬 순서가 잘못되었습니다.
PHOENIX-3789: postBatchMutateIndispensably에서 지역 간 인덱스 유지 관리 호출을 실행합니다.
PHOENIX-3865: 첫 번째 열 패밀리가 필터링되지 않으면 IS NULL에서 올바른 결과를 반환하지 않습니다.
PHOENIX-4290: 변경할 수 없는 인덱스가 있는 테이블을 사용하여 DELETE에 대한 전체 테이블 검색이 수행됩니다.
PHOENIX-4373: upsert하는 동안 로컬 인덱스 가변 길이 키에는 후행 null이 있을 수 있습니다.
PHOENIX-4466: java.lang.RuntimeException: 응답 코드 500 - Spark 작업을 실행하여 Phoenix 쿼리 서버에 연결하고 데이터를 로드합니다.
PHOENIX-4489: Phoenix MR 작업에서 HBase 연결이 누수됩니다.
PHOENIX-4525: GroupBy 실행에서 정수 오버플로가 발생합니다.
PHOENIX-4560: pk 열에 WHERE가 있으면 GROUP BY가 있는 ORDER BY가 작동하지 않습니다.
PHOENIX-4586: UPSERT SELECT에서 하위 쿼리에 대한 비교 연산자를 고려하지 않습니다.
PHOENIX-4588: 자식에 Determinism.PER_INVOCATION이 있는 경우에도 식을 복제합니다.

Pig

이 릴리스에서는 Pig 0.16.0에 다음 Apache 패치를 제공합니다.

PIG-5159: Pig에서 Grunt 기록을 저장하지 않도록 수정합니다.
PIG-5175: 1.7.26으로 jruby 업그레이드

Ranger

이 릴리스에서는 Ranger 0.7.0 및 다음 Apache 패치를 제공합니다.

RANGER-1805: js에서 모범 사례를 따르도록 코드를 향상시킵니다.
RANGER-1960: 스냅샷의 테이블 이름을 삭제하도록 고려합니다.
RANGER-1982: Ranger 관리자 및 Ranger KMS의 분석 메트릭에 대한 오류를 향상시킵니다.
RANGER-1984: HBase 감사 로그 레코드에서 액세스된 열과 관련된 태그가 모두 표시되지 않을 수 있습니다.
RANGER-1988: 안전하지 않은 임의성을 수정합니다.
RANGER-1990: Ranger 관리자에서 단방향 SSL MySQL 지원을 추가합니다.
RANGER-2006: Ranger usersync 에서 ldap 동기화 원본에 대한 정적 코드 분석으로 감지된 문제를 해결합니다.
RANGER-2008: 여러 줄 정책 조건에 대한 정책 평가가 실패합니다.

슬라이더

이 릴리스에서는 추가 Apache 패치가 없는 Slider 0.92.0을 제공합니다.

Spark

이 릴리스에서는 Spark 2.3.0 및 다음 Apache 패치를 제공합니다.

SPARK-13587: pyspark에서 virtualenv를 지원합니다.
SPARK-19964: SparkSubmitSuite에서 원격 리포지토리로부터 읽지 못하도록 방지합니다.
SPARK-22882: 구조화된 스트리밍에 대한 ML 테스트: ml.classification
SPARK-22915: Spark.ml.feature에 대한 스트리밍 테스트(N에서 Z까지)
SPARK-23020: 진행 중인 시작 관리자 테스트에서 다른 경합을 수정합니다.
SPARK-23040: 순서 섞기 판독기에 대해 인터럽트 가능한 반복기를 반환합니다.
SPARK-23173: JSON에서 데이터를 하는 경우 손상된 Parquet 파일을 만들지 않도록 방지합니다.
SPARK-23264: literal.sql.out에서 scala.MatchError를 수정합니다.
SPARK-23288: Parquet 싱크를 사용하여 출력 메트릭을 수정합니다.
SPARK-23329: 삼각 함수에 대한 설명서를 수정합니다.
SPARK-23406: branch-2.3에 스트림-스트림 자체 조인을 활성화합니다.
SPARK-23434: Spark에서 HDFS 파일 경로에 대한 ‘메타데이터 디렉터리’를 경고하지 않아야 합니다.
SPARK-23436: 날짜로 캐스팅할 수 있는 경우에만 파티션을 날짜로 추론합니다.
SPARK-23457: ParquetFileFormat에서 작업 완료 수신기를 먼저 등록합니다.
SPARK-23462: `StructType`에서 누락된 필드 오류 메시지를 향상시킵니다.
SPARK-23490: CreateTable에서 기존 테이블이 있는 storage.locationUri를 확인합니다.
SPARK-23524: 큰 로컬 순서 섞기 블록에 대한 손상 여부를 검사하지 않아야 합니다.
SPARK-23525: 외부 Hive 테이블에 대한 ALTER TABLE CHANGE COLUMN COMMENT를 지원합니다.
SPARK-23553: 테스트에서 ‘spark.sql.sources.default’의 기본값을 가정하지 않아야 합니다.
SPARK-23569: pandas_udf에서 python3 스타일 형식 주석 함수를 사용할 수 있도록 허용합니다.
SPARK-23570: HiveExternalCatalogVersionsSuite에 Spark 2.3.0을 추가합니다.
SPARK-23598: BufferedRowIterator의 메서드를 public으로 만들어 큰 쿼리에 대한 런타임 오류를 방지합니다.
SPARK-23599: 의사 난수에서 UUID 생성기를 추가합니다.
SPARK-23599: UUID 식에서 RandomUUIDGenerator를 사용합니다.
SPARK-23601: 릴리스에서 .md5 파일을 제거합니다.
SPARK-23608: SHS에서 attachSparkUI와 detachSparkUI 함수 사이에 동기화를 추가하여 Jetty 처리기에 대한 동시 수정 문제를 방지합니다.
SPARK-23614: 캐싱을 사용할 때 잘못된 재사용 교환을 수정합니다.
SPARK-23623: CachedKafkaConsumer(branch-2.3)에서 캐시된 소비자를 동시에 사용하지 않도록 방지합니다.
SPARK-23624: Datasource V2에서 pushFilters 메서드의 문서를 수정합니다.
SPARK-23628: calculateParamLength는 1+숫자 개의 식을 반환하지 않아야 합니다.
SPARK-23630: 사용자의 Hadoop 구성 사용자 지정이 적용되도록 허용합니다.
SPARK-23635: Spark 실행기 환경 변수는 동일한 이름의 AM 환경 변수로 덮어씁니다.
SPARK-23637: 동일한 실행기가 여러 번 종료되는 경우 Yarn에서 더 많은 리소스를 할당할 수 있습니다.
SPARK-23639: SparkSQL CLI에서 초기화 metastore 클라이언트를 초기화하기 전에 토큰을 가져옵니다.
SPARK-23642: AccumulatorV2 하위 클래스는 isZero scaladoc fix입니다.
SPARK-23644: SHS에서 REST 호출에 대해 절대 경로를 사용합니다.
SPARK-23645: RE `pandas_udf` 문서에 키워드 인수를 추가합니다.
SPARK-23649: UTF-8에서 문자 건너뛰기가 허용되지 않습니다.
SPARK-23658: InProcessAppHandle은 getLogger에서 잘못된 클래스를 사용합니다.
SPARK-23660: 애플리케이션이 빠르게 종료되는 경우 Yarn 클러스터 모드에서 발생하는 예외를 수정합니다.
SPARK-23670: SparkPlanGraphWrapper에서 메모리 누수를 수정합니다.
SPARK-23671: SHS 스레드 풀을 활성화하는 조건을 수정합니다.
SPARK-23691: 가능한 경우 PySpark 테스트에서 sql_conf 유틸리티를 사용합니다.
SPARK-23695: Kinesis 스트리밍 테스트에 대한 오류 메시지를 수정합니다.
SPARK-23706: spark.conf.get(value, default = None)은 PySpark에서 None을 생성해야 합니다.
SPARK-23728: 스트리밍 테스트를 실행하는 예상된 예외를 사용하여 ML 테스트를 수정합니다.
SPARK-23729: glob을 확인할 때 URI 조각을 사용해야 합니다.
SPARK-23759: Spark UI를 특정 호스트 이름/IP에 바인딩할 수 없습니다.
SPARK-23760: CodegenContext.withSubExprEliminationExprs에서 CSE 상태를 올바르게 저장/복원해야 합니다.
SPARK-23769: Scalastyle 확인을 불필요하게 비활성화하는 주석을 제거합니다.
SPARK-23788: StreamingQuerySuite에서 경합을 수정합니다.
SPARK-23802: PropagateEmptyRelation에서 쿼리 계획을 확인되지 않은 상태로 둘 수 있습니다.
SPARK-23806: 동적 할당을 통해 사용되는 경우 Broadcast.unpersist에서 심각한 예외가 발생할 수 있습니다.
SPARK-23808: 테스트 전용 Spark 세션에서 기본 Spark 세션을 설정합니다.
SPARK-23809: 활성 SparkSession은 getOrCreate에서 설정되어야 합니다.
SPARK-23816: 종료된 작업에서 FetchFailures를 무시해야 합니다.
SPARK-23822: Parquet 스키마 불일치에 대한 오류 메시지를 향상시킵니다.
SPARK-23823: transformExpression에서 원본을 유지합니다.
SPARK-23827: StreamingJoinExec에서 입력 데이터가 특정 개수의 파티션으로 분할되도록 보장해야 합니다.
SPARK-23838: SQL 쿼리를 실행하면 SQL 탭에서 "완료됨"으로 표시됩니다.
SPARK-23881: 불안정한 JobCancellationSuite."순서 섞기 판독기의 인터럽트 가능한 반복기" 테스트를 수정합니다.

Sqoop

이 릴리스에서는 추가 Apache 패치가 없는 Sqoop 1.4.6을 제공합니다.

Storm

이 릴리스에서는 Storm 1.1.1 및 다음 Apache 패치를 제공합니다.

STORM-2652: JmsSpout 열기 메서드에서 예외를 throw합니다.
STORM-2841: NullPointerException으로 인해 testNoAcksIfFlushFails UT가 실패합니다.
STORM-2854: IEventLogger를 노출하여 이벤트 로그를 플러그형으로 만듭니다.
STORM-2870: FileBasedEventLogger에서 디먼이 아닌 ExecutorService를 누출하여 프로세스가 완료되지 않습니다.
STORM-2960: Storm 프로세스에 적절한 OS 계정을 설정하는 것이 중요하다고 강조하는 것이 좋습니다.

Tez

이 릴리스에서는 Tez 0.7.0 및 다음 Apache 패치를 제공합니다.

TEZ-1526: TezTaskID에 대한 LoadingCache는 대규모 작업에서 느립니다.

Zeppelin

이 릴리스는 추가 Apache 패치가 없는 Zeppelin 0.7.3을 제공합니다.

ZEPPELIN-3072: 노트북이 너무 많으면 Zeppelin UI에서 느리게 응답하거나 응답하지 않습니다.
ZEPPELIN-3129: Zeppelin UI는 IE에서 로그아웃하지 않습니다.
ZEPPELIN-903: CXF를 Jersey2(으)로 바꿉니다.

ZooKeeper

이 릴리스에서는 ZooKeeper 3.4.6 및 다음 Apache 패치를 제공합니다.

ZOOKEEPER-1256: macOS X에서 ClientPortBindTest가 실패합니다.
ZOOKEEPER-1901: [JDK8] AsyncOps 테스트에서 비교할 자식 항목을 정렬합니다.
ZOOKEEPER-2423: 보안 취약성으로 인해 Netty 버전을 업그레이드합니다(CVE-2014-3488).
ZOOKEEPER-2693: wchp/wchc 4개 문자(4lw)에 대한 DOS 공격
ZOOKEEPER-2726: 잠재적인 경합 상태를 소개하는 패치입니다.

수정된 일반 취약성 및 노출

이 섹션에서는 이 릴리스에서 해결된 모든 CVE(일반 취약성 및 노출)에 대해 설명합니다.

CVE-2017-7676

요약: Apache Ranger 정책 평가에서 ‘*’ 와일드카드 문자 뒤에 나오는 문자를 무시합니다.
심각도: 위험
공급업체: Hortonworks
영향을 받는 버전: HDInsight 3.6 버전(Apache Ranger 버전 0.5.x/0.6.x/0.7.0 포함)
영향을 받는 사용자: ‘’ 와일드카드 문자 뒤에 문자가 있는 Ranger 정책(예: mytest, test*.txt)을 사용하는 환경
Impact: 정책 리소스 검사기에서 ‘*’ 와일드카드 문자 뒤의 문자를 무시하므로, 의도하지 않은 동작이 발생할 수 있습니다.
수정 세부 정보: Ranger 정책 리소스 선택기에서 와일드카드 일치를 올바르게 처리하도록 업데이트되었습니다.
권장되는 작업: HDI 3.6(Apache Ranger 0.7.1 이상 포함)으로 업그레이드합니다.

CVE-2017-7677

요약: 외부 위치가 지정되면 Apache Ranger Hive 권한 부여자가 RWX 권한을 확인해야 합니다.
심각도: 위험
공급업체: Hortonworks
영향을 받는 버전: HDInsight 3.6 버전(Apache Ranger 버전 0.5.x/0.6.x/0.7.0 포함)
영향을 받는 사용자: Hive 테이블에 대한 외부 위치를 사용하는 환경
영향: Hive 테이블에 대한 외부 위치를 사용하는 환경에서 Apache Ranger Hive 권한 부여자는 테이블 만들기에 지정된 외부 위치에 대한 RWX 권한을 확인해야 합니다.
수정 세부 정보: Ranger Hive 권한 부여자가 외부 위치에 대한 권한 확인을 올바르게 처리하도록 업데이트되었습니다.
권장되는 작업: 사용자가 HDI 3.6(Apache Ranger 0.7.1 이상 포함)으로 업그레이드해야 합니다.

CVE-2017-9799

요약: Apache Storm에서 코드가 잠재적으로 잘못된 사용자로 실행될 수 있습니다.
심각도: 중요
공급업체: Hortonworks
영향을 받는 버전: HDP 2.4.0, HDP-2.5.0, HDP-2.6.0
영향을 받는 사용자: Storm을 보안 모드에서 사용하고, blobstore를 사용하여 토폴로지 기반 아티팩트 또는 토폴로지 리소스를 배포하는 사용자
영향: Storm의 일부 상황과 구성에 따라 이론적으로 토폴로지의 소유자가 감독자를 속여 작업자를 루트가 아닌 다른 사용자로 시작할 수 있습니다. 최악의 경우, 이로 인해 다른 사용자의 보안 자격 증명이 손상될 수 있습니다. 이 취약성은 보안을 활성화된 Apache Storm 설치에만 적용됩니다.
완화: 현재 해결 방법이 없으므로 HDP-2.6.2.1로 업그레이드합니다.

CVE-2016-4970

요약: 4.0.37 이전 Netty 4.0.x의 handler/ssl/OpenSslEngine.java 4.1.1 이전의 Final 및 4.1.x Final은 원격 공격자가 서비스 거부(무한 루프)를 일으킬 수 있도록 합니다.
심각도: 보통
공급업체: Hortonworks
영향을 받는 버전: 2.3.x 이후의 HDP 2.x.x
영향을 받는 사용자: HDFS를 사용하는 모든 사용자
영향: Hortonworks는 Hadoop 코드베이스에서 OpenSslEngine.java를 직접 사용하지 않으므로 영향이 적습니다.
권장되는 작업: HDP 2.6.3으로 업그레이드합니다.

CVE-2016-8746

요약: 정책 평가에서 Apache Ranger 경로 일치 문제가 발생합니다.
심각도: 정상
공급업체: Hortonworks
영향을 받는 버전: 모든 HDP 2.5 버전(Apache Ranger 버전 0.6.0/0.6.1/0.6.2 포함)
영향을 받는 사용자: Ranger 정책 관리 도구를 사용하는 모든 사용자
영향: 정책에 와일드카드 및 재귀 플래그가 포함된 경우 Ranger 정책 엔진에서 특정 조건의 경로를 잘못 일치시킵니다.
수정 세부 정보: 정책 평가 논리가 수정되었습니다.
권장되는 작업: 사용자가 HDP 2.5.4 이상(Apache Ranger 0.6.3 이상 포함) 또는 HDP 2.6 이상(Apache Ranger 0.7.0 이상 포함)으로 업그레이드해야 합니다.

CVE-2016-8751

요약: Apache Ranger에서 저장된 사이트 간 스크립팅 문제가 발생합니다.
심각도: 정상
공급업체: Hortonworks
영향을 받는 버전: 모든 HDP 2.3/2.4/2.5 버전(Apache Ranger 버전 0.5.x/0.6.0/0.6.1/0.6.2 포함)
영향을 받는 사용자: Ranger 정책 관리 도구를 사용하는 모든 사용자
영향: Apache Ranger는 사용자 지정 정책 조건을 입력할 때 저장된 사이트 간 스크립팅에 취약합니다. 일반 사용자가 로그인하고 정책에 액세스할 때 관리자 사용자는 몇 가지 임의의 JavaScript 코드 실행을 저장할 수 있습니다.
수정 세부 정보: 사용자 입력을 삭제하는 논리가 추가되었습니다.
권장되는 작업: 사용자가 HDP 2.5.4 이상(Apache Ranger 0.6.3 이상 포함) 또는 HDP 2.6 이상(Apache Ranger 0.7.0 이상 포함)으로 업그레이드해야 합니다.

해결된 지원 문제

해결된 문제는 이전에 Hortonworks 지원을 통해 기록된 문제를 나타내지만, 이제는 현재 릴리스에서 해결되었습니다. 이러한 문제는 알려진 문제 섹션의 이전 버전에서 보고되었을 수 있습니다. 이는 고객이 보고하거나 Hortonworks 품질 엔지니어링 팀에서 확인한 문제임을 나타냅니다.

잘못된 결과

버그 ID	Apache JIRA	요약
BUG-100019	YARN-8145	yarn rmadmin -getGroups에서 사용자에 대해 업데이트된 그룹을 반환하지 않습니다.
BUG-100058	PHOENIX-2645	와일드카드 문자가 줄 바꿈 문자와 일치하지 않습니다.
BUG-100266	PHOENIX-3521, PHOENIX-4190	로컬 인덱스의 결과가 잘못되었습니다.
BUG-88774	HIVE-17617, HIVE-18413, HIVE-18523	query36이 실패하고 행 수가 일치하지 않습니다.
BUG-89765	HIVE-17702	ORC의 10진수 판독기에서 isRepeating을 잘못 처리합니다.
BUG-92293	HADOOP-15042	numberOfPagesRemaining이 0인 경우 Azure PageBlobInputStream.skip()에서 음수 값을 반환할 수 있습니다.
BUG-92345	ATLAS-2285	UI: 날짜 특성을 사용하여 저장된 검색의 이름이 바뀌었습니다.
BUG-92563	HIVE-17495, HIVE-18528	ObjectStore의 집계 통계에서 잘못된 결과를 가져옵니다.
BUG-92957	HIVE-11266	외부 테이블에 대한 테이블 통계를 기반으로 하여 잘못된 count(*) 결과를 반환합니다.
BUG-93097	RANGER-1944	관리자 감사에 대한 작업 필터가 작동하지 않습니다.
BUG-93335	HIVE-12315	vectorization_short_regress.q에 잘못된 double 계산 결과 문제가 있습니다.
BUG-93415	HIVE-18258, HIVE-18310	벡터화: 중복 열이 있는 축소 쪽 GROUP BY MERGEPARTIAL이 손상되었습니다.
BUG-93939	ATLAS-2294	형식을 만들 때 여분의 "description" 매개 변수가 추가되었습니다.
BUG-94007	PHOENIX-1751, PHOENIX-3112	Phoenix 쿼리에서 HBase 부분 행으로 인해 Null 값을 반환합니다.
BUG-94266	HIVE-12505	동일한 암호화된 영역에 덮어쓰기 자동 삽입에서 일부 기존 파일을 제거하지 못합니다.
BUG-94414	HIVE-15680	hive.optimize.index.filter=true이고 동일한 ORC 테이블이 쿼리에서 두 번 참조되면 잘못된 결과가 발생합니다.
BUG-95048	HIVE-18490	비동등 조건자가 있는 EXISTS 및 NOT EXISTS를 사용하여 쿼리하면 잘못된 결과를 생성할 수 있습니다.
BUG-95053	PHOENIX-3865	첫 번째 열 패밀리가 필터링되지 않으면 IS NULL에서 올바른 결과를 반환하지 않습니다.
BUG-95476	RANGER-1966	경우에 따라 정책 엔진 초기화에서 컨텍스트 보강기(context enricher)를 만들지 않습니다.
BUG-95566	SPARK-23281	복합 order by 절에서 원본 열과 별칭을 모두 참조하는 경우 쿼리에서 잘못된 순서로 결과를 생성합니다.
BUG-95907	PHOENIX-3451, PHOENIX-3452, PHOENIX-3469, PHOENIX-4560	쿼리에 집계가 있으면 발생하는 ORDER BY ASC 문제를 수정합니다.
BUG-96389	PHOENIX-4586	UPSERT SELECT에서 하위 쿼리에 대한 비교 연산자를 고려하지 않습니다.
BUG-96602	HIVE-18660	PCR에서 파티션과 가상 열을 구분하지 않습니다.
BUG-97686	ATLAS-2468	[기본 검색] NEQ가 숫자 형식으로 사용되면 OR 사례와 관련된 문제가 발생합니다.
BUG-97708	HIVE-18817	ACID 테이블을 읽는 동안 ArrayIndexOutOfBounds 예외가 발생합니다.
BUG-97864	HIVE-18833	"디렉터리에 orcfile로 삽입"하면 자동 병합이 실패합니다.
BUG-97889	RANGER-2008	여러 줄 정책 조건에 대한 정책 평가가 실패합니다.
BUG-98655	RANGER-2066	HBase 열 패밀리 액세스 권한이 열 패밀리에서 태그가 지정된 열을 통해 부여됩니다
BUG-99883	HIVE-19073, HIVE-19145	StatsOptimizer에서 상수 열을 맹글링할 수 있습니다.

기타

버그 ID	Apache JIRA	요약
BUG-100267	HBASE-17170	HBase에서 클래스 로더 차이로 인해 DoNotRetryIOException을 다시 시도합니다.
BUG-92367	YARN-7558	UI 인증이 활성화되면 "yarn logs" 명령에서 실행 중인 컨테이너에 대한 로그를 가져오지 못합니다.
BUG-93159	OOZIE-3139	Oozie에서 워크플로의 유효성이 잘못 검사되었는지 확인합니다.
BUG-93936	ATLAS-2289	KafkaNotification 구현에서 이동할 kafka/zookeeper 서버 시작/중지 코드가 포함됩니다.
BUG-93942	ATLAS-2312	ThreadLocal DateFormat 개체를 사용하여 여러 스레드에서 동시에 사용하지 않도록 방지합니다.
BUG-93946	ATLAS-2319	UI: 플랫 및 트리 구조 모두의 태그 목록에서 25개 이상의 위치에 있는 태그를 삭제하면 목록에서 태그를 제거하는 새로 고침이 필요합니다.
BUG-94618	YARN-5037, YARN-7274	리프 큐 수준에서 탄력성을 사용하지 않도록 설정하는 기능입니다.
BUG-94901	HBASE-19285	테이블당 대기 시간 히스토그램을 추가합니다.
BUG-95259	HADOOP-15185, HADOOP-15186	현재 버전의 ADLS SDK를 사용하도록 `adls` 커넥터를 업데이트합니다.
BUG-95619	HIVE-18551	벡터화: VectorMapOperator에서 하이브리드 유예 기간 동안 너무 많은 벡터 열을 쓰려고 합니다.
BUG-97223	SPARK-23434	Spark에서 HDFS 파일 경로에 대한 ‘메타데이터 디렉터리’를 경고하지 않아야 합니다.

성능

버그 ID	Apache JIRA	요약
BUG-83282	HBASE-13376, HBASE-14473, HBASE-15210, HBASE-15515, HBASE-16570, HBASE-16810, HBASE-18164	분산 장치에서 빠른 지역 계산을 수행합니다.
BUG-91300	HBASE-17387	multi()에 대한 RegionActionResult에서 예외 보고서의 오버헤드를 줄입니다.
BUG-91804	TEZ-1526	TezTaskID에 대한 LoadingCache는 대규모 작업에서 느립니다.
BUG-92760	ACCUMULO-4578	압축 FATE 취소 작업에서 네임스페이스 잠금을 해제하지 않습니다.
BUG-93577	RANGER-1938	감사 설정에 대한 Solr에서 DocValues를 효과적으로 사용하지 않습니다.
BUG-93910	HIVE-18293	Hive에서 HiveMetaStore를 실행하는 ID로 소유되지 않은 폴더에 포함된 테이블을 압축하지 못합니다.
BUG-94345	HIVE-18429	압축에서 출력을 생성하지 않는 경우를 처리해야 합니다.
BUG-94381	HADOOP-13227, HDFS-13054	RequestHedgingProxyProvider RetryAction 순서 처리: FAIL < RETRY < FAILOVER_AND_RETRY
BUG-94432	HIVE-18353	CompactorMR에서 jobclient.close()를 호출하여 정리를 트리거해야 합니다.
BUG-94869	PHOENIX-4290, PHOENIX-4373	솔트된 로컬 인덱싱 Phoenix 테이블에 대한 `HRegion`에서 Get(가져오기) 범위를 초과하는 행을 요청합니다.
BUG-94928	HDFS-11078	LazyPersistFileScrubber에서 NPE를 수정합니다.
BUG-94964	HIVE-18269, HIVE-18318, HIVE-18326	여러 LLAP를 수정합니다.
BUG-95669	HIVE-18577, HIVE-18643	ACID 분할된 테이블에서 업데이트/삭제 쿼리를 실행하면 HS2에서 모든 파티션 각각을 읽습니다.
BUG-96390	HDFS-10453	ReplicationMonitor 스레드가 대규모 클러스터에서 동일한 파일의 복제와 삭제 사이의 경합으로 인해 오랫동안 멈출 수 있습니다.
BUG-96625	HIVE-16110	"벡터화: VectorUDFAdaptor로 폴백하는 대신 두 개 값이 있는 CASE WHEN을 지원합니다"로 되돌립니다.
BUG-97109	HIVE-16757	새로운 estimateRowCount(RelMetadataQuery...) 대신 deprecated getRows()를 사용하면 성능에 심각한 영향을 줍니다.
BUG-97110	PHOENIX-3789	postBatchMutateIndispensably에서 지역 간 인덱스 유지 관리 호출을 실행합니다.
BUG-98833	YARN-6797	TimelineWriter에서 POST 응답을 완전히 사용하지 않습니다.
BUG-98931	ATLAS-2491	Atlas v2 알림을 사용하도록 Hive 후크를 업데이트합니다.

잠재적 데이터 손실

버그 ID	Apache JIRA	요약
BUG-95613	HBASE-18808	BackupLogCleaner#getDeletableFiles()의 구성 체크 인이 비효율적입니다.
BUG-97051	HIVE-17403	관리되지 않는 테이블과 트랜잭션 테이블의 연결이 실패합니다.
BUG-97787	HIVE-18460	콤팩터에서 테이블 속성을 Orc 기록기에 전달하지 않습니다.
BUG-97788	HIVE-18613	BINARY 형식을 지원하도록 JsonSerDe를 확장합니다.

쿼리 실패

버그 ID	Apache JIRA	요약
BUG-100180	CALCITE-2232	집계 인덱스를 조정하는 동안 AggregatePullUpConstantsRule에 대한 어설션 오류가 발생합니다.
BUG-100422	HIVE-19085	FastHiveDecimal abs(0)의 부호를 `+ve`(으)로 설정합니다.
BUG-100834	PHOENIX-4658	IllegalStateException: ReversedKeyValueHeap에서 requestSeek를 호출할 수 없습니다.
BUG-102078	HIVE-17978	58 및 83 TPCDS 쿼리가 벡터화에서 예외를 생성합니다.
BUG-92483	HIVE-17900	콤팩터에서 트리거된 열의 통계를 분석하면 1보다 큰 파티션 열이 있는 잘못된 형식의 SQL이 생성됩니다.
BUG-93135	HIVE-15874, HIVE-18189	hive.groupby.orderby.position.alias가 true로 설정되면 Hive 쿼리에서 잘못된 결과를 반환합니다.
BUG-93136	HIVE-18189	`cbo`이(가) 사용되지 않으면 위치별 정렬이 작동하지 않습니다.
BUG-93595	HIVE-12378, HIVE-15883	Hive 삽입의 HBase 매핑된 테이블이 10진수 및 2진수 열에 대해 실패합니다.
BUG-94007	PHOENIX-1751, PHOENIX-3112	Phoenix 쿼리에서 HBase 부분 행으로 인해 Null 값을 반환합니다.
BUG-94144	HIVE-17063	파티션을 먼저 삭제할 때 외부 테이블에 파티션 덮어쓰기를 삽입하면 실패합니다
BUG-94280	HIVE-12785	구조체를 `캐스트`하는 공용 구조체 형식과 UDF가 있는 보기가 손상되었습니다.
BUG-94505	PHOENIX-4525	GroupBy 실행에서 정수 오버플로가 발생합니다.
BUG-95618	HIVE-18506	LlapBaseInputFormat - 음수 배열 인덱스
BUG-95644	HIVE-9152	CombineHiveInputFormat: java.lang.IllegalArgumentException 예외로 인해 Tez에서 Hive 쿼리가 실패합니다.
BUG-96762	PHOENIX-4588	자식에 Determinism.PER_INVOCATION이 있는 경우에도 식을 복제합니다.
BUG-97145	HIVE-12245, HIVE-17829	HBase 지원 테이블에 대한 열 주석을 지원합니다.
BUG-97741	HIVE-18944	DPP 중에 집합 그룹화 위치가 잘못 설정되었습니다.
BUG-98082	HIVE-18597	LLAP: 항상 `org.apache.log4j`에 대한 `log4j2` API jar를 패키징합니다.
BUG-99849	해당 없음	파일 마법사에서 새 테이블을 만들어 기본 데이터베이스를 사용하려고 합니다.

보안

버그 ID	Apache JIRA	요약
BUG-100436	RANGER-2060	`knox-sso`이(가) 있는 `Knox` 프록시가 Ranger에서 작동하지 않습니다.
BUG-101038	SPARK-24062	HiveThriftServer에서 Zeppelin %Spark 인터프리터 "연결이 거부됨" 오류, "비밀 키를 지정해야 합니다..." 오류가 발생합니다.
BUG-101359	ACCUMULO-4056	릴리스될 때 commons-collection 버전을 3.2.2로 업데이트합니다.
BUG-54240	HIVE-18879	클래스 경로에 xercesImpl.jar이 있으면 UDFXPathUtil에 포함 요소를 허용하지 않습니다.
BUG-79059	OOZIE-3109	로그 스트리밍의 HTML 관련 문자를 이스케이프합니다.
BUG-90041	OOZIE-2723	JSON.org 라이선스는 이제 CatX입니다.
BUG-93754	RANGER-1943	컬렉션이 비어 있거나 null이면 Ranger Solr 인증을 건너뜁니다.
BUG-93804	HIVE-17419	ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS 명령에서 마스킹된 테이블에 대해 계산된 통계를 보여 줍니다.
BUG-94276	ZEPPELIN-3129	Zeppelin UI가 IE에서 로그아웃하지 않습니다.
BUG-95349	ZOOKEEPER-1256, ZOOKEEPER-1901	netty를 업그레이드합니다.
BUG-95483	해당 없음	CVE-2017-15713에 대한 수정입니다.
BUG-95646	OOZIE-3167	Oozie 4.3 분기에서 Tomcat 버전을 업그레이드합니다.
BUG-95823	해당 없음	`Knox`: 업그레이드 `Beanutils`
BUG-95908	RANGER-1960	HBase 인증에서 스냅샷 삭제에 대한 테이블 네임스페이스를 고려하지 않습니다.
BUG-96191	FALCON-2322, FALCON-2323	Jackson 및 Spring 버전을 업그레이드하여 보안 취약성을 방지합니다.
BUG-96502	RANGER-1990	Ranger 관리자에서 단방향 SSL MySQL 지원을 추가합니다.
BUG-96712	FLUME-3194	derby를 최신(1.14.1.0) 버전으로 업그레이드합니다.
BUG-96713	FLUME-2678	xalan을 2.7.2로 업그레이드하여 CVE-2014-0107 취약성을 해결합니다.
BUG-96714	FLUME-2050	`log4j2`(으)로 업그레이드(일반 공급 시)
BUG-96737	해당 없음	java io 파일 시스템 메서드를 사용하여 로컬 파일에 액세스합니다.
BUG-96925	해당 없음	Tomcat을 Hadoop 6.0.48에서 6.0.53으로 업그레이드합니다.
BUG-96977	FLUME-3132	Tomcat `jasper` 종속성을 업그레이드합니다.
BUG-97022	HADOOP-14799, HADOOP-14903, HADOOP-15265	Nimbus-JOSE-JWT 라이브러리를 4.39 이상 버전으로 업그레이드합니다.
BUG-97101	RANGER-1988	안전하지 않은 임의성을 수정합니다.
BUG-97178	ATLAS-2467	Spring 및 nimbus-jose-jwt에 대한 종속성을 업그레이드합니다.
BUG-97180	해당 없음	Nimbus-jose-jwt를 업그레이드합니다.
BUG-98038	HIVE-18788	JDBC PreparedStatement에서 입력을 정리합니다.
BUG-98353	HADOOP-13707	“HTTP SPNEGO가 구성되지 않은 상태에서 Kerberos가 활성화되면 일부 링크에 액세스할 수 없습니다.”로 되돌립니다.
BUG-98372	HBASE-13848	자격 증명 공급자 API를 통해 InfoServer SSL 암호에 액세스합니다.
BUG-98385	ATLAS-2500	Atlas 응답에 추가 헤더를 추가합니다.
BUG-98564	HADOOP-14651	okhttp 버전을 2.7.5로 업데이트합니다.
BUG-99440	RANGER-2045	명시적인 허용 정책이 없는 Hive 테이블 열은 'desc table' 명령으로 나열됩니다.
BUG-99803	해당 없음	Oozie에서 HBase 동적 클래스 로딩을 사용하지 않도록 설정해야 합니다.

안정성

버그 ID	Apache JIRA	요약
BUG-100040	ATLAS-2536	Atlas Hive 후크에서 NPE에 도달합니다.
BUG-100057	HIVE-19251	LIMIT을 사용하는 ObjectStore.getNextNotification에서 메모리를 적게 사용해야 합니다.
BUG-100072	HIVE-19130	REPL LOAD에서 파티션 삭제 이벤트를 적용하면 NPE를 throw합니다.
BUG-100073	해당 없음	`hiveserver`에서 데이터 노드까지 너무 많은 close_wait 연결이 있습니다.
BUG-100319	HIVE-19248	파일 복사가 실패하면 REPL LOAD에서 오류를 throw하지 않습니다.
BUG-100352	해당 없음	CLONE - RM에서 논리 검색/레지스트리 znode를 너무 자주 제거합니다.
BUG-100427	HIVE-19249	복제: 모든 경우에서 WITH 절이 구성을 작업에 올바르게 전달하지 않습니다.
BUG-100430	HIVE-14483	java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays
BUG-100432	HIVE-19219	요청된 이벤트가 정리되면 증분 REPL DUMP에서 오류를 throw해야 합니다.
BUG-100448	SPARK-23637, SPARK-23802, SPARK-23809, SPARK-23816, SPARK-23822, SPARK-23823, SPARK-23838, SPARK-23881	`Spark2`에서 2.3.0 이상으로 업데이트(4/11)
BUG-100740	HIVE-16107	JDBC: HttpClient가 NoHttpResponseException에서 한 번 더 다시 시도해야 합니다.
BUG-100810	HIVE-19054	Hive 함수 복제가 실패합니다.
BUG-100937	MAPREDUCE-6889	Job#close API를 추가하여 MR 클라이언트 서비스를 종료합니다.
BUG-101065	ATLAS-2587	`Knox` 프록시에서 읽을 수 있도록 HA에서 /apache_atlas/active_server_info znode에 대한 읽기 ACL을 설정합니다.
BUG-101093	STORM-2993	시간 회전 정책을 사용하면 Storm HDFS 볼트에서 ClosedChannelException을 throw합니다.
BUG-101181	해당 없음	PhoenixStorageHandler가 조건자에서 AND를 올바르게 처리하지 않습니다.
BUG-101266	PHOENIX-4635	org.apache.phoenix.hive.mapreduce.PhoenixInputFormat에서 HBase 연결이 누수됩니다.
BUG-101458	HIVE-11464	여러 개의 출력이 있는 경우 계보 정보가 누락되었습니다.
BUG-101485	해당 없음	Hive 메타스토어 Thrift API가 느리고 클라이언트 시간 제한이 발생합니다.
BUG-101628	HIVE-19331	클라우드로의 Hive 증분 복제가 실패했습니다.
BUG-102048	HIVE-19381	클라우드로의 Hive 함수 복제가 FunctionTask로 인해 실패합니다.
BUG-102064	해당 없음	Hive 복제 `\[ onprem to onprem \]` 테스트가 ReplCopyTask에서 실패했습니다.
BUG-102137	HIVE-19423	Hive 복제 `\[ Onprem to Cloud \]` 테스트가 ReplCopyTask에서 실패했습니다.
BUG-102305	HIVE-19430	HS2 및 Hive 메타스토어 OOM 덤프
BUG-102361	해당 없음	다중 삽입으로 인해 단일 삽입이 대상 Hive 클러스터( `onprem - s3` )에 복제됩니다.
BUG-87624	해당 없음	Storm 이벤트 로깅을 사용하도록 설정하면 작업자가 계속 종료됩니다.
BUG-88929	HBASE-15615	RegionServerCallable을 다시 시도해야 하는 경우 절전 모드 시간이 잘못되었습니다.
BUG-89628	HIVE-17613	짧고 동일한 스레드 할당을 위해 개체 풀을 제거합니다.
BUG-89813	해당 없음	SCA: 코드 정확성: 비동기 메서드에서 동기화 메서드를 재정의합니다.
BUG-90437	ZEPPELIN-3072	노트북이 너무 많으면 Zeppelin UI에서 느리게 응답하거나 응답하지 않습니다.
BUG-90640	HBASE-19065	동시 Region#flush()가 완료될 때까지 HRegion#bulkLoadHFiles()에서 기다려야 합니다.
BUG-91202	HIVE-17013	뷰에서 선택한 항목에 따라 하위 쿼리를 사용하여 요청을 삭제합니다.
BUG-91350	KNOX-1108	NiFiHaDispatch가 장애 조치되지 않습니다.
BUG-92054	HIVE-13120	ORC 분할을 생성할 때 doAs를 전파합니다.
BUG-92373	FALCON-2314	TestNG 버전을 6.13.1으로 이동(bump)하여 BeanShell 종속성을 방지합니다.
BUG-92381	해당 없음	testContainerLogsWithNewAPI 및 testContainerLogsWithOldAPI UT가 실패합니다.
BUG-92389	STORM-2841	NullPointerException으로 인해 testNoAcksIfFlushFails UT가 실패합니다.
BUG-92586	SPARK-17920, SPARK-20694, SPARK-21642, SPARK-22162, SPARK-22289, SPARK-22373, SPARK-22495, SPARK-22574, SPARK-22591, SPARK-22595, SPARK-22601, SPARK-22603, SPARK-22607, SPARK-22635, SPARK-22637, SPARK-22653, SPARK-22654, SPARK-22686, SPARK-22688, SPARK-22817, SPARK-22862, SPARK-22889, SPARK-22972, SPARK-22975, SPARK-22982, SPARK-22983, SPARK-22984, SPARK-23001, SPARK-23038, SPARK-23095	`Spark2`을(를) 최신 2.2.1(1월 16일)로 업데이트합니다.
BUG-92680	ATLAS-2288	Hive를 통해 HBase 테이블을 만들 때 Hive 가져오기 스크립트를 실행하는 동안 NoClassDefFoundError 예외가 발생합니다.
BUG-92760	ACCUMULO-4578	압축 FATE 취소 작업에서 네임스페이스 잠금을 해제하지 않습니다.
BUG-92797	HDFS-10267, HDFS-8496	특정 사용 사례에서 데이터 노드 잠금 경합을 줄입니다.
BUG-92813	FLUME-2973	HDFS 싱크에 교착 상태가 발생합니다.
BUG-92957	HIVE-11266	외부 테이블에 대한 테이블 통계를 기반으로 하여 잘못된 count(*) 결과를 반환합니다.
BUG-93018	ATLAS-2310	HA에서 수동 노드가 잘못된 URL 인코딩을 사용하여 요청을 리디렉션합니다.
BUG-93116	RANGER-1957	증분 동기화가 사용되면 Ranger Usersync에서 사용자 또는 그룹을 정기적으로 동기화하지 않습니다.
BUG-93361	HIVE-12360	조건자 푸시다운을 통해 압축되지 않은 ORC에서 잘못 탐색합니다.
BUG-93426	CALCITE-2086	특정 상황에서 큰 권한 부여 헤더로 인해 HTTP/413이 발생합니다.
BUG-93429	PHOENIX-3240	Pig 로더에서 ClassCastException이 발생합니다.
BUG-93485	해당 없음	mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException 테이블을 가져올 수 없습니다. LLAP의 열에서 테이블 분석을 실행할 때 테이블을 찾을 수 없습니다.
BUG-93512	PHOENIX-4466	java.lang.RuntimeException: 응답 코드 500 - Spark 작업을 실행하여 Phoenix 쿼리 서버에 연결하고 데이터를 로드합니다.
BUG-93550	해당 없음	Zeppelin %spark.r이 스칼라 버전 불일치로 인해 spark1에서 작동하지 않습니다.
BUG-93910	HIVE-18293	Hive에서 HiveMetaStore를 실행하는 ID로 소유되지 않은 폴더에 포함된 테이블을 압축하지 못합니다.
BUG-93926	ZEPPELIN-3114	Zeppelin에 Notebook 및 인터프리터가 >1d 스트레스 테스트 후에 저장되지 않습니다
BUG-93932	ATLAS-2320	쿼리의 ‘*’ 분류에서 500 내부 서버 예외를 throw합니다.
BUG-93948	YARN-7697	NM이 로그 집계(part#1)에서 누수로 인해 OOM과 함께 중단됩니다.
BUG-93965	ATLAS-2229	DSL 검색: orderby 문자열이 아닌 특성에서 예외를 throw합니다.
BUG-93986	YARN-7697	NM이 로그 집계(part#2)에서 누수로 인해 OOM과 함께 중단됩니다.
BUG-94030	ATLAS-2332	중첩된 컬렉션 데이터 형식이 있는 특성을 사용하여 형식을 만드는 데 실패합니다.
BUG-94080	YARN-3742, YARN-6061	두 RM이 모두 보안 클러스터에서 대기 상태로 있습니다.
BUG-94081	HIVE-18384	`log4j2.x` 라이브러리에서 ConcurrentModificationException이 발생합니다.
BUG-94168	해당 없음	서비스 레지스트리가 잘못된 ERROR 상태에 있으면서 Yarn RM이 중단됩니다.
BUG-94330	HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689	HDFS에서 여러 `KMS Uris`을(를) 지원해야 합니다.
BUG-94345	HIVE-18429	압축에서 출력을 생성하지 않는 경우를 처리해야 합니다.
BUG-94372	ATLAS-2229	DSL 쿼리: hive_table name = ["t1","t2"]에서 잘못된 DSL 쿼리 예외를 throw합니다.
BUG-94381	HADOOP-13227, HDFS-13054	RequestHedgingProxyProvider RetryAction 순서 처리: FAIL < RETRY < FAILOVER_AND_RETRY
BUG-94432	HIVE-18353	CompactorMR에서 jobclient.close()를 호출하여 정리를 트리거해야 합니다.
BUG-94575	SPARK-22587	fs.defaultFS와 애플리케이션 jar의 URL이 다르면 Spark 작업이 실패합니다.
BUG-94791	SPARK-22793	Spark Thrift 서버에서 메모리 누수가 발생합니다.
BUG-94928	HDFS-11078	LazyPersistFileScrubber에서 NPE를 수정합니다.
BUG-95013	HIVE-18488	LLAP ORC 판독기에서 일부 null 검사가 누락되었습니다.
BUG-95077	HIVE-14205	Hive에서 AVRO 파일 형식의 공용 구조체 형식을 지원하지 않습니다.
BUG-95200	HDFS-13061	SaslDataTransferClient#checkTrustAndSend에서 부분적으로 신뢰할 수 있는 채널을 신뢰하지 않아야 합니다.
BUG-95201	HDFS-13060	TrustedChannelResolver에 대한 BlacklistBasedTrustedChannelResolver를 추가합니다.
BUG-95284	HBASE-19395	[branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting이 NPE에서 실패합니다.
BUG-95301	HIVE-18517	벡터화: VectorMapOperator에서 VRB를 허용하고 벡터화 플래그를 올바르게 검사하여 LLAP 캐싱을 지원하도록 수정합니다.
BUG-95542	HBASE-16135	제거된 피어의 rs 아래에 있는 PeerClusterZnode가 삭제되지 않을 수 있습니다.
BUG-95595	HIVE-15563	실제 예외를 노출하려면 SQLOperation.runQuery에서 잘못된 연산 상태 전환 예외를 무시합니다.
BUG-95596	YARN-4126, YARN-5750	TestClientRMService가 실패합니다.
BUG-96019	HIVE-18548	`log4j` 가져오기 수정
BUG-96196	HDFS-13120	스냅샷 diff가 연결 후에 손상될 수 있습니다.
BUG-96289	HDFS-11701	확인되지 않은 호스트의 NPE에서 영구적인 DFSInputStream 오류가 발생합니다.
BUG-96291	STORM-2652	JmsSpout 열기 메서드에서 예외를 throw합니다.
BUG-96363	HIVE-18959	LLAP 내에 여분의 스레드 풀을 만들지 않도록 방지합니다.
BUG-96390	HDFS-10453	ReplicationMonitor 스레드가 대규모 클러스터에서 동일한 파일의 복제와 삭제 사이의 경합으로 인해 오랫동안 멈출 수 있습니다.
BUG-96454	YARN-4593	AbstractService.getConfig()에서 교착 상태가 발생합니다.
BUG-96704	FALCON-2322	submitAndSchedule를 피드하는 동안 ClassCastException이 발생합니다.
BUG-96720	SLIDER-1262	`Kerberized` 환경에서 Slider functest가 실패합니다.
BUG-96931	SPARK-23053, SPARK-23186, SPARK-23230, SPARK-23358, SPARK-23376, SPARK-23391	업데이트 `Spark2` 최신 상태(2월 19일)
BUG-97067	HIVE-10697	ObjectInspectorConvertors#UnionConvertor에서 잘못된 변환을 수행합니다.
BUG-97244	KNOX-1083	HttpClient 기본 시간 제한은 적절한 값이어야 합니다.
BUG-97459	ZEPPELIN-3271	스케줄러를 사용하지 않도록 설정하기 위한 옵션입니다.
BUG-97511	KNOX-1197	서비스에서 authentication=Anonymous면 AnonymousAuthFilter가 추가되지 않습니다.
BUG-97601	HIVE-17479	업데이트/삭제 쿼리에 대한 준비 디렉터리가 정리되지 않습니다.
BUG-97605	HIVE-18858	MR 작업을 제출할 때 작업 구성의 시스템 속성이 확인되지 않았습니다.
BUG-97674	OOZIE-3186	Oozie에서 jceks://file/...을 통해 연결되는 구성을 사용할 수 없습니다.
BUG-97743	해당 없음	Storm 토폴로지를 배포하는 동안 java.lang.NoClassDefFoundError 예외가 발생합니다.
BUG-97756	PHOENIX-4576	LocalIndexSplitMergeIT 테스트 실패 해결
BUG-97771	HDFS-11711	"파일이 너무 많이 열려 있습니다" 예외에서 DN은 블록을 삭제하지 않아야 합니다.
BUG-97869	KNOX-1190	Google OIDC에 대한 `Knox` SSO 지원이 손상되었습니다.
BUG-97879	PHOENIX-4489	Phoenix MR 작업에서 HBase 연결이 누수됩니다.
BUG-98392	RANGER-2007	Ranger tagsync의 Kerberos 티켓을 갱신하지 못합니다.
BUG-98484	해당 없음	클라우드로의 증분 복제가 작동하지 않습니다.
BUG-98533	HBASE-19934, HBASE-20008	Null 포인터 예외로 HBase 스냅샷 복원이 실패합니다
BUG-98555	PHOENIX-4662	캐시에서 TableResultIterator.java의 NullPointerException을 다시 보냅니다.
BUG-98579	HBASE-13716	Hadoop의 FSConstants 사용을 중지합니다.
BUG-98705	KNOX-1230	`Knox`에 대한 많은 동시 요청으로 인해 URL 맹글링이 발생합니다.
BUG-98983	KNOX-1108	NiFiHaDispatch가 장애 조치되지 않습니다.
BUG-99107	HIVE-19054	함수 복제에서 "hive.repl.replica.functions.root.dir"을 루트로 사용합니다.
BUG-99145	RANGER-2035	Oracle 백 엔드에서 비어 있는 implClass를 사용하여 servicedef에 액세스하는 오류가 발생합니다.
BUG-99160	SLIDER-1259	다중 홈 환경에서 Slider가 작동하지 않습니다
BUG-99239	ATLAS-2462	모든 테이블에 대한 Sqoop 가져오기에서 명령에 제공되지 않은 테이블에 대해 NPE를 throw합니다.
BUG-99301	ATLAS-2530	hive_process 및 hive_column_lineage에 대한 이름 특성의 시작 부분에 줄 바꿈 문자가 있습니다.
BUG-99453	HIVE-19065	metastore 클라이언트 호환성 검사에는 syncMetaStoreClient가 포함되어야 합니다.
BUG-99521	해당 없음	반복기가 다시 인스턴스화되면 HashJoin용 ServerCache가 다시 만들어지지 않습니다.
BUG-99590	PHOENIX-3518	RenewLeaseTask에서 메모리 누수가 발생합니다.
BUG-99618	SPARK-23599, SPARK-23806	`Spark2`을(를) 2.3.0+ 이상으로 업데이트(3/28)
BUG-99672	ATLAS-2524	V2 알림이 있는 Hive 후크 - 'alter view as' 작업이 잘못 처리되었습니다.
BUG-99809	HBASE-20375	hbase-spark 모듈에서 getCurrentUserCredentials의 사용을 제거합니다.

지원 가능성

버그 ID	Apache JIRA	요약
BUG-87343	HIVE-18031	Alter Database 작업에 대한 복제를 지원합니다.
BUG-91293	RANGER-2060	`knox-sso`이(가) 있는 `Knox` 프록시가 Ranger에서 작동하지 않습니다.
BUG-93116	RANGER-1957	증분 동기화가 사용되면 Ranger Usersync에서 사용자 또는 그룹을 정기적으로 동기화하지 않습니다.
BUG-93577	RANGER-1938	감사 설정에 대한 Solr에서 DocValues를 효과적으로 사용하지 않습니다.
BUG-96082	RANGER-1982	Ranger 관리자 및 Ranger `Kms`의 분석 메트릭에 대한 오류를 향상시킵니다.
BUG-96479	HDFS-12781	`Datanode` 중단 후 `Namenode` UI `Datanode` 탭에서 throw한 경고 메시지입니다.
BUG-97864	HIVE-18833	"디렉터리에 orcfile로 삽입"하면 자동 병합이 실패합니다.
BUG-98814	HDFS-13314	FsImage 손상이 감지되면 NameNode가 필요에 따라 종료해야 합니다.

업그레이드

버그 ID	Apache JIRA	요약
BUG-100134	SPARK-22919	"Apache httpclient 버전 이동"으로 되돌립니다.
BUG-95823	해당 없음	`Knox`: 업그레이드 `Beanutils`
BUG-96751	KNOX-1076	nimbus-jose-jwt를 4.41.2로 업데이트합니다.
BUG-97864	HIVE-18833	"디렉터리에 orcfile로 삽입"하면 자동 병합이 실패합니다.
BUG-99056	HADOOP-13556	Configuration.getPropsWithPrefix를 변경하여 반복기 대신 getProps를 사용합니다.
BUG-99378	ATLAS-2461, ATLAS-2554	Titan 그래프 DB에서 Atlas 데이터를 내보내는 마이그레이션 유틸리티입니다.

유용성

버그 ID	Apache JIRA	요약
BUG-100045	HIVE-19056	ORC 파일에 행이 없으면 FixAcidKeyIndex에서 IllegalArgumentException이 발생합니다.
BUG-100139	KNOX-1243	`KnoxToken` 서비스에서 구성되는 필수 DN을 표준화합니다.
BUG-100570	ATLAS-2557	UGI의 그룹이 잘못 설정되었거나 비어 있는 경우 Hadoop `ldap` 그룹을 `lookup`할 수 있도록 수정합니다
BUG-100646	ATLAS-2102	향상된 Atlas UI 기능: 검색 결과 페이지
BUG-100737	HIVE-19049	Druid의 Alter table 추가 열에 대한 지원을 추가합니다.
BUG-100750	KNOX-1246	Ranger에 대한 최신 구성을 지원하도록 `Knox`의 서비스 구성을 업데이트합니다.
BUG-100965	ATLAS-2581	V2 Hive 후크 알림을 통한 회귀: 테이블을 다른 데이터베이스로 이동합니다.
BUG-84413	ATLAS-1964	UI: 검색 테이블의 열 순서 지정을 지원합니다.
BUG-90570	HDFS-11384, HDFS-12347	분산 장치에서 getBlocks 호출을 분산시키는 옵션을 추가하여 NameNode의 rpc.CallQueueLength 스파이크를 방지합니다.
BUG-90584	HBASE-19052	FixedFileTrailer에서 branch-1.x의 CellComparatorImpl 클래스를 인식해야 합니다.
BUG-90979	KNOX-1224	HA에서 Atlas를 지원하기 위한 `Knox` 프록시 `HADispatcher`
BUG-91293	RANGER-2060	knox-sso가 있는 `Knox` 프록시가 Ranger에서 작동하지 않습니다.
BUG-92236	ATLAS-2281	null/not null 필터를 사용하여 태그/형식 특성 필터 쿼리를 저장합니다.
BUG-92238	ATLAS-2282	25개 이상의 즐겨찾기 검색이 있는 경우 만든 후에 새로 고칠 때에만 저장된 즐겨찾기 검색이 나타납니다.
BUG-92333	ATLAS-2286	이미 빌드된 'kafka_topic' 형식은 'topic' 특성을 unique로 선언하지 않아야 합니다.
BUG-92678	ATLAS-2276	hdfs_path 형식 엔터티에 대한 경로 값은 hive-bridge에서 소문자로 설정됩니다.
BUG-93097	RANGER-1944	관리자 감사에 대한 작업 필터가 작동하지 않습니다.
BUG-93135	HIVE-15874, HIVE-18189	hive.groupby.orderby.position.alias가 true로 설정되면 Hive 쿼리에서 잘못된 결과를 반환합니다.
BUG-93136	HIVE-18189	`cbo`을(를) 사용하지 않도록 설정하면 위치별 정렬이 작동하지 않습니다.
BUG-93387	HIVE-17600	사용자가 OrcFile의 enforceBufferSize를 설정할 수 있도록 합니다.
BUG-93495	RANGER-1937	Ranger `tagsync`에서 Atlas 가져오기 기능을 지원하기 위해 ENTITY_CREATE 알림을 처리해야 합니다.
BUG-93512	PHOENIX-4466	java.lang.RuntimeException: 응답 코드 500 - Spark 작업을 실행하여 Phoenix 쿼리 서버에 연결하고 데이터를 로드합니다.
BUG-93801	HBASE-19393	SSL을 사용하여 HBase UI에 액세스하는 동안 "HTTP 413 헤더가 가득 찼음" 오류가 발생합니다.
BUG-93804	HIVE-17419	ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS 명령에서 마스킹된 테이블에 대해 계산된 통계를 보여 줍니다.
BUG-93932	ATLAS-2320	쿼리의 ‘*’ 분류에서 500 내부 서버 예외를 throw합니다.
BUG-93933	ATLAS-2286	이미 빌드된 'kafka_topic' 형식은 'topic' 특성을 unique로 선언하지 않아야 합니다.
BUG-93938	ATLAS-2283, ATLAS-2295	분류에 대한 UI 업데이트입니다.
BUG-93941	ATLAS-2296, ATLAS-2307	필요에 따라 하위 형식 엔터티 및 하위 분류 형식을 제외하도록 기본 검색 기능을 향상시킵니다.
BUG-93944	ATLAS-2318	UI: 자식 태그를 두 번 클릭하면 부모 태그가 선택됩니다.
BUG-93946	ATLAS-2319	UI: 플랫 및 트리 구조 모두의 태그 목록에서 25개 이상의 위치에 있는 태그를 삭제하면 목록에서 태그를 제거하는 새로 고침이 필요합니다.
BUG-93977	HIVE-16232	QuotedIdentifier의 열에 대한 통계 계산을 지원합니다.
BUG-94030	ATLAS-2332	중첩된 컬렉션 데이터 형식이 있는 특성을 사용하여 형식을 만드는 데 실패합니다.
BUG-94099	ATLAS-2352	Atlas 서버에서 Kerberos DelegationToken에 대한 유효성을 지정하는 구성을 제공해야 합니다.
BUG-94280	HIVE-12785	구조체를 `캐스트`하는 공용 구조체 형식과 UDF가 있는 보기가 손상되었습니다.
BUG-94332	SQOOP-2930	Sqoop job exec에서 저장된 작업 일반 속성을 재정의하지 않습니다.
BUG-94428	해당 없음	`Dataplane` 프로파일러 에이전트 REST API `Knox` 지원
BUG-94514	ATLAS-2339	UI: 기본 검색 결과 보기의 "열" 수정은 DSL에도 영향을 미칩니다.
BUG-94515	ATLAS-2169	하드 삭제가 구성되면 삭제 요청이 실패합니다.
BUG-94518	ATLAS-2329	사용자가 잘못된 다른 태그를 클릭하면 Atlas UI 여러 가리키기가 나타납니다.
BUG-94519	ATLAS-2272	저장 검색 API를 사용하여 끌어온 열의 상태를 저장합니다.
BUG-94627	HIVE-17731	외부 사용자에 대한 이전 버전과의 호환성 `compat` 옵션을 HIVE-11985에 추가합니다.
BUG-94786	HIVE-6091	연결 만들기/닫기를 위해 빈 `pipeout` 파일이 만들어집니다.
BUG-94793	HIVE-14013	테이블에서 유니코드가 제대로 표시되지 않는다고 설명합니다.
BUG-94900	OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802	Spark.yarn.jars를 설정하여 Spark 2.0을 Oozie로 수정합니다.
BUG-94901	HBASE-19285	테이블당 대기 시간 히스토그램을 추가합니다.
BUG-94908	ATLAS-1921	UI: entity 및 trait 특성을 사용하여 검색: UI는 범위 검사를 수행하지 않고 정수 및 부동 소수점 데이터 형식에 대한 범위를 벗어난 값을 제공할 수 있습니다.
BUG-95086	RANGER-1953	사용자 그룹 페이지 목록을 향상시킵니다.
BUG-95193	SLIDER-1252	Slider 에이전트가 Python 2.7.5-58에서 SSL 유효성 검사 오류로 인해 실패합니다.
BUG-95314	YARN-7699	queueUsagePercentage는 `getApp` REST API 호출에 대한 INF로 제공됩니다.
BUG-95315	HBASE-13947, HBASE-14517, HBASE-17931	가장 높은 버전의 서버에 시스템 테이블을 할당합니다.
BUG-95392	ATLAS-2421	V2 데이터 구조를 지원하는 알림 업데이트입니다.
BUG-95476	RANGER-1966	경우에 따라 정책 엔진 초기화에서 컨텍스트 보강기(context enricher)를 만들지 않습니다.
BUG-95512	HIVE-18467	전체 웨어하우스 덤프/로드 및 데이터베이스 이벤트 만들기/삭제를 지원합니다.
BUG-95593	해당 없음	Oozie DB 유틸리티를 확장하여 `Spark2sharelib` 만들기를 지원합니다.
BUG-95595	HIVE-15563	실제 예외를 노출하려면 SQLOperation.runQuery에서 잘못된 연산 상태 전환 예외를 무시합니다.
BUG-95685	ATLAS-2422	내보내기: 형식 기반 내보내기를 지원합니다.
BUG-95798	PHOENIX-2714, PHOENIX-2724, PHOENIX-3023, PHOENIX-3040	쿼리를 순차적으로 실행하는 데 가이드 포스트를 사용하지 않습니다.
BUG-95969	HIVE-16828, HIVE-17063, HIVE-18390	분할된 뷰가 "실패: IndexOutOfBoundsException 인덱스: 1, 크기: 1"로 인해 실패합니다.
BUG-96019	HIVE-18548	`log4j` 가져오기 수정
BUG-96288	HBASE-14123, HBASE-14135, HBASE-17850	HBase 백업/복원 2.0을 백포트합니다
BUG-96313	KNOX-1119	`Pac4J` OAuth/OpenID 보안 주체를 구성할 수 있어야 합니다.
BUG-96365	ATLAS-2442	엔터티 리소스에 대한 읽기 전용 권한이 있는 사용자는 기본 검색을 수행할 수 없습니다.
BUG-96479	HDFS-12781	`Datanode` 중단 후 `Namenode` UI `Datanode` 탭에서 throw한 경고 메시지입니다.
BUG-96502	RANGER-1990	Ranger 관리자에서 단방향 SSL MySQL 지원을 추가합니다.
BUG-96718	ATLAS-2439	V2 알림을 사용하도록 Sqoop 후크를 업데이트합니다.
BUG-96748	HIVE-18587	DML 삽입 이벤트에서 디렉터리에 대한 체크섬을 계산하려고 시도할 수 있습니다.
BUG-96821	HBASE-18212	로컬 파일 시스템 HBase 로그가 있는 독립 실행형 모드의 경고 메시지: org.apache.hadoop.fs.FSDataInputStream 클래스에서 'unbuffer' 메서드를 호출하지 못했습니다.
BUG-96847	HIVE-18754	REPL STATUS에서 'with' 절을 지원해야 합니다.
BUG-96873	ATLAS-2443	나가는 DELETE 메시지에서 필수 엔터티 특성을 캡처합니다.
BUG-96880	SPARK-23230	hive.default.fileformat이 다른 종류의 파일 형식인 경우 `textfile` 테이블을 만들면 `serde` 오류가 발생합니다.
BUG-96911	OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923	Spark 옵션 구문 분석을 향상시킵니다.
BUG-97100	RANGER-1984	HBase 감사 로그 레코드에서 액세스된 열과 관련된 태그가 모두 표시되지 않을 수 있습니다.
BUG-97110	PHOENIX-3789	postBatchMutateIndispensably에서 지역 간 인덱스 유지 관리 호출을 실행합니다.
BUG-97145	HIVE-12245, HIVE-17829	HBase 지원 테이블에 대한 열 주석을 지원합니다.
BUG-97409	HADOOP-15255	LdapGroupsMapping에서 그룹 이름에 대해 대/소문자 변환을 지원합니다.
BUG-97535	HIVE-18710	Hive 2.X에서 inheritPerms를 ACID로 확장합니다.
BUG-97742	OOZIE-1624	`sharelib` JAR의 제외 패턴
BUG-97744	PHOENIX-3994	인덱스 RPC 우선 순위는 여전히 hbase-site.xml의 컨트롤러 팩터리 속성에 따라 다릅니다.
BUG-97787	HIVE-18460	콤팩터에서 테이블 속성을 Orc 기록기에 전달하지 않습니다.
BUG-97788	HIVE-18613	BINARY 형식을 지원하도록 JsonSerDe를 확장합니다.
BUG-97899	HIVE-18808	통계 업데이트에 실패하면 압축을 더 강력하게 만듭니다.
BUG-98038	HIVE-18788	JDBC PreparedStatement에서 입력을 정리합니다.
BUG-98383	HIVE-18907	HIVE-18817의 ACID 키 인덱스 문제를 해결하는 유틸리티를 만듭니다.
BUG-98388	RANGER-1828	코딩 모범 사례 - Ranger에 여분의 헤더를 추가합니다.
BUG-98392	RANGER-2007	Ranger tagsync의 Kerberos 티켓을 갱신하지 못합니다.
BUG-98533	HBASE-19934, HBASE-20008	Null 포인터 예외로 HBase 스냅샷 복원이 실패합니다
BUG-98552	HBASE-18083, HBASE-18084	크고 작은 파일을 HFileCleaner에서 구성 가능한 깨끗한 스레드 번호로 만듭니다.
BUG-98705	KNOX-1230	`Knox`에 대한 많은 동시 요청으로 인해 URL 맹글링이 발생합니다.
BUG-98711	해당 없음	NiFi 디스패치에서 service.xml을 수정하지 않고는 양방향 SSL을 사용할 수 없습니다.
BUG-98880	OOZIE-3199	시스템 속성 제한을 구성할 수 있게 합니다.
BUG-98931	ATLAS-2491	Atlas v2 알림을 사용하도록 Hive 후크를 업데이트합니다.
BUG-98983	KNOX-1108	NiFiHaDispatch가 장애 조치되지 않습니다.
BUG-99088	ATLAS-2511	Hive에서 Atlas로 데이터베이스/테이블을 선택적으로 가져오는 옵션을 제공합니다.
BUG-99154	OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885	Spark 쿼리가 "java.io.FileNotFoundException: hive-site.xml(권한이 거부되었습니다)" 예외로 인해 실패했습니다.
BUG-99239	ATLAS-2462	모든 테이블에 대한 Sqoop 가져오기에서 명령에 제공되지 않은 테이블에 대해 NPE를 throw합니다.
BUG-99636	KNOX-1238	게이트웨이에 대한 사용자 지정 Truststore 설정을 수정합니다.
BUG-99650	KNOX-1223	Zeppelin의 `Knox` 프록시에서 /api/ticket을 예상대로 리디렉션하지 않습니다.
BUG-99804	OOZIE-2858	HiveMain, ShellMain 및 SparkMain에서 속성 및 구성 파일을 로컬로 덮어쓰지 않아야 합니다.
BUG-99805	OOZIE-2885	Spark 작업을 실행하면 클래스 경로에 Hive가 필요하지 않습니다.
BUG-99806	OOZIE-2845	HiveConf에서 변수를 설정하는 리플렉션 기반 코드를 대체합니다.
BUG-99807	OOZIE-2844	`log4j`.properties가 누락되었거나 읽을 수 없는 경우 Oozie 작업의 안정성을 향상시킵니다.
RMP-9995	AMBARI-22222	로컬 디스크에서 /apps/druid 대신 /var/druid 디렉터리를 사용하도록 druid를 전환합니다.

동작 변경 내용

Apache 구성 요소	Apache JIRA	요약	세부 정보
Spark 2.3	해당 사항 없음	Apache Spark 릴리스 정보에서 설명한 대로 변경했습니다.	- “사용 중단” 문서와 “동작 변경” 가이드 https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations가 있습니다. - SQL 파트의 경우 다른 자세한 ‘마이그레이션’ 가이드(2.2~2.3)가 있습니다. https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23\|
Spark	HIVE-12505	Spark 작업이 성공적으로 완료되었지만 HDFS 디스크 할당량이 가득 찼습니다.라는 오류가 있습니다.	시나리오: 할당량이 명령을 실행하는 사용자의 휴지통 폴더에 설정되면 insert overwrite를 실행합니다. 이전 동작: 데이터를 휴지통으로 이동하지 못하는 경우에도 작업이 성공합니다. 결과에는 이전에 테이블에 있던 일부 데이터가 잘못 포함될 수 있습니다. 새 동작: 휴지통 폴더로 이동하지 못하면 파일이 영구적으로 삭제됩니다.
Kafka 1.0	해당 사항 없음	Apache Spark 릴리스 정보에서 설명한 대로 변경했습니다.	https://kafka.apache.org/10/documentation.html#upgrade_100_notable
Hive/Ranger		INSERT OVERWRITE에 대한 추가 Ranger Hive 정책이 필요합니다.	시나리오:INSERT OVERWRITE에 대한 추가 Ranger Hive 정책이 필요합니다. 이전 동작: Hive INSERT OVERWRITE 쿼리가 평소와 같이 성공합니다. 새 동작: HDP-2.6.x로 업그레이드한 후 다음 오류로 인해 Hive INSERT OVERWRITE 쿼리가 예기치 않게 실패합니다. 명령문을 컴파일하는 동안 오류 발생: FAILED: HiveAccessControlException 권한이 거부되었습니다.: jdoe 사용자에게 /tmp/에 대한 WRITE 권한이 없습니다(state=42000,code=40000). HDP-2.6.0부터 사용자에게 HDFS 정책을 통해 부여된 쓰기 권한이 있는 경우에도 Hive INSERT OVERWRITE* 쿼리는 Ranger URI 정책을 사용하여 쓰기 작업을 허용해야 합니다. 해결 방법/예상되는 고객 작업: 1. Hive 리포지토리에서 새 정책을 만듭니다. 2. 데이터베이스가 표시되는 드롭다운에서 URI를 선택합니다. 3. 경로를 업데이트합니다(예: /tmp/*) 4. 사용자와 그룹을 추가하고 저장합니다. 5. 삽입 쿼리를 다시 시도합니다.
HDFS	해당 사항 없음	HDFS에서 여러 `KMS Uris`을(를) 지원해야 합니다.	이전 동작: dfs.encryption.key.provider.uri 속성이 KMS 공급자 경로를 구성하는 데 사용되었습니다. 새 동작: 이제 hadoop.security.key.provider.path를 지지하여 KMS 공급자 경로를 구성하므로 dfs.encryption.key.provider.uri는 더 이상 사용되지 않습니다.
Zeppelin	ZEPPELIN-3271	스케줄러를 사용하지 않도록 설정하기 위한 옵션입니다.	영향을 받는 구성 요소: Zeppelin 서버 이전 동작: 이전 릴리스의 Zeppelin에는 스케줄러를 사용하지 않도록 설정할 수 있는 옵션이 없었습니다. 새 동작: 기본적으로 스케줄러는 사용하지 않도록 설정되므로 사용자에게 더 이상 표시되지 않습니다. 해결 방법/예상되는 고객 작업: 스케줄러를 사용하도록 설정하려면 Ambari의 Zeppelin 설정에서 사용자 지정 zeppelin 사이트 아래에서 true 값이 있는 azeppelin.notebook.cron.enable을 추가해야 합니다.

알려진 문제

ADLS Gen 2와 HDInsight 통합 사용자 디렉터리 및 사용 권한으로 Azure Data Lake Storage Gen 2를 사용하는 HDInsight ESP 클러스터에는 두 가지 문제가 있습니다.
1. 헤드 노드 1에서 사용자에 대한 홈 디렉터리가 생성되지 않습니다. 대안으로 디렉터리를 수동으로 만들고 소유권을 해당하는 사용자의 UPN으로 변경합니다.
2. 현재 /hdp 디렉터리의 사용 권한은 751로 설정되지 않습니다. 다음으로 설정되어야 합니다.
```
chmod 751 /hdp 
chmod –R 755 /hdp/apps
```
Spark 2.3
- [SPARK-23523][SQL] OptimizeMetadataOnlyQuery 규칙으로 인해 잘못된 결과가 발생합니다.
- [SPARK-23406] 스트림-스트림 자체 조인에 버그가 있습니다.
- Azure Data Lake Storage(Gen2)가 클러스터의 기본 스토리지인 경우 Spark 샘플 Notebook을 사용할 수 없습니다.
Enterprise Security Package
- Spark Thrift Server는 ODBC 클라이언트로부터의 연결을 허용하지 않습니다. 문제 해결 단계는 다음과 같습니다.
  1. 클러스터를 만든 후 약 15분 정도 기다립니다.
  2. Ranger UI에서 hivesampletable_policy가 있는지 확인합니다.
  3. Spark 서비스를 다시 시작합니다. 이제는 STS 연결이 작동합니다.
Ranger 서비스 확인 실패에 대한 해결 방법
- RANGER-1607: 이전 HDP 버전에서 HDP 2.6.2로 업그레이드하는 동안 Ranger 서비스 확인 실패에 대한 해결 방법.
  
  참고 항목
  
  Ranger에서 SSL을 사용하는 경우에만 가능합니다.
이 문제는 Ambari를 통해 이전 HDP 버전에서 HDP-2.6.1로 업그레이드하려고 할 때 발생합니다. Ambari는 curl 호출을 사용하여 Ambari의 Ranger 서비스에 대한 서비스 확인을 수행합니다. Ambari에서 사용하는 JDK 버전이 JDK-1.7인 경우 curl 호출은 다음 오류로 인해 실패합니다.

curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

이 오류의 원인은 Ranger에서 사용되는 tomcat 버전이 Tomcat-7.0.7*이기 때문입니다. JDK-1.7을 사용하면 Tomcat-7.0.7*에 제공된 기본 암호와 충돌합니다.

이 문제를 해결하는 두 가지 방법은 다음과 같습니다.
- Ambari에서 사용되는 JDK를 JDK-1.7에서 JDK-1.8로 업데이트합니다(Ambari 참조 가이드에서 JDK 버전 변경 섹션 참조).
- JDK-1.7 환경을 계속 지원하려면 다음을 수행합니다.
  1. Ambari Ranger 구성의 ranger-admin-site 섹션에 ranger.tomcat.ciphers 속성을 아래 값으로 추가합니다.
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
  2. Ranger-KMS 환경으로 구성된 경우 Ambari Ranger 구성의 theranger-kms-site 섹션에 ranger.tomcat.ciphers 속성을 아래 값으로 추가합니다.
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
참고 항목

언급된 값은 작업 예제이며 사용자 환경을 나타내지 않을 수 있습니다. 이러한 속성을 설정하는 방법이 환경이 구성된 방법과 일치하는지 확인합니다.
RangerUI: 정책 양식에서 입력한 정책 조건 텍스트의 이스케이프 문자

영향을 받는 구성 요소: Ranger

문제 설명

사용자가 사용자 지정 정책 조건을 사용하여 정책을 만들려고 하며 식이나 텍스트에 특수 문자가 포함된 경우 정책 적용이 되지 않습니다. 특수 문자는 데이터베이스에 정책을 저장하기 전에 ASCII 문자로 변환됩니다.

특수 문자: & <> " ` '

예를 들어, 정책이 저장되면 tags.attributes['type']='abc' 조건이 다음과 같이 변환됩니다.

tags.attds['dsds']='cssdfs'

편집 모드에서 정책을 열면 이러한 문자가 포함된 정책 조건이 표시됩니다.

해결 방법
- 옵션 #1: Ranger REST API를 통한 정책 만들기/업데이트
  
  REST URL: http://<host>:6080/service/plugins/policies
  
  정책 조건으로 정책 만들기:
  
  다음 예제에서는 태그가 `tags-test`인 정책을 만들고, 모든 Hive 구성 요소 권한(예: select, update, create, drop, alter, index, lock, all)을 선택하여 astags.attr['type']=='abc' 정책 조건으로 해당 정책을 `공용` 그룹에 할당합니다.
  
  예제:
```
  curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
```
  정책 조건으로 기존 정책 업데이트:
  
  다음 예제에서는 태그가 `tags-test`인 정책을 업데이트하고, 모든 Hive 구성 요소 권한(예: select, update, create, drop, alter, index, lock, all)을 선택하여 astags.attr['type']=='abc' 정책 조건으로 해당 정책을 `공용` 그룹에 할당합니다.
  
  REST URL: http://<host-name>:6080/service/plugins/policies/<policy-id>
  
  예제:
```
  curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
```
- 옵션 #2: JavaScript 변경 내용 적용
  
  JS 파일을 업데이트하는 단계는 다음과 같습니다.
  1. /usr/hdp/current/ranger-admin에서 PermissionList.js 파일을 찾습니다.
  2. renderPolicyCondtion 함수의 정의를 찾습니다(줄 번호: 404).
  3. 해당 함수에서 다음 줄을 제거(즉, 표시 함수 아래)합니다(줄 번호: 434).
    
    val = _.escape(val);//Line No:460
    
    위에서 언급한 줄이 제거되면 Ranger UI를 통해 특수 문자를 포함할 수 있는 정책 조건으로 정책을 만들 수 있으며 동일한 정책에 대한 정책 평가가 성공적으로 수행됩니다.

ADLS Gen 2와 HDInsight 통합: ESP 클러스터의 사용자 디렉터리 및 권한 문제 1. 헤드 노드 1에서 사용자용 홈 디렉터리를 만들지 않습니다. 대안으로 이러한 디렉터리를 수동으로 만들고 소유권을 해당하는 사용자의 UPN으로 변경합니다. 2. 현재 /hdp의 권한은 751로 설정되지 않습니다. 이는 a. chmod 751 /hdp b. chmod –R 755 /hdp/apps로 설정되어야 합니다.

감가 상각

OMS 포털: OMS 포털을 가리키는 HDInsight 리소스 페이지에서 링크를 제거했습니다. Azure Monitor 로그는 처음에는 OMS 포털이라는 자체 포털을 사용하여 구성을 관리하고 수집된 데이터를 분석했습니다. 이 포털의 모든 기능은 Azure Portal로 이동되었으며 계속 개발될 예정입니다. HDInsight는 OMS 포털에 대한 지원을 중단했습니다. 고객은 Azure Portal에서 HDInsight Azure Monitor 로그 통합을 사용하게 됩니다.
Spark 2.3:Spark 릴리스 2.3.0 사용 중단

업그레이드

HDInsight 3.6에서는 이러한 모든 기능을 사용할 수 있습니다. 최신 버전의 Spark, Kafka 및 R Server(Machine Learning Services)를 얻으려면, HDInsight 3.6 클러스터를 만들 때 Spark, Kafka, ML Services 버전을 선택합니다. ADLS에 대한 지원을 받으려면 ADLS 스토리지 유형을 옵션으로 선택할 수 있습니다. 기존 클러스터는 이러한 버전으로 자동 업그레이드되지 않습니다.

2018년 6월 이후에 만든 모든 새 클러스터는 모든 오픈 소스 프로젝트에서 1,000개 이상의 버그 수정을 자동으로 가져옵니다. 최신 HDInsight 버전으로 업그레이드하는 방법에 대한 모범 사례는 이 가이드를 참조합니다.

Share via

보관된 릴리스 정보

요약

릴리스 정보

릴리스 날짜: 2024년 2월 15일

새로운 기능

해결된 문제

출시 예정

다음 단계

릴리스 날짜: 2024년 1월 10일

해결된 문제

출시 예정

릴리스 날짜: 2023년 10월 26일

새로운 기능

출시 예정

릴리스 날짜: 2023년 9월 7일

서비스 예정

릴리스 날짜: 2023년 7월 25일

새로운 기능

출시 예정

릴리스 날짜: 2023년 5월 8일

릴리스 날짜: 2023년 2월 28일

다음 단계

릴리스 날짜: 2022년 12월 12일

오픈 소스 버그 수정

릴리스 날짜: 2022/08/10

새 기능

고정

로그 분석

다른 버그 수정

오픈 소스 버그 수정

TEZ 버그 수정

Hive 버그 수정

알려진 문제

릴리스 날짜: 2022/08/10

새 기능

고정

로그 분석

다른 버그 수정

오픈 소스 버그 수정

TEZ 버그 수정

Hive 버그 수정

알려진 문제

릴리스 날짜: 2022/06/03

릴리스 관련 주요 사항

Ambari

TEZ 버그 수정

HBase 버그 수정

Hive 버그 수정

릴리스 날짜: 2022/03/10

이제 Spark 3.1이 일반 공급됩니다.

이제 Kafka 2.4가 일반적으로 사용 가능합니다.

HWC의 맵 데이터 형식은 이제 HDInsight 4.0에서 지원됩니다.

새 지역

OSS 백포트 변경 내용

이 릴리스에 대해 OSS 백포트된 Apache JIRA는 다음과 같습니다.

사용 중단 알림

HDInsight의 Azure Virtual Machine Scale Sets

Azure HDInsight HBase 워크로드의 크기 조정은 이제 수동 크기 조정을 통해서만 지원됩니다.

릴리스 날짜: 2021/12/27

릴리스 날짜: 2021/07/27

새로운 기능

제한된 공용 연결에 대한 Azure HDInsight 지원은 2021년 10월 15일에 일반 공급됨

Azure Private Link에 대한 Azure HDInsight 지원은 2021년 10월 15일에 일반 공급됩니다.

새 Azure Monitor 통합 환경(미리 보기)

감가 상각

동작 변경

HDInsight Interactive Query는 일정 기반 자동 스케일링만 지원합니다.

예정된 변경

ESP Spark 클러스터의 기본 제공 LLAP 구성 요소가 제거됩니다.

새 지역

구성 요소 버전 변경

백포팅된 JIRA

HDInsight Dv2 Virtual Machines에 대한 가격 수정

릴리스 날짜: 2021/06/02

새로운 기능

OS 버전 업그레이드

HBase 가속 쓰기 클러스터에서 최적화 크기 조정

감가 상각

동작 변경

HDInsight `Dv2` Virtual Machines에 대한 가격 수정

`Eav4` 시리즈 지원

기본 클러스터 VM 크기가 `Ev3` 시리즈로 변경됨

기본 클러스터 VM 크기가 `Ev3` 시리즈로 변경됩니다