2018년 5월
릴리스가 준비되었습니다. Azure Databricks 계정은 초기 릴리스 날짜 후 일주일까지 업데이트되지 않을 수 있습니다.
일반 데이터 보호 규정(GDPR)
2018년 5월 24일: 버전 2.72
2018년 5월 25일에 발효되는 유럽 연합 GDPR(일반 데이터 보호 규정)의 요구 사항을 충족하기 위해, Azure Databricks 플랫폼에 사용자에게 계정 수준과 사용자 수준에서 데이터 보존에 대한 더 많은 제어 권한을 부여하는 몇 가지 수정 사항이 적용되었습니다. 업데이트에는 다음이 포함됩니다.
- 클러스터 삭제: UI 또는 클러스터 API를 사용하여 클러스터 구성을 영구적으로 삭제합니다. 컴퓨팅 삭제를 참조 하세요.
- 작업 영역 제거(버전 2.71에서 릴리스): 전체 Notebook, 개별 Notebook 셀, 개별 Notebook 주석 및 Notebook 수정 기록과 같은 작업 영역 개체를 영구적으로 삭제합니다. 작업 영역 스토리지 제거를 참조하세요.
- Notebook 수정 기록 제거:
Azure Databricks 서비스를 삭제하거나 Azure 계정을 취소하는 방법에 대한 자세한 내용은 구독 관리를 참조하세요.
Azure Databricks 사용자는 Microsoft Entra ID 테넌트에 속해야 합니다.
2018년 5월 24일: 버전 2.72
이제 사용자는 Azure Databricks 작업 영역의 Microsoft Entra ID(이전의 Azure Active Directory) 테넌트에 속한 경우에만 Azure Databricks에 로그인할 수 있습니다. Microsoft Entra ID 테넌트에 속하지 않는 사용자가 있는 경우 표준 또는 게스트 사용자로 추가할 수 있습니다.
HorovodEstimator
2018년 5월 29일: 버전 2.72
Uber의 Horovod 프레임워크를 사용하는 MLlib 스타일의 추정기 API인 HorovodEstimator에 대한 설명서와 Notebook이 추가되었습니다. HorovodEstimator는 Spark DataFrames에서 심층 신경망의 분산 다중 GPU 학습을 지원하여 TensorFlow의 모델 학습과 Spark의 ETL 통합을 간소화합니다.
MLeap ML 모델 내보내기
2018년 5월 24일: 버전 2.72
Azure Databricks에서 MLeap을 사용하는 방법에 대한 설명서와 Notebook이 추가되었습니다. MLeap을 사용하면 Apache Spark 및 scikit-learn에서 이식 가능한 형식 및 실행 엔진으로 기계 학습 파이프라인을 배포할 수 있습니다. MLeap ML 모델 내보내기를 참조하세요.
더 많은 GPU 클러스터 유형
2018년 5월 24일: 버전 2.72
릴리스 2.71에 추가된 Azure NC 인스턴스 형식(NC12 및 NC24) 외에도 이제 Azure Databricks 클러스터에서 NCv3 인스턴스 형식 계열(NC6s_v3, NC12s_v3 및 NC24s_v3)이 지원됩니다. NC 및 NCv3 인스턴스는 GPU를 제공하여 이미지 처리, 텍스트 분석 및 그 밖에 계산이 까다로우며 우수한 성능이 요구되는 기계 학습 및 딥 러닝 작업을 지원합니다.
GPU 사용 컴퓨팅을 참조 하세요.
전자 필기장 셀: 숨기기 및 표시
2018년 5월 24일: 버전 2.72
새로운 표시기와 메시지를 사용하여 숨겨진 Notebook 셀 내용을 더 쉽게 표시할 수 있습니다. 셀 내용 숨기기 및 표시를 참조하세요.
Doc 사이트 검색
2018년 5월 22일
문서 사이트 검색이 향상된 검색 도구로 대체되었습니다. 앞으로 더 많은 검색 개선 사항을 볼 수 있습니다.
참고 항목
새 검색이 배포된 직후에 사용할 경우 검색이 잘못된 것처럼 보일 수 있습니다. 브라우저 캐시를 지우면 새로운 검색 환경을 볼 수 있습니다.
Machine Learning용 Databricks Runtime 4.1 ML(베타)
2018년 5월 17일
Databricks Runtime ML(베타)은 기계 학습 및 데이터 과학을 위한 즉시 사용 가능한 환경을 제공합니다. 여기에는 TensorFlow, Keras 및 XGBoost를 비롯한 여러 자주 사용되는 라이브러리가 포함되어 있습니다.
Databricks Runtime ML을 사용하면 분산 TensorFlow 학습에 필요한 모든 라이브러리를 사용하여 Databricks 클러스터를 시작할 수 있습니다. 클러스터에 포함된 라이브러리의 호환성(예: TensorFlow와 CUDA/cuDNN 간의 호환성)이 보장되며, init 스크립트를 사용하는 것에 비해 클러스터 시작 시간이 크게 줄어듭니다.
참고 항목
Databricks Runtime 4.1 ML은 프리미엄 SKU에서만 사용할 수 있습니다.
Databricks Runtime 4.1 ML(지원되지 않음)에 대한 전체 릴리스 정보를 참조하세요.
Databricks Delta
2018년 5월 17일
이제 Azure Databricks 사용자가 프라이빗 미리 보기에서 Databricks Delta를 사용할 수 있습니다. 계정 관리자에게 문의하거나 https://databricks.com/product/databricks-delta에서 등록하세요. 이 릴리스는 예정된 GA 릴리스의 릴리스 후보입니다.
자세한 내용은 Databricks Runtime 4.1(지원되지 않음) 및 Delta Lake란?을 참조하세요.
이미지 데이터 형식에 대한 Display() 지원
2018년 5월 17일
이제 Databricks Runtime 4.1 display()가 이미지 데이터 형식을 포함하는 열을 서식 있는 HTML로 렌더링합니다.
Databricks Notebook의 시각화를 참조 하세요.
GPU 클러스터 유형
2018년 5월 15일: 버전 2.71
Azure Databricks 클러스터에서 Azure NC 인스턴스 형식(NC12 및 NC24)이 지원된다는 소식을 전합니다. NC 인스턴스는 GPU를 제공하여 이미지 처리, 텍스트 분석 및 그 밖에 계산이 까다로우며 우수한 성능이 요구되는 기계 학습 및 딥 러닝 작업을 지원합니다.
Azure Databricks는 널리 사용되는 여러 딥 러닝 라이브러리를 시작하기 위한 자료와 함께 GPU용으로 구성되어 미리 설치된 NVIDIA 드라이버 및 라이브러리도 제공합니다.
참고 항목:
비밀 관리 GA
2018년 5월 15일: 버전 2.71
프라이빗 미리 보기 상태였던 비밀 관리가 GA됩니다. 비밀 관리는 외부 데이터 원본에 인증하는 데 필요한 자격 증명을 관리하는 강력한 도구를 제공합니다. Notebook에 직접 자격 증명을 입력하는 대신 Databricks 비밀 관리를 사용하여 자격 증명을 Notebook 및 작업에 저장하고 여기에서 참조할 수 있습니다. 비밀을 관리하려면 비밀 CLI(레거시)를 사용하여 비밀 API에 액세스할 수 있습니다.
참고 항목
비밀 관리를 사용하려면 Databricks Runtime 4.0 이상 및 Databricks CLI 0.7.1 이상이 필요합니다.
비밀 관리를 참조하세요.
비밀 API 엔드포인트 및 CLI 명령이 변경됨
2018년 5월 15일: 버전 2.71
비밀 API 엔드포인트가 다음과 같이 변경되었습니다.
- 모든 엔드포인트의 루트 경로가
/secret에서/secrets로 변경되었습니다. - 비밀 엔드포인트의 경우
/secret/secrets가/secrets/로 축소되었습니다. write메서드가put으로 변경되었습니다.
Databricks CLI 0.7.1에는 이러한 업데이트된 API 엔드포인트에 맞게 비밀 명령에 대한 업데이트가 포함되어 있습니다.
클러스터 고정
2018년 5월 15일: 버전 2.71
이제 클러스터 목록에 클러스터를 고정할 수 있습니다. 이렇게 하면 종료된 지 30일이 지난 클러스터의 구성을 유지할 수 있습니다.
또한 클러스터 페이지에 이제 종료된 지 30일(7일에서 증가됨)이 지나지 않은 모든 클러스터가 표시됩니다.
컴퓨팅 고정을 참조 하세요.
클러스터 자동 시작
2018년 5월 15일: 버전 2.71
이 릴리스 이전에는 Terminated 클러스터에서 실행되도록 예약된 작업이 실패했습니다. Azure Databricks 버전 2.71 이상에서 만든 클러스터의 경우, JDBC/ODBC 인터페이스 또는 기존의 종료된 클러스터에 할당된 작업 실행의 명령이 해당 클러스터를 자동으로 다시 시작합니다. JDBC 연결 및 작업 만들기를 참조하세요.
자동 시작을 사용하면 예약된 작업을 위해 클러스터를 다시 시작하는 수동 개입 없이 클러스터가 자동 종료되도록 구성할 수 있습니다. 또한 지정된 시간에 종료된 클러스터를 다시 시작하는 작업을 예약하여 클러스터 초기화를 예약할 수 있습니다.
클러스터 액세스 제어가 적용되고, 작업 소유자 권한이 평소와 같이 확인됩니다.
작업 영역 제거
2018년 5월 15일: 버전 2.71
유럽 연합 GDPR(일반 데이터 보호 규정)을 준수하기 위한 지속적인 노력의 일환으로, Notebook 전체, 개별 Notebook 셀, 개별 Notebook 주석 및 Notebook 수정 기록과 같은 작업 영역 개체를 제거하는 기능이 추가되었습니다. 앞으로 GDPR 규정 준수를 지원하기 위한 더 많은 기능과 설명서가 공개될 예정입니다.
작업 영역 스토리지 제거를 참조하세요.
Databricks CLI 0.7.1
2018년 5월 10일
Databricks CLI 0.7.1에는 업데이트된 API 엔드포인트에 맞게 비밀 명령에 대한 업데이트가 포함되어 있습니다.
피드백
출시 예정: 2024년 내내 콘텐츠에 대한 피드백 메커니즘으로 GitHub 문제를 단계적으로 폐지하고 이를 새로운 피드백 시스템으로 바꿀 예정입니다. 자세한 내용은 다음을 참조하세요. https://aka.ms/ContentUserFeedback
다음에 대한 사용자 의견 제출 및 보기