2020년 6월

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2020년 6월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 최초 릴리스 날짜 이후 최대 일주일까지 업데이트되지 않을 수 있습니다.

이제 Databricks Connect에서 Databricks Runtime 6.6 지원

2020년 6월 26일

이제 Databricks Connect에서 Databricks Runtime 6.6을 지원합니다.

Databricks Runtime 7.0 ML GA

2020년 6월 22일

Databricks Runtime 7.0 ML은 Databricks Runtime 7.0을 기반으로 빌드되었으며 다음과 같은 새로운 기능을 포함합니다.

• conda 및 pip 명령으로 관리되는 Notebook 범위 Python 라이브러리 및 사용자 지정 환경.
• tensorflow, tensorboard, pytorch, xgboost, sparkdl 및 hyperopt를 포함한 주요 Python 패키지에 대한 업데이트가 있습니다.
• 새로 추가된 Python 패키지 lightgbm, nltk, petastorm 및 plotly가 있습니다.
• RStudio Server Open Source v1.2.

자세한 내용은 전체 Databricks Runtime 7.0 ML(지원되지 않는) 릴리스 정보를 참조하세요.

Databricks Runtime 7.0 GA, Apache Spark 3.0 기반

2020년 6월 18일

Databricks Runtime 7.0은 Apache Spark 3.0에서 구동되며 이제 Scala 2.12를 지원합니다.

Spark 3.0은 다음을 비롯한 다양한 추가 기능과 향상된 기능을 제공합니다.

• 적응 쿼리 실행은 Spark SQL 적응형 실행을 수행하고 런타임 시 Reducer 수를 변경할 수 있도록 지원하는 유연한 프레임워크입니다.
• 형식 힌트를 사용하여 pandas UDF를 재설계했습니다.
• 구조적 스트림 웹 UI.
• ANSI SQL 표준과의 호환성이 향상되었습니다.
• 조인 힌트.

Databricks Runtime 7.0 추가:

• ETL 도중 클라우드 Blob 저장소에 도착하는 새 데이터 파일을 증분 방식으로 처리하기 위한 자동 로더가 향상되었습니다.
• idempotent 재시도를 사용하여 Delta Lake로 데이터를 로드하기 위한 COPY INTO 명령이 향상되었습니다.
• 많은 개선 사항, 라이브러리 추가 및 업그레이드 및 버그 수정.

자세한 내용은 전체 Databricks Runtime 7.0(지원되지 않는) 릴리스 정보를 참조하세요.

Genomics GA용 Databricks Runtime 7.0

2020년 6월 18일

Genomics용 Databricks Runtime 7.0은 Databricks Runtime 7.0을 기반으로 빌드되었으며 다음과 같은 라이브러리 변경 내용을 포함합니다.

• ADAM 라이브러리가 버전 0.30.0에서 0.32.0으로 업데이트되었습니다.
• Hail 라이브러리는 Apache Spark 3.0을 기반으로 하는 릴리스가 없으므로 Genomics용 Databricks Runtime 7.0에는 포함되어 있지 않습니다.

MLflow 모델에 대한 스테이지 종속 액세스 제어

2020년 6월 16-23일: 버전 3.22

이제 스테이징 또는 프로덕션 단계에서 MLflow 모델 레지스트리에 등록된 MLflow 모델을 관리할 수 있도록 사용자 또는 그룹에 스테이지 종속 액세스 제어를 할당할 수 있습니다. 스테이징 버전을 관리하고 프로덕션 버전을 관리할 수 있는 두 가지 새로운 사용 권한 수준을 도입했습니다. 이러한 권한이 있는 사용자는 수준에 허용되는 단계 간에 전환을 수행할 수 있습니다.

자세한 내용은 MLFlow 모델 ACL을 참조 하세요.

이제 Notebook에서 자동 스크롤 사용 안 을 지원합니다.

2020년 6월 16-23일: 버전 3.22

shift+Enter를 사용하여 Notebook 셀을 실행할 때 기본 Notebook 동작은 셀이 표시되지 않는 경우 다음 셀로 자동 스크롤합니다. 이제 사용자 설정 > 편집기 설정에서 자동 스크롤을 > 사용하지 않도록 설정할 수 있습니다. 자동 스크롤을 사용하지 않도록 설정하도록 shift+Enter를 누르면 포커스가 다음 셀로 이동하지만 전자 Notebook이 해당 셀로 스크롤되지 않습니다.

2020년 6월 30일에 변경되는 메타스토어 IP 주소

2020년 6월 11일

Azure Databricks의 기본 메타스토어는 Azure Database for MySQL을 사용합니다. Azure Databricks 메타스토어에 대한 모든 Azure Database for MySQL IP 주소는 2020년 6월 30일에 변경됩니다. 사용자 고유의 가상 네트워크에 Azure Databricks 작업 영역이 배포된 경우 해당 배포에 대한 경로 테이블에는 Azure Databricks 메타스토어 IP 주소 또는 해당 주소가 포함된 액세스 목록이 있는 방화벽 또는 프록시 어플라이언스로의 경로가 포함될 수 있습니다. 이런 경우 중단을 방지하려면 2020년 6월 30일 이전에 새 MySQL IP로 Azure Databricks 경로 테이블 또는 방화벽을 업데이트해야 합니다.

Internet Explorer 11 지원이 8월 15일에 종료됨

2020년 6월 9일

업계 추세에 따라 고객에게 안정적이고 일관된 사용자 환경을 보장하기 위해 Azure Databricks는 2020년 8월 15일에 Internet Explorer 11에 대한 지원을 종료합니다.

Databricks Runtime 6.2 시리즈 지원 종료

2020년 6월 3일

Databricks Runtime 6.2, Machine Learning용 Databricks Runtime 6.2, Genomics용 Databricks Runtime 6.2에 대한 지원은 6월 3일에 종료되었습니다. Databricks Runtime 지원 수명 주기를 참조하세요.

클러스터 정책을 사용하여 클러스터 만들기 간소화 및 제어(공개 미리 보기)

2020년 6월 2-9일: 버전 3.21

클러스터 정책은 클러스터 특성에 규칙을 적용하여 사용자가 해당 규칙을 준수하는 클러스터를 만들도록 하는 재사용이 가능한 관리자 정의 클러스터 템플릿입니다. Azure Databricks 관리자는 이제 클러스터 정책을 만들고 사용자에게 정책 권한을 부여할 수 있습니다. 이렇게 하면 생성된 리소스를 더 잘 제어하고, 사용자에게 작업을 수행하는 데 필요한 유연성 수준을 제공하고, 클러스터 만들기 환경을 상당히 간소화할 수 있습니다.

자세한 내용은 컴퓨팅 정책 만들기 및 관리를 참조하세요.

SCIM Me 엔드포인트가 이제 SCIM 규격 응답 반환

2020년 6월 2-9일: 버전 3.21

SCIM Me 엔드포인트는 이제 그룹 및 자격과 같은 정보를 포함하여 /users/{id} 엔드포인트와 동일한 정보를 반환합니다.

CurrentUser API를 참조하세요.

IP 액세스 목록을 사용하여 Azure Databricks에 대한 액세스 제한(공개 미리 보기)

2020년 6월 1일

이제 사용자가 보안 경계가 있는 기존 회사 네트워크를 통해서만 서비스에 연결하여 Azure Databricks 작업 영역을 구성할 수 있습니다. Azure Databricks 관리자는 IP 액세스 목록 API를 사용하여 허용 및 차단 목록을 포함하여 승인된 IP 주소 집합을 정의할 수 있습니다. 웹 애플리케이션 및 REST API에 대한 모든 수신 액세스는 사용자가 승인된 IP 주소에서 연결해야 하므로 사용자가 VPN을 사용하지 않는 한 커피숍이나 공항과 같은 공용 네트워크에서 작업 영역에 액세스할 수 없습니다.

이 기능을 사용하려면 Premium 플랜이 필요합니다.

자세한 내용은 작업 영역에 대한 IP 액세스 목록 구성을 참조 하세요.