이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2024년 11월에 릴리스되었습니다.
참고
릴리스가 준비되었습니다. Azure Databricks 계정은 초기 릴리스 날짜 후 일주일 이후까지 업데이트되지 않을 수 있습니다.
노트북의 테이블 툴팁에 대한 추가 메타데이터
2024년 11월 25일
Notebook 셀에서 Unity 카탈로그 테이블의 이름을 마우스로 가리키면 도구 설명에 이제 다음 메타데이터가 포함됩니다.
- 소유자
- 마지막 업데이트
- 크기
- 묘사
- 카탈로그 탐색기 측면 패널에서 테이블을 볼 수 있는 링크
자동 클러스터 업데이트 및 향상된 보안 및 규정 준수 UI를 일반적으로 사용할 수 있습니다.
2024년 11월 19일
이제 자동 클러스터 업데이트가 일반 공급됩니다. 자동 클러스터 업데이트를 사용하면 작업 영역의 모든 클러스터가 정기적으로 최신 호스트 OS 이미지 및 보안 업데이트로 업데이트됩니다. 계정 콘솔에서 향상된 보안 및 규정 준수 기능을 사용하도록 설정하는 기능도 이제 일반 공급됩니다. 자동 클러스터 업데이트 및 향상된 보안 및 규정 준수 설정 구성 를 참조하십시오.
Notebook에서 Python 디버거에 대한 지원 확장
2024년 11월 18일
Databricks Notebook의 기본 제공 Python 디버거는 이제 Databricks Runtime 14.3 LTS 이상에서 표준 액세스 모드(이전의 공유 액세스 모드)로 구성된 서버리스 컴퓨팅 및 컴퓨팅에서 지원됩니다. 디버거에 대한 자세한 내용은 디버그 Notebook을 참조 하세요.
향상된 웹 터미널 환경
2024년 11월 18일
Databricks는 웹 터미널 환경을 다음과 같이 개선했습니다.
- 구성 파일 지원: 이제 .bashrc 구성 파일을 사용하여 Databricks 웹 터미널에 대한 영구 구성을 설정할 수 있습니다. 웹 터미널을 구성하는 방법을 참조하세요.
- 명령 주기 기록: 이제 "위쪽" 및 "아래쪽" 화살표 키를 사용하여 이전 세션에서 실행된 명령을 순환할 수 있습니다. 이렇게 하면 이전 명령을 다시 지정하지 않고도 쉽게 회수하고 다시 사용할 수 있습니다.
- 공유 클러스터 지원: 향상된 웹 터미널은 Databricks Runtime 15.1 이상의 표준 액세스 모드를 사용하여 컴퓨팅에서 사용할 수 있습니다.
웹 터미널 사용에 대한 자세한 내용은 Azure Databricks 웹 터미널
DLT에 대한 쿼리 기록 및 쿼리 프로필 지원
2024년 11월 15일
이제 Azure Databricks는 DLT 파이프라인에서 쿼리 성능을 모니터링하기 위한 향상된 도구를 제공합니다. 파이프라인에 대한 액세스 쿼리 기록을 참조하세요.
모자이크 AI 모델 학습 리브랜딩
2024년 11월 15일
모자이크 AI 모델 학습은 기존 기능을 포함하도록 브랜드를 다시 지정했습니다.
- 이전에 Mosaic AI 모델 학습이라고도 하는 파운데이션 모델 미세 조정은 기초 모델에 대한 고급 사용자 지정을 계속 제공합니다.
- 이제 실험 섹션에서 AutoML 기능에 액세스할 수 있습니다 .
후속 SQL 셀에서와 같이 _sqldf SQL 출력 다시 사용
2024년 11월 15일
Databricks Runtime 14.3 이상에서 Databricks Notebook에서 SQL 쿼리를 실행하면 다운스트림 SQL 셀에서 사용할 수 있는 암시적 DataFrame(_sqldf)이 생성됩니다. 이렇게 하면 Databricks Runtime 13.3에 도입된 Python 셀의 변수 사용에 _sqldf 대한 지원이 추가됩니다. SQL 셀 결과 탐색을 참조하세요.
Azure 관리형 리소스에 대한 서버리스 컴퓨팅 지원의 프라이빗 연결
2024년 11월 15일
이제 네이티브 프라이빗 엔드포인트를 지원하는 모든 Azure 관리형 리소스가 서버리스 컴퓨팅에서 지원됩니다. 이 기능은 일반적으로 사용할 수 있습니다. Azure 리소스에 대한 프라이빗 연결 구성을 참조하세요.
작업, Notebook 및 DLT에 대한 프라이빗 연결 지원
2024년 11월 15일
서버리스 컴퓨팅에 대한 프라이빗 연결은 이제 작업, Notebook 및 DLT 워크로드를 지원합니다. 이 기능은 일반적으로 사용할 수 있습니다. Azure 리소스에 대한 프라이빗 연결 구성을 참조하세요.
이제 웨어하우스 시스템 테이블을 사용할 수 있습니다(공개 미리 보기)
2024년 11월 15일
system.compute.warehouses 테이블은 SQL 웨어하우스 구성을 기록합니다. 각 행은 특정 시점에 SQL 웨어하우스 속성의 스냅샷입니다. 속성이 변경되면 새 스냅샷이 만들어집니다.
Warehouses 시스템 테이블 참조서를 참조하세요.
플랫폼 간 보기 공유(공개 미리 보기)
2024년 11월 14일
이제 Databricks 받는 사람이 Databricks 컴퓨팅 리소스를 사용하여 공유 뷰를 쿼리할 수 있습니다. 이전에는 받는 사람의 Azure Databricks 계정이 공급자의 계정과 다른 경우 수신자는 서버리스 SQL 웨어하우스를 사용하여 공유 보기만 쿼리할 수 있었습니다. 공유된 보기 읽기를 참조하세요.
공유 보기도 이제 공유 커넥터 열기로 확장됩니다. "델타 공유를 사용하여 공유된 데이터 읽기: 전달자 토큰(받는 사람용)을 통해 공유를 열어보세요.참조하세요."
클린 룸 공개 미리 보기는 새로운 기능으로 채워집니다.
2024년 11월 13일
Databricks Clean Rooms는 델타 공유 및 서버리스 컴퓨팅을 사용하여 여러 당사자가 서로의 데이터에 직접 액세스하지 않고도 중요한 엔터프라이즈 데이터를 공유하고 공동 작업할 수 있는 안전하고 개인 정보 보호 환경을 제공합니다. 이제 Clean Rooms 공개 미리 보기가 Azure 및 AWS의 모든 고객에게 공개되며 다음과 같은 새로운 기능이 포함됩니다.
출력 테이블 은 Notebook 실행에서 생성되고 Notebook Runner의 Unity 카탈로그 메타스토어에 공유되는 임시 읽기 전용 테이블입니다.
출력 테이블은 Azure, AWS 및 Google Cloud의 공동 작업자가 만들거나 읽을 수 있지만 중앙 클린룸이 AWS에서 호스트되는 경우에만 지원됩니다.
회의실 전자 필기장 정리 작업 유형을 사용하면 워크플로의 일부로 클린룸에서 Azure Databricks Notebook을 실행할 수 있습니다. 이 도구는 작업 값 및 출력 테이블에 대한 지원과 함께 클린룸에서 공유되는 데이터에 대해 복잡한 워크플로를 실행하기 위한 강력한 도구입니다.
서버리스 이그레스 제어를 사용하면 중앙 클린룸에서 지정한 인터넷 대상으로의 아웃바운드 접근을 제한할 수 있습니다.
Azure Databricks Clean Rooms란?을 참조하세요.
Databricks Runtime 16.0은 GA입니다.
2024년 11월 11일
이제 Databricks Runtime 16.0 및 Databricks Runtime 16.0 ML을 일반 공급합니다.
EoS(Machine Learning)용 Databricks Runtime 16.0(EoS) 및 Databricks Runtime 16.0을 참조하세요.
호환성에 영향을 미치는 중요한 변경 사항: 호스트된 RStudio는 지원이 종료됩니다.
2024년 11월 11일
Databricks Runtime 16.0 이상에서 Databricks 호스팅 RStudio Server는 수명이 종료되며 모든 Azure Databricks 작업 영역에서 사용할 수 없습니다. 자세한 내용을 알아보고 RStudio에 대한 대안 목록을 보려면 Databricks 호스팅 RStudio Server에 연결을 참조하세요.
새 Azure Databricks 계정에 예측 최적화가 모두 사용하도록 설정되었습니다.
2024년 11월 11일
11월 11일, Databricks는 모든 새 Azure Databricks 계정에 대한 기본값으로 예측 최적화를 사용하도록 설정했습니다. 이전에는 기본적으로 사용하지 않도록 설정되었으며 관리자 계정을 통해 사용하도록 설정할 수 있었습니다. 예측 최적화를 사용하도록 설정하면 Azure Databricks는 Unity 카탈로그 관리 테이블에 대한 유지 관리 작업을 자동으로 실행합니다. 예측 최적화에 대한 자세한 내용은 Unity 카탈로그 관리 테이블에 대한예측 최적화를 참조하세요.
업데이트되고 통합된 읽기 전용 코드 블록
2024년 11월 8일
이제 카탈로그 탐색기, 경고 페이지 및 Genie에서 새 읽기 전용 코드 블록을 사용할 수 있습니다.
향상된 빠른 수정 권장 사항
2024년 11월 8일
이제 Databricks Assistant 빠른 수정은 더 광범위한 일반적인 SQL 및 Python 오류에 대한 수정 사항을 식별하고 제안합니다. 오류 검색이 50% 증가함에 따라, Quick Fix를 통해 코드를 더 빠르게 디버그할 수 있습니다. 빠른 수정을 참조하세요.
지원되는 모든 모델 서비스 지역에서 사용할 수 있는 토큰당 종량제 파운데이션 모델 API
2024년 11월 7일
Foundation Model API 토큰당 종량제 워크로드는 이제 Mosaic AI 모델 서비스를 사용할 수 있는 모든 지역에서 지원됩니다. 작업 영역이 모델 서비스 지역에 있지만 미국 또는 EU 지역에 있지 않은 경우 지역 간 데이터 처리를 위해 작업 영역을 사용하도록 설정해야 합니다. 사용하도록 설정하면 토큰당 지불 워크로드가 미국으로 라우팅됩니다. Databricks Geo.
서비스 자격 증명을 사용하여 외부 클라우드 서비스에 대한 Unity 카탈로그 관리 액세스(공개 미리 보기)
2024년 11월 7일
서비스 자격 증명을 사용하면 AZURE MI(관리 ID) 및 Unity 카탈로그를 사용하여 클라우드 테넌트의 서비스에서 간단하고 안전한 인증을 수행할 수 있습니다. 서비스 자격 증명은 공개 미리 보기로 제공되며 Databricks Runtime 15.4 LTS 이상에서 지원됩니다. 서비스 자격 증명 만들기를 참조하세요.
영국 Cyber Essentials Plus 규정 준수 제어
2024년 11월 7일
영국 Cyber Essentials Plus 규정 준수 제어(UKCE+)는 작업 영역의 규정 준수에 도움이 되는 향상된 기능을 제공합니다. UKCE+는 영국 정부 데이터와 상호 작용하는 상업 조직에 대한 IT 보안 관행을 단순화하고 표준화하기 위해 영국 정부가 만든 인증입니다. 영국 사이버 에센셜 플러스를 참조하세요.
모델 서비스에 대한 서버리스 컴퓨팅 지원의 프라이빗 연결
2024년 11월 5일
이제 Azure Private Link를 사용하는 서버리스 컴퓨팅의 프라이빗 연결이 모델 서비스에 지원됩니다. 여기에는 사용자 지정 모델 엔드포인트 및 프로비전된 처리량 엔드포인트에 대한 지원이 포함됩니다. Azure 리소스에 대한 프라이빗 연결 구성을 참조하세요.
Databricks Runtime 14.2 시리즈 지원 종료
2024년 11월 5일
Machine Learning용 Databricks Runtime 14.2 및 Databricks Runtime 14.2에 대한 지원은 11월 5일에 종료되었습니다. Databricks 지원 수명 주기를 참조하세요.