2024년 1월
이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2024년 1월에 릴리스되었습니다.
참고 항목
릴리스가 준비되었습니다. Azure Databricks 계정은 초기 릴리스 날짜 후 일주일 이후까지 업데이트되지 않을 수 있습니다.
네이티브 XML 파일 형식 지원(공개 미리 보기)
2024년 1월 31일
이제 네이티브 XML 파일 형식 지원이 공개 프리뷰에 추가되었습니다. XML 파일 형식 지원을 사용하면 일괄 처리 또는 스트리밍을 위해 XML 데이터를 수집, 쿼리 및 구문 분석할 수 있습니다. 스키마 및 데이터 형식을 자동으로 유추 및 발전시키고, from_xml(와)과 같은 SQL 식을 지원하며, XML 문서를 생성할 수 있습니다. 외부 jar가 필요하지 않으며 자동 로더, read_files, COPY INTO 및 델타 라이브 테이블에서 원활하게 작동합니다. 자세한 내용은 XML 파일 읽기 및 쓰기를 참조하세요.
Databricks Marketplace를 사용하여 AI 모델 공유(공개 미리 보기)
2024년 1월 31일
이제 Marketplace를 사용하여 Unity 카탈로그에 등록된 모델을 공유할 수 있습니다. Unity 카탈로그가 모델 공유에 참여하려면 공급자와 소비자 작업 영역 모두를 사용하도록 설정해야 합니다.
Databricks Marketplace란? 및 공유에 모델 추가를 참조하세요.
네트워크 보안 그룹 규칙에 대한 업데이트
2023년 1월 31일
플랫폼 확장성을 개선하기 위해 Azure Databricks 컨트롤 플레인에는 이제 클래식 데이터 평면에 연결할 새 엔드포인트가 필요합니다. 사용자 고유의 Azure 가상 네트워크에 배포된 작업 영역의 경우 네트워크 포트 3306 및 8443-8451이 대상 AzureDatabricks에 기존 보안 규칙에 추가되어 포트 443에서 아웃바운드 트래픽을 적용합니다.
자세한 내용은 네트워크 보안 그룹 규칙을 참조하세요.
작업 영역 경로 업데이트
이전에는 일부 Databricks API(%sh)의 경우 /Workspace 경로 접두사를 포함해야 했지만 다른 API(%run, REST API 입력)의 경우에는 포함하지 않아도 되었습니다. 이제 사용자는 Databricks의 모든 위치에 /Workspace 접두사를 사용하여 작업 영역 경로를 제공할 수 있습니다. /Workspace 접두사 없는 경로에 대한 이전 참조는 리디렉션되며 계속 작동합니다. Databricks는 모든 작업 영역 경로가 /Workspace 접두사를 사용하여 볼륨 및 DBFS 경로와 구분하는 것이 좋습니다.
서버리스 컴퓨팅에서 Azure Storage 방화벽에 대한 지원이 일반 공급됨
2024년 1월 30일
Azure 데이터브릭 서버리스 컴퓨팅의 Azure Storage 방화벽에 대한 지원은 GA입니다. 서버리스 SQL Warehouse는 안정적인 서브넷 ID를 사용하여 Azure Storage에 연결하고 Azure 리소스 방화벽에서 해당 식별자를 허용 목록에 적용할 수 있습니다. 서버리스 컴퓨팅 액세스를 위한 방화벽 구성을 참조하세요.
Azure Databricks 작업의 간소화된 만들기
2024년 1월 29일
이제 단추를 클릭하여 작업을 만든 직후 빈 작업이 만들어집니다. 그러면 첫 번째 작업을 추가하기 전에 태그, 일정 또는 알림 설정과 같은 작업 수준 설정을 편집할 수 있습니다. 이전에는 작업 수준 설정에 액세스하기 전에 첫 번째 작업을 만들어야 했습니다. Databricks 작업 구성 및 편집을 참조하세요.
유추 테이블을 사용하여 GPU Model Serving 워크로드 모니터링
2024년 1월 29일
이제 추론 테이블을 사용하여 워크로드를 제공하는 GPU 모델을 모니터링할 수 있습니다. 모델 모니터링 및 디버깅을 위한 유추 테이블에 대해 알아봅니다.
Unity Catalog 외부 볼륨에 대한 URI 경로 기반 액세스
2024년 1월 25일
이제 외부 볼륨에 저장된 Unity 카탈로그에서 관리하는 데이터에 대한 경로 기반 액세스에 클라우드 스토리지 URI를 사용할 수 있습니다. 볼륨의 파일에 액세스할 때 어떤 경로가 사용되나요?를 참조하세요.
업그레이드된 작업 영역에서 액세스 제어 목록을 사용하도록 설정할 수 있음
2024년 1월 24일
액세스 제어 설정은 2023년 11월에 모든 프리미엄 계획 작업 영역에서 사용하도록 설정되었습니다.
표준 플랜에서 프리미엄 요금제로 업그레이드하는 작업 영역의 경우, 액세스 제어 설정은 기본적으로 비활성화되어 있습니다. 이제 작업 영역 관리자는 업그레이드된 작업 영역에서 다음 액세스 제어 설정을 사용하도록 설정할 수 있습니다.
- 작업 영역 액세스 제어: 사용자가 작업 영역 개체에 대한 권한을 구성할 수 있습니다.
- 클러스터, 풀, 작업 액세스 제어: 사용자가 클러스터, 풀 및 작업에 대한 권한을 구성할 수 있습니다.
- 클러스터 표시 유형 제어: 클러스터에 대한 권한이 없는 사용자가 클러스터를 볼 수 없도록 합니다.
- 작업 표시 유형 제어: 권한이 없는 사용자에게 작업이 표시되지 않도록 합니다.
- 작업 영역 표시 유형 제어 설정: Notebook 및 폴더에 대한 권한이 없는 사용자가 Notebook 및 폴더를 볼 수 없도록 합니다.
액세스 제어 설정이 활성화된 후에는 비활성화할 수 없습니다. 자세한 내용은 액세스 제어 목록을 참조하십시오.
이제 Marketplace 목록 이벤트 시스템 테이블을 사용할 수 있음(공개 미리 보기)
2024년 1월 24일>
이제 Marketplace 시스템 스키마에는 목록에 대한 소비자 작업을 모니터링할 수 있는 목록 깔때기 이벤트 테이블(system.marketplace.listing_funnel_events)이 포함됩니다. 깔때기 이벤트 테이블 나열을 참조하세요.
Notebook 셀에 대해 업데이트된 UI(공개 미리 보기)
2024년 1월 24일
업데이트된 Notebook 셀 디자인을 사용할 수 있습니다. 새 셀 디자인을 사용하도록 설정하려면 작업 영역에서 편집기 설정 페이지를 엽니다. 사이드바에서 개발자를 클릭합니다. 실험적 기능에서 새 셀 UI를 전환합니다. Notebook 셀 작업에 대한 자세한 내용은 Databricks Notebook 인터페이스 및 컨트롤을 참조하세요.
Notebook의 구문 오류에 대한 빠른 수정 도움말
2024년 1월 24일
빠른 수정을 사용하여 구문 오류에 대한 Databricks Assistant의 도움을 받을 수 있습니다. 자세한 내용은 Python 오류 강조 표시를 참조하세요.
Databricks Runtime 14.3 LTS(베타)
2024년 1월 22일
Databricks Runtime 14.3 LTS 및 Databricks Runtime 14.3 ML은 이제 베타 릴리스로 사용할 수 있습니다.
Databricks Runtime 14.3 LTS 및 Machine Learning용 Databricks Runtime 14.3 LTS를 참조하세요.
Delta Sharing을 사용하여 AI 모델 공유(공개 미리 보기)
2024년 1월 19일
이제 델타 공유를 사용하여 Unity 카탈로그에 등록된 모델을 공유할 수 있습니다. Unity 카탈로그에서 모델을 공유하려면 공급자 및 수신자 작업 영역이 모두 활성화되어 있어야 합니다.
공유에 모델 추가를 참조하세요.
Databricks Marketplace에서 볼륨 공유가 지원됨
2023년 1월 18일
이제 Databricks Marketplace는 Unity 카탈로그 사용 Databricks 작업 영역이 있는 한 볼륨(테이블 형식이 아닌 데이터)에 액세스할 수 있습니다. 볼륨은 클라우드 개체 스토리지 위치에 있는 스토리지의 논리적 볼륨을 나타내는 Unity 카탈로그 개체이며, 테이블 형식이 아닌 데이터 자산의 거버넌스 및 공유를 관리하는 방법을 제공합니다.
Databricks Marketplace의 Access 데이터 제품(Unity 카탈로그 사용 작업 영역)을 참조하세요.
Databricks UI에서 위젯 만들기
2024년 1월 18일
이제 Databricks UI를 사용하여 Databricks 위젯을 만들 수 있습니다. 자세한 내용은 UI를 사용하여 위젯 만들기를 참조하세요.
이제 Warehouse 이벤트 시스템 테이블을 사용할 수 있습니다(공개 미리 보기)
2024년 1월 18일
이 system.compute.warehouse_events 테이블은 SQL Warehouse가 시작, 중지, 강화 및 축소되는 시기를 기록합니다. 테이블을 사용하여 작업 영역에서 SQL Warehouse를 모니터링하고 관리할 수 있습니다. Warehouse 이벤트 시스템 테이블 참조를 참조하세요.
이제 작업 영역 파일 크기 제한이 500MB임
2023년 1월 15일
이제 개별 작업 영역 파일은 500MB로 제한됩니다. 이전에는 한도가 200MB이었습니다. 추가 세부 정보는 제한 사항을 참조하세요.
Databricks의 레거시 Git 통합에 대한 기능 제거 알림
2024년 1월 12일
2024년 1월 31일 이후 Databricks는 레거시 Notebook Git 통합 제거를 합니다. 이 기능은 2년 이상 레거시 상태이며, 2023년 11월부터 제품 UI에 사용 중단 알림이 표시되었습니다.
Databricks Git 폴더(Repos)로 마이그레이션하는 방법에 대한 자세한 내용은 레거시 Git 통합에서 Databricks Repos로 전환하기를 참조하세요. 이 제거가 영향을 미치고 확장이 필요한 경우 Databricks 계정 임원에게 문의하세요.
Databricks ODBC 드라이버 2.7.7
2024년 1월 9일
Databricks ODBC 드라이버(다운로드) 버전 2.7.7이 릴리스되었습니다. 이 릴리스에는 다음과 같은 새로운 기능과 향상된 기능이 추가됩니다.
- Azure 관리형 ID 인증.
- 비동기 메타데이터 작업을 지원합니다. 서버는
SPARK_CLI_SERVICE_PROTOCOL_V9이상을 지원해야 합니다. - 기본 쿼리 모드에서 매개 변수가 있는 쿼리를 지원합니다. 서버는
SPARK_CLI_SERVICE_PROTOCOL_V8이상을 지원해야 합니다. - OAuth 개선 사항: 커넥터는 이제 브라우저 기반 인증 흐름에 대한 토큰 캐시를 사용하지 않도록 설정할 수 있습니다.
이번 릴리스에서는 2.7.7에서 다음 문제도 해결되었습니다:
- Windows 트러스트 저장소를 사용하는 경우 커넥터는 프라이빗 루트 CA를 무시합니다.
- 작업이 실패하면 커넥터는 하트비트 스레드를 닫지 않습니다.
- 커넥터는 선택적 새로 고침 토큰을 지원하지 않습니다.
- 외세의 이름을 사용하여 테이블을 쿼리할 때 커넥터가 테이블을 읽지 못합니다.
- OAuth 인증을 사용하는 경우 HOST의 문자열 길이가 20보다 작으면 커넥터가 예기치 않게 종료됩니다.
Databricks Runtime 13.2 시리즈 지원 종료
2024년 1월 6일
Databricks Runtime 13.2 및 Machine Learning용 Databricks Runtime 13.2에 대한 지원은 1월 6일에 종료되었습니다. Databricks 지원 수명 주기를 참조하세요.
AI 보조 기능이 기본적으로 사용하도록 설정됨
2024년 1월 2~8일
이제 AI 보조 기능은 규정 준수 보안 프로필을 사용하도록 설정하지 않고 작업 영역에 대해 기본적으로 사용하도록 설정됩니다. 여기에는 다음이 포함됩니다.
관리자는 계정 또는 작업 영역의 하위 집합에 있는 모든 작업 영역에 대한 AI 보조 기능을 옵트아웃할 수 있습니다. 계정의 경우: Databricks 도우미 기능 사용 안 함 또는 사용을 참조하세요.