2023년 10월

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2023년 10월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 작업 영역은 초기 릴리스 날짜 이후 일주일 이상까지 업데이트되지 않을 수 있습니다.

Databricks SQL Serverless에 대한 서버리스 보안 연결(공개 미리 보기)

2023년 10월 31일

새로운 서버리스 보안 연결 도구를 사용하면 서버리스 SQL 웨어하우스에서 Azure Storage의 데이터 원본으로의 네트워크 액세스를 제어할 수 있습니다. 서브넷 ID를 사용하여 스토리지 방화벽을 선택하거나 Azure Private Link를 사용하여 프라이빗 연결을 사용하도록 설정할 수 있습니다. 공개 미리 보기에 참가하려면 Azure Databricks 계정 팀에 문의하세요. 서버리스 컴퓨팅 평면 네트워킹을 참조 하세요.

2023년 10월 31일 이전에 Azure Databricks 설명서에 나열된 서브넷 ID를 사용하여 구성된 스토리지 방화벽이 있는 경우 Databricks는 새 도구 중 하나를 사용하여 각 작업 영역 지역에 대한 방화벽 구성을 업데이트하는 것이 좋습니다. 이렇게 하면 모든 작업 영역에서 일관된 배포를 적용할 수 있습니다. 기존 구성을 업데이트하지 않도록 선택하면 작업 영역이 계속 작동합니다.

Azure Databricks 작업에 대한 YAML 원본 보기

2023년 10월 30일

이제 작업 세부 정보 페이지를 클릭하고 YAML/JSON 보기를 선택하여 작업에 대한 YAML 원본을 보고 복사할 수 있습니다. YAML 원본을 사용하여 Databricks 자산 번들로 CI/CD 워크플로를 만들 수 있습니다. Databricks 자산 번들이란?을 참조하세요.

Azure Databricks 워크플로에 조건부 논리 추가

2023년 10월 30일

이제 이 If/else condition 작업을 사용하여 부울 식의 결과에 따라 Azure Databricks 작업에서 태스크를 조건부로 실행할 수 있습니다. If/else 조건 태스크를 사용하여 작업에 분기 논리 추가를 참조하세요.

모든 작업 태스크에서 참조할 수 있는 Azure Databricks 작업에 대한 매개 변수 구성

2023년 10월 30일

이제 키-값 쌍을 허용하는 모든 작업 작업에 자동으로 전달되는 매개 변수를 Azure Databricks 작업에 추가할 수 있습니다. 모든 작업 작업에 대한 매개 변수 추가를 참조 하세요. 또한 이제 확장된 값 참조 집합을 사용하여 작업 작업 간에 컨텍스트와 상태를 전달할 수 있습니다. 작업 실행에 대한 Pass 컨텍스트를 참조 하세요.

자동 사용 삭제 벡터

2023년 10월 30일

이제 작업 영역 관리자 설정 자동 삭제 벡터를 사용하여 Databricks Runtime 14.0 이상의 모든 새 델타 테이블에서 삭제 벡터를 사용하도록 설정할 수 있습니다. 이 동작은 현재 옵트인되지만 나중에 옵트아웃으로 변경됩니다. Databricks는 이 설정에 대한 옵션을 수동으로 구성하는 것이 좋습니다. 자동 사용 삭제 벡터를 참조 하세요.

GA에 대한 UNDROP TABLE Unity 카탈로그 지원

2023년 10월 25일

삭제 후 7일 이내에 기존 스키마에서 삭제된 관리 테이블 또는 외부 테이블을 삭제할 수 있습니다. Databricks Runtime 12.1 이상이 필요합니다. UNDROP 테이블 및 삭제된 테이블 표시를 참조하세요.

파트너 커넥트 Dataiku 지원

2023년 10월 25일

이제 파트너 커넥트 사용하여 Azure Databricks 작업 영역을 Dataiku에 연결할 수 있습니다. Dataiku에 대한 커넥트 참조하세요.

Databricks AutoML에서 생성된 Notebook은 이제 MLflow 아티팩트로 저장됩니다.

2023년 10월 24일

이제 Databricks AutoML에서 생성된 Notebook 이 Machine Learning용 모든 Databricks 런타임 버전에서 MLflow 아티팩트로 저장됩니다.

새 지역: 카타르 중부

2023년 10월 23일

Azure Databricks는 이제 카타르 중부에서 사용할 수 있습니다. Azure Databricks 지역을 참조 하세요.

Azure Firewall 및 Private Link에서 지원되는 Unity 카탈로그 볼륨

2023년 10월 23일

이제 Azure Firewall 또는 Private Link로 구성된 Azure Storage 계정과 함께 Unity 카탈로그 볼륨을 사용할 수 있습니다. 이렇게 하면 이전 제한 사항이 제거됩니다.

예측 최적화(공개 미리 보기)

2023년 10월 24일

예측 최적화는 델타 테이블에 대한 기본 테넌스 작업을 수동으로 관리할 필요가 없습니다. 유지 관리 작업은 필요에 따라 실행되어 기본 테넌스 작업에 대한 불필요한 실행과 성능 추적 및 문제 해결과 관련된 부담을 모두 제거합니다. Delta Lake에 대한 예측 최적화를 참조하세요.

이제 컴퓨팅 시스템 테이블을 사용할 수 있습니다(공개 미리 보기)

2023년 10월 23일

system.compute 스키마에는 계정 clusters 의 컴퓨팅 리소스를 모니터링하는 데 사용할 수 있는 두 개의 새 테이블이 포함되어 있습니다node_types.

클러스터 테이블은 시간이 지남에 따라 다목적 및 작업 클러스터에 대한 클러스터 구성의 전체 기록을 포함하는 느린 변경 차원 테이블입니다. 노드 형식 테이블은 기본 하드웨어 정보를 사용하여 현재 사용 가능한 노드 형식을 캡처합니다. 이러한 시스템 테이블에 액세스할 수 없는 경우 계정에서 컴퓨팅 스키마를 사용하도록 설정했는지 확인합니다(시스템 테이블 스키마 사용 참조).

컴퓨팅 시스템 테이블에 대한 자세한 내용은 컴퓨팅 시스템 테이블 참조를 참조하세요.

주문형 기능 계산은 GA입니다.

2023년 10월 19일

이제 기계 학습 기능을 유추 시간에 주문형으로 계산할 수 있습니다. 이를 통해 모델은 사용자의 현재 위치와 같이 유추 시간에만 사용할 수 있는 입력을 사용하여 기능을 컴퓨팅하거나 사전 계산, 저장 및 새로 고침에 비용이 많이 드는 기능을 사용할 수 있습니다. 모델 학습 코드는 모델 학습 및 유추 중에 실행되는 기능 조회 및 계산의 임의 그래프를 정의할 수 있습니다.

기능 계산 논리, 모델 및 데이터는 모두 Unity 카탈로그에 의해 제어됩니다. 자세한 내용은 Python 사용자 정의 함수를 사용하여 주문형 컴퓨팅 기능을 참조 하세요.

Unity 카탈로그의 기능 엔지니어링은 GA입니다.

2023년 10월 19일

Unity 카탈로그의 기능 엔지니어링을 사용하면 Unity 카탈로그가 기능 저장소가 됩니다. 모델 학습 또는 유추를 위한 기능 테이블로 기본 키가 있는 델타 테이블을 사용할 수 있습니다. Unity 카탈로그는 기능 검색 및 거버넌스를 제공합니다.

AI에서 생성된 테이블 주석(공개 미리 보기)

2023년 10월 18일

Azure Databricks를 사용할 때 AI를 사용하여 지원하는 이니셔티브의 일환으로 Azure Databricks는 AI 생성 테이블 및 열 주석을 공개 미리 보기에 도입하고 있습니다. 카탈로그 탐색기에서 Unity 카탈로그에서 관리하는 테이블 또는 테이블 열에 대해 AI 생성 주석을 보고 편집하고 추가할 수 있습니다. AI에서 생성된 주석은 외부 모델 파트너를 사용하여 응답을 제공할 수 있습니다. 이러한 서비스로 전송된 데이터는 모델 학습에 사용되지 않습니다.

테이블에 AI 생성 주석 추가를 참조 하세요.

Unity 카탈로그의 모델은 GA입니다.

2023년 10월 17일

이제 Unity 카탈로그의 ML 모델을 일반 공급할 수 있습니다. Unity 카탈로그는 중앙 집중식 액세스 제어, 감사, 계보, 작업 영역 간 모델 공유 및 더 나은 MLOps 배포 워크플로를 제공합니다. Azure Databricks는 작업 영역 모델 레지스트리 대신 Unity 카탈로그에서 모델을 사용하는 것이 좋습니다. 자세한 내용은 Unity 카탈로그의 모델 수명 주기 관리를 참조하세요.

이제 컴퓨팅 정책에서 지원되는 라이브러리(공개 미리 보기)

2023년 10월 17일

이제 작업 영역 관리자는 컴퓨팅 정책에 라이브러리를 추가할 수 있습니다. 정책을 사용하는 컴퓨팅은 라이브러리를 자동으로 설치합니다. 사용자는 정책을 사용하는 컴퓨팅에 컴퓨팅 범위 라이브러리를 설치하거나 제거할 수 없습니다. 이전에 설치된 라이브러리는 제거됩니다.

Databricks는 컴퓨팅 정책을 사용하도록 init 스크립트와 함께 설치된 모든 라이브러리를 마이그레이션하는 것이 좋습니다. 정책에 라이브러리 추가를 참조하세요.

파트너 커넥트 몬테카를로 지원

2023년 10월 16일

이제 파트너 커넥트 사용하여 Azure Databricks 작업 영역을 몬테카를로에 연결할 수 있습니다. 자세한 내용은 Azure Databricks를 몬테카를로 커넥트 참조하세요.

의미 체계 검색(공개 미리 보기)

2023년 10월 16일

이제 자연어를 사용하여 고급 검색 대화 상자에서 Unity 카탈로그 테이블을 검색 할 수 있습니다. 의미 체계 검색을 참조하세요.

작업 영역 수준에서 Databricks Assistant 사용

2023년 10월 11일

이제 작업 영역 관리자는 계정 관리자가 허용한 경우 개별 작업 영역에 대해 Databricks Assistant를 사용하거나 사용하지 않도록 설정할 수 있습니다. 자세한 내용은 어떻게 할까요? Databricks Assistant를 사용하도록 설정하시겠습니까?를 참조하세요.

새 Photon 기본값

2023년 10월 11일

UI를 통해 새 클러스터를 만들 때 기본 Databricks 런타임 엔진은 Photon을 사용하도록 설정됩니다. 이는 다목적 및 작업 클러스터에 적용됩니다.

Photon 호환 클러스터 정책을 사용하여 만든 새 클러스터에는 기본적으로 Photon이 사용하도록 설정되어 있습니다. 클러스터 정책은 Databricks Runtime이 지원하는 경우 Photon 호환되며 노드 형식은 지원되며 runtime_engine 명시적으로 설정 STANDARD되지 않습니다.

Databricks Runtime 14.1은 GA입니다.

2023년 10월 11일

이제 Databricks Runtime 14.1 및 Databricks Runtime 14.1 ML을 일반 공급합니다.

Machine Learning용 Databricks Runtime 14.1 및 Databricks Runtime 14.1을 참조하세요.

릴리스 정보 이동 개발자 도구

2023년 10월 10일

2023년 10월 10일 이후 Azure Databricks 개발자 도구에 대한 릴리스 정보는 이제 Azure Databricks 플랫폼 릴리스 정보 대신 Azure Databricks 개발자 도구 및 SDK 릴리스 정보에 게시됩니다.

Visual Studio Code용 Databricks 확장이 버전 1.1.5로 업데이트됨

2023년 10월 9일

Visual Studio Code 버전 1.1.5용 Databricks 확장에는 몇 가지 사소한 수정 사항이 포함되어 있습니다. 자세한 내용은 버전 1.1.5의 변경 로그를 참조하세요.

업데이트에 대한 예측 I/O는 GA입니다.

2023년 10월 9일

업데이트에 대한 예측 I/O는 이제 Databricks Runtime 14.0 이상에서 일반적으로 사용할 수 있습니다. 예측 I/O란?을 참조하세요.

삭제 벡터는 GA입니다.

2023년 10월 9일

삭제 벡터는 이제 Databricks Runtime 14.0 이상에서 일반적으로 사용할 수 있습니다. 삭제 벡터가란?을 참조하세요.

파트너 커넥트 RudderStack을 지원합니다.

2023년 10월 5일

이제 파트너 커넥트 사용하여 Azure Databricks 작업 영역을 RudderStack에 연결할 수 있습니다. 자세한 내용은 RudderStack에 대한 커넥트 참조하세요.

Databricks CLI가 버전 0.207.0으로 업데이트됨(공개 미리 보기)

2023년 10월 4일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.207.0으로 업데이트되었습니다. 이 릴리스에는 Databricks 자산 번들에 대한 기능 업데이트 및 수정 사항이 포함되어 있으며, 여러 명령 그룹 및 명령에 대한 추가 및 변경 내용 등이 포함됩니다. 자세한 내용은 버전 0.207.0의 변경 로그를 참조하세요.

Notebook에서 선택한 셀 실행

2023년 10월 4일

이제 Notebook에서 선택한 셀만 실행할 수 있습니다. 선택한 셀 실행을 참조하세요.

작업 영역 카탈로그 바인딩을 사용하여 카탈로그에 대한 읽기 전용 액세스 권한 부여

2023년 10월 4일

작업 영역 카탈로그 바인딩을 사용하여 계정의 특정 작업 영역에 대한 카탈로그 액세스를 제한하는 경우 이제 해당 액세스를 읽기 전용으로 만들 수 있습니다. 읽기 전용 작업 영역 카탈로그 바인딩은 개발자 작업 영역의 프로덕션 데이터에 대한 읽기 전용 액세스 권한을 사용자에게 제공하여 개발 및 테스트를 가능하게 하는 시나리오에 유용합니다.

또한 이 업데이트는 API 엔드포인트를 /api/2.1/unity-catalog/workspace-bindings/ 더 이상 사용하지 않으며 해당 엔드포인트를 .로 /api/2.1/unity-catalog/bindings/바꿉니다.

(선택 사항) 특정 작업 영역에 카탈로그 할당을 참조 하세요.

Visual Studio Code용 Databricks 확장이 버전 1.1.4로 업데이트됨

2023년 10월 2일

Visual Studio Code 버전 1.1.4용 Databricks 확장은 사용자 지정 Azure Databricks 작업 영역 URL 등에 대한 지원을 추가합니다. 자세한 내용은 버전 1.1.4의 변경 로그를 참조하세요.

Python용 Databricks SDK가 버전 0.10.0(베타)으로 업데이트됨

2023년 10월 3일

Python 버전 0.10.0용 Databricks SDK는 7개의 호환성이 손상되는 변경 사항을 도입하고, 10개의 데이터 클래스를 추가하고, 6개의 필드를 추가하고, 하나의 서비스를 추가합니다. 자세한 내용은 버전 0.10.0의 변경 로그를 참조하세요.

Go용 Databricks SDK가 버전 0.22.0(베타)으로 업데이트됨

2023년 10월 3일

Go 버전 0.22.0용 Databricks SDK는 하나의 호환성이 손상되는 API 변경을 도입하고 하나의 API를 추가합니다. 자세한 내용은 버전 0.22.0의 변경 로그를 참조하세요.

Azure 중국용 공개 미리 보기에서 Unity 카탈로그 볼륨

2023년 10월 2일

Unity 카탈로그 볼륨은 이제 Azure 중국 지역에서 공개 미리 보기 기능으로 사용할 수 있습니다. 볼륨 만들기 및 작업을 참조 하세요.