2023년 9월

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2023년 9월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 작업 영역은 초기 릴리스 날짜 이후 일주일 이상까지 업데이트되지 않을 수 있습니다.

단일 사용자 클러스터에서 사용할 수 있는 Lakehouse 페더레이션

2023년 9월 29일

이제 Lakehouse Federation은 Databricks Runtime 13.1 이상을 사용하는 단일 사용자 클러스터에서 사용할 수 있습니다. 연결 소유자만 페더레이션된 카탈로그에서 쿼리를 실행할 수 있습니다. 레이크하우스 페더레이션이란?

Unity 카탈로그에서 스토리지 자격 증명을 만드는 기능 위임

2023년 9월 29일

이제 사용자에게 새 CREATE STORAGE CREDENTIAL 권한을 사용하여 Unity 카탈로그 메타스토어에서 스토리지 자격 증명을 만들 수 있는 권한을 부여할 수 있습니다. CREATE STORAGE 자격 증명을 참조하세요.

Databricks Runtime 14.1(베타)

2023년 9월 28일

이제 Databricks Runtime 14.1 및 Databricks Runtime 14.1 ML을 베타 릴리스로 사용할 수 있습니다.

Machine Learning용 Databricks Runtime 14.1 및 Databricks Runtime 14.1을 참조하세요.

공개 미리 보기에서 LLM에 최적화된 GPU 모델 제공

2023년 9월 28일

Azure Databricks에서 제공하는 모델은 GPU 컴퓨팅 리소스를 사용하여 PyTorch 및 TensorFlow 모델의 배포를 지원합니다. 이 기능은 선택한 지역의 공개 미리 보기에 있으며, 로깅된 mlflow.pyfunc모델의 GPU 배포, mlflow.pytorchmlflow.tensorflowmlflow.transformers 및 버전에도 적용됩니다. GPU 워크로드 유형을 참조하세요.

이 미리 보기에는 대용량 언어 모델을 제공하는 데 최적화된 GPU 배포 지원도 포함되어 있습니다. LLM(Optimized Large Language Model) 서비스 참조

동시성 제한에 도달할 때 작업 실행을 건너뛰지 않도록 방지

2023년 9월 27일 - 2023년 10월 2일

동시성 제한으로 인해 Azure Databricks 작업의 실행을 건너뛰지 않도록 하려면 이제 작업에서 큐에 대기를 사용하도록 설정할 수 있습니다. 큐를 사용하도록 설정하면 동시성 제한에 도달하면 작업을 실행하는 데 용량을 사용할 수 있을 때까지 작업이 큐에 배치됩니다. 동시성 제한으로 인해 작업을 실행할 수 없으면 어떻게 해야 합니까?

Databricks Terraform 공급자가 버전 1.27.0으로 업데이트됨

2023년 9월 27일

Databricks Terraform 공급자 버전 1.27.0은 몇 가지 추가 개선 사항 및 버그 수정 등을 포함하고 ownerforce_destroydatabricks_metastore_data_access있습니다. 자세한 내용은 버전 1.27.0의 변경 로그를 참조하세요.

Databricks CLI가 버전 0.206.0으로 업데이트됨(공개 미리 보기)

2023년 9월 27일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.206.0으로 업데이트되었습니다. 이 릴리스에서는 Databricks 자산 번들의 파이프라인 클러스터에 대한 대상 재정의를 사용하도록 설정하고, 번들 템플릿 초기화 환경 등을 개선합니다. 자세한 내용은 버전 0.206.0의 변경 로그를 참조하세요.

Databricks SDK for Go가 버전 0.21.0(베타)으로 업데이트됨

2023년 9월 27일

Databricks SDK for Go 버전 0.21.0은 12가지 이상의 호환성이 손상되는 API 변경을 도입하고, 12개 이상의 API를 추가하고, 12개의 필드를 추가합니다. 자세한 내용은 버전 0.21.0에 대한 변경 로그를 참조하세요.

엔드포인트를 제공하는 모델에 대한 유추 테이블은 공개 미리 보기입니다.

2023년 9월 26일

엔드포인트를 제공하는 모델에서 유추 테이블을 사용하도록 설정하여 들어오는 요청 및 해당 엔드포인트에 대한 나가는 응답을 캡처하고 Unity 카탈로그 델타 테이블로 기록합니다. 이 테이블의 데이터를 사용하여 ML 모델을 모니터링, 디버그 및 개선할 수 있습니다. 모델 모니터링 및 디버깅에 대한 유추 테이블을 참조 하세요.

공개 미리 보기에 등록하려면 Azure Databricks 계정 팀에 문의하세요.

Databricks ODBC 드라이버 2.7.5

2023년 9월 23일

Databricks ODBC 드라이버 버전 2.7.5(다운로드)를 릴리스했습니다. 이 릴리스는 다음과 같은 새로운 기능과 향상된 기능을 추가합니다.

• OAuth 2.0 클라이언트 인증 향상 및 OIDC 엔드포인트 검색 지원
• 고객이 제공한 키를 사용한 서버 쪽 암호화
• Timedate 함수입니다.
• Cloud Fetch에 대한 오류 메시징이 향상되었습니다.
• 보안 업데이트

또한 이 릴리스는 2.7.3에서 다음과 같은 회귀를 해결합니다.

• 호출자가 기본 테이블 또는 외세의 카탈로그에 대한 값을 전달하는 경우 함수는 SQLForeignKeys 빈 결과를 반환합니다 NULL .

이제 릴리스 2.7.5는 다른 테이블의 카탈로그가 설정된 NULL경우 관련 테이블과 연결된 모든 기본 키 또는 외세 키를 반환합니다.

Visual Studio Code용 Databricks 확장이 버전 1.1.3으로 업데이트됨

2023년 9월 21일

Visual Studio Code 버전 1.1.3용 Databricks 확장에는 몇 가지 사소한 수정 사항이 추가됩니다. 자세한 내용은 버전 1.1.3의 변경 로그를 참조하세요.

서비스 주체로 작업 실행은 GA입니다.

2023년 9월 21일

서비스 주체의 역할 및 서비스 주체의 ID를 사용하여 작업을 실행하는 작업의 설정은 이제 GA입니다.

서비스 주체를 관리하고 서비스 주체로 작업을 실행하기 위한 역할을 참조하세요.

Databricks CLI가 버전 0.205.2로 업데이트됨(공개 미리 보기)

2023년 9월 21일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.205.2로 업데이트되었습니다. 이 릴리스에는 몇 가지 사소한 업데이트가 포함되어 있습니다. 자세한 내용은 버전 0.205.2의 변경 로그를 참조하세요.

Databricks CLI가 버전 0.205.1로 업데이트됨(공개 미리 보기)

2023년 9월 20일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.205.1로 업데이트되었습니다. 이 릴리스에서는 Databricks 자산 번들 등의 작업 작업에 대한 대상 재정의를 사용할 수 있습니다. 자세한 내용은 버전 0.205.1의 변경 로그를 참조하세요.

Databricks SDK for Go가 버전 0.20.0(베타)으로 업데이트됨

2023년 9월 20일

Go 버전 0.20.0용 Databricks SDK는 12개 이상의 API를 추가하고, 반다스 필드를 추가하고, 몇 가지 필드와 메서드를 변경하고, 몇 가지 API를 제거합니다. 자세한 내용은 버전 0.20.0의 변경 로그를 참조하세요.

Python용 Databricks SDK가 버전 0.9.0(베타)으로 업데이트됨

2023년 9월 20일

Python 버전 0.9.0용 Databricks SDK는 몇 가지 메서드와 필드를 변경하고, 약 10개의 필드를 추가하고, 약 20개의 데이터 클래스를 추가하고, 추가 변경 및 제거를 도입합니다. 자세한 내용은 버전 0.9.0의 변경 로그를 참조하세요.

Python용 Databricks SDK가 버전 0.7.1(베타)로 업데이트됨

2023년 9월 20일

Python 버전 0.7.1용 Databricks SDK에는 파일 다운로드 성능을 향상시키기 위한 사소한 수정 사항이 포함되어 있습니다. 자세한 내용은 버전 0.7.1의 변경 로그를 참조하세요.

Databricks Terraform 공급자가 버전 1.26.0으로 업데이트됨

2023년 9월 20일

Databricks Terraform 공급자 버전 1.26.0은 Unity 카탈로그 볼륨의 init 스크립트에 대한 지원을 추가하고, 몇 가지 추가 개선 사항 및 버그 수정 등을 포함합니다. 자세한 내용은 버전 1.26.0의 변경 로그를 참조하세요.

Databricks Runtime 14.0용 Databricks 커넥트

2023년 9월 20일

Databricks Runtime 14.0용 Databricks 커넥트 중단 후 쿼리에 다시 연결하는 전체 구조적 스트리밍(포함foreachBatch) 및 장기 실행 쿼리를 지원합니다.

공개 미리 보기의 Lakeview 대시보드

2023년 9월 20일

Lakeview 대시보드를 사용하면 간소화되고 통합된 데이터 거버넌스 모델을 사용하여 시각화 및 데이터 세트를 공유할 수 있습니다. 대시보드를 참조 하세요.

Databricks 커넥트 V2는 Scala에 대한 공개 미리 보기입니다.

2023년 9월 19일

Databricks Runtime 13.3 LTS용 Databricks 커넥트 이제 DataFrames, Delta, Structured Streaming 등을 비롯한 공개 미리 보기에서 Scala를 지원합니다.

Python의 경우 이제 쿼리 취소가 지원되며 DatabricksSession , 이제 Azure Databricks Notebook 및 작업에서 클래스를 사용할 수 있습니다.

공개 미리 보기에서 제공하는 GPU 모델

2023년 9월 19일

Azure Databricks에서 제공하는 모델은 GPU 컴퓨팅 리소스를 사용하여 PyTorch 및 TensorFlow 모델의 배포를 지원합니다. 이 기능은 선택한 지역의 [공개 미리 보기]에 있으며, 로깅된 mlflow.pyfunc모델의 GPU 배포, mlflow.pytorch및 mlflow.tensorflowmlflow.transformers 버전에도 적용됩니다. GPU 워크로드 유형을 참조하세요.

이제 Unity 카탈로그에서 주문형 기능 계산 사용 가능(공개 미리 보기)

2023년 9월 14일

이제 기계 학습 기능을 유추 시간에 주문형으로 계산할 수 있습니다. 기능 계산 논리, 모델 및 데이터는 모두 Unity 카탈로그에 의해 제어됩니다. 이를 통해 모델은 유추 시간에만 사용할 수 있는 입력(예: 사용자의 현재 위치)을 사용하여 기능을 컴퓨팅할 수 있습니다. 자세한 내용은 Python 사용자 정의 함수를 사용하여 주문형 컴퓨팅 기능을 참조 하세요.

Databricks Runtime 14.0은 GA입니다.

2023년 9월 14일

이제 Databricks Runtime 14.0 및 Databricks Runtime 14.0 ML이 일반 공급됩니다.

Machine Learning용 Databricks Runtime 14.0(지원되지 않음) 및 Databricks Runtime 14.0(지원되지 않음)을 참조하세요.

계정 메일 알림 업그레이드

2023년 9월 14일

사용자가 Azure Databricks 계정에 추가되면 Databricks는 더 이상 메일 알림 보내지 않습니다. 사용자는 작업 영역에 대한 액세스 권한이 부여되면 계속해서 메일 알림 받습니다.

Databricks Terraform 공급자가 버전 1.25.1로 업데이트됨

2023년 9월 13일

Databricks Terraform 공급자 버전 1.25.1은 사소한 개선 및 버그 수정으로 릴리스되었습니다. 자세한 내용은 버전 1.25.1의 변경 로그를 참조하세요.

Databricks SDK for Go가 버전 0.19.2(베타)로 업데이트됨

2023년 9월 13일

Databricks SDK for Go 버전 0.19.2에는 하나의 사소한 수정 사항이 포함되어 있습니다. 자세한 내용은 버전 0.19.2의 변경 로그를 참조하세요.

Databricks CLI가 버전 0.205.0으로 업데이트됨(공개 미리 보기)

2023년 9월 13일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.205.0으로 업데이트되었습니다. 공개 미리 보기에서 Databricks 자산 번들을 지원하기 위한 Databricks CLI의 첫 번째 릴리스입니다. 자세한 내용은 버전 0.205.0의 변경 로그를 참조하세요.

예약된 위치 /Workspace

2023년 9월 13일

이제 위치 /Workspace 가 예약되었습니다. Azure Databricks의 루트 경로를 기준으로 명명된 /Workspace 디렉터리를 더 이상 정의할 수 없습니다.

Databricks 자산 번들(공개 미리 보기)

2023년 9월 12일

현재 공개 미리 보기로 제공되는 Databricks 자산 번들은 엔드투엔드 데이터, 분석 및 ML 프로젝트를 원본 파일 컬렉션으로 표현할 수 있도록 합니다. 이렇게 하면 소스 제어, 코드 검토, 테스트 및 CI/CD와 같은 데이터 엔지니어링 모범 사례를 더 간단하게 적용할 수 있습니다.

Databricks Terraform 공급자가 버전 1.25.0으로 업데이트됨

2023년 9월 12일

Databricks Terraform 공급자 버전 1.25.0에는 Databricks SQL 웨어하우스에 대한 권한 추가 IS_OWNER , 사소한 수정 사항, 설명서 업데이트 등이 포함됩니다. 자세한 내용은 버전 1.25.0의 변경 로그를 참조하세요.

Visual Studio Code용 Databricks 확장이 버전 1.1.2로 업데이트됨

2023년 9월 12일

Visual Studio Code 버전 1.1.2용 Databricks 확장은 Azure Databricks Notebook에 대한 # MAGIC%run 실험적 지원을 추가하고 여러 로컬 Databricks CLI 설치와 관련된 경로 문제를 해결합니다. 자세한 내용은 버전 1.1.2의 변경 로그를 참조하세요.

파트너 커넥트 Snowplow를 지원합니다.

2023년 9월 12일

이제 파트너 커넥트 사용하여 Azure Databricks 작업 영역을 Snowplow에 연결할 수 있습니다. 자세한 내용은 Snowplow에 대한 커넥트 참조하세요.

Databricks CLI가 버전 0.204.1로 업데이트됨(공개 미리 보기)

2023년 9월 11일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.204.1로 업데이트되었습니다. 자세한 내용은 버전 0.204.1의 변경 로그를 참조하세요.

행 필터 및 열 마스크를 사용하여 중요한 데이터 필터링(공개 미리 보기)

2023년 9월 11일

이제 테이블에 행 필터 및 열 마스크를 적용하여 특정 사용자가 중요한 데이터에 액세스하지 못하도록 할 수 있습니다. 이러한 필터 및 마스크는 SQL UDF(사용자 정의 함수)로 구현됩니다. 행 필터 및 열 마스크를 사용하여 중요한 테이블 데이터 필터링을 참조 하세요.

이제 시스템 테이블에 Marketplace 스키마가 포함됨(공개 미리 보기)

2023년 9월 8일

이제 시스템 테이블에 는 Marketplace 공급자 데이터를 저장하는 스키마가 포함됩니다 marketplace . 테이블을 쿼리 marketplace.listing_access_events 하여 목록에서 수행된 작업에 대한 소비자 정보를 검색할 수 있습니다. 자세한 내용은 Marketplace 시스템 테이블 참조를 참조하세요.

이제 가격 책정 시스템 테이블을 사용할 수 있습니다(공개 미리 보기)

2023년 9월 8일

이제 시스템 테이블에 는 시간이 지남에 따라 SKU 비용을 모니터링할 수 있는 가격 책정 테이블(system.billing.list_prices)이 포함됩니다. 이러한 로그는 비용 분석을 수행하고 가격 변경을 모니터링하는 데 도움이 될 수 있습니다. 가격 책정 시스템 테이블 참조를 참조하세요.

Go용 Databricks SDK가 버전 0.19.1(베타)로 업데이트됨

2023년 9월 7일

Go 버전 0.19.1용 Databricks SDK는 몇 가지 사소한 업데이트 및 수정을 계속합니다. 자세한 내용은 버전 0.19.1의 변경 로그를 참조하세요.

Databricks ODBC 드라이버 2.7.3

2023년 9월 7일

Databricks ODBC 드라이버 버전 2.7.3을 릴리스했습니다(다운로드). 이 릴리스에는 다음과 같은 기능 및 수정 사항이 포함되어 있습니다.

• 타사 종속성을 업그레이드하여 취약성을 수정합니다.
• SQL_ATTR_MAX_ROWS 클라이언트가 빠른 로드(예: 미리 보기)를 신속하게 로드하기 위해 쿼리에서 가져올 행 수를 제한할 수 있도록 지원합니다.
• MacOS 지원이 업데이트되었습니다. 드라이버는 이제 애플 실리콘 / M1을 지원합니다.
• SSO(Single Sign-On)를 용이하게 하는 OAuth2 브라우저 기반 인증 지원.

Important

기본 키 및 외래 키 API SQLForeignKeys 를 사용하는 경우 호출자가 기본 테이블 또는 외래 테이블의 카탈로그 값을 전달하면 함수는 빈 결과를 반환합니다 NULL . 이 문제는 개발자에게 알려져 있습니다.

Databricks CLI가 버전 0.204.0으로 업데이트됨(공개 미리 보기)

2023년 9월 6일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.204.0으로 업데이트되었습니다. 이 릴리스에는 사용 권한 관련 명령 그룹화, 여러 명령 추가 및 변경 등이 포함됩니다. 자세한 내용은 버전 0.204.0의 변경 로그를 참조하세요.

이제 데이터 탐색기가 카탈로그 탐색기입니다.

2023년 9월 6일

데이터 탐색기의 이름이 카탈로그 탐색기로 변경되어 데이터 개체뿐만 아니라 Unity 카탈로그의 모든 보안 개체에서 작업하는 데 사용할 수 있다는 사실을 인식합니다. 카탈로그 탐색기란?을 참조하세요.

Go용 Databricks SDK가 버전 0.19.0(베타)으로 업데이트됨

2023년 9월 4일

Go 버전 0.19.0용 Databricks SDK는 권한 API의 이름을 바꾸고, 8개의 API를 추가하고, 5개의 필드를 추가하고, 몇 개의 필드를 변경하고, 몇 가지 방법을 변경합니다. 자세한 내용은 버전 0.19.0의 변경 로그를 참조하세요.

Python용 Databricks SDK가 버전 0.8.0(베타)으로 업데이트됨

2023년 9월 4일

Python 버전 0.8.0용 Databricks SDK는 권한 API의 이름을 바꾸고, 12개의 필드를 추가하고, 12개의 데이터 클래스를 추가하고, 몇 가지 변경 및 제거를 도입합니다. 자세한 내용은 버전 0.8.0의 변경 로그를 참조하세요.

Unity 카탈로그에서 허용 목록 권한 위임

2023년 9월 1일

이제 Unity 카탈로그의 허용 목록에서 항목을 관리하기 위한 권한을 위임할 수 있습니다. 공유 컴퓨팅의 허용 목록 라이브러리 및 초기화 스크립트를 참조 하세요.

Repos의 GitHub 앱 통합은 GA입니다.

2023년 9월 1일

Repos의 GitHub 앱 통합은 GA입니다. 이 기능을 사용하면 Repos에서 GitHub와 통합할 때 더 간단한 Git 자격 증명 관리를 수행할 수 있습니다.

Important

GitHub 엔터프라이즈 서버에서는 GitHub 앱이 지원되지 않습니다.