다음을 통해 공유

2022년 8월

  • 아티클

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2022년 8월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 초기 릴리스 날짜 후 일주일 이상까지 업데이트되지 않을 수 있습니다.

계정 사용자는 계정 콘솔에 액세스할 수 있습니다.

2022년 8월 1일-31일

계정 사용자는 Azure Databricks 계정 콘솔에 액세스하여 자신의 작업 영역 목록을 볼 수 있습니다. 계정 사용자는 액세스 권한이 부여된 작업 영역만 볼 수 있습니다. Azure Databricks 계정 관리를 참조하세요.

계정 사용자

작업 영역의 사용자는 계정 사용자로 계정에 자동으로 동기화됩니다. 관리자가 계정에 사용자를 할당하는 방법을 참조 하세요.

Databricks ODBC 드라이버 2.6.26

2022년 8월 29일

Databricks ODBC 드라이버 버전 2.6.26을 릴리스했습니다(다운로드). 이 릴리스는 쿼리 지원을 업데이트합니다. 이제 API 요청 시 HTTP 연결에 대한 쿼리를 비동기식으로 취소할 수 있습니다.

이 릴리스에서는 다음과 같은 문제도 해결합니다.

  • Spotfire에서 사용자 지정 쿼리를 사용할 때 커넥터가 응답하지 않게 됩니다.

Databricks JDBC 드라이버 2.6.29

2022년 8월 29일

Databricks JDBC 드라이버 버전 2.6.29를 릴리스했습니다(다운로드). 이 릴리스는 다음 문제를 해결합니다.

  • Cloud Fetch가 사용 설정된 HTTP 프록시를 사용하는 경우 커넥터는 큰 데이터 집합 결과를 반환하지 않습니다.
  • Databricks 라이선스 텍스트의 사소한 텍스트 문제. 설명서 링크가 누락되었습니다.
  • JAR 파일 이름이 올바르지 않습니다. SparkJDBC41.jar 대신 DatabricksJDBC41.jar여야 합니다. SparkJDBC42.jar 대신 DatabricksJDBC42.jar여야 합니다.

이제 PyPI에서 Databricks Feature Store 클라이언트 사용 가능

2022년 8월 26일

이제 PyPI에서 Feature Store 클라이언트를 사용할 수 있습니다. 이 클라이언트를 설치하려면 Databricks Runtime 9.1 LTS 이상이 필요하며 다음 방법을 사용하여 설치할 수 있습니다.

%pip install databricks-feature-store

이 클라이언트에는 이미 Machine Learning 9.1 LTS 이상용 Databricks 런타임이 패키징되어 있습니다.

이 클라이언트는 Databricks 외부에서 실행할 수 없지만, 로컬로 설치하여 단위 테스트 및 추가 IDE 지원(예: 자동 완성)에 도움을 줄 수 있습니다. 자세한 내용은 Databricks Feature Store Python 클라이언트를 참조하세요.

Unity 카탈로그가 일반 공급됨

2022년 8월 25일

Unity 카탈로그가 일반 공급됩니다. 자세한 기능 발표 및 제한 사항은 Unity 카탈로그 GA 릴리스 정보를 참조하세요.

Delta Sharing이 일반 공급됨

2022년 8월 25일

Databricks Runtime 11.1부터 Delta Sharing이 일반 공급됩니다. 자세한 내용은 델타 공유를 사용하여 안전하게 데이터 및 AI 자산 공유를 참조하세요.

  • Databricks-to-Databricks Delta Sharing은 토큰을 교환할 필요가 없는 완전 관리형입니다.
  • 간편한 UI를 사용하여 공급자, 수신자 및 공유를 만들고 관리합니다.
  • 전체 CLI 및 Terraform 지원을 제공하는 SQL 및 REST API를 사용하여 공급자, 수신자 및 공유를 만들고 관리합니다.
  • 데이터 변경 내용을 쿼리하거나, 점진적으로 높아지는 버전을 변경 데이터 피드와 공유합니다.
  • IP 액세스 목록 및 지역 제한을 사용하여 수신자 액세스를 자격 증명 파일 다운로드 또는 데이터 쿼리로 제한합니다.
  • Delta Sharing를 사용하여 동일한 Azure Databricks 계정 내에서 데이터를 공유하는 기능이 기본적으로 사용됩니다.
  • 관리자가 아닌 사용자에게 Delta Sharing 관리를 위임하여 의무 분리를 적용합니다.

Databricks Runtime 11.2(베타)

2022년 8월 23일

Databricks Runtime 11.2, 11.2 Photon 및 11.2 ML이 이제 베타 릴리스로 제공됩니다.

Machine Learning용 Databricks Runtime 11.2(지원되지 않음) 및 Databricks Runtime 11.2(지원되지 않음)의 전체 릴리스 정보를 참조하세요.

연속 파이프라인에 대한 Delta Live Tables UI의 메시지 볼륨 감소

2022년 8월 22~29일: 버전 3.79

이 릴리스에서는 테이블이 실행 중 상태로 전환될 때까지만 Delta Live Tables 연속 파이프라인의 라이브 테이블에 대한 상태 전환이 UI에 표시됩니다. 테이블의 성공적인 재계산과 관련된 전환은 UI에 표시되지 않지만, 메트릭 수준의 Delta Live Tables 이벤트 로그에서 확인할 수 있습니다. 실패 상태로의 전환은 여전히 UI에 표시됩니다. 이전에는 모든 상태 전환이 라이브 테이블의 UI에 표시되었습니다. 이렇게 변경하여 UI에 표시되는 파이프라인 이벤트의 볼륨이 감소했으며, 따라서 파이프라인에 대한 중요 메시지를 더 쉽게 찾을 수 있습니다. 이벤트 로그 쿼리에 대한 자세한 내용은 Delta Live Tables 이벤트 로그란?을 참조하세요.

간편해진 Delta Live Tables 파이프라인의 클러스터 구성

2022년 8월 22~29일: 버전 3.79

이제 파이프라인을 만들 때 Delta Live Tables UI에서 직접 클러스터 모드(자동 크기 조정 또는 고정 크기)를 선택할 수 있습니다. 이전에는 자동 크기 조정 클러스터를 구성하려면 파이프라인의 JSON 설정을 변경해야 했습니다. 파이프라인 및 새 클러스터 모드 설정을 만드는 방법에 대한 자세한 내용은 Delta Live Tables 파이프라인에서 업데이트 실행을 참조하세요.

Databricks 워크플로에서 dbt 작업 오케스트레이션(공개 미리 보기)

2022년 8월 22~29일: 버전 3.79

새 dbt 태스크를 사용하여 dbt 핵심 프로젝트를 Azure Databricks 작업의 태스크로 실행하고, dbt 변환을 데이터 처리 워크플로에 포함할 수 있습니다. 예를 들어 워크플로는 자동 로더로 데이터를 수집하고, dbt로 데이터를 변환하고, Notebook 작업으로 데이터를 분석할 수 있습니다. 예제를 포함하여 dbt 작업에 대한 자세한 내용은 Azure Databricks 작업에서 dbt 변환 사용을 참조 하세요. dbt 작업을 포함하는 워크플로 만들기, 실행 및 예약에 대한 자세한 내용은 Azure Databricks 작업 만들기 및 실행을 참조 하세요.

ID 페더레이션이 일반 공급됨

2022년 8월 25일

ID 페더레이션을 사용하면 계정 수준 사용자, 서비스 주체 및 그룹을 ID 페더레이션된 작업 영역에 할당할 수 있으므로 Azure Databricks 관리가 간편해집니다. 이제 각 작업 영역에서 별도로 구성을 반복하는 대신 계정 콘솔에서 모든 사용자, 서비스 주체 및 그룹을 한 번에 구성하고 관리할 수 있습니다. ID 페더레이션에 대한 자세한 내용은 관리자는 작업 영역에 사용자를 어떻게 할당하나요?를 참조하세요. 시작하려면 관리자는 작업 영역에서 ID 페더레이션을 사용하도록 설정하려면 어떻게 해야 하나요?를 참조하세요.

파트너 연결에서 Stardog 연결 지원

2022년 8월 24일

이제 파트너 연결을 사용하여 Stardog와 Azure Databricks 작업 영역을 쉽게 연결할 수 있습니다. Stardog는 데이터 사일로의 복잡한 쿼리에 응답하는 기술 그래프 플랫폼을 제공합니다.

Serverless Real-Time Inference와 Databricks Feature Store 통합

2022년 8월 22~29일: 버전 3.79

이제 Databricks Feature Store는 Serverless Real-Time Inference에 자동 기능 조회를 지원합니다. 자세한 내용은 Databricks에서 MLflow 모델을 사용한 자동 기능 조회를 참조 하세요.

Databricks 기능 저장소 자동 기능 조회에 대한 추가 데이터 형식 지원

2022년 8월 22~29일: 버전 3.79

이제 Databricks Feature Store는 자동 기능 조회에 BooleanType을 지원합니다. Databricks에서 MLflow 모델을 사용한 자동 기능 조회를 참조 하세요.

Bring Your Own Key: Git 자격 증명 암호화

2022년 8월 23일~29일

Databricks 리포지토리의 Git 자격 증명에 암호화 키를 사용할 수 있습니다.

Bring Your Own Key: Git 자격 증명 암호화를 참조하세요.

클러스터 UI 미리 보기 및 액세스 모드가 보안 모드를 대체함

2022년 8월 19일

새 클러스터 만들기 UI는 미리 보기에 있습니다. Compute 구성 참조를 참조하세요.

Unity 카탈로그 제한 사항(공개 미리 보기)

2022년 8월 16일

  • Machine Learning 런타임을 사용하는 Scala, R 및 워크로드는 단일 사용자 액세스 모드를 사용하는 클러스터에서만 지원됩니다. 이러한 언어의 워크로드에서는 행 수준이나 열 수준 보안에 동적 뷰를 사용할 수 없습니다.
  • Unity 카탈로그를 복제의 원본 또는 대상으로 사용할 때는 단순 복제가 지원되지 않습니다.
  • 버킷팅은 Unity 카탈로그 테이블에 지원되지 않습니다. Unity 카탈로그에서 버킷 테이블을 만드는 명령을 실행하면 예외가 발생합니다.
  • Unity 카탈로그에 DataFrame 쓰기 작업에 대한 덮어쓰기 모드는 다른 파일 형식이 아닌 Delta 테이블에만 지원됩니다. 사용자가 부모 스키마에 대해 CREATE 권한이 있고 기존 개체의 소유자여야 합니다.
  • 스트리밍에는 현재 다음과 같은 제한 사항이 있습니다.
    • 공유 액세스 모드를 사용하는 클러스터에서는 지원되지 않습니다. 스트리밍 워크로드의 경우 단일 사용자 액세스 모드를 사용해야 합니다.
    • 비동기 검사점은 아직 지원되지 않습니다.
    • 모든 목적 또는 작업 클러스터에서 30일 넘게 지속되는 쿼리를 스트리밍하면 예외가 발생합니다. 장기 실행 스트리밍 쿼리의 경우 자동 작업 재시도를 구성합니다.
  • Delta Live Tables 파이프라인에서 Unity 카탈로그 테이블을 참조하는 것은 현재 지원되지 않습니다.
  • 작업 영역에서 이전에 만든 그룹은 Unity 카탈로그 GRANT 문에서 사용할 수 없습니다. 이는 작업 영역에 걸쳐 확장할 수 있는 그룹의 일관된 보기를 보장하기 위한 것입니다. GRANT 문에서 그룹을 사용하려면 계정 콘솔에서 그룹을 만들고 작업 영역 엔드포인트 대신 계정 엔드포인트를 참조하도록 보안 주체 또는 그룹 관리(예: SCIM, Okta 및 Microsoft Entra ID 커넥터 및 Terraform)에 대한 자동화를 업데이트합니다.

Unity 카탈로그는 다음 지역에서 사용할 수 있습니다.

  • canadacentral
  • centralus
  • francecentral
  • germanywestcentral
  • japaneast
  • norwayeast
  • southafricanorth
  • swedencentral
  • switzerlandnorth
  • switzerlandwest
  • uaenorth
  • westcentralus
  • westus3
  • australiaeast
  • brazilsouth
  • centralindia
  • eastus
  • eastus2
  • koreacentral
  • northcentralus
  • northeurope
  • southeastasia
  • ukwest
  • westeurope
  • westus

다른 지역에서 Unity 카탈로그를 사용하려면 계정 팀에 문의하세요.

공개 미리 보기의 Serverless Real-Time Inference

2022년 8월 16일

Serverless Real-Time Inference는 MLflow를 사용해서 기계 학습 모델을 처리하고 이를 REST API 엔드포인트로 노출합니다. 이 기능은 서버리스 컴퓨팅을 사용합니다. 즉, 엔드포인트 및 연관된 컴퓨팅 리소스가 Azure Databricks 클라우드 계정으로 관리되고 실행됩니다. 발생한 사용 및 스토리지 비용은 현재 무료지만 요금이 부과될 경우 Azure Databricks에서 알림이 제공됩니다.

이 기능을 사용하려면 작업 영역 관리자는 작업 영역에서 Serverless Real-Time Inference를 사용하도록 설정해야 합니다.

자세한 내용은 Serverless Real-Time Inference으로 모델 제공을 참조하세요. 서버리스 실시간 유추 공개 미리 보기에 참여하려면 Azure Databricks 계정 팀에 문의하세요.

향상된 작업 영역 검색이 이제 GA입니다.

2022년 8월 9일

이제 이름으로 Notebook, 라이브러리, 폴더, 파일 및 리포지토리를 검색할 수 있습니다. Notebook 내에서 콘텐츠를 검색하고 일치하는 콘텐츠의 미리 보기를 볼 수도 있습니다. 유형별로 검색 결과를 필터링할 수 있습니다. 작업 영역 개체 검색을 참조 하세요.

Delta Live Tables 데이터 세트를 만들 때 생성된 열 사용

2022년 8월 8~15일: 버전 3.78

이제 Delta Live Tables 파이프라인에서 테이블을 정의할 때 생성된 열을 사용할 수 있습니다. 생성된 열은 Delta Live Tables Python 및 SQL 인터페이스에서 지원됩니다.

Monaco 기반 편집기를 사용하여 Notebooks 편집 기능 향상(실험적)

2022년 8월 8~15일

Python Notebook에는 새 Monaco 기반 코드 편집기를 사용할 수 있습니다. 사용하도록 설정하려면 사용자 설정 페이지의 편집기 설정 탭에서 새 전자 필기장 편집기 켜기 옵션을 검사.

새 편집기에서는 매개 변수 형식 힌트, 가리키기 시 개체 검사, 코드 접기, 다중 커서 지원, 열(상자) 선택 및 Notebook 버전 기록의 병렬 차이 등이 포함됩니다.

Databricks Runtime 10.3 시리즈 지원 종료

2022년 8월 2일

Databricks Runtime 10.3 및 Machine Learning용 Databricks Runtime 10.3에 대한 지원은 8월 2일에 종료되었습니다. Databricks Runtime 지원 수명 주기를 참조하세요.

2022년 8월 2일

이제 Azure Databricks는 사용자와 해당 Azure Databricks 작업 영역 간의 프라이빗 연결 및 컴퓨팅 평면의 클러스터와 Databricks 작업 영역 인프라 내의 컨트롤 플레인의 핵심 서비스 간에 Azure Private Link 연결을 사용하도록 설정할 수 있도록 지원합니다. Azure Private Link는 공용 네트워크에 트래픽을 노출하지 않고 서비스에 직접 연결합니다. 이 기능은 퍼블릭 미리 보기 상태로 지원됩니다. Azure Private Link 백 엔드 및 프런트 엔드 연결 사용을 참조 하세요.

작업 영역에 서버리스 SQL 웨어하우스 사용(공개 미리 보기)

2022년 8월 2일

이제 Azure Databricks의 계정 및 작업 영역에서 서버리스 SQL 웨어하우스를 퍼블릭 미리 보기로 사용할 수 있습니다. 이 기능을 사용하려면 프리미엄 가격 책정 계층이 필요합니다. 서버리스 SQL 웨어하우스를 만들기 전에 관리자는 작업 영역에 대해 이를 사용하도록 설정해야 합니다.

Delta Live Tables는 이제 파이프라인 업데이트에서 선택한 테이블만 새로 고치도록 지원합니다.

2022년 8월 2-24일

이제 Delta Live Tables 파이프라인에서 선택한 테이블에 대해서만 업데이트를 시작할 수 있습니다. 이 기능은 선택한 테이블만 새로 고치는 파이프라인 업데이트를 시작할 수 있도록 하여 파이프라인 테스트 및 오류 해결을 가속화합니다. 선택한 테이블만 업데이트를 시작하는 방법을 알아보려면 Delta Live Tables 파이프라인에서 업데이트 실행을 참조하세요.

이제 작업 실행은 클러스터 라이브러리 설치가 완료될 때까지 대기

2022년 8월 1일

클러스터가 시작되면 Databricks 작업은 클러스터 라이브러리 설치가 완료되기를 기다렸다가 실행됩니다. 이전 작업 실행은 라이브러리가 작업의 종속 라이브러리로 지정된 경우에만 다목적 클러스터에 라이브러리가 설치될 때까지 기다렸습니다. 작업에 대한 종속 라이브러리를 구성하는 방법에 대한 자세한 내용은 종속 라이브러리 구성을 참조 하세요.