향후 제공될 기능
예정된 Azure Databricks 릴리스에 대해 알아보세요.
Azure Databricks는 다음 연산자 및 절의 일부로 퍼포밍된 비교에서 변형 데이터 형식이 있는 필드 사용에 대한 지원을 차단하고 있습니다.
DISTINCT
INTERSECT
EXCEPT
UNION
DISTRIBUTE BY
이러한 DataFrame 함수도 마찬가지입니다.
df.dropDuplicates()
df.repartition()
Azure Databricks는 비결정적 결과를 생성하기 때문에 변형 데이터 형식 비교에 대해 이러한 연산자와 함수를 지원하지 않습니다.
이러한 식은 Databricks Runtime 16.1 이상에서 variant를 사용할 경우 블록됩니다. 유지 관리 릴리스는 Databricks Runtime 15.3 이상에서 지원을 차단합니다.
Azure Databricks 워크로드 또는 테이블에서 VARIANT
형식을 사용하는 경우 다음 권장 작업을 수행합니다.
- 나열된 연산자 중에서 변형을 사용하는 쿼리를 찾습니다.
- 변형 값을 변형이 아닌 형식으로 명시적으로 캐스팅하는 권장 패턴을 사용하여 이러한 쿼리를 업데이트합니다.
다음 표에서는 기존 의도하지 않은 기능 및 권장 해결 방법의 예를 제공합니다.
의도하지 않은 사용 | 권장 사용 |
---|---|
SELECT distinct(variant_expr) FROM ... |
SELECT distinct(variant_expr?::string) FROM ... |
SELECT variant_expr FROM ... EXCEPT SELECT variant_expr FROM ... |
SELECT variant_expr?::string FROM ... EXCEPT SELECT variant_expr?::string FROM ... |
참고
비교 또는 고유 작업에 사용할 필드의 경우 Databricks는 이러한 필드를 변형 열에서 추출하고 변형이 아닌 형식을 사용하여 저장하는 것이 좋습니다.
쿼리 변형 데이터참조하세요. 추가 지원 또는 조언이 필요한 경우 Databricks 계정 담당자에게 문의하세요.
파트너 커넥트 및 Marketplace 단일 Marketplace 링크로 병합하여 사이드바를 간소화하고 있습니다. 새 Marketplace 링크는 사이드바에서 더 높게 위치할 것입니다.
현재 Databricks는 기본적으로 "Databricks 원본 형식"으로 모든 새 Notebook을 만듭니다. 2024년 12월에 새 기본 Notebook 형식은 IPYNB(.ipynb
)가 됩니다. 이 새 기본값은 Databricks 원본 형식을 선호하는 경우 작업 영역 사용자 설정 창에서 사용자가 변경할 수 있습니다.
Databricks는 2025년 2월 1일에 모든 Azure Databricks 작업 영역의 작업 영역 파일을 활성화합니다. 이렇게 변경하면 작업 영역 사용자가 새 작업 영역 파일 기능을 사용할 수 없게 됩니다. 2025년 2월 1일 이후에는 AZURE Databricks enableWorkspaceFilesystem
REST API와 함께 속성을 사용하여 작업 영역 파일을 사용하지 않도록 설정할 수 없습니다. 작업 영역 파일에 대한 자세한 내용은 작업 영역 파일이란?을 참조하세요..
Databricks는 기본적으로 기록을 포함하도록 델타 공유를 사용하여 공유되는 테이블의 기본 설정을 변경할 계획입니다. 이전에는 기록 공유를 기본적으로 사용하지 않도록 설정했습니다. 테이블 기록을 공유하면 읽기 성능이 향상되고 고급 델타 최적화가 자동으로 지원됩니다.
11월 11일에 Databricks는 모든 새 Azure Databricks 계정에 대한 기본값으로 예측 최적화를 사용하도록 설정합니다. 이전에는 기본적으로 사용하지 않도록 설정되었으며 계정 관리자가 사용하도록 설정할 수 있었습니다. 예측 최적화를 사용하도록 설정하면 Azure Databricks는 Unity 카탈로그 관리 테이블에 대한 유지 관리 작업을 자동으로 실행합니다. 예측 최적화에 대한 자세한 내용은 Unity 카탈로그 관리 테이블에 대한 예측 최적화를 참조 하세요.
현재 지원되는 자동 성능 최적화 외에도 워크플로 최적화 기능을 위한 서버리스 컴퓨팅의 향상된 기능을 통해 워크로드가 성능 또는 비용에 최적화되었는지를 보다 효율적으로 제어할 수 있습니다. 자세한 내용은 Notebook, 작업 및 파이프라인에 대한 서버리스 컴퓨팅의 비용 절감을 참조 하세요.
Databricks는 AI/BI 대시보드(이전의 Lakeview 대시보드)를 사용하는 것이 좋습니다. 이전에 Databricks SQL 대시보드라고도 하는 이전 버전의 대시보드를 이제 레거시 대시보드라고 합니다. Databricks는 새 레거시 대시보드를 만들지 않는 것이 좋습니다. AI/BI 대시보드는 AI 지원 작성, 초안 및 게시 모드, 교차 필터링을 포함하여 레거시 버전에 비해 향상된 기능을 제공합니다.
- 2025년 4월 7일: 레거시 버전의 대시보드에 대한 공식 지원이 종료됩니다. 중요한 보안 문제 및 서비스 중단만 해결됩니다.
- 2025년 11월 3일: Databricks는 지난 6개월 동안 액세스되지 않은 레거시 대시보드 보관을 시작합니다. 보관된 대시보드는 더 이상 액세스할 수 없으며 보관 프로세스는 롤링 방식으로 수행됩니다. 적극적으로 사용되는 대시보드에 대한 액세스는 변경되지 않습니다.
Databricks는 고객과 협력하여 2025년 11월 3일 이후에 활성 레거시 대시보드에 대한 마이그레이션 계획을 개발할 것입니다.
AI/BI 대시보드로의 전환을 돕기 위해 사용자 인터페이스와 API 모두에서 업그레이드 도구를 사용할 수 있습니다. 레거시 대시보드를 AI/BI 대시보드로 복제하는 방법에 대한 지침은 UI에서 기본 제공 마이그레이션 도구를 사용하는 방법 을 참조하세요. Azure Databricks API를 사용하여 대시보드를 관리하는 REST API 를 사용하여 대시보드를 만들고 관리하는 방법에 대한 자습서입니다.
현재 청구 가능한 사용량 시스템 테이블에는 run_as
, job_id
, job_run_id
및 notebook_id
에 대해 null 값이 있는 서버리스 SKU 청구 레코드가 포함될 수 있습니다. 이러한 레코드는 특정 워크로드에 직접 기인하지 않는 공유 리소스와 관련된 비용을 나타냅니다.
비용 보고를 간소화하기 위해 Databricks는 곧 이러한 공유 비용을 발생한 특정 워크로드에 귀속할 것입니다. 작업 식별자 필드에 null 값이 있는 청구 레코드가 더 이상 표시되지 않습니다. 서버리스 컴퓨팅 사용량을 늘리고 워크로드를 더 추가하면 더 많은 워크로드에서 공유되므로 청구서에서 이러한 공유 비용의 비율이 감소합니다.
서버리스 컴퓨팅 비용 모니터링에 대한 자세한 내용은 서버리스 컴퓨팅 비용 모니터링을 참조하세요.
버그로 인해 특정 권한 부여 및 인증 감사 로그에는 sourceIPAddress
필드의 IP 외에 포트 번호(예: "sourceIPAddress":"10.2.91.100:0"
)가 포함됩니다.
0
로 기록된 포트 번호는 실제 값을 제공하지 않으며 나머지 Databricks 감사 로그와 일치하지 않습니다. 감사 로그의 일관성을 향상시키기 위해 Databricks는 이러한 감사 로그 이벤트에 대한 IP 주소의 형식을 변경할 계획입니다. 이 변경 내용은 2024년 8월 초부터 점진적으로 출시될 예정입니다.
감사 로그에 sourceIpAddress
또는 0.0.0.0
가 포함되어 있으면 Databricks에서 로깅을 중지할 수 있습니다.
2024년 1월 31일 이후 Databricks는 레거시 Notebook Git 통합 제거를 합니다. 이 기능은 2년 이상 레거시 상태이며, 2023년 11월부터 제품 UI에 사용 중단 알림이 표시되었습니다.
레거시 Git 통합에서 Databricks Git 폴더(이전의 Repos)로 마이그레이션하는 방법에 대한 자세한 내용은 레거시 Git 통합에서 Databricks Repos로 전환하기를 참조하세요. 이 제거가 영향을 미치고 확장이 필요한 경우 Databricks 계정 팀에 문의하세요.
Azure Databricks는 Spark 4.0이 릴리스될 때 다음 주 Databricks 런타임 버전으로 JDK 8 지원을 제거할 계획입니다. Azure Databricks는 다음 LTS 버전의 Databricks Runtime 14.x를 사용하여 JDK 11 지원을 제거할 계획입니다.
Databricks는 새 작업 영역에 대해 Unity 카탈로그를 자동으로 사용하도록 설정하기 시작했습니다. 이렇게 하면 작업 영역을 만든 후 계정 관리자가 Unity 카탈로그를 구성할 필요가 없습니다. 롤아웃은 계정 간에 점진적으로 진행되고 있습니다.
Databricks 런타임은 모든 Databricks 런타임 유지 관리 릴리스에서 sqlite-jdbc 버전을 3.8.11.2에서 3.42.0.0으로 업그레이드할 계획입니다. 버전 3.42.0.0의 API는 3.8.11.2와 완전히 호환되지 않습니다. 메서드를 확인하고 반환 형식 사용 버전 3.42.0.0을 반환합니다.
코드에서 sqlite-jdbc를 사용하는 경우 sqlite-jdbc 호환성 보고서를 확인하세요.