2019년 4월

아티클
03/01/2024

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2019년 4월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 최초 릴리스 날짜 이후 최대 일주일까지 업데이트되지 않을 수 있습니다.

Azure Databricks(GA)의 MLflow

2019년 4월 25일

이제 Azure Databricks의 관리 MLflow가 일반 공급됩니다. Azure Databricks의 MLflow는 Databricks 보안 모델 및 대화형 작업 영역과 완전히 통합된 호스팅된 버전의 MLflow를 제공합니다. MLflow를 사용하여 ML 수명 주기 관리를 참조하세요.

Azure Databricks의 Delta Lake

2019년 4월 24일

Databricks는 Delta Lake 프로젝트에 오픈 소스를 사용했습니다. Delta Lake는 쓰기 중 일관된 읽기를 위한 스냅샷 격리와 쓰기 간의 낙관적 동시 실행 제어를 통해 ACID 트랜잭션을 제공하여 HDFS 및 클라우드 스토리지에 빌드된 데이터 레이크에 안정성을 제공하는 스토리지 계층입니다. 또한 Delta Lake는 간편한 롤백 및 보고서 재생을 위한 기본 제공 데이터 버전 관리를 제공합니다.

참고 항목

이전에 Databricks Delta라고 불렀던 것은 이제 Delta Lake 오픈 소스 프로젝트와 Azure Databricks에서 사용할 수 있는 최적화입니다. Delta Lake란?을 참조하세요.

2019년 4월 9일~16일: 버전 2.95

이제 MLflow 실행 및 이러한 실행을 생성한 Notebook 수정 버전을 Notebook 옆의 사이드바에서 볼 수 있습니다. Notebook의 오른쪽 사이드바에서 실험 아이콘을 클릭합니다.

Notebook 실험 만들기를 참조하세요.

Microsoft Entra ID 자격 증명(GA)을 사용하여 Azure Data Lake Storage Gen1 및 Gen2에 자동으로 액세스

2019년 4월 9일~16일: 버전 2.95

Azure Databricks에 로그인하는 데 사용하는 것과 동일한 Microsoft Entra ID ID를 사용하여 Azure Databricks 클러스터에서 Azure Data Lake Storage Gen1 및 Gen2에 대한 자동 인증의 일반 공급에 대해 발표하게 되어 기쁘게 생각합니다.

Microsoft Entra ID 자격 증명 통과에 클러스터를 사용하도록 설정하기만 하면 해당 클러스터에서 실행하는 명령은 스토리지에 액세스하기 위해 서비스 주체 자격 증명을 구성할 필요 없이 Azure Data Lake Storage Gen1 및 Gen2에서 데이터를 읽고 쓸 수 있습니다.

자세한 내용은 Microsoft Entra ID(이전의 Azure Active Directory) 자격 증명 통과(레거시)를 사용하여 Azure Data Lake Storage에 액세스하세요.

Databricks Runtime 5.3(GA)

2019년 4월 3일

이제 Databricks Runtime 5.3이 일반 공급됩니다. Databricks Runtime 5.3에는 새로운 Delta Lake 기능 및 업그레이드와 업그레이드된 Python, R, Java 및 Scala 라이브러리가 포함되어 있습니다.

주요 업그레이드는 다음과 같습니다.

Databricks Delta 시간 이동 GA
Delta로 MySQL 테이블 복제, 공개 미리 보기
딥 러닝 워크로드에 최적화된 DBFS FUSE 폴더
Notebook 범위 라이브러리 개선 사항
새로운 Databricks Advisor 힌트

자세한 내용은 Databricks Runtime 5.3(지원되지 않음)을 참조하세요.

Databricks Runtime 5.3 ML(GA)

2019년 4월 3일

Machine Learning용 Databricks Runtime 5.3을 사용하여 Databricks Runtime ML의 첫 번째 GA를 달성했습니다! Databricks Runtime ML은 기계 학습 및 데이터 과학을 위해 바로 사용할 수 있는 환경을 제공합니다. Databricks Runtime을 기반으로 하며 TensorFlow, PyTorch, Keras 및 XGBoost를 비롯한 많은 자주 사용되는 기계 학습 라이브러리를 추가합니다. 또한 Horovod를 사용하여 분산 학습을 지원합니다.

이 버전은 추가 라이브러리, 일부 다른 라이브러리 버전 및 Python 라이브러리용 Conda 패키지 관리와 함께 Databricks Runtime 5.3을 기반으로 합니다. Databricks Runtime 5.2 ML 베타 이후의 주요 새 기능은 다음과 같습니다.

PySpark 튜닝 알고리즘 CrossValidator 및 TrainValidationSplit을 사용하여 모델에 맞는 MLflow 실행의 자동 로깅을 제공하는 MLflow(프라이빗 미리 보기)와의 MLlib 통합.

미리 보기에 참여하려면 Databricks 계정 팀에 문의하세요.
PyArrow, Horovod 및 TensorboardX 라이브러리로 업그레이드합니다.

PyArrow 업데이트는 Arrow 기반 변환을 수행할 때 BinaryType을 사용하는 기능을 추가하고 pandas UDF에서 사용할 수 있도록 합니다.

자세한 내용은 Databricks Runtime 5.3 ML(지원되지 않음)을 참조하세요. Databricks 런타임 ML 클러스터를 만드는 방법에 대한 지침은 Databricks의 AI 및 Machine Learning을 참조 하세요.

다음을 통해 공유