다음을 통해 공유

2019년 2월

  • 아티클

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2019년 2월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 최초 릴리스 날짜 이후 최대 일주일까지 업데이트되지 않을 수 있습니다.

Databricks Light 일반 공급

2019년 2월 26일 - 3월 5일: 버전 2.92

이제 Databricks Light(Data Engineering Light라고도 함)를 사용할 수 있습니다. Databricks Light는 오픈 소스 Apache Spark 런타임의 Azure Databricks 패키징입니다. Databricks Runtime에서 제공하는 고급 성능, 안정성 또는 자동 크기 조정 이점이 필요 없는 작업을 위한 런타임 옵션을 제공합니다. JAR, Python 또는 spark-submit 작업을 실행하는 클러스터를 만들 때만 Databricks Light를 선택할 수 있습니다. 대화형 또는 Notebook 작업 워크로드를 실행하는 클러스터에는 이 런타임을 선택할 수 없습니다. Databricks Light를 참조하세요.

Azure Databricks의 관리형 MLflow(공개 미리 보기)

2019년 2월 26일 - 3월 5일: 버전 2.92

MLflow는 엔드투엔드 기계 학습 수명 주기를 관리하기 위한 오픈 소스 플랫폼입니다. 다음 세 가지 기본 함수를 다룹니다.

  • 매개 변수와 결과를 기록하고 비교하는 실험을 추적할 수 있습니다.
  • 다양한 모델 제공 및 유추 플랫폼에 다양한 ML 라이브러리의 모델을 관리하고 배포할 수 있습니다.
  • 다른 데이터 과학자와 공유하거나 프로덕션으로 전송하기 위해 재사용 및 재현 가능한 형식으로 ML 코드를 패키징할 수 있습니다.

Azure Databricks는 이제 엔터프라이즈 보안 기능, 고가용성 및 기타 Azure Databricks 작업 영역 기능(예: 실험 및 실행 관리와 Notebook 수정 내용 캡쳐)과 통합된 완전 관리형 MLflow의 호스팅된 버전을 제공합니다. Azure Databricks의 MLflow는 기계 학습 모델 학습 실행 및 기계 학습 프로젝트 실행을 추적하고 보호하기 위한 통합 환경을 제공합니다. Azure Databricks에서 관리되는 MLflow를 사용하면 다음을 포함하는 두 플랫폼의 이점을 얻을 수 있습니다.

  • 작업: 호스트된 MLflow 추적 서버 및 통합 실험 UI를 사용하여 Azure Databricks 작업 영역 내에서 실험 및 결과를 공동으로 추적하고 구성합니다. Notebook에서 MLflow를 사용하는 경우 Azure Databricks는 Notebook 수정 내용을 자동으로 캡처하므로 동일한 코드를 재현하고 나중에 실행할 수 있습니다.
  • 보안: ACL을 통해 전체 ML 수명 주기에 대한 하나의 공통 보안 모델을 활용합니다.
  • 작업: Azure Databricks Notebook에서 원격 및 직접 Azure Databricks 작업으로 MLflow 프로젝트를 실행합니다.

Azure Databricks 작업 영역의 추적 워크플로 데모는 다음과 같습니다.

Track runs and organize experiment workflow

자세한 내용은 Azure Databricks에서 ML 및 딥 러닝 학습 실행 추적 및 MLflow 프로젝트 실행을 참조하세요.

Azure Data Lake Storage Gen2 커넥터는 일반적으로 사용할 수 있습니다.

2019년 2월 15일

빅 데이터 분석을 위한 차세대 데이터 레이크 솔루션인 Azure Data Lake Storage Gen2(ADLS Gen2)는 이제 Azure Databricks용 ADLS Gen2 커넥터와 마찬가지로 GA입니다. 또한 Databricks Runtime 5.2 이상에서 클러스터를 실행할 때 ADLS Gen2가 Databricks Delta를 지원한다고 발표하게 되어 기쁘게 생각합니다.

이제 클러스터를 만들 때 Python 3이 기본값으로 설정됩니다.

2019년 2월 12-19일: 버전 2.91

UI를 사용하여 만든 클러스터의 기본 Python 버전이 Python 2에서 Python 3으로 전환되었습니다. REST API를 사용하여 만든 클러스터의 기본값은 여전히 Python 2입니다.

기존 클러스터는 Python 버전을 변경하지 않습니다. 그러나 새 클러스터를 만들 때 Python 2를 기본값으로 사용하는 습관이 있다면 Python 버전 선택에 주의를 기울여야 합니다.

Default Python version

Delta Lake 일반 공급

2019년 2월 1일

이제 모든 사용자가 Databricks Delta의 강력한 트랜잭션 스토리지 계층 및 초고속 읽기의 이점을 얻을 수 있습니다. 2월 1일부터 Delta Lake는 GA이며 지원되는 모든 버전의 Databricks Runtime에서 사용할 수 있습니다. Delta에 대한 자세한 내용은 Delta Lake란?을 참조하세요.