다음을 통해 공유

2018년 11월

  • 아티클

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2018년 11월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 최초 릴리스 날짜 이후 최대 일주일까지 업데이트되지 않을 수 있습니다.

라이브러리 UI

Important

이 업데이트는 2018년 12월 7일에 되돌려졌습니다.

2018년 11월 27일~12월 4일: 버전 2.85

이번 릴리스에서는 라이브러리 UI가 크게 개선되었습니다.

Azure Databricks UI는 이제 작업 영역 라이브러리 및 클러스터 연결 라이브러리를 지원합니다. 작업 영역 라이브러리는 작업 영역에 존재하며 하나 이상의 클러스터에 연결할 수 있습니다. 클러스터 연결 라이브러리는 연결된 클러스터 컨텍스트에만 존재하는 라이브러리입니다. 추가:

  • 이제 개체 스토리지에 업로드된 파일에서 라이브러리를 작성할 수 있습니다.
  • 이제 라이브러리 세부 정보 페이지와 클러스터의 라이브러리 탭에서 라이브러리를 연결 및 분리할 수 있습니다.
  • API를 사용하여 설치된 라이브러리는 이제 클러스터의 라이브러리 탭에 표시됩니다.

사용자 지정 Spark 힙 메모리 설정 사용

2018년 11월 27일~12월 4일: 버전 2.85

이제 다음 Spark 메모리 설정이 적용됩니다.

  • spark.executor.memory
  • spark.driver.memory

Important

  • Azure Databricks에는 각 노드에서 실행되는 서비스가 있으므로 Spark에 허용되는 최대 메모리는 클라우드 공급자가 보고한 VM의 메모리 용량보다 작습니다. Spark에 실행기 또는 드라이버에 대한 최대 힙 메모리 양을 제공하려면 각각 spark.executor.memory 또는 spark.driver.memory를 지정하지 마세요.
  • 이전에는 유효하지 않았지만 무시되었던 일부 클러스터 구성으로 인해 클러스터 오류가 발생할 수 있습니다.

작업 및 유휴 실행 컨텍스트 제거

2018년 11월 27일~12월 4일: 버전 2.85

이제 작업은 유휴 실행 컨텍스트를 자동 제거합니다. Databricks Notebook 실행 컨텍스트를 참조하세요. 자동 제거를 최소화하기 위해 Azure Databricks는 작업 및 대화형 워크로드에 서로 다른 클러스터를 사용하는 것이 좋습니다.

Machine Learning용 Databricks Runtime 5.0(베타) 릴리스

2018년 11월 19일

Databricks Runtime 5.0 ML(베타)은 기계 학습 및 데이터 과학을 위한 즉시 사용 가능한 환경을 제공합니다. 여기에는 TensorFlow, Keras 및 XGBoost를 비롯한 여러 자주 사용되는 라이브러리가 포함되어 있습니다. 또한 Horovod를 사용하여 분산 TensorFlow 학습을 지원합니다. Databricks Runtime 5.0 ML은 Databricks Runtime 5.0을 기반으로 빌드되었습니다. Databricks Runtime 5.0 ML에는 다음과 같은 새로운 기능이 포함됩니다.

  • HorovodRunner, Horovod를 사용하여 분산 딥 러닝 학습 작업을 실행합니다. 분산 학습을 참조하세요.
  • 패키지 관리를 위한 Conda 지원.
  • MLeap가 통합되었습니다.
  • GraphFrames 통합.

Databricks Runtime 5.0 ML(지원되지 않음)에 대한 전체 릴리스 정보를 참조하세요.

Databricks Runtime 5.0 릴리스

2018년 11월 8일

이제 Databricks Runtime 5.0을 사용할 수 있습니다. Databricks Runtime 5.0에는 Apache Spark 2.4.0, 새로운 Delta Lake 및 구조적 스트리밍 기능 및 업그레이드, 업그레이드된 Python, R, Java 및 Scala 라이브러리가 포함되어 있습니다. 자세한 내용은 Databricks Runtime 5.0(지원되지 않음)을 참조하세요.

Databricks Runtime 5.0에서 Azure Databricks는 클러스터가 최대 컨텍스트 제한(145)에 도달하면 유휴 실행 컨텍스트를 제거합니다. Databricks Notebook 실행 컨텍스트를 참조하세요.

displayHTML 타사 콘텐츠의 무제한 로드 지원

2018년 11월 6~13일: 버전 2.84

이전에는 displayHTML iframe 샌드박스에 allow-same-origin 특성이 없었습니다. 이는 iframe에 null origin이 있음을 의미하며, 이는 origin 간 XHR 요청, 쿠키 또는 포함된 iframe 액세스에 적합하지 않습니다. 이 릴리스에서는 displayHTML iframe이 새 도메인 databricksusercontent.com에서 제공되고 iframe 샌드박스에 이제 allow-same-origin 특성이 포함됩니다.

이미 작동하는 경우 displayHTML 사용을 변경할 필요가 없습니다.

databricksusercontent.com은 브라우저에서 액세스할 수 있어야 합니다. 현재 회사 네트워크에 의해 차단된 경우 IT에서 허용 목록에 추가해야 합니다.