Share via

Novembro de 2018

  • Artigo

Esses recursos e melhorias da plataforma Azure Databricks foram lançados em novembro de 2018.

Observação

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.

IU da biblioteca

Importante

Esta atualização foi revertida em 7 de dezembro de 2018.

27 de novembro a 4 de dezembro de 2018: Versão 2.85

Nessa versão, a interface do usuário da biblioteca foi significativamente aprimorada.

A interface do usuário do Azure Databricks agora oferece suporte a bibliotecas de espaço de trabalho e bibliotecas anexadas ao cluster. Existe uma biblioteca de espaço de trabalho no Espaço de Trabalho que pode ser anexada a um ou mais clusters. Uma biblioteca anexada ao cluster existe somente no contexto do cluster ao qual está anexada. Além disso:

  • Agora é possível criar uma biblioteca a partir de um arquivo carregado no armazenamento de objetos.
  • Agora você pode anexar e desanexar bibliotecas da página de detalhes da biblioteca e da guia Bibliotecas do cluster.
  • As bibliotecas instaladas com o uso da API agora são exibidas na guia Bibliotecas de um cluster.

Configurações de memória de heap do Spark personalizadas habilitadas

27 de novembro a 4 de dezembro de 2018: Versão 2.85

As seguintes configurações de memória do Spark agora estão em vigor:

  • spark.executor.memory
  • spark.driver.memory

Importante

  • O Azure Databricks tem serviços executados em cada nó, para que a memória máxima permitida para o Spark seja inferior à capacidade de memória da VM relatada pelo provedor de serviços de nuvem. Se você quiser fornecer o Spark com a quantidade máxima de memória de heap para o executor ou driver, não especifique spark.executor.memory ou spark.driver.memory respectivamente.
  • Algumas configurações de cluster que anteriormente eram inválidas, mas ignoradas, podem resultar em falhas de cluster.

Remoção de contexto de execução de trabalhos e de ociosidade

27 de novembro a 4 de dezembro de 2018: Versão 2.85

Os trabalhos agora removem contextos de execução ociosos automaticamente. Confira Contextos de execução de notebook do Databricks. Para minimizar a remoção automática, o Azure Databricks recomenda o uso de clusters diferentes para trabalhos e cargas de trabalho interativas.

Versão do Databricks Runtime 5.0 para Machine Learning (Beta)

19 de novembro de 2018

O Databricks Runtime 5.0 ML (Beta) fornece um ambiente pronto para uso em aprendizado de máquina e ciência de dados. Ele contém várias bibliotecas conhecidas, como TensorFlow, Keras e XGBoost. Também dá suporte ao treinamento distribuído do TensorFlow por meio do Horovod. O Databricks Runtime 5.0 ML foi desenvolvido com base no Databricks Runtime 5.0. O Databricks Runtime 5.0 ML inclui os seguintes novos recursos:

  • HorovodRunner, para execução de trabalhos de treinamento de aprendizado profundo distribuído com o uso do Horovod. Consulte Treinamento distribuído.
  • Suporte do Conda para gerenciamento de pacotes.
  • Integração do MLeap.
  • Integração do GraphFrames.

Confira as notas completas sobre a versão do Databricks Runtime 5.0 ML (sem suporte).

Versão do Databricks Runtime 5.0

8 de novembro de 2018

O Databricks Runtime 5.0 já está disponível. O Databricks Runtime 5.0 inclui o Apache Spark 2.4.0, novos recursos e atualizações do Delta Lake e de Streaming Estruturado, além de bibliotecas Python, R, Java e Scala atualizadas. Para obter detalhes, consulte Databricks Runtime 5.0 (sem suporte).

No Databricks Runtime 5.0, o Azure Databricks agora remove contextos de execução ociosa quando um cluster atinge o limite máximo de contexto (145). Confira Contextos de execução de notebook do Databricks.

suporte para carregamento irrestrito de conteúdo de terceiros

6 a 13 de novembro de 2018: Versão 2.84

Anteriormente, a área restrita do iframe displayHTML não continha o atributo allow-same-origin. Isso significava que o iframe tinha origem nula, o que não era amigável para solicitações XHR de origem cruzada, cookies ou acesso a iframes incorporados. Com esta versão, o iframe displayHTML é fornecido por meio de um novo domínio, databricksusercontent.com, e a área restrita do iframe agora inclui o atributo allow-same-origin.

Não é necessário alterar o uso de displayHTML se ele já estiver funcionando para você.

databricksusercontent.com deve ser acessível no seu navegador. Se estiver bloqueado pela sua rede corporativa, ele precisará estar na lista de permissões.