Compartilhar via

Runtime 1.1

  • Artigo

O Microsoft Fabric Runtime é uma plataforma integrada ao Azure baseada no Apache Spark que permite a execução e o gerenciamento de experiências de Engenharia de Dados e Ciência de Dados no Fabric. Este documento aborda os componentes e versões do Fabric Runtime 1.1.

O Microsoft Fabric Runtime 1.1 é um dos runtimes oferecidos na plataforma Microsoft Fabric. Os principais componentes do Runtime 1.1 são:

  • Apache Spark 3.3
  • Atualização do Sistema Operacional: Ubuntu 18.04
  • Java: 1.8.0_282
  • Scala: 2.12.15
  • Python: 3.10
  • Delta Lake: 2.2
  • R: 4.2.2

O Microsoft Fabric Runtime 1.1 vem com uma coleção de pacotes de nível padrão, incluindo uma instalação completa do Anaconda e bibliotecas comumente usadas para Java/Scala, Python e R. Essas bibliotecas são incluídas automaticamente ao usar notebooks ou trabalhos na plataforma do Microsoft Fabric. Consulte a documentação para obter uma lista completa de bibliotecas.

O Microsoft Fabric lança periodicamente atualizações de manutenção para o Runtime 1.1, fornecendo correções de bugs, aprimoramentos de desempenho e patches de segurança. Manter-se atualizado com essas atualizações garante desempenho e confiabilidade ideais para suas tarefas de processamento de dados. Se você estiver usando o Runtime 1.1 no momento, poderá atualizar para o Runtime 1.2 navegando até Configurações > de Workspace Data Engineering/Science > Spark Settings.

Captura de tela mostrando onde selecionar a versão do runtime.

Novos recursos e melhorias – Apache Spark 3.3.1

O resumo ampliado a seguir descreve os principais novos recursos relacionados ao Apache Spark versão 3.3.0 e 3.3.1:

  • Filtragem em nível de linha: melhore o desempenho das junções pré-filtrando um lado, desde que não haja nenhum impacto de substituição ou regressão usando um filtro Bloom e um predicado IN gerados a partir dos valores do outro lado da junção. (SPARK-32268)

  • Melhorar a compatibilidade do Spark com o padrão do SQL: melhorias do ANSI. (SPARK-38860)

  • Melhorias nas mensagens de erro para identificar problemas mais rapidamente e executar as etapas necessárias para resolvê-lo. (SPARK-38781)

  • Suporte a tipos complexos para leitor vetorizado Parquet. Anteriormente, o leitor vetorizado Parquet não suportava tipos de coluna aninhados, como struct, matriz e mapa. O Apache Spark 3.3 contém uma implementação de leitor vetorizado de coluna aninhada para FB-ORC em nosso fork interno do Spark. Ela afeta a melhoria de desempenho em comparação com o leitor não vetorizado ao ler colunas aninhadas. Além disso, essa implementação também pode ajudar a melhorar o desempenho de coluna não aninhada ao ler colunas não aninhadas e aninhadas em uma consulta. (SPARK-34863)

  • Permite que os usuários consultem os metadados dos arquivos de entrada para todos os formatos de arquivo, exponha-os como colunas ocultas internas, o que significa que os usuários só podem vê-los quando os referenciam explicitamente. (por exemplo, caminho do arquivo e nome do arquivo.) (SPARK-37273)

  • Fornecimento de um criador de perfil para UDFs do Python/Pandas. (SPARK-37443)

  • Anteriormente, transmitimos consultas com Trigger, que estava carregando todos os dados disponíveis em um único lote. Por isso, a quantidade de dados que as consultas poderiam processar era limitada ou o driver Spark estaria sem memória. Agora, utilizamos o Trigger.AvailableNow para executar consultas como Trigger uma vez em vários lotes. (SPARK-36533)

  • Recursos de push down do DS V2 mais abrangentes. (SPARK-38788)

  • Executor no ambiente Rolling in Kubernetes. (SPARK-37810)

  • Suporte a agendadores Kubernetes Personalizados. ( SPARK-36057)

  • Migração de log4j 1 para log4j 2 (SPARK-37814):

    • Desempenho: o Log4j 2 é mais rápido que o Log4j 1. O Log4j 2 usa o registro em log assíncrono por padrão, o que pode melhorar significativamente o desempenho.

    • Flexibilidade: o Log4j 2 fornece mais flexibilidade em termos de configuração. Ele dá suporte a vários formatos de configuração, incluindo XML, JSON e YAML.

    • Extensibilidade: o Log4j 2 foi projetado para ser extensível. Ele permite que os desenvolvedores criem plug-ins personalizados e anexadores para estender a funcionalidade da estrutura de registro em log.

    • Segurança: o Log4j 2 fornece melhores recursos de segurança do que o Log4j 1. Ele dá suporte a camadas de criptografia e soquete seguro para comunicação segura entre aplicativos.

    • Simplicidade: o Log4j 2 é mais simples de usar do que o Log4j 1. Ele tem uma API mais intuitiva e um processo de configuração mais simples.

  • Introduzir o shuffle no SinglePartition para melhorar o paralelismo e corrigir a regressão de desempenho para junções no Spark 3.3 vs Spark 3.2. (SPARK-40703)

  • Otimizar a regra TransposeWindow para estender casos aplicáveis e otimizar a complexidade do tempo. (SPARK-38034)

  • Para ter uma paridade na execução do TimeTravel por meio da opção SQL e Dataframe, dê suporte ao timestamp em segundos para o TimeTravel usando as opções do Dataframe. (SPARK-39633])

  • Otimize a Classificação global para RepartitionByExpression para salvar uma classificação local. (SPARK-39911)

  • Verifique se o particionamento de saída é especificado pelo usuário no AQE. (SPARK-39915)

  • Atualize a verificação de coluna do Parquet V2 para campos aninhados. (SPARK-39951)

  • Leitura em um arquivo parquet particionado no disco por uma coluna do tipo 'Byte'. (SPARK-40212)

  • Corrigir a remoção de coluna no CSV quando _corrupt_record estiver selecionado. (SPARK-40468)

Novos recursos e melhorias – Delta Lake 2.2

Os principais recursos dessa versão são os seguintes:

  • LIMIT pushdown para a verificação Delta. Melhore o desempenho das consultas que contêm cláusulas LIMIT, empurrando para baixo a verificação delta LIMIT durante o planejamento da consulta. A verificação delta usa o LIMIT e as contagens de linhas no nível do arquivo para reduzir o número de arquivos verificados, o que ajuda as consultas a ler um número muito menor de arquivos e pode tornar as consultas LIMIT de 10 a 100 vezes mais rápidas, dependendo do tamanho da tabela.

  • Pushdown de agregação na verificação Delta para SELECT COUNT(*). Consultas de agregação, como em tabelas Delta SELECT COUNT(*), são atendidas usando contagens de linhas no nível do arquivo em metadados de tabela Delta em vez de contar linhas nos arquivos de dados subjacentes. Isso reduz significativamente o tempo de consulta, pois a consulta só precisa ler os metadados da tabela e pode tornar as consultas de contagem de tabelas completas de 10 a 100 vezes mais rápidas.

  • Suporte para coletar estatísticas de nível de arquivo como parte do comando CONVERT TO DELTA. Essas estatísticas potencialmente ajudam a acelerar as consultas na tabela Delta. Por padrão, as estatísticas são coletadas agora como parte do comando CONVERTER PARA DELTA. Para desabilitar a coleta de estatísticas, especifique a cláusula NO STATISTICS no comando . Exemplo: CONVERT TO DELTA table_name NO STATISTICS.

  • Melhore o desempenho do comando DELETE removendo as colunas para ler ao pesquisar arquivos para reescrever.

  • Correção de um bug na configuração do modo multi cluster S3 baseado em DynamoDB. A versão anterior escreveu um carimbo de data/hora incorreto, que foi usado pelo recurso TTL do DynamoDB para limpar itens expirados. Esse valor de carimbo de data/hora foi corrigido e o atributo de tabela renomeado de commitTime para expireTime. Se você já tiver o TTL habilitado, siga as etapas de migração para Delta Lake 1.2.1, 2.0.0 ou 2.1.0 para Delta Lake 2.0.1, 2.1.1 ou superior.

  • Corrija o comportamento não determinístico durante MERGE ao trabalhar com fontes não determinísticas.

  • Remova as restrições para usar tabelas Delta com mapeamento de coluna em determinados casos de Streaming + CDF. Anteriormente, costumávamos bloquear Streaming+CDF se a tabela Delta tivesse o mapeamento de coluna habilitado, mesmo que não contenha nenhuma coluna RENAME ou DROP.

  • Melhore o monitoramento das consultas de construção de estado Delta (outras consultas são executadas como parte do planejamento) tornando-as visíveis na interface do usuário do Spark.

  • Suporte para várias chamadas where() na API Optimize scala/python.

  • Suporte para passar configurações do Hadoop por meio da API DeltaTable.

  • Dê suporte a nomes de coluna de partição começando com . ou _ no comando CONVERT TO DELTA.

  • Melhorias nas métricas no histórico de tabelas:

  • Correção para downgrades de protocolo acidentais com o comando RESTORE . Até agora, o RESTORE TABLE podia fazer downgrade da versão do protocolo da tabela, o que poderia ter resultado em leituras inconsistentes com viagem no tempo. Com essa correção, a versão do protocolo nunca é rebaixada da atual.

  • Corrija um bug em MERGE INTO quando houver várias cláusulas UPDATE e um dos UPDATEs estiver com uma evolução de esquema.

  • Correção de um bug em que, às vezes, o objeto ativo SparkSession não era encontrado ao usar APIs Delta.

  • Corrija um problema em que o esquema de partição não pôde ser definido durante a confirmação inicial.

  • Capturar exceções quando o arquivo falha ao gravar last_checkpoint.

  • Corrija um problema ao reiniciar uma consulta de streaming com o gatilho AvailableNow em uma tabela Delta.

  • Correção de um problema com CDF e Streaming em que o deslocamento não era atualizado corretamente quando não havia alterações de dados.

Verifique a origem e as notas de versão completas no GitHub em delta-io/delta.

Pacotes de nível padrão para Java/Scala

A tabela a seguir lista todos os pacotes de nível padrão para Java/Scala e suas respectivas versões.

GroupId ArtifactId Versão
com.aliyun aliyun-java-sdk-core 4.5.10
com.aliyun aliyun-java-sdk-kms 2.11.0
com.aliyun aliyun-java-sdk-ram 3.1.0
com.aliyun aliyun-sdk-oss 3.13.0
com.amazonaws aws-java-sdk-bundle 1.11.1026
com.chuusai shapeless_2.12 2.3.7
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml.jackson jackson-annotations-2.13.4.jar
com.fasterxml.jackson jackson-core 2.13.4
com.fasterxml.jackson jackson-core-asl 1.9.13
com.fasterxml.jackson jackson-databind 2.13.4.1
com.fasterxml.jackson jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson jackson-mapper-asl 1.9.13
com.fasterxml.jackson jackson-module-scala_2.12 2.13.4
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 14.0.1
com.google.protobuf protobuf-java 2.5.0
com.googlecode.json-simple json-simple 1.1.1
com.jcraft jsch 0.1.54
com.jolbox bonecp 0.8.0.RELEASE
com.linkedin.isolation-forest isolation-forest_3.2.0_2.12 2.0.8
com.ning compress-lzf 1,1
com.qcloud cos_api-bundle 5.6.19
com.sun.istack istack-commons-runtime 3.0.8
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.typesafe config 1.3.4
com.zaxxer HikariCP 2.5.1
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4.jar
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
io.airlift aircompressor 0,21
io.dropwizard.metrics metrics-core 4.2.7
io.dropwizard.metrics metrics-graphite 4.2.7
io.dropwizard.metrics metrics-jmx 4.2.7
io.dropwizard.metrics metrics-json 4.2.7
io.dropwizard.metrics metrics-jvm 4.2.7
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll 4.1.74.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.74.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.74.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.74.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.74.Final
io.opentracing opentracing-api 0.33.0
io.opentracing opentracing-noop 0.33.0
io.opentracing opentracing-util 0.33.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.inject jakarta.inject 2.6.1
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
jakarta.xml.bind jakarta.xml.bind-api 2.3.2
javax.activation activation 1.1.1
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.razorvine pickle 1,2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.py4j py4j 0.10.9.5
net.sourceforge.f2j arpack_combined_all 0,1
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-pool2 2.11.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-aliyun $3.3.3.5.2-90111858
org.apache.hadoop hadoop-annotations $3.3.3.5.2-90111858
org.apache.hadoop hadoop-aws $3.3.3.5.2-90111858
org.apache.hadoop hadoop-azure $3.3.3.5.2-90111858
org.apache.hadoop hadoop-azure-datalake $3.3.3.5.2-90111858
org.apache.hadoop hadoop-client-api $3.3.3.5.2-90111858
org.apache.hadoop hadoop-client-runtime $3.3.3.5.2-90111858
org.apache.hadoop hadoop-cloud-storage $3.3.3.5.2-90111858
org.apache.hadoop hadoop-cos $3.3.3.5.2-90111858
org.apache.hadoop hadoop-openstack $3.3.3.5.2-90111858
org.apache.hadoop hadoop-shaded-guava 1.1.1
org.apache.hadoop hadoop-yarn-server-web-proxy $3.3.3.5.2-90111858
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-common 2.3.9
org.apache.hive hive-exec 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-metastore 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-service-rpc 3.1.2
org.apache.hive hive-shims-0.23 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-shims-common 2.3.9
org.apache.hive hive-shims-scheduler 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.httpcomponents httpmime 4.5.13
org.apache.httpcomponents.client5 httpclient5 5.1.3
org.apache.ivy ivy 2.5.1
org.apache.kafka kafka-clients 2.8.1
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3
org.apache.parquet parquet-common 1.12.3
org.apache.parquet parquet-encoding 1.12.3
org.apache.parquet parquet-format-structures 1.12.3
org.apache.parquet parquet-hadoop 1.12.3
org.apache.parquet parquet-jackson 1.12.3
org.apache.qpid proton-j 0.33.8
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.yetus audience-annotations 0.5.0
org.apiguardian apiguardian-api 1.1.0
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.codehaus.jettison jettison 1,1
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleusjavax.jdo 3.2.0-m3
org.eclipse.jdt core 1.1.2
org.eclipse.jetty jetty-util 9.4.48.v20220622
org.eclipse.jetty jetty-util-ajax 9.4.48.v20220622
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.javatuples javatuples 1,2
org.jdom jdom2 2.0.6
org.jetbrains annotations 17.0.0
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.junit.júpiter junit-jupiter 5.5.2
org.junit.júpiter junit-jupiter-api 5.5.2
org.junit.júpiter junit-jupiter-engine 5.5.2
org.junit.júpiter junit-jupiter-params 5.5.2
org.junit.platform junit-platform-commons 1.5.2
org.junit.platform junit-platform-engine 1.5.2
org.lz4 lz4-java 1.8.0
org.objenesis objenesis 3.2
org.openpnp opencv 3.2.0-1
org.opentest4j opentest4j 1.2.0
org.postgresql postgresql 42.2.9
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.20.3
org.scala-lang scala-compiler 2.12.15
org.scala-lang scala-library 2.12.15
org.scala-lang scala-reflect 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scalactic scalactic_2.12 3.2.14
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.slf4j jcl-over-slf4j 1.7.32
org.slf4j jul-to-slf4j 1.7.32
org.slf4j slf4j-api 1.7.32
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.xerial.snappy snappy-java 1.1.8.4
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5

Pacotes de nível padrão para Python

A tabela a seguir lista todos os pacotes de nível padrão para Python e suas respectivas versões.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
_libgcc_mutex 0,1 ipykernel 6.22.0 pickleshare 0.7.5
_openmp_mutex 4.5 ipython 8.9.0 pillow 9.4.0
_py-xgboost-mutex 2,0 ipywidgets 8.0.4 pip 23.0.1
absl-py 1.4.0 isodate 0.6.1 pixman 0.40.0
adal 1.2.7 itsdangerous 2.1.2 pkginfo 1.9.6
adlfs 2023.1.0 jack 1.9.22 pkgutil-resolve-name 1.3.10
aiohttp 3.8.4 jedi 0.18.2 platformdirs 3.2.0
aiosignal 1.3.1 jeepney 0.8.0 plotly 5.13.0
alsa-lib 1.2.8 jinja2 3.1.2 ply 3.11
anyio 3.6.2 jmespath 1.0.1 pooch 1.7.0
argcomplete 2.1.2 joblib 1.2.0 portalocker 2.7.0
argon2-cffi 21.3.0 jpeg 9e pox 0.3.2
argon2-cffi-bindings 21.2.0 jsonpickle 2.2.0 ppft 1.7.6.6
arrow-cpp 11.0.0 jsonschema 4.17.3 prettytable 3.6.0
asttokens 2.2.1 jupyter_client 8.1.0 prometheus_client 0.16.0
astunparse 1.6.3 jupyter_core 5.3.0 prompt-toolkit 3.0.38
async-timeout 4.0.2 jupyter_events 0.6.3 protobuf 4.21.12
atk-1.0 2.38.0 jupyter_server 2.2.1 psutil 5.9.4
attr 2.5.1 jupyter_server_terminals 0.4.4 pthread-stubs 0,4
attrs 22.2.0 jupyterlab_pygments 0.2.2 ptyprocess 0.7.0
aws-c-auth 0.6.24 jupyterlab_widgets 3.0.7 pulseaudio 16.1
aws-c-cal 0.5.20 keras 2.11.0 pulseaudio-client 16.1
aws-c-common 0.8.11 keras-preprocessing 1.1.2 pulseaudio-daemon 16.1
aws-c-compression 0.2.16 keyutils 1.6.1 pure_eval 0.2.2
aws-c-event-stream 0.2.18 kiwisolver 1.4.4 py-xgboost 1.7.1
aws-c-http 0.7.4 knack 0.10.1 py4j 0.10.9.5
aws-c-io 0.13.17 krb5 1.20.1 pyarrow 11.0.0
aws-c-mqtt 0.8.6 lame 3,100 pyasn1 0.4.8
aws-c-s3 0.2.4 lcms2 2.15 pyasn1-modules 0.2.7
aws-c-sdkutils 0.1.7 ld_impl_linux-64 2,40 pycosat 0.6.4
aws-checksums 0.1.14 lerc 4.0.0 pycparser 2.21
aws-crt-cpp 0.19.7 liac-arff 2.5.0 pygments 2.14.0
aws-sdk-cpp 1.10.57 libabseil 20220623.0 pyjwt 2.6.0
azure-common 1.1.28 libaec 1.0.6 pynacl 1.5.0
azure-core 1.26.4 libarrow 11.0.0 pyodbc 4.0.35
azure-datalake-store 0.0.51 libblas 3.9.0 pyopenssl 23.1.1
azure-graphrbac 0.61.1 libbrotlicommon 1.0.9 pyparsing 3.0.9
azure-identity 1.12.0 libbrotlidec 1.0.9 pyperclip 1.8.2
azure-mgmt-authorization 3.0.0 libbrotlienc 1.0.9 pyqt 5.15.7
azure-mgmt-containerregistry 10.1.0 libcap 2.67 pyqt5-sip 12.11.0
azure-mgmt-core 1.4.0 libcblas 3.9.0 pyrsistent 0.19.3
azure-mgmt-keyvault 10.2.1 libclang 15.0.7 pysocks 1.7.1
azure-mgmt-resource 21.2.1 libclang13 15.0.7 pyspark 3.3.1
azure-mgmt-storage 20.1.0 libcrc32c 1.1.2 python 3.10.10
azure-storage-blob 12.15.0 libcups 2.3.3 python_abi 3.10
azure-storage-file-datalake 12.9.1 libcurl 7.88.1 python-dateutil 2.8.2
azureml-core 1.49.0 libdb 6.2.32 python-fastjsonschema 2.16.3
backcall 0.2.0 libdeflate 1.17 python-flatbuffers 23.1.21
backports 1.0 libebm 0.3.1 python-graphviz 0.20.1
backports-tempfile 1.0 libedit 3.1.20191231 python-json-logger 2.0.7
backports-weakref 1.0.post1 libev 4.33 pytorch 1.13.1
backports.functools_lru_cache 1.6.4 libevent 2.1.10 pytz 2022.7.1
bcrypt 3.2.2 libexpat 2.5.0 pyu2f 0.1.5
beautifulsoup4 4.11.2 libffi 3.4.2 pywin32-on-windows 0.1.0
bleach 6.0.0 libflac 1.4.2 pyyaml 6,0
blinker 1.6.1 libgcc-ng 12.2.0 pyzmq 25.0.2
brotli 1.0.9 libgcrypt 1.10.1 qt-main 5.15.8
brotli-bin 1.0.9 libgd 2.3.3 re2 2023.02.01
brotli-python 1.0.9 libgfortran-ng 12.2.0 readline 8.2
brotlipy 0.7.0 libgfortran5 12.2.0 regex 2022.10.31
bzip2 1.0.8 libglib 2.74.1 solicitações 2.28.2
c-ares 1.18.1 libgoogle-cloud 2.7.0 requests-oauthlib 1.3.1
ca-certificates 2022.12.7 libgpg-error 1.46 rfc3339-validator 0.1.4
cached_property 1.5.2 libgrpc 1.51.1 rfc3986-validator 0.1.1
cached-property 1.5.2 libhwloc 2.9.0 rsa 4.9
cachetools 5.3.0 libiconv 1.17 ruamel_yaml 0.15.80
cairo 1.16.0 liblapack 3.9.0 ruamel.yaml 0.17.21
certifi 2022.12.7 libllvm11 11.1.0 ruamel.yaml.clib 0.2.7
cffi 1.15.1 libllvm15 15.0.7 s2n 1.3.37
charset-normalizer 2.1.1 libnghttp2 1.52.0 salib 1.4.7
clique 8.1.3 libnsl 2.0.0 scikit-learn 1.2.0
cloudpickle 2.2.1 libogg 1.3.4 scipy 1.10.1
colorama 0.4.6 libopenblas 0.3.21 seaborn 0.12.2
comm 0.1.3 libopus 1.3.1 seaborn-base 0.12.2
conda-package-handling 2.0.2 libpng 1.6.39 secretstorage 3.3.3
conda-package-streaming 0.7.0 libpq 15.2 send2trash 1.8.0
configparser 5.3.0 libprotobuf 3.21.12 setuptools 67.6.1
contextlib2 21.6.0 librsvg 2.54.4 shap 0.41.0
contourpy 1.0.7 libsndfile 1.2.0 sip 6.7.7
criptografia 40.0.1 libsodium 1.0.18 six 1.16.0
cycler 0.11.0 libsqlite 3.40.0 sleef 3.5.1
traço 2.9.2 libssh2 1.10.0 slicer 0.0.7
dash_cytoscape 0.2.0 libstdcxx-ng 12.2.0 smmap 3.0.5
dash-core-components 2.0.0 libsystemd0 253 snappy 1.1.10
dash-html-components 2.0.0 libthrift 0.18.0 sniffio 1.3.0
dash-table 5.0.0 libtiff 4.5.0 soupsieve 2.3.2.post1
databricks-cli 0.17.6 libtool 2.4.7 sqlalchemy 2.0.9
dbus 1.13.6 libudev1 253 sqlparse 0.4.3
debugpy 1.6.7 libutf8proc 2.8.0 stack_data 0.6.2
decorator 5.1.1 libuuid 2.38.1 statsmodels 0.13.5
defusedxml 0.7.1 libuv 1.44.2 synapseml-mlflow 1.0.14
dill 0.3.6 libvorbis 1.3.7 synapseml-utils 1.0.7
distlib 0.3.6 libwebp 1.2.4 tabulate 0.9.0
docker-py 6.0.0 libwebp-base 1.2.4 tbb 2021.8.0
entrypoints 0,4 libxcb 1.13 tenacity 8.2.2
et_xmlfile 1.1.0 libxgboost 1.7.1 tensorboard 2.11.2
em execução 1.2.0 libxkbcommon 1.5.0 tensorboard-data-server 0.6.1
expat 2.5.0 libxml2 2.10.3 tensorboard-plugin-wit 1.8.1
fftw 3.3.10 libxslt 1.1.37 tensorflow 2.11.0
filelock 3.11.0 libzlib 1.2.13 tensorflow-base 2.11.0
flask 2.2.3 lightgbm 3.3.3 tensorflow-estimator 2.11.0
flask-compress 1.13 lime 0.2.0.1 termcolor 2.2.0
flatbuffers 22.12.06 llvm-openmp 16.0.1 terminado 0.17.1
flit-core 3.8.0 llvmlite 0.39.1 threadpoolctl 3.1.0
fluent-logger 0.10.0 lxml 4.9.2 tinycss2 1.2.1
font-ttf-dejavu-sans-mono 2.37 lz4-c 1.9.4 tk 8.6.12
font-ttf-inconsolata 3.000 markdown 3.4.1 TOML 0.10.2
font-ttf-source-code-pro 2.038 markupsafe 2.1.2 toolz 0.12.0
font-ttf-ubuntu 0,83 matplotlib 3.6.3 tornado 6.2
fontconfig 2.14.2 matplotlib-base 3.6.3 tqdm 4.65.0
fonts-conda-ecosystem 1 matplotlib-inline 0.1.6 traitlets 5.9.0
fonts-conda-forge 1 mistune 2.0.5 treeinterpreter 0.2.2
fonttools 4.39.3 mkl 2022.2.1 typed-ast 1.4.3
freetype 2.12.1 mlflow-skinny 2.1.1 typing_extensions 4.5.0
fribidi 1.0.10 mpg123 1.31.3 typing-extensions 4.5.0
frozenlist 1.3.3 msal 1.21.0 tzdata 2023c
fsspec 2023.4.0 msal-extensions 1.0.0 unicodedata2 15.0.0
gast 0.4.0 msgpack 1.0.5 unixodbc 2.3.10
gdk-pixbuf 2.42.10 msrest 0.7.1 urllib3 1.26.14
geographiclib 1,52 msrestazure 0.6.4 virtualenv 20.19.0
geopy 2.3.0 multidict 6.0.4 wcwidth 0.2.6
gettext 0.21.1 multiprocess 0.70.14 webencodings 0.5.1
gevent 22.10.2 munkres 1.1.4 websocket-client 1.5.1
gflags 2.2.2 mypy 0.780 werkzeug 2.2.3
giflib 5.2.1 mypy-extensions 0.4.4 wheel 0.40.0
gitdb 4.0.10 mysql-common 8.0.32 widgetsnbextension 4.0.7
gitpython 3.1.31 mysql-libs 8.0.32 wrapt 1.15.0
glib 2.74.1 nbclient 0.7.3 xcb-util 0.4.0
glib-tools 2.74.1 nbconvert-core 7.3.0 xcb-util-image 0.4.0
glog 0.6.0 nbformat 5.8.0 xcb-util-keysyms 0.4.0
google-auth 2.17.2 ncurses 6.3 xcb-util-renderutil 0.3.9
google-auth-oauthlib 0.4.6 ndg-httpsclient 0.5.1 xcb-util-wm 0.4.1
google-pasta 0.2.0 nest-asyncio 1.5.6 xgboost 1.7.1
graphite2 1.3.13 nspr 4.35 xkeyboard-config 2.38
Graphviz 2.50.0 nss 3.89 xorg-kbproto 1.0.7
greenlet 2.0.2 numba 0.56.4 xorg-libice 1.0.10
grpcio 1.51.1 numpy 1.23.5 xorg-libsm 1.2.3
gson 0.0.3 oauthlib 3.2.2 xorg-libx11 1.8.4
gst-plugins-base 1.22.0 openjpeg 2.5.0 xorg-libxau 1.0.9
gstreamer 1.22.0 openpyxl 3.1.0 xorg-libxdmcp 1.1.3
gstreamer-orc 0.4.33 openssl 3.1.0 xorg-libxext 1.3.4
gtk2 2.24.33 opt_einsum 3.3.0 xorg-libxrender 0.9.10
gts 0.7.6 orc 1.8.2 xorg-renderproto 0.11.1
h5py 3.8.0 empacotando 21.3 xorg-xextproto 7.3.0
harfbuzz 6.0.0 pandas 1.5.3 xorg-xproto 7.0.31
hdf5 1.14.0 pandasql 0.7.3 xz 5.2.6
html5lib 1,1 pandocfilters 1.5.0 yaml 0.2.5
humanfriendly 10.0 pango 1.50.14 yarl 1.8.2
icu 70.1 paramiko 2.12.0 zeromq 4.3.4
idna 3.4 parquet-cpp 1.5.1 zipp 3.15.0
imageio 2.25.0 parso 0.8.3 zlib 1.2.13
importlib-metadata 5.2.0 pathos 0.3.0 zope.event 4.6
importlib_resources 5.12.0 pathspec 0.11.1 zope.interface 6,0
importlib-metadata 5.2.0 patsy 0.5.3 zstandard 0.19.0
interpretar 0.3.1 pcre2 10.40 zstd 1.5.2
interpret-core 0.3.1 pexpect 4.8.0

Pacotes de nível padrão para R

A tabela a seguir lista todos os pacotes de nível padrão para R e suas respectivas versões.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
askpass 1,1 highcharter 0.9.4 readr 2.1.3
assertthat 0.2.1 highr 0,9 readxl 1.4.1
backports 1.4.1 hms 1.1.2 recipes 1.0.3
base64enc 0.1-3 htmltools 0.5.3 rematch 1.0.1
bit 4.0.5 htmlwidgets 1.5.4 rematch2 2.1.2
bit64 4.0.5 httpcode 0.3.0 remotes 2.4.2
blob 1.2.3 httpuv 1.6.6 reprex 2.0.2
brew 1.0-8 httr 1.4.4 reshape2 1.4.4
brio 1.1.3 ids 1.0.1 rjson 0.2.21
broom 1.0.1 igraph 1.3.5 rlang 1.0.6
bslib 0.4.1 infer 1.0.3 rlist 0.4.6.2
cachem 1.0.6 ini 0.3.1 rmarkdown 2.18
callr 3.7.3 ipred 0.9-13 RODBC 1.3-19
sinal de interpolação 6.0-93 isoband 0.2.6 roxygen2 7.2.2
cellranger 1.1.0 iterators 1.0.14 rprojroot 2.0.3
cli 3.4.1 jquerylib 0.1.4 rsample 1.1.0
clipr 0.8.0 jsonlite 1.8.3 rstudioapi 0,14
clock 0.6.1 knitr 1,41 rversions 2.1.2
colorspace 2.0-3 labeling 0.4.2 rvest 1.0.3
commonmark 1.8.1 later 1.3.0 sass 0.4.4
config 0.3.1 lava 1.7.0 scales 1.2.1
conflicted 1.1.0 lazyeval 0.2.2 selectr 0.4-2
coro 1.0.3 lhs 1.1.5 sessioninfo 1.2.2
cpp11 0.4.3 ciclo de vida 1.0.3 shiny 1.7.3
crayon 1.5.2 lightgbm 3.3.3 controle deslizante 0.3.0
credenciais 1.3.2 listenv 0.8.0 sourcetools 0.1.7
crosstalk 1.2.0 lobstr 1.1.2 sparklyr 1.7.8
crul 1,3 lubridate 1.9.0 SQUAREM 2021.1
curl 4.3.3 magrittr 2.0.3 stringi 1.7.8
data.table 1.14.6 maps 3.4.1 stringr 1.4.1
DBI 1.1.3 memoise 2.0.1 sys 3.4.1
dbplyr 2.2.1 mime 0,12 systemfonts 1.0.4
desc 1.4.2 miniUI 0.1.1.1 testthat 3.1.5
devtools 2.4.5 modeldata 1.0.1 textshaping 0.3.6
dials 1.1.0 modelenv 0.1.0 tibble 3.1.8
DiceDesign 1,9 ModelMetrics 1.2.2.2 tidymodels 1.0.0
diffobj 0.3.5 modelr 0.1.10 tidyr 1.2.1
digest 0.6.30 munsell 0.5.0 tidyselect 1.2.0
downlit 0.4.2 numDeriv 2016.8-1.1 tidyverse 1.3.2
dplyr 1.0.10 openssl 2.0.4 timechange 0.1.1
dtplyr 1.2.2 parallelly 1.32.1 timeDate 4021.106
e1071 1.7-12 parsnip 1.0.3 tinytex 0,42
ellipsis 0.3.2 patchwork 1.1.2 torch 0.9.0
evaluate 0,18 pillar 1.8.1 triebeard 0.3.0
fansi 1.0.3 pkgbuild 1.4.0 TTR 0.24.3
farver 2.1.1 pkgconfig 2.0.3 tune 1.0.1
fastmap 1.1.0 pkgdown 2.0.6 tzdb 0.3.0
fontawesome 0.4.0 pkgload 1.3.2 urlchecker 1.0.1
forcats 0.5.2 plotly 4.10.1 urltools 1.7.3
foreach 1.5.2 plyr 1.8.8 usethis 2.1.6
forge 0.2.0 praise 1.0.0 utf8 1.2.2
fs 1.5.2 prettyunits 1.1.1 uuid 1.1-0
furrr 0.3.1 pROC 1.18.0 vctrs 0.5.1
future 1.29.0 processx 3.8.0 viridisLite 0.4.1
future.apply 1.10.0 prodlim 2019.11.13 vroom 1.6.0
gargle 1.2.1 profvis 0.3.7 waldo 0.4.0
Genéricos 0.1.3 progress 1.2.2 warp 0.2.0
gert 1.9.1 progressr 0.11.0 whisker 0,4
ggplot2 3.4.0 promises 1.2.0.1 withr 2.5.0
gh 1.3.1 proxy 0.4-27 workflows 1.1.2
gistr 0.9.0 pryr 0.1.5 workflowsets 1.0.0
gitcreds 0.1.2 ps 1.7.2 xfun 0,35
globals 0.16.2 purrr 0.3.5 xgboost 1.6.0.1
glue 1.6.2 quantmod 0.4.20 XML 3.99-0.12
googledrive 2.0.0 r2d3 0.2.6 xml2 1.3.3
googlesheets4 1.0.1 R6 2.5.1 xopen 1.0.0
gower 1.0.0 ragg 1.2.4 xtable 1.8-4
GPfit 1.0-8 rappdirs 0.3.3 xts 0.12.2
gtable 0.3.1 rbokeh 0.5.2 yaml 2.3.6
hardhat 1.2.0 rcmdcheck 1.4.0 yardstick 1.1.0
haven 2.5.1 RColorBrewer 1.1-3 zip 2.2.2
hexbin 1.28.2 Rcpp 1.0.9 zoo 1.8-11

Migração entre diferentes versões do Apache Spark

Migrar suas cargas de trabalho para o Fabric Runtime 1.1 (Apache Spark 3.3) de uma versão mais antiga do Apache Spark envolve uma série de etapas para garantir uma migração tranquila. Esse guia descreve as etapas necessárias para ajudá-lo a migrar de forma eficiente e eficaz.

  1. Examine as notas de versão do Fabric Runtime 1.1, incluindo a verificação dos componentes e pacotes de nível padrão incluídos no runtime, para entender os novos recursos e melhorias.

  2. Verifique a compatibilidade da configuração atual e de todas as bibliotecas relacionadas, incluindo dependências e integrações. Examine os guias de migração para identificar possíveis alterações interruptivas:

  3. Mova suas cargas de trabalho para o Fabric e verifique se você tem backups de seus dados e arquivos de configuração caso precise reverter para a versão anterior.

  4. Atualize as dependências que a nova versão do Apache Spark ou de outros componentes relacionados ao Fabric Runtime 1.1 possa afetar, incluindo bibliotecas ou conectores de terceiros. Certifique-se de testar as dependências atualizadas em um ambiente de preparo antes de implantar na produção.

  5. Atualize a Configuração do Apache Spark em sua carga de trabalho, incluindo a atualização das definições de configuração, o ajuste das alocações de memória e a modificação de configurações preteridas.

  6. Modifique seus aplicativos Apache Spark (notebooks e definições de trabalhos do Apache Spark) para usar as novas APIs e recursos introduzidos no Fabric Runtime 1.1 e no Apache Spark 3.3. Você pode precisar da atualização do código para acomodar as APIs preteridas ou removidas e a refatoração de seus aplicativos para aproveitar as melhorias de desempenho e as novas funcionalidades.

  7. Teste minuciosamente seus aplicativos atualizados em um ambiente de preparo para garantir a compatibilidade e a estabilidade com o Apache Spark 3.3. Execute testes de desempenho, testes funcionais e testes de regressão para identificar e resolver quaisquer problemas que possam surgir durante o processo de migração.

  8. Depois de validar seus aplicativos em um ambiente de preparo, implante os aplicativos atualizados em seu ambiente de produção. Monitore o desempenho e a estabilidade de seus aplicativos após a migração para identificar quaisquer problemas que precisem ser resolvidos.

  9. Atualize a documentação interna e os materiais de treinamento para refletir as alterações introduzidas no Fabric Runtime 1.1. Verifique se os membros da equipe estão familiarizados com os novos recursos e melhorias para maximizar os benefícios da migração.

Conteúdo relacionado