Share via

Kørsel 1.1

  • Artikel

Microsoft Fabric Runtime er en Azure-integreret platform, der er baseret på Apache Spark, og som muliggør udførelse og administration af Dataudvikler- og datavidenskabsoplevelser i Fabric. Dette dokument dækker Fabric Runtime 1.1-komponenter og -versioner.

Microsoft Fabric Runtime 1.1 er en af de kørselstider, der tilbydes på Microsoft Fabric-platformen. De overordnede runtime 1.1-komponenter er:

  • Apache Spark 3.3
  • Operativsystem: Ubuntu 18.04
  • Java: 1.8.0_282
  • Scala: 2.12.15
  • Python: 3.10
  • Delta Lake: 2.2
  • R: 4.2.2

Microsoft Fabric Runtime 1.1 leveres med en samling pakker på standardniveau, herunder en komplet Anaconda-installation og almindeligt anvendte biblioteker til Java/Scala, Python og R. Disse biblioteker medtages automatisk, når du bruger notesbøger eller job på Microsoft Fabric-platformen. Du kan finde en komplet liste over biblioteker i dokumentationen.

Microsoft Fabric udgiver jævnligt vedligeholdelsesopdateringer til Runtime 1.1 og leverer fejlrettelser, forbedringer af ydeevnen og sikkerhedsrettelser. Sikring af, at du holder dig ajour med disse opdateringer garanterer optimal ydeevne og pålidelighed for dine databehandlingsopgaver. Hvis du i øjeblikket bruger Runtime 1.1, kan du opgradere til Runtime 1.2 ved at navigere til Workspace Indstillinger > Dataudvikler ing/Science > Spark Indstillinger.

Skærmbillede, der viser, hvor du kan vælge kørselsversion.

Nye funktioner og forbedringer – Apache Spark 3.3.1

I følgende udvidede oversigt beskrives vigtige nye funktioner, der er relateret til Apache Spark version 3.3.0 og 3.3.1:

  • Filtrering på rækkeniveau: Gør ydeevnen for joinforbindelser bedre ved at forfiltrere den ene side, så længe der ikke er nogen udfasning eller regression, der påvirker brugen af et Bloom-filter og et IN-prædikat, der er genereret ud fra værdierne fra den anden side af joinforbindelsen. (SPARK-32268)

  • Gør Spark mere kompatibel med forbedringer af SQL standard:ANSI. (SPARK-38860)

  • Forbedringer af fejlmeddelelser for at identificere problemer hurtigere og udføre de nødvendige trin for at løse dem. (SPARK-38781)

  • Understøtter komplekse typer for parquetvektoriseret læser. Tidligere understøtter parquetvektoriseret læser ikke indlejrede kolonnetyper som struktur, matrix og kort. Apache Spark 3.3 indeholder en implementering af indlejret spaltevektoriseret læser til FB-ORC i vores interne kopi af Spark. Det påvirker forbedringer af ydeevnen sammenlignet med en ikke-læser, når indlejrede kolonner læses. Desuden kan denne implementering hjælpe med at forbedre ydeevnen for ikke-indlejrede kolonner, når du læser ikke-indlejrede og indlejrede kolonner sammen i én forespørgsel. (SPARK-34863)

  • Giver brugerne mulighed for at forespørge på metadataene for inputfilerne for alle filformater, vise dem som indbyggede skjulte kolonner, hvilket betyder, at brugerne kun kan se dem, når de eksplicit refererer til dem. (f.eks. filsti og filnavn) (SPARK-37273)

  • Angiv en profiler til Python/Pandas UDF'er. (SPARK-37443)

  • Tidligere kørte vi streamingforespørgsler med Udløser, som indlæser alle de tilgængelige data i et enkelt batch. Derfor var mængden af data, som forespørgslerne kunne behandle, begrænset, eller Spark-driveren ville ikke have mere hukommelse. Nu bruger vi Trigger.AvailableNow til at køre streamingforespørgsler som Udløser én gang i flere batches. (SPARK-36533)

  • Mere omfattende DS V2-push-down-funktioner. (SPARK-38788)

  • Executor Rolling i Kubernetes-miljøet . (SPARK-37810)

  • Understøttelse af brugerdefinerede Kubernetes-tidsplaner . ( SPARK-36057)

  • Migrering fra log4j 1 til log4j 2 (SPARK-37814) for at få fordel af:

    • Ydeevne: Log4j 2 er hurtigere end Log4j 1. Log4j 2 bruger asynkron logføring som standard, hvilket kan forbedre ydeevnen betydeligt.

    • Fleksibilitet: Log4j 2 giver større fleksibilitet med hensyn til konfiguration. Den understøtter flere konfigurationsformater, herunder XML, JSON og YAML.

    • Udvidelse: Log4j 2 er designet til at kunne udvides. Det giver udviklere mulighed for at oprette brugerdefinerede plug-ins og tilføjelsesprogrammer for at udvide funktionaliteten i logføringsstrukturen.

    • Sikkerhed: Log4j 2 indeholder bedre sikkerhedsfunktioner end Log4j 1. Den understøtter kryptering og secure socket-lag til sikker kommunikation mellem programmer.

    • Enkelthed: Log4j 2 er enklere at bruge end Log4j 1. Den har en mere intuitiv API og en enklere konfigurationsproces.

  • Præsenter shuffle på SinglePartition for at forbedre parallelitet og rette regression af ydeevnen for joinforbindelser i Spark 3.3 vs Spark 3.2. (SPARK-40703)

  • Optimer TransposeWindow-reglen for at udvide relevante sager og optimere tidskompleksiteten. (SPARK-38034)

  • Hvis du vil have en paritet i at udføre TimeTravel via SQL- og Dataframe-indstillingen, skal du understøtte tidsstempel i sekunder for TimeTravel ved hjælp af datarammeindstillinger. (SPARK-39633])

  • Optimer global sortering til RepartitionByExpression for at gemme en lokal sortering. (SPARK-39911)

  • Kontrollér, at outputpartitioneringen er angivet af brugeren i AQE. (SPARK-39915)

  • Opdater parquet V2-kolonnekontrol for indlejrede felter. (SPARK-39951)

  • Læser i en parquetfil, der er partitioneret på disken af en kolonne af typen 'Byte'. (SPARK-40212)

  • Ret beskæring af kolonner i CSV, når _corrupt_record er valgt. (SPARK-40468)

Nye funktioner og forbedringer – Delta Lake 2.2

De vigtigste funktioner i denne version er som følger:

  • LIMIT pushdown til Delta-scanning. Gør ydeevnen af forespørgsler, der indeholder LIMIT delsætninger, bedre ved at skubbe LIMIT ind i Delta-scanningen under planlægning af forespørgsler. Delta-scanning bruger LIMIT rækkeantallet på filniveau til at reducere antallet af scannede filer, hvilket hjælper forespørgslerne med at læse langt færre filer og kan gøre LIMIT forespørgsler hurtigere med 10-100 x afhængigt af tabelstørrelsen.

  • Samlet pushdown i Delta-scanning for SELECT COUNT(*). Sammenlægningsforespørgsler, f.eks SELECT COUNT(*) . på Delta-tabeller, opfyldes ved hjælp af rækkeantal på filniveau i Delta-tabelmetadata i stedet for at tælle rækker i de underliggende datafiler. Dette reducerer forespørgselstiden markant, da forespørgslen blot skal læse tabelmetadata og kan gøre det hurtigere at tælle forespørgsler med hele tabellen med 10-100x.

  • Understøttelse af indsamling af statistikker på filniveau som en del af kommandoen KONVERTÉR til DELTA. Disse statistikker kan muligvis hjælpe med at fremskynde forespørgsler i Delta-tabellen. Statistikken indsamles som standard nu som en del af kommandoen KONVERTÉR til DELTA. Hvis du vil deaktivere indsamling af statistikker, skal du angive NO STATISTICS en delsætning i kommandoen . Eksempel: CONVERT TO DELTA table_name NO STATISTICS.

  • Gør ydeevnen af kommandoen DELETE bedre ved at beskære de kolonner, der skal læses, når du søger efter filer, der skal omskrives.

  • Rettelse af en fejl i den DynamoDB-baserede S3-tilstandskonfiguration med flere klynger . Den tidligere version skrev et forkert tidsstempel, som blev brugt af DynamoDB's TTL-funktion til at rydde op i udløbne elementer. Denne tidsstempelværdi er blevet rettet, og tabelattributten omdøbes fra commitTime til expireTime. Hvis du allerede har TTL aktiveret, skal du følge migreringstrinnene for Delta Lake 1.2.1, 2.0.0 eller 2.1.0 til Delta Lake 2.0.1, 2.1.1 eller nyere.

  • Retnondeterministisk funktionsmåde under MERGE, når du arbejder med kilder, der er nondeterministiske.

  • Fjern begrænsningerne for brug af Delta-tabeller med kolonnetilknytning i visse Streaming + CDF-tilfælde. Tidligere brugte vi til at blokere Streaming+CDF, hvis deltatabellen har aktiveret kolonnetilknytning, selvom den ikke indeholder nogen RENAME- eller DROP-kolonner.

  • Gør overvågningen af Delta-tilstandskonstruktionsforespørgsler bedre (andre forespørgsler køres som en del af planlægningen) ved at gøre dem synlige i Spark-brugergrænsefladen.

  • Understøttelse af flere where() kald i Optimer scala/python-API.

  • Understøttelse af overførsel af Hadoop-konfigurationer via DeltaTable API.

  • Understøtter partitionskolonnenavne, der starter med . eller _ i KOMMANDOEN KONVERTÉR TIL DELTA.

  • Forbedringer af målepunkter i tabeloversigten:

  • Rettelse af utilsigtet nedgradering af protokollen med kommandoen RESTORE . Indtil nu kan RESTORE TABLE nedgradere protokolversionen af tabellen, hvilket kan have resulteret i uoverensstemmende læsninger i forbindelse med tidsrejser. Med denne rettelse nedgraderes protokolversionen aldrig fra den aktuelle.

  • Ret en fejl, MERGE INTO når der er flere UPDATE delsætninger, og en af UPDATEs er med en skemaudvikling.

  • Ret en fejl, hvor der nogle gange ikke findes et aktivt SparkSession objekt, når delta-API'er bruges.

  • Løs et problem, hvor partitionsskemaet ikke kunne angives under den indledende bekræftelse.

  • Fange undtagelser, når skrivning af last_checkpoint fil mislykkes.

  • Løs et problem, når du genstarter en streamingforespørgsel med AvailableNow udløseren i en Delta-tabel.

  • Løs et problem med CDF og streaming, hvor forskydningen ikke opdateres korrekt, når der ikke er nogen dataændringer.

Kontrollér kildebemærkningerne og de komplette produktbemærkninger på GitHub på delta-io/delta.

Pakker på standardniveau til Java/Scala

I følgende tabel vises alle pakker på standardniveau for Java/Scala og deres respektive versioner.

GroupId ArtifactId Version
com.aliyun aliyun-java-sdk-core 4.5.10
com.aliyun aliyun-java-sdk-kms 2.11.0
com.aliyun aliyun-java-sdk-ram 3.1.0
com.aliyun aliyun-sdk-oss 3.13.0
com.amazonaws aws-java-sdk-bundle 1.11.1026
com.chuusai shapeless_2.12 2.3.7
com.esotericsoftware kryo-skyggelagt 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml.jackson jackson-annotations-2.13.4.jar
com.fasterxml.jackson jackson-core 2.13.4
com.fasterxml.jackson jackson-core-asl 1.9.13
com.fasterxml.jackson jackson-databind 2.13.4.1
com.fasterxml.jackson jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson jackson-mapper-asl 1.9.13
com.fasterxml.jackson jackson-module-scala_2.12 2.13.4
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 14.0.1
com.google.protobuf protobuf-java 2.5.0
com.googlecode.json-enkel json-simple 1.1.1
com.jcraft jsch 0.1.54
com.jolbox bonecp 0.8.0.RELEASE
com.linkedin.isolation-forest isolation-forest_3.2.0_2.12 2.0.8
com.ning compress-lzf 1.1
com.qcloud cos_api-bundt 5.6.19
com.sun.istack istack-commons-runtime 3.0.8
com.tdunning json 18
com.thoughtworks.paranamer paranamer 2.8
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.typesafe Config 1.3.4
com.zaxxer HikariCP 2.5.1
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1,4
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logføring commons-logføring 1.1.3
commons-pool commons-pool 1.5.4.jar
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
io.airlift aircompressor 0.21
io.dropwizard.metrics metrics-core 4.2.7
io.dropwizard.metrics metrics-graphite 4.2.7
io.dropwizard.metrics metrics-jmx 4.2.7
io.dropwizard.metrics metrics-json 4.2.7
io.dropwizard.metrics metrics-jvm 4.2.7
io.netty netty-all 4.1.74.Endelig udg.
io.netty netty-buffer 4.1.74.Endelig udg.
io.netty netty-codec 4.1.74.Endelig udg.
io.netty netty-common 4.1.74.Endelig udg.
io.netty netty-handler 4.1.74.Endelig udg.
io.netty netty-resolver 4.1.74.Endelig udg.
io.netty netty-tcnative-klasser 2.0.48.Endelig udg.
io.netty netty-transport 4.1.74.Endelig udg.
io.netty netty-transport-classes-epoll 4.1.74.Endelig udg.
io.netty netty-transport-classes-kqueue 4.1.74.Endelig udg.
io.netty netty-transport-native-epoll 4.1.74.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.74.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.74.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.74.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.74.Endelig udg.
io.opentracing opentracing-api 0.33.0
io.opentracing opentracing-noop 0.33.0
io.opentracing opentracing-util 0.33.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.inject jakarta.inject 2.6.1
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
jakarta.xml.bind jakarta.xml.bind-api 2.3.2
javax.activation Aktivering 1.1.1
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-tid joda-tid 2.10.13
net.razorvine Lage 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.py4j py4j 0.10.9.5
net.sourceforge.f2j arpack_combined_all 0,1
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.apache.arrow pileformat 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pilevektor 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-pool2 2.11.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator kurator-framework 2.13.0
org.apache.curator kuratoropskrifter 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-aliyun 3.3.3.5.2-90111858
org.apache.hadoop hadoop-anmærkninger 3.3.3.5.2-90111858
org.apache.hadoop hadoop-aws 3.3.3.5.2-90111858
org.apache.hadoop hadoop-azure 3.3.3.5.2-90111858
org.apache.hadoop hadoop-azure-datalake 3.3.3.5.2-90111858
org.apache.hadoop hadoop-client-api 3.3.3.5.2-90111858
org.apache.hadoop hadoop-client-runtime 3.3.3.5.2-90111858
org.apache.hadoop hadoop-cloudlager 3.3.3.5.2-90111858
org.apache.hadoop hadoop-cos 3.3.3.5.2-90111858
org.apache.hadoop hadoop-openstack 3.3.3.5.2-90111858
org.apache.hadoop hadoop-shaded-guava 1.1.1
org.apache.hadoop hadoop-yarn-server-web-proxy 3.3.3.5.2-90111858
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-common 2.3.9
org.apache.hive hive-exec 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-metastore 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-service-rpc 3.1.2
org.apache.hive hive-shims-0.23 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-shims-common 2.3.9
org.apache.hive hive-shims-scheduler 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.httpcomponents httpmime 4.5.13
org.apache.httpcomponents.client5 httpclient5 5.1.3
org.apache.ivy Ivy 2.5.1
org.apache.kafka kafka-klienter 2.8.1
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3
org.apache.parquet parquet-common 1.12.3
org.apache.parquet parquetkodning 1.12.3
org.apache.parquet parquet-format-structures 1.12.3
org.apache.parquet parquet-hadoop 1.12.3
org.apache.parquet parket-jackson 1.12.3
org.apache.qpid proton-j 0.33.8
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.yetus målgruppeanmærkninger 0.5.0
org.apiguardian apiguardian-api 1.1.0
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.codehaus.jettison Udtømme 1.1
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleusjavax.jdo 3.2.0-m3
org.eclipse.jdt kerne 1.1.2
org.eclipse.jetty molen-util 9.4.48.v20220622
org.eclipse.jetty mol-util-ajax 9.4.48.v20220622
org.fusesource.leveldbjni leveldbjni-all 18
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-ompakket 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.javatuples javatuples 1.2
org.jdom jdom2 2.0.6
org.jetbrains Anmærkninger 17.0.0
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.junit.jupiter junit-jupiter 5.5.2
org.junit.jupiter junit-jupiter-api 5.5.2
org.junit.jupiter junit-jupiter-engine 5.5.2
org.junit.jupiter enebær-jupiter-params 5.5.2
org.junit.platform junit-platform-commons 1.5.2
org.junit.platform junit-platform-engine 1.5.2
org.lz4 lz4-java 1.8.0
org.objenesis objenesis 3,2
org.openpnp opencv 3.2.0-1
org.opentest4j opentest4j 1.2.0
org.postgresql postgresql 42.2.9
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Shims 0.9.25
org.rocksdb rocksdbjni 6.20.3
org.scala-lang scala-compiler 2.12.15
org.scala-lang scala-library 2.12.15
org.scala-lang scala-reflektor 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scalactic scalactic_2.12 3.2.14
org.scalanlp brise-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.slf4j jcl-over-slf4j 1.7.32
org.slf4j jul-to-slf4j 1.7.32
org.slf4j slf4j-api 1.7.32
org.typelevel algebra_2.12 2.0.1
org.typelevel katte-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.xerial.snappy snappy-java 1.1.8.4
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5

Pakker på standardniveau til Python

I følgende tabel vises alle pakker på standardniveau for Python og deres respektive versioner.

Bibliotek Version Bibliotek Version Bibliotek Version
_libgcc_mutex 0,1 ipykernel 6.22.0 pickleshare 0.7.5
_openmp_mutex 4.5 ipython 8.9.0 Pude 9.4.0
_py-xgboost-mutex 2.0 ipywidgets 8.0.4 Pip 23.0.1
absl-py 1.4.0 isodate 0.6.1 pixman 0.40.0
adal 1.2.7 itsdangerous 2.1.2 pkginfo 1.9.6
adlfs 2023.1.0 Jack 1.9.22 pkgutil-resolve-name 1.3.10
aiohttp 3.8.4 Jedi 0.18.2 platformdirs 3.2.0
aiosignal 1.3.1 Jeepney 0.8.0 plotly 5.13.0
alsa-lib 1.2.8 jinja2 3.1.2 Lags 3.11
anyio 3.6.2 jmespath 1.0.1 Pooch 1.7.0
argcomplete 2.1.2 joblib 1.2.0 portalocker 2.7.0
argon2-cffi 21.3.0 jpeg 9e Pox 0.3.2
argon2-cffi-bindinger 21.2.0 jsonpickle 2.2.0 ppft 1.7.6.6
pil-cpp 11.0.0 jsonschema 4.17.3 smuktable 3.6.0
asttokens 2.2.1 jupyter_client 8.1.0 prometheus_client 0.16.0
astunparse 1.6.3 jupyter_core 5.3.0 prompt-toolkit 3.0.38
asynkron timeout 4.0.2 jupyter_events 0.6.3 protobuf 4.21.12
atk-1,0 2.38.0 jupyter_server 2.2.1 psutil 5.9.4
attr 2.5.1 jupyter_server_terminals 0.4.4 pthread-stubs 0.4
attrs 22.2.0 jupyterlab_pygments 0.2.2 ptyproces 0.7.0
aws-c-auth 0.6.24 jupyterlab_widgets 3.0.7 Pulseaudio 16.1
aws-c-cal 0.5.20 keras 2.11.0 pulseaudio-klient 16.1
aws-c-common 0.8.11 keras-forbehandling 1.1.2 pulseaudio-daemon 16.1
aws-c-compression 0.2.16 keyutils 1.6.1 pure_eval 0.2.2
aws-c-event-stream 0.2.18 kiwisolver 1.4.4 py-xgboost 1.7.1
aws-c-http 0.7.4 Evne 0.10.1 py4j 0.10.9.5
aws-c-io 0.13.17 krb5 1.20.1 pyarrow 11.0.0
aws-c-mqtt 0.8.6 Halt 3.100 pyasn1 0.4.8
aws-c-s3 0.2.4 lcms2 2.15 pyasn1-moduler 0.2.7
aws-c-sdkutils 0.1.7 ld_impl_linux-64 2.40 pycosat 0.6.4
aws-kontrolsum 0.1.14 lerc 4.0.0 pycparser 2.21
aws-crt-cpp 0.19.7 liac-arff 2.5.0 pygments 2.14.0
aws-sdk-cpp 1.10.57 libabseil 20220623.0 pyjwt 2.6.0
azure-common 1.1.28 libaec 1.0.6 pynacl 1.5.0
azure-core 1.26.4 libarrow 11.0.0 pyodbc 4.0.35
azure-datalake-store 0.0.51 libblas 3.9.0 pyopenssl 23.1.1
azure-graphrbac 0.61.1 libbrotlicommon 1.0.9 pyparsing 3.0.9
azure-identitet 1.12.0 libbrotlidec 1.0.9 pyperclip 1.8.2
azure-mgmt-authorization 3.0.0 libbrotlienc 1.0.9 pyqt 5.15.7
azure-mgmt-containerregistry 10.1.0 libcap 2.67 pyqt5-sip 12.11.0
azure-mgmt-core 1.4.0 libcblas 3.9.0 pyrsistent 0.19.3
azure-mgmt-keyvault 10.2.1 libclang 15.0.7 pysocks 1.7.1
azure-mgmt-resource 21.2.1 libclang13 15.0.7 pyspark 3.3.1
azure-mgmt-storage 20.1.0 libcrc32c 1.1.2 python 3.10.10
azure-storage-blob 12.15.0 libcups 2.3.3 python_abi 3,10
azure-storage-file-datalake 12.9.1 libcurl 7.88.1 python-dateutil 2.8.2
azureml-core 1.49.0 libdb 6.2.32 python-fastjsonschema 2.16.3
backcall 0.2.0 libdeflate 1.17 python-flatbuffers 23.1.21
Backports 1.0 libebm 0.3.1 python-graphviz 0.20.1
backports-tempfile 1.0 libedit 3.1.20191231 python-json-logger 2.0.7
backports-weakref 1.0.post1 libev 4.33 pytorch 1.13.1
backports.functools_lru_cache 1.6.4 libevent 2.1.10 pytz 2022.7.1
bcrypt 3.2.2 libexpat 2.5.0 pyu2f 0.1.5
beautifulsoup4 4.11.2 libffi 3.4.2 pywin32-on-windows 0.1.0
Blegemiddel 6.0.0 libflac 1.4.2 pyyaml 6,0
blinker 1.6.1 libgcc-ng 12.2.0 pyzmq 25.0.2
brotli 1.0.9 libgcrypt 1.10.1 qt-main 5.15.8
brotli-bin 1.0.9 libgd 2.3.3 re2 2023.02.01
brotli-python 1.0.9 libgfortran-ng 12.2.0 Readline 8.2
brotlipy 0.7.0 libgfortran5 12.2.0 Regex 2022.10.31
bzip2 1.0.8 libglib 2.74.1 Anmodninger 2.28.2
c-ares 1.18.1 libgoogle-cloud 2.7.0 requests-oauthlib 1.3.1
ca-certifikater 2022.12.7 libgpg-error 1.46 rfc3339-validator 0.1.4
cached_property 1.5.2 libgrpc 1.51.1 rfc3986-validator 0.1.1
cachelagret egenskab 1.5.2 libhwloc 2.9.0 Rsa 4,9
cachetools 5.3.0 libiconv 1.17 ruamel_yaml 0.15.80
Kairo 1.16.0 liblapack 3.9.0 ruamel.yaml 0.17.21
Certifi 2022.12.7 libllvm11 11.1.0 ruamel.yaml.clib 0.2.7
cffi 1.15.1 libllvm15 15.0.7 s2n 1.3.37
charset-normalizer 2.1.1 libnghttp2 1.52.0 salib 1.4.7
Klik 8.1.3 libnsl 2.0.0 scikit-learn 1.2.0
cloudpickle 2.2.1 libogg 1.3.4 scipy 1.10.1
colorama 0.4.6 libopenblas 0.3.21 søfødt 0.12.2
Comm 0.1.3 libopus 1.3.1 søfødt base 0.12.2
conda-package-handling 2.0.2 libpng 1.6.39 secretstorage 3.3.3
conda-package-streaming 0.7.0 libpq 15.2 send2trash 1.8.0
configparser 5.3.0 libprotobuf 3.21.12 Setuptools 67.6.1
contextlib2 21.6.0 librsvg 2.54.4 Shap 0.41.0
contourpy 1.0.7 libsndfile 1.2.0 Sip 6.7.7
Kryptografi 40.0.1 libsodium 1.0.18 Seks 1.16.0
Cycler 0.11.0 libsqlite 3.40.0 sleef 3.5.1
Dash 2.9.2 libssh2 1.10.0 Udsnitsfilter 0.0.7
dash_cytoscape 0.2.0 libstdcxx-ng 12.2.0 smmap 3.0.5
dash-core-components 2.0.0 libsystemd0 253 Bidsk 1.1.10
dash-html-components 2.0.0 libthrift 0.18.0 sniffio 1.3.0
tankestreg-tabel 5.0.0 libtiff 4.5.0 soupsieve 2.3.2.post1
databricks-cli 0.17.6 libtool 2.4.7 sqlalchemy 2.0.9
Dbus 1.13.6 libudev1 253 sqlparse 0.4.3
debugpy 1.6.7 libutf8proc 2.8.0 stack_data 0.6.2
Dekoratør 5.1.1 libuuid 2.38.1 statsmodels 0.13.5
defusedxml 0.7.1 libuv 1.44.2 synapseml-mlflow 1.0.14
Dild 0.3.6 libvorbis 1.3.7 synapseml-utils 1.0.7
distlib 0.3.6 libwebp 1.2.4 tabulate 0.9.0
docker-py 6.0.0 libwebp-base 1.2.4 Tbb 2021.8.0
indgangspunkter 0.4 Libxcb 1.13 Vedholdenhed 8.2.2
et_xmlfile 1.1.0 libxgboost 1.7.1 tensorboard 2.11.2
Udfører 1.2.0 libxkbcommon 1.5.0 tensorboard-data-server 0.6.1
Expat 2.5.0 libxml2 2.10.3 tensorboard-plugin-wit 1.8.1
fftw 3.3.10 libxslt 1.1.37 tensorflow 2.11.0
fillås 3.11.0 libzlib 1.2.13 tensorflow-base 2.11.0
Kolbe 2.2.3 lightgbm 3.3.3 tensorflow-estimator 2.11.0
kolbekomprimer 1.13 Kalk 0.2.0.1 termcolor 2.2.0
flatbuffers 22.12.06 llvm-openmp 16.0.1 terminado 0.17.1
flit-core 3.8.0 llvmlite 0.39.1 threadpoolctl 3.1.0
flydende logføring 0.10.0 lxml 4.9.2 tinycss2 1.2.1
font-ttf-dejavu-sans-mono 2.37 lz4-c 1.9.4 Tk 8.6.12
font-ttf-inconsolata 3.000 markdown 3.4.1 toml 0.10.2
font-ttf-source-code-pro 2.038 markupsafe 2.1.2 Toolz 0.12.0
font-ttf-ubuntu 0.83 matplotlib 3.6.3 Tornado 6.2
fontconfig 2.14.2 matplotlib-base 3.6.3 tqdm 4.65.0
fonts-conda-ecosystem 0 matplotlib-inline 0.1.6 traitlets 5.9.0
fonts-conda-forge 0 mistune 2.0.5 træfortolkning 0.2.2
fonttools 4.39.3 mkl 2022.2.1 typed-ast 1.4.3
Freetype 2.12.1 mlflow-tynd 2.1.1 typing_extensions 4.5.0
fribidi 1.0.10 mpg123 1.31.3 indtastningsudvidelser 4.5.0
frosne lister 1.3.3 msal 1.21.0 tzdata 2023c
fsspec 2023.4.0 msal_extensions 1.0.0 unicodedata2 15.0.0
Gast 0.4.0 msgpack 1.0.5 unixodbc 2.3.10
gdk-pixbuf 2.42.10 msrest 0.7.1 urllib3 1.26.14
geografisklib 1.52 msrestazure 0.6.4 virtualenv 20.19.0
geopy 2.3.0 multidikt 6.0.4 wcwidth 0.2.6
Gettext 0.21.1 flere processer 0.70.14 webencodings 0.5.1
gevent 22.10.2 munkres 1.1.4 websocket-client 1.5.1
gflags 2.2.2 mypy 0.780 werkzeug 2.2.3
giflib 5.2.1 mypy-udvidelser 0.4.4 Hjul 0.40.0
gitdb 4.0.10 mysql-common 8.0.32 widgetsnbextension 4.0.7
gitpython 3.1.31 mysql-libs 8.0.32 wrapt 1.15.0
Glib 2.74.1 nbclient 0.7.3 xcb-util 0.4.0
glib-værktøjer 2.74.1 nbconvert-core 7.3.0 xcb-util-image 0.4.0
glog 0.6.0 nbformat 5.8.0 xcb-util-keysyms 0.4.0
google-auth 2.17.2 Ncurses 6.3 xcb-util-renderutil 0.3.9
google-auth-oauthlib 0.4.6 ndg-httpsclient 0.5.1 xcb-util-wm 0.4.1
google-pasta 0.2.0 nest-asyncio 1.5.6 xgboost 1.7.1
graphite2 1.3.13 nspr 4.35 xkeyboard-config 2.38
graphviz 2.50.0 Nss 3.89 xorg-kbproto 1.0.7
greenlet 2.0.2 numba 0.56.4 xorg-libice 1.0.10
grpcio 1.51.1 numpy 1.23.5 xorg-libsm 1.2.3
gson 0.0.3 oauthlib 3.2.2 xorg-libx11 1.8.4
gst-plugins-base 1.22.0 openjpeg 2.5.0 xorg-libxau 1.0.9
Gstreamer 1.22.0 openpyxl 3.1.0 xorg-libxdmcp 1.1.3
gstreamer-orc 0.4.33 Openssl 3.1.0 xorg-libxext 1.3.4
gtk2 2.24.33 opt_einsum 3.3.0 xorg-libxrender 0.9.10
Gts 0.7.6 Orc 1.8.2 xorg-renderproto 0.11.1
h5py 3.8.0 Emballage 21.3 xorg-xextproto 7.3.0
harfbuzz 6.0.0 Pandaer 1.5.3 xorg-xproto 7.0.31
hdf5 1.14.0 pandasql 0.7.3 Xz 5.2.6
html5lib 1.1 pandocfilters 1.5.0 Yaml 0.2.5
menneskevenligt 10,0 pango 1.50.14 Yarl 1.8.2
Icu 70.1 paramiko 2.12.0 Zeromq 4.3.4
idna 3.4 parquet-cpp 1.5.1 zipp 3.15.0
imageio 2.25.0 parso 0.8.3 Zlib 1.2.13
importlib_metadata 5.2.0 Patos 0.3.0 zope.event 4.6
importlib_resources 5.12.0 pathspec 0.11.1 zope.interface 6,0
importlib-metadata 5.2.0 Patsy 0.5.3 zstandard 0.19.0
Fortolke 0.3.1 pcre2 10.40 zstd 1.5.2
interpret-core 0.3.1 pexpect 4.8.0

Pakker på standardniveau for R

I følgende tabel vises alle pakker på standardniveau for R og deres respektive versioner.

Bibliotek Version Bibliotek Version Bibliotek Version
askpass 1.1 highcharter 0.9.4 læsefunktion 2.1.3
hævder, at 0.2.1 højere 0,9 readxl 1.4.1
Backports 1.4.1 Hms 1.1.2 opskrifter 1.0.3
base64enc 0.1-3 htmltools 0.5.3 Omkamp 1.0.1
Bit 4.0.5 htmlwidgets 1.5.4 rematch2 2.1.2
bit64 4.0.5 httpcode 0.3.0 Fjernbetjeninger 2.4.2
Blob 1.2.3 httpuv 1.6.6 reprex 2.0.2
Brygge 1.0-8 httr 1.4.4 omform2 1.4.4
Brio 1.1.3 Id'er 1.0.1 rjson 0.2.21
Kost 1.0.1 igraph 1.3.5 rlang 1.0.6
bslib 0.4.1 Udlede 1.0.3 rlist 0.4.6.2
cachem 1.0.6 Ini 0.3.1 rmarkdown 2.18
kalder 3.7.3 Ipred 0.9-13 RODBC 1.3-19
caret 6.0-93 isoband 0.2.6 roxygen2 7.2.2
cellranger 1.1.0 iteratorer 1.0.14 rprojroot 2.0.3
Cli 3.4.1 jquerylib 0.1.4 rsample 1.1.0
cliper 0.8.0 jsonlite 1.8.3 rstudioapi 0.14
Ur 0.6.1 strikker 1.41 rversioner 2.1.2
Farverum 2.0-3 Mærkning 0.4.2 rvest 1.0.3
fællesmærke 1.8.1 Senere 1.3.0 Sass 0.4.4
Config 0.3.1 Lava 1.7.0 Skalaer 1.2.1
Konflikt 1.1.0 lazyeval 0.2.2 vælger 0.4-2
Coro 1.0.3 Lhs 1.1.5 sessioninfo 1.2.2
cpp11 0.4.3 livscyklus 1.0.3 Skinnende 1.7.3
Oliekridt 1.5.2 lightgbm 3.3.3 Skyderen 0.3.0
Legitimationsoplysninger 1.3.2 lyttev 0.8.0 sourcetools 0.1.7
Krydstale 1.2.0 lobstr 1.1.2 sparklyr 1.7.8
crul 1.3 smøremiddel 1.9.0 KVADRATM 2021.1
Krøller 4.3.3 magrittr 2.0.3 stringi 1.7.8
data.table 1.14.6 Kort 3.4.1 stringr 1.4.1
DBI 1.1.3 memoise 2.0.1 Sys 3.4.1
dbplyr 2.2.1 Mime 0.12 systemfonts 1.0.4
Desc 1.4.2 miniUI 0.1.1.1 tester, at 3.1.5
devtools 2.4.5 modeldata 1.0.1 tekstdeling 0.3.6
Ringer 1.1.0 modelenv 0.1.0 tibble 3.1.8
DiceDesign 1,9 Modelmetriske data 1.2.2.2 tidymodels 1.0.0
diffobj 0.3.5 modelr 0.1.10 tidyr 1.2.1
Fordøje 0.6.30 munsell 0.5.0 tidyselect 1.2.0
nedlys 0.4.2 numDeriv 2016.8-1.1 tidyverse 1.3.2
dplyr 1.0.10 Openssl 2.0.4 timechange 0.1.1
dtplyr 1.2.2 parallelt 1.32.1 timeDate 4021.106
e1071 1.7-12 Pastinak 1.0.3 tinytex 0.42
ellipse 0.3.2 Patchwork 1.1.2 Fakkel 0.9.0
evaluer 0.18 Søjle 1.8.1 triebeard 0.3.0
fansi 1.0.3 pkgbuild 1.4.0 TTR 0.24.3
farver 2.1.1 pkgconfig 2.0.3 Tune 1.0.1
fastmap 1.1.0 pkgdown 2.0.6 tzdb 0.3.0
fontawesome 0.4.0 pkgload 1.3.2 urlchecker 1.0.1
forcats 0.5.2 plotly 4.10.1 urltools 1.7.3
for hver 1.5.2 plyr 1.8.8 brug dette 2.1.6
Forge 0.2.0 Ros 1.0.0 utf8 1.2.2
Fs 1.5.2 prettyunits 1.1.1 Uuid 1.1-0
furrrr 0.3.1 Proc 1.18.0 vctrs 0.5.1
Fremtiden 1.29.0 processx 3.8.0 viridisLite 0.4.1
future.apply 1.10.0 prodlim 2019.11.13 vroom 1.6.0
Gurgle 1.2.1 profvis 0.3.7 Waldo 0.4.0
Generiske 0.1.3 Status 1.2.2 Warp 0.2.0
Gert 1.9.1 progressr 0.11.0 Bakkenbart 0.4
ggplot2 3.4.0 Løfter 1.2.0.1 withr 2.5.0
Gh 1.3.1 Proxy 0.4-27 Arbejdsprocesser 1.1.2
gistr 0.9.0 pryr 0.1.5 arbejdsprocessæt 1.0.0
gitcreds 0.1.2 Ps 1.7.2 xfun 0.35
Globals 0.16.2 purrr 0.3.5 xgboost 1.6.0.1
Lim 1.6.2 quantmod 0.4.20 XML 3.99-0.12
googledrive 2.0.0 r2d3 0.2.6 xml2 1.3.3
googlesheets4 1.0.1 R6 2.5.1 xopen 1.0.0
Gower 1.0.0 ragg 1.2.4 xtable 1.8-4
GPfit 1.0-8 rappdirs 0.3.3 Xts 0.12.2
gtable 0.3.1 rbokeh 0.5.2 Yaml 2.3.6
hardhat 1.2.0 rcmdcheck 1.4.0 Målestok 1.1.0
haven 2.5.1 RColorBrewer 1.1-3 Zip 2.2.2
hexbin 1.28.2 Rcpp 1.0.9 Zoo 1.8-11

Migrering mellem forskellige Apache Spark-versioner

Overførsel af dine arbejdsbelastninger til Fabric Runtime 1.1 (Apache Spark 3.3) fra en ældre version af Apache Spark omfatter en række trin for at sikre en problemfri migrering. I denne vejledning beskrives de nødvendige trin, der kan hjælpe dig med at migrere effektivt.

  1. Gennemse produktbemærkningerne til Fabric Runtime 1.1, herunder kontrol af komponenter og pakker på standardniveau, der er inkluderet i kørslen, for at forstå de nye funktioner og forbedringer.

  2. Kontrollér kompatibiliteten af din aktuelle konfiguration og alle relaterede biblioteker, herunder afhængigheder og integrationer. Gennemse migreringsvejledningerne for at identificere potentielle afbrydelsesændringer:

    • Gennemse Spark Core-migreringsvejledningen.
    • Gennemse migreringsvejledningen til SQL, Datasæt og DataFrame.
    • Hvis din løsning er relateret til Apache Spark Structure Streaming, skal du gennemse vejledningen til migrering af struktureret streaming.
    • Hvis du bruger PySpark, skal du gennemse Migreringsvejledningen til Pyspark.
    • Hvis du migrerer kode fra Koalas til PySpark, skal du gennemse vejledningen Koalas til pandas API on Spark migration.

  3. Flyt dine arbejdsbelastninger til Fabric, og sørg for, at du har sikkerhedskopier af dine data- og konfigurationsfiler, hvis du skal vende tilbage til den tidligere version.

  4. Opdater eventuelle afhængigheder, som den nye version af Apache Spark eller andre Fabric Runtime 1.1-relaterede komponenter kan påvirke, herunder tredjepartsbiblioteker eller connectors. Sørg for at teste de opdaterede afhængigheder i et midlertidigt miljø, før du udruller til produktion.

  5. Opdater Apache Spark-konfigurationen på din arbejdsbelastning, herunder opdatering af konfigurationsindstillinger, justering af hukommelsesallokeringer og ændring af eventuelle frarådede konfigurationer.

  6. Rediger dine Apache Spark-programmer (notesbøger og Apache Spark-jobdefinitioner) for at bruge de nye API'er og funktioner, der introduceres i Fabric Runtime 1.1 og Apache Spark 3.3. Du skal muligvis opdatere din kode for at imødekomme alle udfasede eller fjernede API'er og omstrukturere dine programmer for at drage fordel af forbedringer af ydeevnen og nye funktioner.

  7. Test dine opdaterede programmer grundigt i et midlertidigt miljø for at sikre kompatibilitet og stabilitet med Apache Spark 3.3. Udfør test af ydeevne, funktionstest og regressionstest for at identificere og løse eventuelle problemer, der kan opstå under migreringsprocessen.

  8. Når du har valideret dine programmer i et midlertidigt miljø, skal du udrulle de opdaterede programmer i dit produktionsmiljø. Overvåg ydeevnen og stabiliteten af dine programmer efter migreringen for at identificere eventuelle problemer, der skal løses.

  9. Opdater din interne dokumentation og undervisningsmateriale, så de afspejler de ændringer, der er introduceret i Fabric Runtime 1.1. Sørg for, at dine teammedlemmer kender de nye funktioner og forbedringer for at maksimere fordelene ved migreringen.

Relateret indhold