Apache Spark Runtime i Fabric
Microsoft Fabric Runtime er en Azure-integreret platform, der er baseret på Apache Spark, og som muliggør udførelse og administration af datatekniker- og datavidenskabsoplevelser. Den kombinerer nøglekomponenter fra både interne kilder og datakilder med åben kildekode, hvilket giver kunderne en omfattende løsning. For nemheds skyld henviser vi til Microsoft Fabric Runtime drevet af Apache Spark som Fabric Runtime.
Vigtigt
Microsoft Fabric fås som prøveversion.
Hovedkomponenter i Fabric Runtime:
Apache Spark – et effektivt bibliotek til distribueret databehandling med åben kildekode, der muliggør databehandling og analyseopgaver i stor skala. Apache Spark leverer en alsidig platform med høj ydeevne til datatekniker- og datavidenskabsoplevelser.
Delta Lake – et lagerlag med åben kildekode, der giver Apache Spark adgang til ACID-transaktioner og andre datapålidelighedsfunktioner. Delta Lake er integreret i Microsoft Fabric Runtime og forbedrer databehandlingsfunktionerne og sikrer ensartede data på tværs af flere samtidige handlinger.
Pakker på standardniveau til Java/Scala, Python og R for at understøtte forskellige programmeringssprog og miljøer. Disse pakker installeres og konfigureres automatisk, så udviklere kan anvende deres foretrukne programmeringssprog til databehandlingsopgaver.
Microsoft Fabric Runtime er bygget på et robust operativsystem med åben kildekode (Ubuntu), der sikrer kompatibilitet med forskellige hardwarekonfigurationer og systemkrav.
Kørsel 1.1
Microsoft Fabric Runtime 1.1 er standard og er i øjeblikket den eneste kørselstid, der tilbydes på Microsoft Fabric-platformen. De overordnede runtime 1.1-komponenter er:
- Operativsystem: Ubuntu 18.04
- Java: 1.8.0_282
- Scala: 2.12.15
- Python: 3.10
- Deltasøen: 2.2
- R: 4.2.2
Microsoft Fabric Runtime 1.1 leveres med en samling af standardpakker på standardniveau, herunder en komplet Anaconda-installation og almindeligt anvendte biblioteker til Java/Scala, Python og R. Disse biblioteker inkluderes automatisk, når du bruger notesbøger eller job på Microsoft Fabric-platformen. Se dokumentationen for at få en komplet liste over biblioteker.
Microsoft Fabric udruller jævnligt vedligeholdelsesopdateringer til Runtime 1.1 med fejlrettelser, forbedringer af ydeevnen og sikkerhedsrettelser. Hvis du holder dig opdateret, sikrer du optimal ydeevne og pålidelighed i forbindelse med dine databehandlingsopgaver.
Nye funktioner og forbedringer
Apache Spark 3.3.1
Følgende er en udvidet oversigt over vigtige nye funktioner, der er relateret til Apache Spark version 3.3.0 og 3.3.1:
Filtrering på rækkeniveau: Gør ydeevnen for joinforbindelser bedre ved at forfiltrere den ene side, så længe der ikke er nogen forældelses- eller regressionseffekter.oin ved hjælp af et Bloom-filter og prædikatet IN, der er genereret ud fra værdierne fra den anden side af joinforbindelsen (SPARK-32268)
Gør Spark mere kompatibel med SQL standard:ANSI-forbedringer (SPARK-38860)
Forbedringer af fejlmeddelelser for at identificere problemer hurtigere og udføre de nødvendige trin for at løse det (SPARK-38781)
Understøtter komplekse typer for parquetvektoriseret læser. Tidligere har parquetvektoriseret læser ikke understøttet indlejret kolonnetype (struktur, matrix og kort). Apache Spark 3.3 indeholder en implementering af indlejret kolonnevektoriseret læser til FB-ORC i vores interne kopi af Spark. Det påvirker forbedringen af ydeevnen sammenlignet med ikke-læseren ved læsning af indlejrede kolonner. Desuden kan denne implementering også hjælpe med at forbedre ydeevnen for ikke-indlejrede kolonner ved læsning af ikke-indlejrede og indlejrede kolonner i én forespørgsel (SPARK-34863)
Giver brugerne mulighed for at forespørge på metadataene for inputfilerne for alle filformater og vise dem som indbyggede skjulte kolonner , hvilket betyder, at brugerne kun kan se dem, når de eksplicit refererer til dem (f.eks. filsti og filnavn) (SPARK-37273)
Angiv en profiler til Python/Pandas UDFs (SPARK-37443)
Tidligere streamingforespørgsler med Udløser, som indlæste alle de tilgængelige data i et enkelt batch. Derfor var mængden af data, som forespørgslerne kunne behandle, begrænset, eller Spark-driveren ville ikke have mere hukommelse. Nu introducerer vi Trigger.AvailableNow til kørsel af streamingforespørgsler som Trigger én gang i flere batches (SPARK-36533)
Mere omfattende DS V2-push-down-funktioner (SPARK-38788)
Executor Rolling i Kubernetes-miljøet (SPARK-37810)
Understøttelse af brugerdefinerede Kubernetes-tidsplaner ( SPARK-36057)
Migrering fra log4j 1 til log4j 2 (SPARK-37814) for at vinde i:
Ydeevne: Log4j 2 er hurtigere end Log4j 1. Log4j 2 bruger asynkron logføring som standard, hvilket kan forbedre ydeevnen markant.
Fleksibilitet: Log4j 2 giver større fleksibilitet med hensyn til konfiguration. Den understøtter flere konfigurationsformater, herunder XML, JSON og YAML.
Udvidelse: Log4j 2 er designet til at kunne udvides. Det giver udviklere mulighed for at oprette brugerdefinerede plug-ins og tilføjelsesprogrammer for at udvide funktionaliteten i logføringsstrukturen.
Sikkerhed: Log4j 2 indeholder bedre sikkerhedsfunktioner end Log4j 1. Den understøtter kryptering og secure socket-lag til sikker kommunikation mellem programmer.
Enkelhed: Log4j 2 er nemmere at bruge end Log4j 1. Den har en mere intuitiv API og en enklere konfigurationsproces.
Præsenter shuffle on SinglePartition for at forbedre parallelitet og regression af ydeevnen for joinforbindelser i Spark 3.3 vs. Spark 3.2 (SPARK-40703)
Optimer OmbytWindow-regel for at udvide relevante sager og optimere tidskompleksiteten (SPARK-38034)
Hvis du vil have en paritet i forbindelse med at udføre TimeTravel via SQL- og Dataframe-indstillingen, skal du understøttetidsstempel i sekunder for TimeTravel ved hjælp af datarammeindstillinger (SPARK-39633])
Optimer den globalesortering til RepartitionByExpression for at gemme en lokal sortering (SPARK-39911)
Kontrollér, at outputpartitioneringen er angivet af brugeren i AQE (SPARK-39915)
Opdater Parquet V2-kolonnekontrol for indlejrede felter (SPARK-39951)
Læser i en parquetfil, der er partitioneret på disken af en kolonne af typen 'Byte' (SPARK-40212)
Ret kolonnebeskæring i CSV, når _corrupt_record er valgt (SPARK-40468)
Deltasøen 2.2
De vigtigste funktioner i denne version er som følger:
LIMITpushdown til Delta-scanning. Gør ydeevnen af forespørgsler, der indeholderLIMITdelsætninger, bedre ved at skubbeLIMITind i Delta-scanningen under planlægning af forespørgsler. Delta-scanning brugerLIMITrækkeantallet på og på filniveau til at reducere antallet af scannede filer, hvilket hjælper forespørgslerne med at læse langt færre filer og kan gøreLIMITforespørgsler hurtigere med 10-100x afhængigt af tabelstørrelsen.Aggregeret pushdown i Delta-scanning for SELECT COUNT(*). Sammenlægningsforespørgsler, f.eks
SELECT COUNT(*). på Delta-tabeller, opfyldes ved hjælp af rækkeantal på filniveau i metadata for Delta-tabeller i stedet for at tælle rækker i de underliggende datafiler. Dette reducerer forespørgselstiden markant, da forespørgslen blot skal læse tabelmetadataene og kan gøre det hurtigere at tælle hele tabeller med 10-100x.Understøttelse af indsamling af statistik på filniveau som en del af kommandoen KONVERTÉR TIL DELTA. Disse statistikker kan muligvis hjælpe med at fremskynde forespørgsler i Delta-tabellen. Statistikken indsamles som standard nu som en del af kommandoen KONVERTÉR TIL DELTA. Hvis du vil deaktivere statistiksamling, skal du angive
NO STATISTICSen delsætning i kommandoen . Eksempel:CONVERT TO DELTA table_name NO STATISTICSGør ydeevnen for kommandoen DELETE bedre ved at beskære de kolonner, der skal læses, når du søger efter filer, der skal omskrives.
Rettelse af en fejl i den DynamoDB-baserede konfiguration af S3-multiklyngetilstand . Den tidligere version skrev et forkert tidsstempel, som blev brugt af DynamoDB's TTL-funktion til at rydde op i udløbne elementer. Denne tidsstempelværdi er blevet rettet, og tabelattributten er omdøbt fra
commitTimetilexpireTime. Hvis du allerede har TTL aktiveret, skal du følge overførselstrinnene her.Retden nondeterministiske funktionsmåde under MERGE, når du arbejder med kilder, der ikke erterministiske.
Fjern begrænsningerne for brug af Delta-tabeller med kolonnetilknytning i visse Streaming + CDF-tilfælde. Tidligere brugte vi til at blokere Streaming+CDF, hvis kolonnetilknytning er aktiveret for deltatabellen, selvom den ikke indeholder nogen RENAME- eller DROP-kolonner.
Du kan forbedre overvågningen af Delta-tilstandskonstruktionsforespørgslerne (andre forespørgsler kører som en del af planlægningen) ved at gøre dem synlige i Brugergrænsefladen i Spark.
Understøttelse af flere
where()kald i Optimer scala/python-APIUnderstøttelse af overførsel af Hadoop-konfigurationer via DeltaTable API
Understøtter partitionskolonnenavne, der starter med
.eller_i KOMMANDOEN KONVERTÉR TIL DELTA.Forbedringer af målepunkter i tabeloversigten
- Ret en metrikværdi i kommandoen MERGE
- Målepunkt for kildetype for KONVERTÉR til DELTA
- Målepunkter for DELETE på partitioner
- Mere vakuumstatistik
Rettelse af utilsigtede protokolnedgradering med kommandoen RESTORE . Indtil nu kan RESTORE TABLE nedgradere protokolversionen af tabellen, hvilket kan have resulteret i uoverensstemmende læsninger med tidsrejser. Med denne rettelse nedgraderes protokolversionen aldrig fra den aktuelle.
Ret en fejl,
MERGE INTOnår der er flereUPDATEdelsætninger, og en af UPDAT'erne er med en skemaudvikling.Løs en fejl, hvor der nogle gange ikke findes et aktivt
SparkSessionobjekt, når delta-API'er brugesLøs et problem, hvor partitionsskemaet ikke kunne angives under den første bekræftelse.
Fange undtagelser, når skrivning af
last_checkpointfil mislykkes.Løs et problem, når du genstarter en streamingforespørgsel med
AvailableNowudløser i en Delta-tabel.Løs et problem med CDF og Streaming, hvor forskydningen ikke opdateres korrekt, når der ikke er nogen dataændringer
Kontrollér kildebemærkningerne og de fulde produktbemærkninger her.
Pakker på standardniveau for Java/Scala-biblioteker
Nedenfor kan du finde tabellen med en liste over alle pakker på standardniveau for Java/Scala og deres respektive versioner.
| GroupId | ArtifactId | Version |
|---|---|---|
| com.aliyun | aliyun-java-sdk-core | 4.5.10 |
| com.aliyun | aliyun-java-sdk-kms | 2.11.0 |
| com.aliyun | aliyun-java-sdk-ram | 3.1.0 |
| com.aliyun | aliyun-sdk-oss | 3.13.0 |
| com.amazonaws | aws-java-sdk-bundle | 1.11.1026 |
| com.chuusai | shapeless_2.12 | 2.3.7 |
| com.esotericsoftware | kryo-skygge | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml.jackson | jackson-annotations-2.13.4.jar | |
| com.fasterxml.jackson | jackson-core | 2.13.4 |
| com.fasterxml.jackson | jackson-core-asl | 1.9.13 |
| com.fasterxml.jackson | jackson-databind | 2.13.4.1 |
| com.fasterxml.jackson | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson | jackson-mapper-asl | 1.9.13 |
| com.fasterxml.jackson | jackson-module-scala_2.12 | 2.13.4 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | Guava | 14.0.1 |
| com.google.protobuf | protobuf-java | 2.5.0 |
| com.googlecode.json-simple | json-simple | 1.1.1 |
| com.jcraft | jsch | 0.1.54 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.linkedin.isolation-forest | isolation-forest_3.2.0_2.12 | 2.0.8 |
| com.ning | compress-lzf | 1.1 |
| com.qcloud | cos_api-bundt | 5.6.19 |
| com.sun.istack | istack-commons-runtime | 3.0.8 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2,8 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.typesafe | Config | 1.3.4 |
| com.zaxxer | HikariCP | 2.5.1 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2,6 |
| commons-logføring | commons-logføring | 1.1.3 |
| commons-pool | commons-pool | 1.5.4.jar |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | Blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| io.airlift | aircompressor | 0.21 |
| io.dropwizard.metrics | metrics-core | 4.2.7 |
| io.dropwizard.metrics | metrik-grafit | 4.2.7 |
| io.dropwizard.metrics | metrics-jmx | 4.2.7 |
| io.dropwizard.metrics | metrics-json | 4.2.7 |
| io.dropwizard.metrics | metrics-jvm | 4.2.7 |
| io.netty | netty-all | 4.1.74.Endelig udg. |
| io.netty | netty-buffer | 4.1.74.Endelig udg. |
| io.netty | netty-codec | 4.1.74.Endelig udg. |
| io.netty | netty-common | 4.1.74.Endelig udg. |
| io.netty | netty-handler | 4.1.74.Endelig udg. |
| io.netty | netty-resolver | 4.1.74.Endelig udg. |
| io.netty | netty-tcnative-classes | 2.0.48.Endelig udg. |
| io.netty | netty-transport | 4.1.74.Endelig udg. |
| io.netty | netty-transport-classes-epoll | 4.1.74.Endelig udg. |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Endelig udg. |
| io.netty | netty-transport-native-epoll | 4.1.74.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.74.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.74.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.74.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.74.Endelig |
| io.opentracing | opentracing-api | 0.33.0 |
| io.opentracing | opentracing-noop | 0.33.0 |
| io.opentracing | opentracing-util | 0.33.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.inject | jakarta.inject | 2.6.1 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation-api | 2.0.2 | |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| jakarta.xml.bind | jakarta.xml.bind-api | 2.3.2 |
| javax.activation | Aktivering | 1.1.1 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-tid | joda-tid | 2.10.13 |
| net.razorvine | Lage | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.py4j | py4j | 0.10.9.5 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.apache.arrow | pileformat | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | pilevektor | 7.0.0 |
| org.apache.avro | Avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-pool2 | 2.11.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | kurator-klient | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | kuratoropskrifter | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-aliyun | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-annotationer | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-aws | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-azure | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-azure-datalake | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-client-api | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-cloudlager | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-cos | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-openstack | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-shaded-guava | 1.1.1 |
| org.apache.hadoop | hadoop-yarn-server-web-proxy | 3.3.3.5.2-90111858 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-common | 2.3.9 |
| org.apache.hive | hive-exec | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-metastore | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-service-rpc | 3.1.2 |
| org.apache.hive | hive-shims-0.23 | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-shims-common | 2.3.9 |
| org.apache.hive | hive-shims-scheduler | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.httpcomponents | httpmime | 4.5.13 |
| org.apache.httpcomponents.client5 | httpclient5 | 5.1.3 |
| org.apache.ivy | Ivy | 2.5.1 |
| org.apache.kafka | kafka-klienter | 2.8.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
| org.apache.logging.log4j | log4j-api | 2.17.2 |
| org.apache.logging.log4j | log4j-core | 2.17.2 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquetkolonne | 1.12.3 |
| org.apache.parquet | parquet-common | 1.12.3 |
| org.apache.parquet | parquet-kodning | 1.12.3 |
| org.apache.parquet | parquet-format-structures | 1.12.3 |
| org.apache.parquet | parquet-hadoop | 1.12.3 |
| org.apache.parquet | parket-jackson | 1.12.3 |
| org.apache.qpid | proton-j | 0.33.8 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.yetus | målgruppeanmærkninger | 0.5.0 |
| org.apiguardian | apiguardian-api | 1.1.0 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.codehaus.jettison | Udtømme | 1.1 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleusjavax.jdo | 3.2.0-m3 | |
| org.eclipse.jdt | Core | 1.1.2 |
| org.eclipse.jetty | jetty-util | 9.4.48.v20220622 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.48.v20220622 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glasfish.hk2 | hk2-api | 2.6.1 |
| org.glasfish.hk2 | hk2-locator | 2.6.1 |
| org.glasfish.hk2 | hk2-utils | 2.6.1 |
| org.glasfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glasfish.hk2.external | aopalliance-ompakket | 2.6.1 |
| org.glasfish.jaxb | jaxb-runtime | 2.3.2 |
| org.glasfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glasfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glasfish.jersey.core | jersey-client | 2.36 |
| org.glasfish.jersey.core | jersey-common | 2.36 |
| org.glasfish.jersey.core | jersey-server | 2.36 |
| org.glasfish.jersey.inject | jersey-hk2 | 2.36 |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.25.0-GA |
| org.javatuples | javatuples | 1.2 |
| org.jdom | jdom2 | 2.0.6 |
| org.jetbrains | Anmærkninger | 17.0.0 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.junit.jupiter | enebær-jupiter | 5.5.2 |
| org.junit.jupiter | junit-jupiter-api | 5.5.2 |
| org.junit.jupiter | junit-jupiter-engine | 5.5.2 |
| org.junit.jupiter | enebær-jupiter-params | 5.5.2 |
| org.junit.platform | junit-platform-commons | 1.5.2 |
| org.junit.platform | enebær-platform-motor | 1.5.2 |
| org.lz4 | lz4-java | 1.8.0 |
| org.objenesis | objenesis | 3.2 |
| org.openpnp | opencv | 3.2.0-1 |
| org.opentest4j | opentest4j | 1.2.0 |
| org.postgresql | Postgresql | 42.2.9 |
| org.roaringbitmap | Brølendebitmap | 0.9.25 |
| org.roaringbitmap | Shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.scala-lang | scala-compiler | 2.12.15 |
| org.scala-lang | scala-bibliotek | 2.12.15 |
| org.scala-lang | scala-reflektor | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scalactic | scalactic_2.12 | 3.2.14 |
| org.scalanlp | brise-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.slf4j | jcl-over-slf4j | 1.7.32 |
| org.slf4j | jul-to-slf4j | 1.7.32 |
| org.slf4j | slf4j-api | 1.7.32 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | katte-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
Pakker på standardniveau for Python-biblioteker
Nedenfor kan du finde tabellen med en liste over alle pakker på standardniveau for Python og deres respektive versioner.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| _libgcc_mutex | 0.1 | ipykernel | 6.22.0 | pickleshare | 0.7.5 |
| _openmp_mutex | 4.5 | ipython | 8.9.0 | Pude | 9.4.0 |
| _py-xgboost-mutex | 2.0 | ipywidgets | 8.0.4 | Pip | 23.0.1 |
| absl-py | 1.4.0 | isodate | 0.6.1 | pixman | 0.40.0 |
| adal | 1.2.7 | densdannende | 2.1.2 | pkginfo | 1.9.6 |
| adlfs | 2023.1.0 | Jack | 1.9.22 | pkgutil-resolve-name | 1.3.10 |
| aiohttp | 3.8.4 | Jedi | 0.18.2 | platformdirs | 3.2.0 |
| aiosignal | 1.3.1 | Jeepney | 0.8.0 | plotly | 5.13.0 |
| alsa-lib | 1.2.8 | jinja2 | 3.1.2 | Lags | 3.11 |
| anyio | 3.6.2 | jmespath | 1.0.1 | Pooch | 1.7.0 |
| argcomplete | 2.1.2 | joblib | 1.2.0 | portalocker | 2.7.0 |
| argon2-cffi | 21.3.0 | jpeg | 9e | Pox | 0.3.2 |
| argon2-cffi-bindings | 21.2.0 | jsonpickle | 2.2.0 | ppft | 1.7.6.6 |
| pil-cpp | 11.0.0 | jsonschema | 4.17.3 | smukt | 3.6.0 |
| asttokens | 2.2.1 | jupyter_client | 8.1.0 | prometheus_client | 0.16.0 |
| astunparse | 1.6.3 | jupyter_core | 5.3.0 | prompt-toolkit | 3.0.38 |
| async-timeout | 4.0.2 | jupyter_events | 0.6.3 | protobuf | 4.21.12 |
| atk-1.0 | 2.38.0 | jupyter_server | 2.2.1 | psutil | 5.9.4 |
| attr | 2.5.1 | jupyter_server_terminals | 0.4.4 | pthread-stubs | 0,4 |
| attrs | 22.2.0 | jupyterlab_pygments | 0.2.2 | ptyprocess | 0.7.0 |
| aws-c-auth | 0.6.24 | jupyterlab_widgets | 3.0.7 | Pulseaudio | 16.1 |
| aws-c-cal | 0.5.20 | keras | 2.11.0 | pulseaudio-klient | 16.1 |
| aws-c-common | 0.8.11 | keras-forbehandling | 1.1.2 | pulseaudio-daemon | 16.1 |
| aws-c-compression | 0.2.16 | keyutils | 1.6.1 | pure_eval | 0.2.2 |
| aws-c-event-stream | 0.2.18 | kiwisolver | 1.4.4 | py-xgboost | 1.7.1 |
| aws-c-http | 0.7.4 | Evne | 0.10.1 | py4j | 0.10.9.5 |
| aws-c-io | 0.13.17 | krb5 | 1.20.1 | pyarrow | 11.0.0 |
| aws-c-mqtt | 0.8.6 | Halt | 3.100 | pyasn1 | 0.4.8 |
| aws-c-s3 | 0.2.4 | lcms2 | 2.15 | pyasn1-moduler | 0.2.7 |
| aws-c-sdkutils | 0.1.7 | ld_impl_linux-64 | 2.40 | pycosat | 0.6.4 |
| aws-kontrolsum | 0.1.14 | lerc | 4.0.0 | pycparser | 2.21 |
| aws-crt-cpp | 0.19.7 | liac-arff | 2.5.0 | pygments | 2.14.0 |
| aws-sdk-cpp | 1.10.57 | libabseil | 20220623.0 | pyjwt | 2.6.0 |
| azure-common | 1.1.28 | libaec | 1.0.6 | pynacl | 1.5.0 |
| azure-core | 1.26.4 | libarrow | 11.0.0 | pyodbc | 4.0.35 |
| azure-datalake-store | 0.0.51 | libblas | 3.9.0 | pyopenssl | 23.1.1 |
| azure-graphrbac | 0.61.1 | libbrotlicommon | 1.0.9 | pyparsing | 3.0.9 |
| azure-identity | 1.12.0 | libbrotlidec | 1.0.9 | pyperclip | 1.8.2 |
| azure-mgmt-authorization | 3.0.0 | libbrotlienc | 1.0.9 | pyqt | 5.15.7 |
| azure-mgmt-containerregistry | 10.1.0 | libcap | 2.67 | pyqt5-sip | 12.11.0 |
| azure-mgmt-core | 1.4.0 | libcblas | 3.9.0 | pyrsistent | 0.19.3 |
| azure-mgmt-keyvault | 10.2.1 | libclang | 15.0.7 | pysocks | 1.7.1 |
| azure-mgmt-resource | 21.2.1 | libclang13 | 15.0.7 | pyspark | 3.3.1 |
| azure-mgmt-storage | 20.1.0 | libcrc32c | 1.1.2 | python | 3.10.10 |
| azure-storage-blob | 12.15.0 | biblioteker | 2.3.3 | python_abi | 3.10 |
| azure-storage-file-datalake | 12.9.1 | libcurl | 7.88.1 | python-dateutil | 2.8.2 |
| azureml-core | 1.49.0 | libdb | 6.2.32 | python-fastjsonschema | 2.16.3 |
| backcall | 0.2.0 | libdeflate | 1.17 | python-flatbuffers | 23.1.21 |
| backports | 1.0 | libebm | 0.3.1 | python-graphviz | 0.20.1 |
| backports-tempfile | 1.0 | libedit | 3.1.20191231 | python-json-logger | 2.0.7 |
| backports-weakref | 1.0.post1 | libev | 4.33 | pytorch | 1.13.1 |
| backports.functools_lru_cache | 1.6.4 | libevent | 2.1.10 | pytz | 2022.7.1 |
| bcrypt | 3.2.2 | libexpat | 2.5.0 | pyu2f | 0.1.5 |
| beautifulsoup4 | 4.11.2 | libffi | 3.4.2 | pywin32-on-windows | 0.1.0 |
| Blegemiddel | 6.0.0 | libflac | 1.4.2 | pyyaml | 6.0 |
| blinker | 1.6.1 | libgcc-ng | 12.2.0 | pyzmq | 25.0.2 |
| brotli | 1.0.9 | libgcrypt | 1.10.1 | qt-main | 5.15.8 |
| brotli-bin | 1.0.9 | libgd | 2.3.3 | re2 | 2023.02.01 |
| brotli-python | 1.0.9 | libgfortran-ng | 12.2.0 | Readline | 8.2 |
| brotlipy | 0.7.0 | libgfortran5 | 12.2.0 | Regex | 2022.10.31 |
| bzip2 | 1.0.8 | libglib | 2.74.1 | Anmodninger | 2.28.2 |
| c-ares | 1.18.1 | libgoogle-cloud | 2.7.0 | requests-oauthlib | 1.3.1 |
| ca-certifikater | 2022.12.7 | libgpg-error | 1.46 | rfc3339-validator | 0.1.4 |
| cached_property | 1.5.2 | libgrpc | 1.51.1 | rfc3986-validator | 0.1.1 |
| cachelagret egenskab | 1.5.2 | libhwloc | 2.9.0 | Rsa | 4,9 |
| cachetools | 5.3.0 | libiconv | 1.17 | ruamel_yaml | 0.15.80 |
| Kairo | 1.16.0 | liblapack | 3.9.0 | ruamel.yaml | 0.17.21 |
| Certifi | 2022.12.7 | libllvm11 | 11.1.0 | ruamel.yaml.clib | 0.2.7 |
| cffi | 1.15.1 | libllvm15 | 15.0.7 | s2n | 1.3.37 |
| charset-normalizer | 2.1.1 | libnghttp2 | 1.52.0 | salib | 1.4.7 |
| Klik | 8.1.3 | libnsl | 2.0.0 | scikit-learn | 1.2.0 |
| cloudpickle | 2.2.1 | libogg | 1.3.4 | scipy | 1.10.1 |
| colorama | 0.4.6 | libopenblas | 0.3.21 | søfødt | 0.12.2 |
| Comm | 0.1.3 | libopus | 1.3.1 | seaborn-base | 0.12.2 |
| conda-package-handling | 2.0.2 | libpng | 1.6.39 | secretstorage | 3.3.3 |
| conda-package-streaming | 0.7.0 | libpq | 15.2 | send2trash | 1.8.0 |
| konfigurationsparser | 5.3.0 | libprotobuf | 3.21.12 | Setuptools | 67.6.1 |
| contextlib2 | 21.6.0 | librsvg | 2.54.4 | Shap | 0.41.0 |
| contourpy | 1.0.7 | libsndfile | 1.2.0 | Sip | 6.7.7 |
| Kryptografi | 40.0.1 | libsodium | 1.0.18 | Seks | 1.16.0 |
| Cycler | 0.11.0 | libsqlite | 3.40.0 | sleef | 3.5.1 |
| Dash | 2.9.2 | libssh2 | 1.10.0 | udsnit | 0.0.7 |
| dash_cytoscape | 0.2.0 | libstdcxx-ng | 12.2.0 | smmap | 3.0.5 |
| dash-core-komponenter | 2.0.0 | libsystemd0 | 253 | Bidsk | 1.1.10 |
| dash-html-komponenter | 2.0.0 | libthrift | 0.18.0 | sniffio | 1.3.0 |
| stregtabel | 5.0.0 | libtiff | 4.5.0 | soupsieve | 2.3.2.post1 |
| databricks-cli | 0.17.6 | libtool | 2.4.7 | sqlalchemy | 2.0.9 |
| Dbus | 1.13.6 | libudev1 | 253 | sqlparse | 0.4.3 |
| debugpy | 1.6.7 | libutf8proc | 2.8.0 | stack_data | 0.6.2 |
| Dekoratør | 5.1.1 | libuuid | 2.38.1 | statsmodels | 0.13.5 |
| defusedxml | 0.7.1 | libuv | 1.44.2 | synapseml-mlflow | 1.0.14 |
| Dild | 0.3.6 | libvorbis | 1.3.7 | synapseml-utils | 1.0.7 |
| distlib | 0.3.6 | libwebp | 1.2.4 | tabulering | 0.9.0 |
| docker-py | 6.0.0 | libwebp-base | 1.2.4 | Tbb | 2021.8.0 |
| indgangspunkter | 0,4 | Libxcb | 1.13 | Vedholdenhed | 8.2.2 |
| et_xmlfile | 1.1.0 | libxgboost | 1.7.1 | tensorboard | 2.11.2 |
| Udfører | 1.2.0 | libxkbcommon | 1.5.0 | tensorboard-data-server | 0.6.1 |
| Expat | 2.5.0 | libxml2 | 2.10.3 | tensorboard-plugin-wit | 1.8.1 |
| fftw | 3.3.10 | libxslt | 1.1.37 | tensorflow | 2.11.0 |
| fillås | 3.11.0 | libzlib | 1.2.13 | tensorflow-base | 2.11.0 |
| Kolbe | 2.2.3 | lightgbm | 3.3.3 | tensorflow-estimator | 2.11.0 |
| kolbekomprimer | 1.13 | lime | 0.2.0.1 | termcolor | 2.2.0 |
| fladbuffers | 22.12.06 | llvm-openmp | 16.0.1 | terminado | 0.17.1 |
| flit-core | 3.8.0 | llvmlite | 0.39.1 | threadpoolctl | 3.1.0 |
| flydende logger | 0.10.0 | lxml | 4.9.2 | tinycss2 | 1.2.1 |
| font-ttf-dejavu-sans-mono | 2.37 | lz4-c | 1.9.4 | Tk | 8.6.12 |
| font-ttf-inconsolata | 3.000 | markdown | 3.4.1 | toml | 0.10.2 |
| font-ttf-source-code-pro | 2.038 | markupsafe | 2.1.2 | Toolz | 0.12.0 |
| font-ttf-ubuntu | 0,83 | matplotlib | 3.6.3 | Tornado | 6.2 |
| fontconfig | 2.14.2 | matplotlib-base | 3.6.3 | tqdm | 4.65.0 |
| fonts-conda-ecosystem | 1 | matplotlib-inline | 0.1.6 | traitlets | 5.9.0 |
| fonts-conda-forge | 1 | mistune | 2.0.5 | træfortolkning | 0.2.2 |
| fonttools | 4.39.3 | mkl | 2022.2.1 | typed-ast | 1.4.3 |
| Freetype | 2.12.1 | mlflow-tynd | 2.1.1 | typing_extensions | 4.5.0 |
| fribidi | 1.0.10 | mpg123 | 1.31.3 | skriveudvidelser | 4.5.0 |
| frosne lister | 1.3.3 | msal | 1.21.0 | tzdata | 2023c |
| fsspec | 2023.4.0 | msal_extensions | 1.0.0 | unicodedata2 | 15.0.0 |
| Gast | 0.4.0 | msgpack | 1.0.5 | unixodbc | 2.3.10 |
| gdk-pixbuf | 2.42.10 | msrest | 0.7.1 | urllib3 | 1.26.14 |
| geografisklib | 1.52 | msrestazure | 0.6.4 | virtualenv | 20.19.0 |
| geopy | 2.3.0 | multidikt | 6.0.4 | wcwidth | 0.2.6 |
| Gettext | 0.21.1 | multiprocess | 0.70.14 | webencodings | 0.5.1 |
| gevent | 22.10.2 | munkres | 1.1.4 | websocket-klient | 1.5.1 |
| gflags | 2.2.2 | mypy | 0.780 | werkzeug | 2.2.3 |
| giflib | 5.2.1 | mypy-udvidelser | 0.4.4 | Hjul | 0.40.0 |
| gitdb | 4.0.10 | mysql-common | 8.0.32 | widgetsnbextension | 4.0.7 |
| gitpython | 3.1.31 | mysql-libs | 8.0.32 | wrapt | 1.15.0 |
| Glib | 2.74.1 | nbclient | 0.7.3 | xcb-util | 0.4.0 |
| glib-værktøjer | 2.74.1 | nbconvert-core | 7.3.0 | xcb-util-image | 0.4.0 |
| glog | 0.6.0 | nbformat | 5.8.0 | xcb-util-keysyms | 0.4.0 |
| google-auth | 2.17.2 | Ncurses | 6.3 | xcb-util-renderutil | 0.3.9 |
| google-auth-oauthlib | 0.4.6 | ndg-httpsclient | 0.5.1 | xcb-util-wm | 0.4.1 |
| google-pasta | 0.2.0 | nest-asyncio | 1.5.6 | xgboost | 1.7.1 |
| graphite2 | 1.3.13 | nspr | 4.35 | xkeyboard-config | 2.38 |
| graphviz | 2.50.0 | Nss | 3.89 | xorg-kbproto | 1.0.7 |
| greenlet | 2.0.2 | numba | 0.56.4 | xorg-libice | 1.0.10 |
| grpcio | 1.51.1 | numpy | 1.23.5 | xorg-libsm | 1.2.3 |
| gson | 0.0.3 | oauthlib | 3.2.2 | xorg-libx11 | 1.8.4 |
| gst-plugins-base | 1.22.0 | openjpeg | 2.5.0 | xorg-libxau | 1.0.9 |
| Gstreamer | 1.22.0 | openpyxl | 3.1.0 | xorg-libxdmcp | 1.1.3 |
| gstreamer-orc | 0.4.33 | openssl | 3.1.0 | xorg-libxext | 1.3.4 |
| gtk2 | 2.24.33 | opt_einsum | 3.3.0 | xorg-libxrender | 0.9.10 |
| Gts | 0.7.6 | Orc | 1.8.2 | xorg-renderproto | 0.11.1 |
| h5py | 3.8.0 | Emballage | 21.3 | xorg-xextproto | 7.3.0 |
| harfbuzz | 6.0.0 | pandas | 1.5.3 | xorg-xproto | 7.0.31 |
| hdf5 | 1.14.0 | pandasql | 0.7.3 | Xz | 5.2.6 |
| html5lib | 1.1 | pandocfilters | 1.5.0 | yaml | 0.2.5 |
| menneskevenlig | 10.0 | pango | 1.50.14 | Yarl | 1.8.2 |
| Icu | 70.1 | paramiko | 2.12.0 | Zeromq | 4.3.4 |
| idna | 3.4 | parket-cpp | 1.5.1 | zipp | 3.15.0 |
| imageio | 2.25.0 | parso | 0.8.3 | Zlib | 1.2.13 |
| importlib_metadata | 5.2.0 | Patos | 0.3.0 | zope.event | 4.6 |
| importlib_resources | 5.12.0 | pathspec | 0.11.1 | zope.interface | 6.0 |
| importlib-metadata | 5.2.0 | Patsy | 0.5.3 | zstandard | 0.19.0 |
| Fortolke | 0.3.1 | pcre2 | 10.40 | zstd | 1.5.2 |
| interpret-core | 0.3.1 | pexpect | 4.8.0 |
Pakker på standardniveau for R-biblioteker
Nedenfor kan du finde tabellen med en liste over alle pakker på standardniveau for R og deres respektive versioner.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| askpass | 1.1 | highcharter | 0.9.4 | readr | 2.1.3 |
| assertthat | 0.2.1 | highr | 0.9 | readxl | 1.4.1 |
| backports | 1.4.1 | hms | 1.1.2 | recipes | 1.0.3 |
| base64enc | 0.1-3 | htmltools | 0.5.3 | rematch | 1.0.1 |
| bit | 4.0.5 | htmlwidgets | 1.5.4 | rematch2 | 2.1.2 |
| bit64 | 4.0.5 | httpcode | 0.3.0 | Fjernbetjeninger | 2.4.2 |
| blob | 1.2.3 | httpuv | 1.6.6 | reprex | 2.0.2 |
| brew | 1.0-8 | httr | 1.4.4 | reshape2 | 1.4.4 |
| Brio | 1.1.3 | Id'er | 1.0.1 | rjson | 0.2.21 |
| broom | 1.0.1 | igraph | 1.3.5 | rlang | 1.0.6 |
| bslib | 0.4.1 | Udlede | 1.0.3 | rlist | 0.4.6.2 |
| cachem | 1.0.6 | Ini | 0.3.1 | rmarkdown | 2.18 |
| callr | 3.7.3 | ipred | 0.9-13 | RODBC | 1.3-19 |
| indsætningspunkt | 6.0-93 | isoband | 0.2.6 | roxygen2 | 7.2.2 |
| cellranger | 1.1.0 | iterators | 1.0.14 | rprojroot | 2.0.3 |
| cli | 3.4.1 | jquerylib | 0.1.4 | rsample | 1.1.0 |
| clipr | 0.8.0 | jsonlite | 1.8.3 | rstudioapi | 0.14 |
| Ur | 0.6.1 | knitr | 1.41 | rversioner | 2.1.2 |
| colorspace | 2.0-3 | labeling | 0.4.2 | rvest | 1.0.3 |
| commonmark | 1.8.1 | Senere | 1.3.0 | Sass | 0.4.4 |
| Config | 0.3.1 | lava | 1.7.0 | scales | 1.2.1 |
| Konflikt | 1.1.0 | lazyeval | 0.2.2 | selectr | 0.4-2 |
| Coro | 1.0.3 | Lhs | 1.1.5 | sessioninfo | 1.2.2 |
| cpp11 | 0.4.3 | Livscyklus | 1.0.3 | shiny | 1.7.3 |
| crayon | 1.5.2 | lightgbm | 3.3.3 | Skyderen | 0.3.0 |
| legitimationsoplysninger | 1.3.2 | lyttev | 0.8.0 | sourcetools | 0.1.7 |
| crosstalk | 1.2.0 | lobstr | 1.1.2 | sparklyr | 1.7.8 |
| crul | 1.3 | lubridate | 1.9.0 | SQUAREM | 2021.1 |
| curl | 4.3.3 | magrittr | 2.0.3 | stringi | 1.7.8 |
| data.table | 1.14.6 | maps | 3.4.1 | stringr | 1.4.1 |
| DBI | 1.1.3 | memoise | 2.0.1 | sys | 3.4.1 |
| dbplyr | 2.2.1 | mime | 0,12 | systemfonts | 1.0.4 |
| desc | 1.4.2 | miniUI | 0.1.1.1 | testthat | 3.1.5 |
| devtools | 2.4.5 | modeldata | 1.0.1 | tekstdeling | 0.3.6 |
| Ringer | 1.1.0 | modelenv | 0.1.0 | tibble | 3.1.8 |
| DiceDesign | 1.9 | ModelMetrics | 1.2.2.2 | tidymodels | 1.0.0 |
| diffobj | 0.3.5 | modelr | 0.1.10 | tidyr | 1.2.1 |
| digest | 0.6.30 | munsell | 0.5.0 | tidyselect | 1.2.0 |
| nedlit | 0.4.2 | numDeriv | 2016.8-1.1 | tidyverse | 1.3.2 |
| dplyr | 1.0.10 | openssl | 2.0.4 | timechange | 0.1.1 |
| dtplyr | 1.2.2 | parallelt | 1.32.1 | timeDate | 4021.106 |
| e1071 | 1.7-12 | Pastinak | 1.0.3 | tinytex | 0.42 |
| ellipsis | 0.3.2 | Patchwork | 1.1.2 | Fakkel | 0.9.0 |
| evaluate | 0.18 | pillar | 1.8.1 | triebeard | 0.3.0 |
| fansi | 1.0.3 | pkgbuild | 1.4.0 | TTR | 0.24.3 |
| farver | 2.1.1 | pkgconfig | 2.0.3 | Tune | 1.0.1 |
| fastmap | 1.1.0 | pkgdown | 2.0.6 | tzdb | 0.3.0 |
| fontawesome | 0.4.0 | pkgload | 1.3.2 | urlchecker | 1.0.1 |
| forcats | 0.5.2 | plotly | 4.10.1 | urltools | 1.7.3 |
| foreach | 1.5.2 | plyr | 1.8.8 | usethis | 2.1.6 |
| Forge | 0.2.0 | praise | 1.0.0 | utf8 | 1.2.2 |
| Fs | 1.5.2 | prettyunits | 1.1.1 | uuid | 1.1-0 |
| furrrr | 0.3.1 | pROC | 1.18.0 | vctrs | 0.5.1 |
| Fremtiden | 1.29.0 | processx | 3.8.0 | viridisLite | 0.4.1 |
| future.apply | 1.10.0 | prodlim | 2019.11.13 | vroom | 1.6.0 |
| Gurgle | 1.2.1 | profvis | 0.3.7 | Waldo | 0.4.0 |
| Generiske | 0.1.3 | progress | 1.2.2 | Warp | 0.2.0 |
| Gert | 1.9.1 | progressr | 0.11.0 | whisker | 0,4 |
| ggplot2 | 3.4.0 | Løfter | 1.2.0.1 | withr | 2.5.0 |
| Gh | 1.3.1 | proxy | 0.4-27 | Arbejdsprocesser | 1.1.2 |
| gistr | 0.9.0 | pryr | 0.1.5 | arbejdsprocessæt | 1.0.0 |
| gitcreds | 0.1.2 | Ps | 1.7.2 | xfun | 0.35 |
| Globals | 0.16.2 | purrr | 0.3.5 | xgboost | 1.6.0.1 |
| glue | 1.6.2 | quantmod | 0.4.20 | XML | 3.99-0.12 |
| googledrive | 2.0.0 | r2d3 | 0.2.6 | xml2 | 1.3.3 |
| googlesheets4 | 1.0.1 | R6 | 2.5.1 | xopen | 1.0.0 |
| gower | 1.0.0 | ragg | 1.2.4 | xtable | 1.8-4 |
| GPfit | 1.0-8 | rappdirs | 0.3.3 | xts | 0.12.2 |
| gtable | 0.3.1 | rbokeh | 0.5.2 | yaml | 2.3.6 |
| hardhat | 1.2.0 | rcmdcheck | 1.4.0 | Målestok | 1.1.0 |
| haven | 2.5.1 | RColorBrewer | 1.1-3 | Zip | 2.2.2 |
| hexbin | 1.28.2 | Rcpp | 1.0.9 | zoo | 1.8-11 |
Migrering mellem forskellige Apache Spark-versioner
Overførsel af dine arbejdsbelastninger til Fabric Runtime 1.1 (Apache Spark 3.3) fra en ældre version af Apache Spark omfatter en række trin for at sikre en problemfri migrering. I denne vejledning beskrives de nødvendige trin, der kan hjælpe dig med at migrere effektivt.
Gennemse produktbemærkningerne til Fabric Runtime 1.1, herunder kontrol af komponenter og pakker på standardniveau, der er inkluderet i kørslen, for at forstå de nye funktioner, forbedringer.
Kontrollér kompatibiliteten af den aktuelle konfiguration og alle relaterede biblioteker, herunder afhængigheder og integrationer. Gennemse migreringsvejledningerne for at identificere potentielle ændringer, der kan brydes:
- Gennemse Spark Core-migreringsvejledning
- Gennemse migreringsvejledningen til SQL, Datasæt og DataFrame
- Hvis din løsning er relateret til Streaming af Apache Spark-struktur, skal du gennemse vejledning til migrering af struktureret streaming
- Hvis du bruger PySpark, skal du gennemse migreringsvejledningen til Pyspark
- Hvis du migrerer kode fra Koalas til PySpark, skal du gennemse Koalas til pandas API på Spark-migreringsvejledning
Flyt dine arbejdsbelastninger til Fabric, og sørg for, at du har sikkerhedskopier af dine data og konfigurationsfiler, hvis du skal vende tilbage til den tidligere version.
Opdater alle afhængigheder, der kan påvirkes af den nye version af Apache Spark eller andre Fabric Runtime 1.1-relaterede komponenter. Dette kan omfatte tredjepartsbiblioteker eller -connectors. Sørg for at teste de opdaterede afhængigheder i et midlertidigt miljø, før du udruller til produktion
Opdater Apache Spark-konfiguration på din arbejdsbelastning. Dette kan omfatte opdatering af konfigurationsindstillinger, justering af hukommelsesallokeringer og ændring af eventuelle frarådede konfigurationer.
Rediger dine Apache Spark-programmer (notesbøger og Apache Spark Jobs Definitions) for at bruge de nye API'er og funktioner, der er introduceret i Fabric Runtime 1.1 og Apache Spark 3.3. Dette kan omfatte opdatering af din kode, så den passer til alle udfasede eller fjernede API'er, og refactoring af dine programmer for at drage fordel af forbedringer af ydeevnen og nye funktioner.
Test dine opdaterede programmer grundigt i et midlertidigt miljø for at sikre kompatibilitet og stabilitet med Apache Spark 3.3. Udfør test af ydeevne, funktionel test og regressionstest for at identificere og løse eventuelle problemer, der kan opstå under migreringsprocessen.
Når du har valideret dine programmer i et midlertidigt miljø, skal du installere de opdaterede programmer i dit produktionsmiljø. Overvåg ydeevnen og stabiliteten af dine programmer efter migreringen for at identificere eventuelle problemer, der skal løses.
Opdater din interne dokumentation og dit oplæringsmateriale for at afspejle de ændringer, der er introduceret i Fabric Runtime 1.1. Sørg for, at dine teammedlemmer er bekendt med de nye funktioner og forbedringer for at maksimere fordelene ved migreringen.