Apache Spark-futtatókörnyezet a Hálóban
A Microsoft Fabric Runtime egy Apache Sparkon alapuló Azure-beli integrált platform, amely lehetővé teszi az adatfeldolgozási és adatelemzési élmények végrehajtását és kezelését. A belső és a nyílt forráskódú forrásból származó fő összetevőket kombinálja, és átfogó megoldást kínál az ügyfeleknek. Az egyszerűség kedvéért az Apache Spark által üzemeltetett Microsoft Fabric Runtime-ra hivatkozunk Fabric Runtime néven.
Fontos
A Microsoft Fabric jelenleg előzetes verzióban érhető el. Ezek az információk egy előzetes termékre vonatkoznak, amely a kiadás előtt lényegesen módosítható. A Microsoft nem vállal kifejezett vagy vélelmezett garanciát az itt megadott információkra vonatkozóan.
A Háló-futtatókörnyezet fő összetevői:
Apache Spark – egy hatékony, nyílt forráskódú elosztott számítástechnikai kódtár, a nagy léptékű adatfeldolgozási és elemzési feladatok engedélyezéséhez. Az Apache Spark sokoldalú és nagy teljesítményű platformot biztosít az adatmérnöki és adatelemzési szolgáltatásokhoz.
Delta Lake – egy nyílt forráskódú tárolási réteg, amely ACID-tranzakciókat és más adatmegbízhatósági funkciókat hoz az Apache Sparkba. A Microsoft Fabric Futtatókörnyezetbe integrálva a Delta Lake javítja az adatfeldolgozási képességeket, és biztosítja az adatok konzisztenciáját több egyidejű művelet között.
A Java/Scala, a Python és az R alapértelmezett szintű csomagjai a különböző programozási nyelvek és környezetek támogatásához. Ezek a csomagok automatikusan települnek és konfigurálódnak, így a fejlesztők az adatfeldolgozási feladatokhoz az előnyben részesített programozási nyelveket alkalmazhatják.
A Microsoft Fabric Futtatókörnyezet egy robusztus nyílt forráskódú operációs rendszerre (Ubuntu) épül, amely biztosítja a különböző hardverkonfigurációkkal és rendszerkövetelményekkel való kompatibilitást.
Futtatókörnyezet 1.1
A Microsoft Fabric Runtime 1.1 az alapértelmezett, és jelenleg az egyetlen elérhető futtatókörnyezet a Microsoft Fabric platformon belül. A Futtatókörnyezet 1.1 fő összetevői a következők:
- Operációs rendszer: Ubuntu 18.04
- Java: 1.8.0_282
- Scala: 2.12.15
- Python: 3.10
- Delta-tó: 2.2
- R: 4.2.2
A Microsoft Fabric Runtime 1.1 alapértelmezett szintű csomagokat tartalmaz, beleértve a teljes Anaconda-telepítést és a Java/Scala, a Python és az R gyakran használt kódtárait. Ezeket a kódtárakat a rendszer automatikusan tartalmazza, amikor jegyzetfüzeteket vagy feladatokat használ a Microsoft Fabric platformon. A kódtárak teljes listáját a dokumentációban találja.
A Microsoft Fabric rendszeres időközönként karbantartási frissítéseket vezet be a Runtime 1.1-hez, és hibajavításokat, teljesítményjavításokat és biztonsági javításokat biztosít. A naprakészség biztosítja az adatfeldolgozási feladatok optimális teljesítményét és megbízhatóságát.
Új funkciók és fejlesztések
Apache Spark 3.3.1
Az alábbiakban az Apache Spark 3.3.0-s és 3.3.1-es verziójához kapcsolódó legfontosabb új funkciók bővített összefoglalása látható:
Sorszintű szűrés: az illesztések teljesítményének javítása az egyik oldal előszűrésével, amennyiben nincsenek elavulási vagy regressziós hatások.oin egy Bloom-szűrő és az illesztés másik oldaláról származó értékekből létrehozott IN predikátum használatával (SPARK-32268)
A Spark kompatibilitásának javítása az SQL standard:ANSI-fejlesztésekkel (SPARK-38860)
Hibaüzenetek fejlesztései a problémák gyorsabb azonosításához és a megoldásához szükséges lépések végrehajtásához (SPARK-38781)
A Parquet vektorizált olvasó összetett típusainak támogatása. Korábban a Parquet vektorizált olvasója nem támogatja a beágyazott oszloptípust (struktúra, tömb és térkép). Az Apache Spark 3.3 az FB-ORC beágyazott oszlopvektorozott olvasójának implementációját tartalmazza a Spark belső elágazásában. Ez hatással van a teljesítmény javulására a nem konvektorizált olvasóhoz képest a beágyazott oszlopok olvasása során. Emellett ez a megvalósítás a nem beágyazott oszlopok teljesítményének javításában is segíthet, ha a nem beágyazott és beágyazott oszlopokat egy lekérdezésben olvassák össze (SPARK-34863)
Lehetővé teszi a felhasználók számára, hogy lekérdezzék a bemeneti fájlok metaadatait az összes fájlformátumban, és rejtett oszlopokként tegyék elérhetővé őket, ami azt jelenti, hogy a felhasználók csak akkor láthatják őket, ha explicit módon hivatkoznak rájuk (például a fájl elérési útja és a fájl neve) (SPARK-37273)
Profilkészítő megadása Python/Pandas UDF-ekhez (SPARK-37443)
Korábban a triggerrel streamelt lekérdezések, amelyek egyetlen kötegben töltték be az összes rendelkezésre álló adatot. Emiatt a lekérdezések feldolgozható adatmennyisége korlátozott volt, vagy a Spark-illesztő memóriája nem volt elegendő. Most bemutatjuk a Trigger.AvailableNow-t a streamelési lekérdezések, például a Trigger több kötegben való futtatásához (SPARK-36533)
Átfogóbb DS V2 leküldéses képességek (SPARK-38788)
Végrehajtó működés közben Kubernetes-környezetben (SPARK-37810)
Testre szabott Kubernetes-ütemezők támogatása (SPARK-36057)
Migrálás a log4j 1-ről a log4j 2-re (SPARK-37814) a következő előnyök eléréséhez:
Teljesítmény: A Log4j 2 gyorsabb, mint a Log4j 1. A Log4j 2 alapértelmezés szerint aszinkron naplózást használ, ami jelentősen javíthatja a teljesítményt.
Rugalmasság: A Log4j 2 nagyobb rugalmasságot biztosít a konfiguráció szempontjából. Több konfigurációs formátumot is támogat, beleértve az XML, a JSON és a YAML formátumot.
Bővíthetőség: A Log4j 2 bővíthető. Lehetővé teszi a fejlesztők számára , hogy egyéni beépülő modulokat és hozzáfűzőket hozzanak létre a naplózási keretrendszer funkcióinak kiterjesztéséhez.
Biztonság: A Log4j 2 jobb biztonsági szolgáltatásokat nyújt, mint a Log4j 1. Támogatja a titkosítást és a biztonságos szoftvercsatorna-rétegeket az alkalmazások közötti biztonságos kommunikációhoz.
Egyszerűség: A Log4j 2 használata egyszerűbb, mint a Log4j 1. Intuitívabb API-val és egyszerűbb konfigurációs folyamatokkal rendelkezik.
A párhuzamosság javítása és a teljesítmény regressziójának javítása a Spark 3.3-ban és a Spark 3.2-ben (SPARK-40703)
A TranszponálásWindow-szabály optimalizálása az alkalmazható esetek kibővítéséhez és az idő összetettségének optimalizálásához (SPARK-38034)
Ha paritásosan szeretné elvégezni a TimeTravel sql-en és Dataframe-en keresztüli használatát, támogassa másodpercben az időbélyegeta TimeTravelhez a Dataframe beállításaival (SPARK-39633])
Globálisrendezés optimalizálása RepartitionByExpression értékre helyi rendezés mentéséhez (SPARK-39911)
Győződjön meg arról, hogy a kimenetiparticionálás felhasználó által van megadva az AQE-ben (SPARK-39915)
Beágyazott mezők parquet V2 oszlopos ellenőrzésének frissítése (SPARK-39951)
Olvasás egy lemezen particionált parkettafájlban egy "Byte" típusú oszlop (SPARK-40212) által particionált lemezen
Oszlopmetszés javítása CSV-ben _corrupt_record kiválasztásakor (SPARK-40468)
Delta Lake 2.2
A kiadás fő funkciói a következők:
LIMITleküldés a Delta-vizsgálatba. A záradékokat tartalmazóLIMITlekérdezések teljesítményének javítása a delta vizsgálatba való leküldésével aLIMITlekérdezéstervezés során. A Delta-vizsgálat aLIMITés a fájlszintű sorszám használatával csökkenti a beolvasott fájlok számát, így a lekérdezések sokkal kevesebb fájlt olvasnak be, és a tábla méretétől függően 10–100-szor gyorsabbak lehetnekLIMITa lekérdezések.Összesíti a leküldést a Delta-vizsgálatba a SELECT COUNT(*) kereséshez. Az aggregációs lekérdezések, például
SELECT COUNT(*)a Delta-táblák esetében, a Delta-tábla metaadataiban található fájlszintű sorszámokkal elégedettek ahelyett, hogy a mögöttes adatfájlok sorait számolják. Ez jelentősen csökkenti a lekérdezési időt, mivel a lekérdezésnek csak be kell olvasnia a tábla metaadatait, és 10–100x-tal gyorsabbá teheti a teljes táblaszámú lekérdezéseket.Fájlszintű statisztikák gyűjtésének támogatása a KONVERTÁLÁS DELTA-ra parancs részeként. Ezek a statisztikák segíthetnek a Delta-tábla lekérdezéseinek felgyorsításában. A statisztikákat alapértelmezés szerint a KONVERTÁLÁS DELTA-ra parancs részeként gyűjti a rendszer. A statisztikák gyűjtésének letiltásához adja meg
NO STATISTICSa záradékot a parancsban. Például:CONVERT TO DELTA table_name NO STATISTICSADELETE parancs teljesítményének javítása az átírandó fájlok keresésekor olvasható oszlopok metszésével.
Kijavítottunk egy hibát a DynamoDB-alapú S3 többfürt módú konfigurációban. Az előző verzió helytelen időbélyeget írt, amelyet a DynamoDB TTL-funkciója használt a lejárt elemek törléséhez. Ez az időbélyeg-érték ki lett javítva, és a táblaattribútum át lett nevezve a következőre
commitTime:expireTime. Ha már engedélyezte a TTL-t, kövesse az áttelepítési lépéseket itt.Javítsa ki a nemdeterminista viselkedést a MERGE során, ha nemdeterminista forrásokkal dolgozik.
Távolítsa el a Delta-táblák oszlopleképezéssel való használatára vonatkozó korlátozásokat bizonyos Streaming + CDF-esetekben. Korábban letiltottuk a Streaming+CDF protokollt, ha a Delta táblában engedélyezve van az oszlopleképezés annak ellenére, hogy nem tartalmaz ÁTNEVEZés vagy DROP oszlopot.
A Spark felhasználói felületén való láthatóvá tételével javíthatja a Delta-állapot-építési lekérdezések monitorozását (más lekérdezések a tervezés részeként futnak).
Több
where()hívás támogatása a Scala/Python API optimalizálása szolgáltatásbanHadoop-konfigurációk átadásának támogatása a DeltaTable API-val
A partícióoszlopok neveinek támogatása a KONVERTÁLÁS DELTA-ra paranccsal
.kezdődően._A táblaelőzmények metrikáinak fejlesztései
- Metrikák javítása a MERGE parancsban
- Forrástípus-metrika a KONVERTÁLÁS DELTA-ra
- A DELETE metrikái partíciókon
- További vákuumstatisztikák
Javítsa ki a véletlen protokoll-visszalépéseket a RESTORE paranccsal. Mostanáig a RESTORE TABLE visszaminősítheti a tábla protokollverzióját, ami inkonzisztens olvasást eredményezhetett volna az időutazással. Ezzel a javítással a protokoll verziója soha nem lesz visszaminősül az aktuális verzióról.
Kijavítottunk egy hibát
MERGE INTO, ha többUPDATEzáradék van, és az egyik UPDATE sémafejlődéssel rendelkezik.Kijavítottunk egy hibát, amely miatt néha nem található aktív
SparkSessionobjektum a Delta API-k használatakorKijavítottunk egy hibát, amely miatt a partícióséma nem állítható be a kezdeti véglegesítés során.
Kivételek észlelése a fájlírás
last_checkpointmeghiúsulásakor.Kijavítottuk azt a hibát, amely akkor merült fel, amikor egy streamelési lekérdezést egy Delta-táblán lévő eseményindítóval
AvailableNowújraindítottunk.Kijavítottunk egy hibát a CDF és a streamelés során, amely miatt az eltolás nem frissül megfelelően, ha nincsenek adatváltozások
Itt ellenőrizheti a forrást és a teljes kibocsátási megjegyzéseket.
Java-/Scala-kódtárak alapértelmezett szintű csomagjai
Az alábbiakban megtalálja azt a táblázatot, amely felsorolja a Java/Scala alapértelmezett szintű csomagjait és azok megfelelő verzióit.
| Csoportazonosító | ArtifactId | Verzió |
|---|---|---|
| com.aliyun | aliyun-java-sdk-core | 4.5.10 |
| com.aliyun | aliyun-java-sdk-kms | 2.11.0 |
| com.aliyun | aliyun-java-sdk-ram | 3.1.0 |
| com.aliyun | aliyun-sdk-oss | 3.13.0 |
| com.amazonaws | aws-java-sdk-bundle | 1.11.1026 |
| com.chuusai | shapeless_2.12 | 2.3.7 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml.jackson | jackson-annotations-2.13.4.jar | |
| com.fasterxml.jackson | jackson-core | 2.13.4 |
| com.fasterxml.jackson | jackson-core-asl | 1.9.13 |
| com.fasterxml.jackson | jackson-databind | 2.13.4.1 |
| com.fasterxml.jackson | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson | jackson-mapper-asl | 1.9.13 |
| com.fasterxml.jackson | jackson-module-scala_2.12 | 2.13.4 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.wendykierp | JTransforms | 3,1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | Guava | 14.0.1 |
| com.google.protobuf | protobuf-java | 2.5.0 |
| com.googlecode.json-simple | json-simple | 1.1.1 |
| com.jcraft | jsch | 0.1.54 |
| com.jolbox | bonecp | 0.8.0.KIADÁS |
| com.linkedin.isolation-forest | isolation-forest_3.2.0_2.12 | 2.0.8 |
| com.ning | compress-lzf | 1.1 |
| com.qcloud | cos_api-bundle | 5.6.19 |
| com.sun.istack | istack-commons-runtime | 3.0.8 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2,8 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.typesafe | config | 1.3.4 |
| com.zaxxer | HikariCP | 2.5.1 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2,6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4.jar |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | Blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| io.airlift | aircompressor | 0.21 |
| io.dropwizard.metrics | metrics-core | 4.2.7 |
| io.dropwizard.metrics | metrics-graphite | 4.2.7 |
| io.dropwizard.metrics | metrics-jmx | 4.2.7 |
| io.dropwizard.metrics | metrics-json | 4.2.7 |
| io.dropwizard.metrics | metrics-jvm | 4.2.7 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll | 4.1.74.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.74.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.74.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.74.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.opentracing | opentracing-api | 0.33.0 |
| io.opentracing | opentracing-noop | 0.33.0 |
| io.opentracing | opentracing-util | 0.33.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.inject | jakarta.inject | 2.6.1 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation-api | 2.0.2 | |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| jakarta.xml.bind | jakarta.xml.bind-api | 2.3.2 |
| javax.activation | Aktiválás | 1.1.1 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.razorvine | Lé | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.py4j | py4j | 0.10.9.5 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.apache.arrow | nyílformátum | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | nyíl-memória-netty | 7.0.0 |
| org.apache.arrow | nyílvektor | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-pool2 | 2.11.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | kurátor-ügyfél | 2.13.0 |
| org.apache.curator | kurátor-keretrendszer | 2.13.0 |
| org.apache.curator | kurátor-receptek | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-aliyun | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-annotations | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-aws | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-azure | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-azure-datalake | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-client-api | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-cloud-storage | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-cos | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-openstack | 3.3.3.5.2-90111858 |
| org.apache.hadoop | hadoop-shaded-guava | 1.1.1 |
| org.apache.hadoop | hadoop-yarn-server-web-proxy | 3.3.3.5.2-90111858 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-common | 2.3.9 |
| org.apache.hive | hive-exec | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-metaadattár | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-service-rpc | 3.1.2 |
| org.apache.hive | hive-shims-0.23 | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-shims-common | 2.3.9 |
| org.apache.hive | hive-shims-scheduler | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.httpcomponents | httpmime | 4.5.13 |
| org.apache.httpcomponents.client5 | httpclient5 | 5.1.3 |
| org.apache.ivy | Ivy | 2.5.1 |
| org.apache.kafka | kafka-clients | 2.8.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
| org.apache.logging.log4j | log4j-api | 2.17.2 |
| org.apache.logging.log4j | log4j-core | 2.17.2 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3 |
| org.apache.parquet | parquet-common | 1.12.3 |
| org.apache.parquet | parquet-encoding | 1.12.3 |
| org.apache.parquet | parquet-format-structures | 1.12.3 |
| org.apache.parquet | parquet-hadoop | 1.12.3 |
| org.apache.parquet | parquet-jackson | 1.12.3 |
| org.apache.qpid | proton-j | 0.33.8 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.yetus | közönség-széljegyzetek | 0.5.0 |
| org.apiguardian | apiguardian-api | 1.1.0 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.codehaus.jettison | jettison | 1.1 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleusjavax.jdo | 3.2.0-m3 | |
| org.eclipse.jdt | Core | 1.1.2 |
| org.eclipse.jetty | jetty-util | 9.4.48.v20220622 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.48.v20220622 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-lokátor | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.jaxb | jaxb-runtime | 2.3.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.25.0-GA |
| org.javatuples | javatuples | 1.2 |
| org.jdom | jdom2 | clickstream |
| org.jetbrains | Széljegyzetek | 17.0.0 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.junit.jupiter | junit-jupiter | 5.5.2 |
| org.junit.jupiter | junit-jupiter-api | 5.5.2 |
| org.junit.jupiter | junit-jupiter-motor | 5.5.2 |
| org.junit.jupiter | junit-jupiter-params | 5.5.2 |
| org.junit.platform | junit-platform-commons | 1.5.2 |
| org.junit.platform | junit-platform-engine | 1.5.2 |
| org.lz4 | lz4-java | 1.8.0 |
| org.objenesis | objenesis | 3.2 |
| org.openpnp | opencv | 3.2.0-1 |
| org.opentest4j | opentest4j | 1.2.0 |
| org.postgresql | Postgresql | 42.2.9 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | Alátéteket | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.scala-lang | scala-compiler | 2.12.15 |
| org.scala-lang | scala-library | 2.12.15 |
| org.scala-lang | scala-reflect | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scalactic | scalactic_2.12 | 3.2.14 |
| org.scalanlp | szellő-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.slf4j | jcl-over-slf4j | 1.7.32 |
| org.slf4j | jul-to-slf4j | 1.7.32 |
| org.slf4j | slf4j-api | 1.7.32 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
Python-kódtárak alapértelmezett szintű csomagjai
Az alábbiakban megtalálja a Python és a hozzájuk tartozó verziók összes alapértelmezett szintű csomagját felsoroló táblázatot.
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| _libgcc_mutex | 0.1 | ipykernel | 6.22.0 | pickleshare | 0.7.5 |
| _openmp_mutex | 4,5 | ipython | 8.9.0 | Párna | 9.4.0 |
| _py-xgboost-mutex | 2.0 | ipywidgets | 8.0.4 | Pip | 23.0.1 |
| absl-py | 1.4.0 | isodate | 0.6.1 | pixman | 0.40.0 |
| adal | 1.2.7 | itsdangerous | 2.1.2 | pkginfo | 1.9.6 |
| adlfs | 2023.1.0 | Jack | 1.9.22 | pkgutil-resolve-name | 1.3.10 |
| aiohttp | 3.8.4 | Jedi | 0.18.2 | platformdirs | 3.2.0 |
| aiosignal | 1.3.1 | Jeepney | 0.8.0 | plotly | 5.13.0 |
| alsa-lib | 1.2.8 | jinja2 | 3.1.2 | Réteg | 3.11 |
| anyio | 3.6.2 | jmespath | 1.0.1 | Kuvasz | 1.7.0 |
| argcomplete | 2.1.2 | joblib | 1.2.0 | portalocker | 2.7.0 |
| argon2-cffi | 21.3.0 | jpeg | 9e | pox | 0.3.2 |
| argon2-cffi-bindings | 21.2.0 | jsonpickle | 2.2.0 | ppft | 1.7.6.6 |
| nyíl-cpp | 11.0.0 | jsonschema | 4.17.3 | prettytable | 3.6.0 |
| asttokens | 2.2.1 | jupyter_client | 8.1.0 | prometheus_client | 0.16.0 |
| astunparse | 1.6.3 | jupyter_core | 5.3.0 | prompt-toolkit | 3.0.38 |
| aszinkron időtúllépés | 4.0.2 | jupyter_events | 0.6.3 | protobuf | 4.21.12 |
| atk-1.0 | 2.38.0 | jupyter_server | 2.2.1 | psutil | 5.9.4 |
| attr | 2.5.1 | jupyter_server_terminals | 0.4.4 | pthread-stubs | 0,4 |
| attrs | 22.2.0 | jupyterlab_pygments | 0.2.2 | ptyprocess | 0.7.0 |
| aws-c-auth | 0.6.24 | jupyterlab_widgets | 3.0.7 | Pulseaudio | 16.1 |
| aws-c-cal | 0.5.20 | keras | 2.11.0 | pulseaudio-client | 16.1 |
| aws-c-common | 0.8.11 | keras-preprocessing | 1.1.2 | pulseaudio-démon | 16.1 |
| aws-c-compression | 0.2.16 | keyutils | 1.6.1 | pure_eval | 0.2.2 |
| aws-c-event-stream | 0.2.18 | kiwisolver | 1.4.4 | py-xgboost | 1.7.1 |
| aws-c-http | 0.7.4 | Trükk | 0.10.1 | py4j | 0.10.9.5 |
| aws-c-io | 0.13.17 | krb5 | 1.20.1 | pyarrow | 11.0.0 |
| aws-c-mqtt | 0.8.6 | Béna | 3.100 | pyasn1 | 0.4.8 |
| aws-c-s3 | 0.2.4 | lcms2 | 2.15 | pyasn1-modules | 0.2.7 |
| aws-c-sdkutils | 0.1.7 | ld_impl_linux-64 | 2.40 | pycosat | 0.6.4 |
| aws-checksums | 0.1.14 | lerc | 4.0.0 | pycparser | 2.21 |
| aws-crt-cpp | 0.19.7 | liac-arff | 2.5.0 | pygments | 2.14.0 |
| aws-sdk-cpp | 1.10.57 | libabseil | 20220623.0 | pyjwt | 2.6.0 |
| azure-common | 1.1.28 | libaec | 1.0.6 | pynacl | 1.5.0 |
| azure-core | 1.26.4 | libarrow | 11.0.0 | pyodbc | 4.0.35 |
| azure-datalake-store | 0.0.51 | libblas | 3.9.0 | pyopenssl | 23.1.1 |
| azure-graphrbac | 0.61.1 | libbrotlicommon | 1.0.9 | pyparsing | 3.0.9 |
| azure-identity | 1.12.0 | libbrotlidec | 1.0.9 | pyperclip | 1.8.2 |
| azure-mgmt-authorization | 3.0.0 | libbrotlienc | 1.0.9 | pyqt | 5.15.7 |
| azure-mgmt-containerregistry | 10.1.0 | libcap | 2.67 | pyqt5-sip | 12.11.0 |
| azure-mgmt-core | 1.4.0 | libcblas | 3.9.0 | pyrsistent | 0.19.3 |
| azure-mgmt-keyvault | 10.2.1 | libclang | 15.0.7 | pockok | 1.7.1 |
| azure-mgmt-resource | 21.2.1 | libclang13 | 15.0.7 | pyspark | 3.3.1 |
| azure-mgmt-storage | 20.1.0 | libcrc32c | 1.1.2 | python | 3.10.10 |
| azure-storage-blob | 12.15.0 | libcups | 2.3.3 | python_abi | 3.10 |
| azure-storage-file-datalake | 12.9.1 | libcurl | 7.88.1 | python-dateutil | 2.8.2 |
| azureml-core | 1.49.0 | libdb | 6.2.32 | python-fastjsonschema | 2.16.3 |
| visszahívás | 0.2.0 | libdeflate | 1.17 | python-flatbuffers | 23.1.21 |
| backports | 1.0 | libebm | 0.3.1 | python-graphviz | 0.20.1 |
| backports-tempfile | 1.0 | libedit | 3.1.20191231 | python-json-logger | 2.0.7 |
| backports-weakref | 1.0.post1 | libev | 4.33 | pytorch | 1.13.1 |
| backports.functools_lru_cache | 1.6.4 | libevent | 2.1.10 | pytz | 2022.7.1 |
| bcrypt | 3.2.2 | libexpat | 2.5.0 | pyu2f | 0.1.5 |
| beautifulsoup4 | 4.11.2 | libffi | 3.4.2 | pywin32-on-windows | 0.1.0 |
| Fehérítő | 6.0.0 | libflac | 1.4.2 | pyyaml | 6.0 |
| villogó | 1.6.1 | libgcc-ng | 12.2.0 | pyzmq | 25.0.2 |
| brotli | 1.0.9 | libgcrypt | 1.10.1 | qt-main | 5.15.8 |
| brotli-bin | 1.0.9 | libgd | 2.3.3 | re2 | 2023.02.01 |
| brotli-python | 1.0.9 | libgfortran-ng | 12.2.0 | Readline | 8.2 |
| brotlipy | 0.7.0 | libgfortran5 | 12.2.0 | Regex | 2022.10.31 |
| bzip2 | 1.0.8 | libglib | 2.74.1 | Kérelmek | 2.28.2 |
| c-ares | 1.18.1 | libgoogle-cloud | 2.7.0 | requests-oauthlib | 1.3.1 |
| ca-certificates | 2022.12.7 | libgpg-error | 1.46 | rfc3339-validator | 0.1.4 |
| cached_property | 1.5.2 | libgrpc | 1.51.1 | rfc3986-validator | 0.1.1 |
| cached-property | 1.5.2 | libhwloc | 2.9.0 | Rsa | 4.9 |
| cachetools | 5.3.0 | libiconv | 1.17 | ruamel_yaml | 0.15.80 |
| Kairó | 1.16.0 | liblapack | 3.9.0 | ruamel.yaml | 0.17.21 |
| minősítés | 2022.12.7 | libllvm11 | 11.1.0 | ruamel.yaml.clib | 0.2.7 |
| cffi | 1.15.1 | libllvm15 | 15.0.7 | s2n | 1.3.37 |
| charset-normalizer | 2.1.1 | libnghttp2 | 1.52.0 | salib | 1.4.7 |
| Kattintson | 8.1.3 | libnsl | 2.0.0 | scikit-learn | 1.2.0 |
| cloudpickle | 2.2.1 | libogg | 1.3.4 | scipy | 1.10.1 |
| colorama | 0.4.6 | libopenblas | 0.3.21 | tengeri | 0.12.2 |
| Comm | 0.1.3 | libopus | 1.3.1 | tengeri bázis | 0.12.2 |
| conda-package-handling | 2.0.2 | libpng | 1.6.39 | titkos kódtár | 3.3.3 |
| conda-package-streaming | 0.7.0 | libpq | 15,2 | send2trash | 1.8.0 |
| configparser | 5.3.0 | libprotobuf | 3.21.12 | setuptools | 67.6.1 |
| contextlib2 | 21.6.0 | librsvg | 2.54.4 | shap | 0.41.0 |
| contourpy | 1.0.7 | libsndfile | 1.2.0 | Sip | 6.7.7 |
| Titkosítás | 40.0.1 | libsodium | 1.0.18 | Hat | 1.16.0 |
| cycler | 0.11.0 | libsqlite | 3.40.0 | zátony | 3.5.1 |
| Kötőjel | 2.9.2 | libssh2 | 1.10.0 | slicer | 0.0.7 |
| dash_cytoscape | 0.2.0 | libstdcxx-ng | 12.2.0 | smmap | 3.0.5 |
| dash-core-components | 2.0.0 | libsystemd0 | 253 | Snappy | 1.1.10 |
| dash-html-components | 2.0.0 | libthrift | 0.18.0 | sniffio | 1.3.0 |
| dash-table | 5.0.0 | libtiff | 4.5.0 | levesek | 2.3.2.post1 |
| databricks-cli | 0.17.6 | libtool | 2.4.7 | sqlalchemy | 2.0.9 |
| dbus | 1.13.6 | libudev1 | 253 | sqlparse | 0.4.3 |
| hibakeresési hibakeresés | 1.6.7 | libutf8proc | 2.8.0 | stack_data | 0.6.2 |
| Dekoratőr | 5.1.1 | libuuid | 2.38.1 | statsmodels | 0.13.5 |
| defusedxml | 0.7.1 | libuv | 1.44.2 | synapseml-mlflow | 1.0.14 |
| Kapros | 0.3.6 | libvorbis | 1.3.7 | synapseml-utils | 1.0.7 |
| distlib | 0.3.6 | libwebp | 1.2.4 | tabulátor | 0.9.0 |
| docker-py | 6.0.0 | libwebp-base | 1.2.4 | Tbb | 2021.8.0 |
| belépési pontok | 0,4 | libxcb | 1.13 | Kitartás | 8.2.2 |
| et_xmlfile | 1.1.0 | libxgboost | 1.7.1 | tensorboard | 2.11.2 |
| Végrehajtó | 1.2.0 | libxkbcommon | 1.5.0 | tensorboard-data-server | 0.6.1 |
| Expat | 2.5.0 | libxml2 | 2.10.3 | tensorboard-plugin-wit | 1.8.1 |
| fftw | 3.3.10 | libxslt | 1.1.37 | tensorflow | 2.11.0 |
| filelock | 3.11.0 | libzlib | 1.2.13 | tensorflow-base | 2.11.0 |
| Lombikot | 2.2.3 | lightgbm | 3.3.3 | tensorflow-estimator | 2.11.0 |
| flask-compress | 1.13 | lime | 0.2.0.1 | termcolor | 2.2.0 |
| flatbuffers | 22.12.06 | llvm-openmp | 16.0.1 | terminado | 0.17.1 |
| flit-core | 3.8.0 | llvmlite | 0.39.1 | threadpoolctl | 3.1.0 |
| fluent-logger | 0.10.0 | lxml | 4.9.2 | tinycss2 | 1.2.1 |
| font-ttf-dejavu-sans-mono | 2.37 | lz4-c | 1.9.4 | Tk | 8.6.12 |
| font-ttf-inconsolata | 3.000 | markdown | 3.4.1 | toml | 0.10.2 |
| font-ttf-source-code-pro | 2.038 | markupsafe | 2.1.2 | Toolz | 0.12.0 |
| font-ttf-ubuntu | 0.83 | matplotlib | 3.6.3 | Tornádó | 6,2 |
| fontconfig | 2.14.2 | matplotlib-base | 3.6.3 | tqdm | 4.65.0 |
| fonts-conda-ecosystem | 1 | matplotlib-inline | 0.1.6 | traitlets | 5.9.0 |
| fonts-conda-forge | 1 | mistune | 2.0.5 | fainterpreter | 0.2.2 |
| betűtípusok | 4.39.3 | mkl | 2022.2.1 | typed-ast | 1.4.3 |
| Freetype | 2.12.1 | mlflow-skinny | 2.1.1 | typing_extensions | 4.5.0 |
| fribidi | 1.0.10 | mpg123 | 1.31.3 | gépelési bővítmények | 4.5.0 |
| frozenlist | 1.3.3 | msal | 1.21.0 | tzdata | 2023c |
| fsspec | 2023.4.0 | msal_extensions | 1.0.0 | unicodedata2 | 15.0.0 |
| Gast | 0.4.0 | msgpack | 1.0.5 | unixodbc | 2.3.10 |
| gdk-pixbuf | 2.42.10 | msrest | 0.7.1 | urllib3 | 1.26.14 |
| geographiclib | 1.52 | msrestazure | 0.6.4 | virtualenv | 20.19.0 |
| geopy | 2.3.0 | többdimenziós | 6.0.4 | wcwidth | 0.2.6 |
| Gettext | 0.21.1 | többprocesszoros | 0.70.14 | webencodings | 0.5.1 |
| gevent | 22.10.2 | munkres | 1.1.4 | websocket-client | 1.5.1 |
| gflags | 2.2.2 | mypy | 0.780 | werkzeug | 2.2.3 |
| giflib | 5.2.1 | mypy-extensions | 0.4.4 | Kerék | 0.40.0 |
| gitdb | 4.0.10 | mysql-common | 8.0.32 | widgetsnbextension | 4.0.7 |
| gitpython | 3.1.31 | mysql-libs | 8.0.32 | wrapt | 1.15.0 |
| Glib | 2.74.1 | nbclient | 0.7.3 | xcb-util | 0.4.0 |
| glib-tools | 2.74.1 | nbconvert-core | 7.3.0 | xcb-util-image | 0.4.0 |
| glog | 0.6.0 | nbformat | 5.8.0 | xcb-util-keysyms | 0.4.0 |
| google-hitelesítés | 2.17.2 | ncurses | 6.3 | xcb-util-renderutil | 0.3.9 |
| google-auth-oauthlib | 0.4.6 | ndg-httpsclient | 0.5.1 | xcb-util-wm | 0.4.1 |
| google-pasta | 0.2.0 | nest-asyncio | 1.5.6 | xgboost | 1.7.1 |
| graphite2 | 1.3.13 | nspr | 4.35 | xkeyboard-config | 2.38 |
| graphviz | 2.50.0 | Nss | 3.89 | xorg-kbproto | 1.0.7 |
| greenlet | 2.0.2 | numba | 0.56.4 | xorg-libice | 1.0.10 |
| grpcio | 1.51.1 | numpy | 1.23.5 | xorg-libsm | 1.2.3 |
| gson | 0.0.3 | oauthlib | 3.2.2 | xorg-libx11 | 1.8.4 |
| gst-plugins-base | 1.22.0 | openjpeg | 2.5.0 | xorg-libxau | 1.0.9 |
| Gstreamer | 1.22.0 | openpyxl | 3.1.0 | xorg-libxdmcp | 1.1.3 |
| gstreamer-orc | 0.4.33 | openssl | 3.1.0 | xorg-libxext | 1.3.4 |
| gtk2 | 2.24.33 | opt_einsum | 3.3.0 | xorg-libxrender | 0.9.10 |
| Gts | 0.7.6 | Ork | 1.8.2 | xorg-renderproto | 0.11.1 |
| h5py | 3.8.0 | Csomagolás | 21,3 | xorg-xextproto | 7.3.0 |
| harfbuzz | 6.0.0 | pandas | 1.5.3 | xorg-xproto | 7.0.31 |
| hdf5 | 1.14.0 | pandasql | 0.7.3 | xz | 5.2.6 |
| html5lib | 1.1 | pandocfilters | 1.5.0 | yaml | 0.2.5 |
| humanfriendly | 10,0 | pango | 1.50.14 | yarl | 1.8.2 |
| Icu | 70.1 | paramiko | 2.12.0 | zeromq | 4.3.4 |
| idna | 3.4 | parquet-cpp | 1.5.1 | zipp | 3.15.0 |
| imageio | 2.25.0 | parso | 0.8.3 | Zlib | 1.2.13 |
| importlib_metadata | 5.2.0 | Pátosz | 0.3.0 | zope.event | 4,6 |
| importlib_resources | 5.12.0 | pathspec | 0.11.1 | zope.interface | 6.0 |
| importlib-metadata | 5.2.0 | Patsy | 0.5.3 | zstandard | 0.19.0 |
| értelmezés | 0.3.1 | pcre2 | 10.40 | zstd | 1.5.2 |
| interpret-core | 0.3.1 | pexpect | 4.8.0 |
Alapértelmezett szintű csomagok R-kódtárakhoz
Az alábbiakban megtalálja a táblázatot, amely felsorolja az R és a hozzájuk tartozó verziók összes alapértelmezett szintű csomagját.
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| askpass | 1.1 | highcharter | 0.9.4 | readr | 2.1.3 |
| assertthat | 0.2.1 | highr | 0,9 | readxl | 1.4.1 |
| backports | 1.4.1 | hms | 1.1.2 | recipes | 1.0.3 |
| base64enc | 0.1-3 | htmltools | 0.5.3 | rematch | 1.0.1 |
| bit | 4.0.5 | htmlwidgets | 1.5.4 | visszavágó2 | 2.1.2 |
| bit64 | 4.0.5 | httpcode | 0.3.0 | Távirányító | 2.4.2 |
| blob | 1.2.3 | httpuv | 1.6.6 | reprex | 2.0.2 |
| brew | 1.0-8 | httr | 1.4.4 | reshape2 | 1.4.4 |
| Brio | 1.1.3 | Azonosítók | 1.0.1 | rjson | 0.2.21 |
| broom | 1.0.1 | igraph | 1.3.5 | rlang | 1.0.6 |
| bslib | 0.4.1 | Következtetni | 1.0.3 | rlist | 0.4.6.2 |
| cachem | 1.0.6 | Ini | 0.3.1 | rmarkdown | 2.18 |
| callr | 3.7.3 | ipred | 0.9-13 | RODBC | 1.3-19 |
| kalap jel | 6.0-93 | izoband | 0.2.6 | roxygen2 | 7.2.2 |
| cellranger | 1.1.0 | iterators | 1.0.14 | rprojroot | 2.0.3 |
| cli | 3.4.1 | jquerylib | 0.1.4 | rsample | 1.1.0 |
| clipr | 0.8.0 | jsonlite | 1.8.3 | rstudioapi | 0.14 |
| Óra | 0.6.1 | knitr | 1.41 | rversions | 2.1.2 |
| colorspace | 2.0-3 | labeling | 0.4.2 | rvest | 1.0.3 |
| commonmark | 1.8.1 | Később | 1.3.0 | Sass | 0.4.4 |
| config | 0.3.1 | lava | 1.7.0 | scales | 1.2.1 |
| Ütközött | 1.1.0 | lazyeval | 0.2.2 | selectr | 0.4-2 |
| coro | 1.0.3 | Lhs | 1.1.5 | sessioninfo | 1.2.2 |
| cpp11 | 0.4.3 | Életciklus | 1.0.3 | shiny | 1.7.3 |
| crayon | 1.5.2 | lightgbm | 3.3.3 | Csúszka | 0.3.0 |
| hitelesítő adatok | 1.3.2 | figyelő | 0.8.0 | sourcetools | 0.1.7 |
| crosstalk | 1.2.0 | homár | 1.1.2 | sparklyr | 1.7.8 |
| crul | 1.3 | lubridate | 1.9.0 | SQUAREM | 2021.1 |
| curl | 4.3.3 | magrittr | 2.0.3 | stringi | 1.7.8 |
| data.table | 1.14.6 | maps | 3.4.1 | stringr | 1.4.1 |
| DBI | 1.1.3 | memoise | 2.0.1 | sys | 3.4.1 |
| dbplyr | 2.2.1 | mime | 0,12 | systemfonts | 1.0.4 |
| desc | 1.4.2 | miniUI | 0.1.1.1 | testthat | 3.1.5 |
| devtools | 2.4.5 | modeldata | 1.0.1 | szövegformázás | 0.3.6 |
| Tárcsázza | 1.1.0 | modelenv | 0.1.0 | tibble | 3.1.8 |
| DiceDesign | 1.9 | ModelMetrics | 1.2.2.2 | tidymodels | 1.0.0 |
| diffobj | 0.3.5 | modelr | 0.1.10 | tidyr | 1.2.1 |
| digest | 0.6.30 | munsell | 0.5.0 | tidyselect | 1.2.0 |
| levilágított | 0.4.2 | numDeriv | 2016.8-1.1 | tidyverse | 1.3.2 |
| dplyr | 1.0.10 | openssl | 2.0.4 | timechange | 0.1.1 |
| dtplyr | 1.2.2 | párhuzamosan | 1.32.1 | timeDate | 4021.106 |
| e1071 | 1.7-12 | elemzés | 1.0.3 | tinytex | 0.42 |
| ellipsis | 0.3.2 | Patchwork | 1.1.2 | Fáklya | 0.9.0 |
| evaluate | 0,18 | pillar | 1.8.1 | triebeard | 0.3.0 |
| fansi | 1.0.3 | pkgbuild | 1.4.0 | TTR | 0.24.3 |
| farver | 2.1.1 | pkgconfig | 2.0.3 | Dallam | 1.0.1 |
| gyorstérkép | 1.1.0 | pkgdown | clickstream | tzdb | 0.3.0 |
| fontawesome | 0.4.0 | pkgload | 1.3.2 | urlchecker | 1.0.1 |
| forcats | 0.5.2 | plotly | 4.10.1 | urltools | 1.7.3 |
| foreach | 1.5.2 | plyr | 1.8.8 | usethis | 2.1.6 |
| Forge | 0.2.0 | praise | 1.0.0 | utf8 | 1.2.2 |
| Fs | 1.5.2 | prettyunits | 1.1.1 | uuid | 1.1-0 |
| furrr | 0.3.1 | pROC | 1.18.0 | vctrs | 0.5.1 |
| Jövőben | 1.29.0 | processx | 3.8.0 | viridisLite | 0.4.1 |
| future.apply | 1.10.0 | prodlim | 2019.11.13 | vroom | 1.6.0 |
| Gargarizál | 1.2.1 | profvis | 0.3.7 | Waldo | 0.4.0 |
| Generikus | 0.1.3 | progress | 1.2.2 | Warp | 0.2.0 |
| Gert | 1.9.1 | progressr | 0.11.0 | whisker | 0,4 |
| ggplot2 | 3.4.0 | Ígér | 1.2.0.1 | withr | 2.5.0 |
| Gh | 1.3.1 | proxy | 0.4-27 | Munkafolyamatok | 1.1.2 |
| gistr | 0.9.0 | pryr | 0.1.5 | munkafolyamat-halmazok | 1.0.0 |
| gitcreds | 0.1.2 | Ps | 1.7.2 | xfun | 0.35 |
| Globals | 0.16.2 | purrr | 0.3.5 | xgboost | 1.6.0.1 |
| glue | 1.6.2 | quanteda | 0.4.20 | XML | 3.99-0.12 |
| googledrive | 2.0.0 | r2d3 | 0.2.6 | xml2 | 1.3.3 |
| googlesheets4 | 1.0.1 | R6 | 2.5.1 | xopen | 1.0.0 |
| gower | 1.0.0 | ragg | 1.2.4 | xtable | 1.8-4 |
| GPfit | 1.0-8 | rappdirs | 0.3.3 | xts | 0.12.2 |
| gtable | 0.3.1 | rbokeh | 0.5.2 | yaml | 2.3.6 |
| hardhat | 1.2.0 | rcmdcheck | 1.4.0 | Szempont | 1.1.0 |
| haven | 2.5.1 | RColorBrewer | 1.1-3 | Zip | 2.2.2 |
| hexbin | 1.28.2 | Rcpp | 1.0.9 | zoo | 1.8-11 |
Migrálás különböző Apache Spark-verziók között
A számítási feladatok Fabric Runtime 1.1-re (Apache Spark 3.3) az Apache Spark régebbi verziójáról történő migrálása több lépésből áll a zökkenőmentes migrálás érdekében. Ez az útmutató ismerteti a hatékony és hatékony migráláshoz szükséges lépéseket.
Tekintse át a Fabric Runtime 1.1 kibocsátási megjegyzéseit, beleértve a futtatókörnyezetben található összetevők és alapértelmezett szintű csomagok ellenőrzését az új funkciók és fejlesztések megismeréséhez.
Ellenőrizze az aktuális beállítás és az összes kapcsolódó kódtár kompatibilitását, beleértve a függőségeket és az integrációkat. Tekintse át a migrálási útmutatókat a lehetséges kompatibilitástörő változások azonosításához:
- Tekintse át a Spark Core migrálási útmutatóját
- Tekintse át az SQL, az adatkészletek és a DataFrame migrálási útmutatóit
- Ha a megoldás az Apache Spark Structure Streaming szolgáltatással kapcsolatos, tekintse át a Strukturált streamelés migrálási útmutatóját
- Ha PySparkot használ, tekintse át a Pyspark migrálási útmutatójában
- Ha kódot migrál Koalasból PySparkba, tekintse át a Koalas és a Pandas API közötti Spark-migrálási útmutatót
Helyezze át a számítási feladatokat a Hálóba, és győződjön meg arról, hogy rendelkezik biztonsági másolatokkal az adatokról és a konfigurációs fájlokról, ha vissza kell térnie az előző verzióra.
Frissítse az Apache Spark vagy más Fabric Runtime 1.1-hez kapcsolódó összetevők által esetlegesen érintett függőségeket. Ilyenek lehetnek külső kódtárak vagy összekötők. Az éles környezetben való üzembe helyezés előtt mindenképpen tesztelje a frissített függőségeket egy átmeneti környezetben
Frissítse az Apache Spark-konfigurációt a számítási feladaton. Ez magában foglalhatja a konfigurációs beállítások frissítését, a memóriafoglalások módosítását és az elavult konfigurációk módosítását.
Módosítsa az Apache Spark-alkalmazásokat (jegyzetfüzeteket és Apache Spark-feladatok definícióit) a Fabric Runtime 1.1-ben és az Apache Spark 3.3-ban bevezetett új API-k és funkciók használatára. Ez magában foglalhatja a kód frissítését az elavult vagy eltávolított API-k fogadására, valamint az alkalmazások újrabontását, hogy kihasználhassa a teljesítménybeli fejlesztéseket és az új funkciókat.
Alaposan tesztelje a frissített alkalmazásokat átmeneti környezetben az Apache Spark 3.3 kompatibilitásának és stabilitásának biztosítása érdekében. Végezzen teljesítménytesztelést, funkcionális tesztelést és regressziós tesztelést a migrálási folyamat során esetlegesen felmerülő problémák azonosításához és megoldásához.
Miután az alkalmazásokat átmeneti környezetben ellenőrizte, helyezze üzembe a frissített alkalmazásokat az éles környezetben. Monitorozza az alkalmazások teljesítményét és stabilitását a migrálás után, hogy azonosítsa a megoldandó problémákat.
Frissítse a belső dokumentációt és a betanítási anyagokat a Fabric Runtime 1.1-ben bevezetett változásoknak megfelelően. A migrálás előnyeinek maximalizálása érdekében győződjön meg arról, hogy a csapattagok ismerik az új funkciókat és fejlesztéseket.