Databricks Runtime 10.0 (nieobsługiwane)

  • Artykuł

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 10.0 i Databricks Runtime 10.0 Photon obsługiwanym przez platformę Apache Spark 3.2.0. Usługa Databricks opublikowała te obrazy w październiku 2021 roku. Photon jest w publicznej wersji zapoznawczej.

Nowe funkcje i ulepszenia

Nowa wersja platformy Apache Spark

Środowisko Databricks Runtime 10.0 i Databricks Runtime 10.0 Photon obejmują platformę Apache Spark 3.2.0. Aby uzyskać szczegółowe informacje, zobacz Apache Spark.

Instrukcja SELECT obsługuje teraz klauzulę QUALIFY, aby filtrować wyniki funkcji okna

Instrukcja SELECT obsługuje teraz klauzulę QUALIFY . QUALIFY umożliwia filtrowanie wyników funkcji okna. Co najmniej jedna funkcja okna musi być obecna na SELECT liście lub warunku QUALIFY . Na przykład:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Obsługa klastra dla zestawu JDK 11 (publiczna wersja zapoznawcza)

Usługa Databricks zapewnia teraz obsługę klastra dla zestawu Java Development Kit (JDK) 11.

Podczas tworzenia klastra można określić, że klaster używa zestawu JDK 11 (zarówno dla sterownika, jak i funkcji wykonawczej). W tym celu dodaj następującą zmienną środowiskową do opcji > zaawansowanych Zmiennych środowiskowych platformy Spark>:

JNAME=zulu11-ca-amd64

Moduł automatycznego ładowania traktuje teraz schematy jako dopuszczane do wartości null

Moduł automatycznego ładowania traktuje teraz wszystkie schematy wywnioskowane i dostarczane przez użytkownika jako domyślnie dopuszczane do wartości null. Pozwala to uniknąć potencjalnego uszkodzenia danych w przypadkach, gdy dane zawierają pola o wartości null dla kolumn bez wartości null. Wprowadzono nową konfigurację do śledzenia tego zachowania: spark.databricks.cloudFiles.schema.forceNullable. Domyślnie ta konfiguracja zawiera ustawienie , które jest używane przez element spark.sql.streaming.fileSource.schema.forceNullableFileStreamSource na platformie Apache Spark i jest domyślnie true ustawione na wartość .

Zmiany powodujące niezgodność

Zmiany powodujące niezgodność dla wszystkich użytkowników usługi Spark SQL

  • Nowa spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled konfiguracja: w przypadku ustawienia na truewartość , umożliwia podzestaw skorelowanych predykatów równości, gdy podzapytywanie jest agregowane. Ustawienie domyślne to true.
  • Nowa spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled konfiguracja: w przypadku ustawienia na truewartość , blokuje automatyczne generowanie aliasów podczas tworzenia widoków. Ustawienie domyślne to true.
  • Nowa spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled konfiguracja: w przypadku ustawienia na truewartość , nie zezwala CREATE TABLE AS SELECT na niepustą lokalizację. Ustawienie domyślne to true. Należy pamiętać, że jeśli spark.sql.legacy.allowNonEmptyLocationInCTAS jest również ustawiona na truewartość , ta konfiguracja nie ma efektu, a CREATE TABLE AS SELECT lokalizacja niepusta jest zawsze dozwolona.

Zmiany powodujące niezgodność dla użytkowników usługi Spark SQL, którzy włączają tryb ANSI

Aby uzyskać informacje na temat trybu ANSI, zobacz Zgodność ANSI w środowisku Databricks Runtime.

  • Nowa spark.databricks.behaviorChange.SC83587NextDayDOW.enabled konfiguracja: jeśli jest ustawiona na true, nieprawidłowy dayOfWeek argument funkcji zgłasza IllegalArgumentException błąd next_day w trybie ANSI; w przeciwnym razie zwraca wartość null. Ustawienie domyślne to true.
  • Nowa spark.databricks.behaviorChange.SC83796CanCast.enabled konfiguracja: po ustawieniu truena wartość , włącza nowe jawne reguły składni rzutowania w trybie ANSI. Ustawienie domyślne to true.
  • Nowa spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled konfiguracja: w przypadku ustawienia truewartości , podczas rzutowania ciągu do wartości logicznej jest zgłaszany wyjątek błędu analizy. W przeciwnym razie zwraca wartość null. Ustawienie domyślne to true.
  • Nowa spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled konfiguracja: po ustawieniu truena wartość abs funkcja zgłasza wyjątek, jeśli dane wejściowe są poza zakresem. Ustawienie domyślne to true.

Istotne zmiany dla wszystkich użytkowników języka Python

  • Interfejs API delta.tables.DeltaTable.convertToDelta języka Python zwraca teraz prawidłowy DeltaTable obiekt języka Python, który może służyć do uruchamiania poleceń usługi Delta Lake. Wcześniej zwrócił obiekt wewnętrzny, którego nie można wywołać bezpośrednio.

Uaktualnienia biblioteki

Uaktualnianie usługi Apache Hadoop 3

  • Środowisko Databricks Runtime 10.0 uaktualnia zależność hadoop z usługi Hadoop 2.7.4 do usługi Hadoop 3.3.1.

Zmiany zachowania

  • Usługa Hadoop 3 używa bibliotek hadoop-client-api i hadoop-client-runtime zamiast biblioteki hadoop-common , która odcienie niektórych zależności innych firm, które mogą być potencjalnie używane w publicznych interfejsach API lub rozszerzeniach usługi Hadoop.
  • Opcje konfiguracji usługi Hadoop 3 uległy zmianie od usługi Hadoop 2. W przypadku opcji usługi Hadoop 3.3.1 zobacz core-default.xml.
  • Usługa Databricks zaktualizowała niektóre domyślne konfiguracje usługi Hadoop 3, aby były zgodne z usługą Hadoop 2, aby upewnić się, że łączniki magazynu mają te same domyślne ustawienia uwierzytelniania i poziomy wydajności:
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • Łącznik usługi Google Cloud Storage (GCS) został uaktualniony z wersji 2.1.6 do 2.2.2.2.
  • Łącznik Amazon Redshift używa teraz schematu s3a:// . Schemat s3n:// jest przestarzały.
  • Obsługuje nazwy klas systemu operacyjnego dla interfejsu API magazynu metadanych Amazon S3 oprócz zacienionych klas. Umożliwia to przetwarzanie konfiguracji systemu operacyjnego bez konieczności używania zacieniowanych nazw klas.
    • Na przykład można określić klasę org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore w konfiguracji usługi Hadoop.
  • Sprawia, że element new Configuration() i sparkContext.hadoopConfiguration jest spójny.
    • Teraz za każdym razem, gdy zostanie utworzona nowa konfiguracja usługi Hadoop, będzie ona zgodna ze wstępnie zdefiniowaną konfiguracją usługi Hadoop w środowisku Databricks Runtime, w sparkContext.hadoopConfiguration tym schematami systemu plików i ich domyślną konfiguracją.
  • Mimo że łączniki magazynu hadoop zawarte w środowisku Databricks Runtime są w pełni zgodne z usługą Hadoop 3.3.1, nie mają gwarancji, że są zsynchronizowane z łącznikami platformy Hadoop 3.3.1 systemu operacyjnego i mogą mieć inne zachowanie.
    • Łącznik Usługi Amazon S3 nadal zezwala (chociaż z ostrzeżeniem) na uwierzytelnianie użytkownika:tajne w adresach URL S3, w porównaniu z usługą HADOOP-14833, co powoduje jego usunięcie.
  • funkcja globStatus teraz zawsze zwraca posortowane wyniki (HADOOP-10798)
  • Dodano parametr fs.s3a.endpoint, jeśli nieskonfigurowany, a region fs.s3a.endpoint ma wartość null (SPARK-35878)
    • Usługa Databricks zapewnia automatyczne rozpoznawanie regionów Amazon S3 może nie zostać wyzwolona w niektórych przypadkach z powodu ustawionego globalnego punktu końcowego. Nie jest to problem, ponieważ zestaw AWS SDK rozwiąże ten region poprawnie.
  • Dodaj fs.s3a.downgrade.syncable.exceptions, jeśli nie ustawiono (SPARK-35868)
  • Kodety LZ4 i Snappy nie korzystają z natywnej biblioteki hadoop (HADOOP-17125)

Znane problemy

  • Spark-36681 Używanie przystawkiCodec do zapisu pliku sekwencji zakończy się niepowodzeniem z powodu znanego problemu w usłudze Hadoop 3.3.1 (HADOOP-17891)

Apache Spark

Środowisko Databricks Runtime 10.0 obejmuje platformę Apache Spark 3.2.0.

W tej sekcji:

Najważniejsze informacje

  • Obsługa warstwy interfejsu API biblioteki Pandas na platformie PySpark(SPARK-34849)
  • Sesjonizacja oparta na czasie zdarzenia (okno sesji)(SPARK-10816)
  • Obsługa typów INTERWAŁów ANSI SQL (SPARK-27790)
  • Ogólna dostępność trybu ANSI (SPARK-35030)
  • Standaryzacja komunikatów wyjątków na platformie Spark (SPARK-33539)

Core i Spark SQL

Ulepszenia zgodności usługi ANSI SQL

  • Obsługa typów INTERWAŁów ANSI SQL (SPARK-27790)
  • Nowe reguły składni wymuszania typu w trybie ANSI (SPARK-34246)

Ulepszenia wydajności

  • Optymalizacja zapytań
    • Usuwanie nadmiarowych agregacji w optymalizatorze (SPARK-33122)
    • Wypychanie limitu do projektu za pomocą funkcji Join(SPARK-34622)
    • Szacowanie kardynalności operatora unii, sortowania i zakresu (SPARK-33411)
    • UnwrapCastInBinaryComparison support In/InSet predykate(SPARK-35316)
    • Zachowaj niezbędne statystyki po oczyszczeniu partycji (SPARK-34119)
  • Wykonywanie zapytań
    • Domyślnie włącz pulę buforów Zstandard (SPARK-34340, SPARK-34390)
    • Dodaj kod-gen dla wszystkich typów sprzężeń scalania sortowania (SPARK-34705)
    • Ulepszenia sprzężenia zagnieżdżonej emisji (SPARK-34706)
    • Obsługa dwóch poziomów map skrótów dla końcowej agregacji skrótów (SPARK-35141)
    • Zezwalaj na współbieżne zapisy na potrzeby zapisywania partycji dynamicznych i tabeli zasobników (SPARK-26164)
    • Zwiększanie wydajności przetwarzania FETCH_PRIOR w usłudze Thriftserver(SPARK-33655)

ulepszenia Połączenie or

  • Parkiet
    • Uaktualnij parquet do wersji 1.12.1 (SPARK-36726)
    • Odczyt typów niepodpisanych parquet, które są przechowywane jako typ fizyczny int32 w parquet(SPARK-34817)
    • Odczyt typu logicznego Parquet bez znaku int64, który jest przechowywany jako typ fizyczny ze znakiem int64 do dziesiętnego (20, 0)(SPARK-34786)
    • Ulepszanie parquet w filtrze pushdown(SPARK-32792)
  • ORC
  • Avro
    • Uaktualnij program Avro do wersji 1.10.2(SPARK-34778)
    • Obsługa ewolucji schematu Avro dla partycjonowanych tabel programu Hive z "avro.schema.literal"(SPARK-26836)
    • Dodawanie nowych opcji źródła danych Avro w celu kontrolowania ponownego łączenia daty/godziny w funkcji odczytu (SPARK-34404)
    • Dodawanie obsługi adresu URL schematu dostarczonego przez użytkownika w aplikacji Avro(SPARK-34416)
    • Dodano obsługę dopasowania schematu positional Catalyst-to-Avro (SPARK-34365)
  • Notacja JSON
    • Uaktualnij jacksona do wersji 2.12.3(SPARK-35550)
    • Zezwalaj źródłom danych JSON na zapisywanie znaków innych niż ascii jako punktów kodu (SPARK-35047)
  • JDBC
    • Oblicz bardziej precyzyjny krok partycji w JDBCRelation(SPARK-34843)
  • Filtrowanie obsługi magazynu metadanych Hive według not-in (SPARK-34538)

Ulepszenia funkcji

  • Podkwerenda
  • Nowe wbudowane funkcje
  • Domyślnie używaj platformy Apache Hadoop 3.3.1 (SPARK-29250)
  • Dodawanie sumy kontrolnej dla bloków mieszania (SPARK-35275)
  • Domyślnie włącz spark.storage.replication.active(SPARK-33870)
  • Obsługa oczyszczania magazynu rezerwowego podczas zatrzymywania elementu SparkContext(SPARK-34142)
  • Obsługa wyliczenia języka Java z interfejsu API zestawu danych Scala (SPARK-23862)
  • DODAWANIE pliku JAR ze współrzędnymi bluszczu powinno być zgodne z zachowaniem przechodnim programu Hive (SPARK-34506)
  • Obsługa polecenia ADD ARCHIVE and LIST ARCHIVES (SPARK-34603)
  • Obsługa wielu ścieżek dla poleceń ADD FILE/JAR/ARCHIVE (SPARK-35105)
  • Obsługa plików archiwum jako zasobów dla składni CREATE FUNCTION USING (SPARK-35236)
  • Ładowanie rozszerzeń SparkSessionExtensions z elementu ServiceLoader(SPARK-35380)
  • Dodawanie funkcji zdania do funkcji. {scala,py} (SPARK-35418)
  • Zastosuj spark.sql.hive.metastorePartitionPruning dla tabel innych niż Hive, które używają magazynu metadanych Hive do zarządzania partycjami (SPARK-36128)
  • Propagacja przyczyny utraty exec do internetowego interfejsu użytkownika (SPARK-34764)
  • Unikaj inlinowania niedeterministycznego with-CTEs (SPARK-36447)
  • Obsługa analizowania wszystkich tabel w określonej bazie danych (SPARK-33687)
  • Standaryzacja komunikatów wyjątków na platformie Spark (SPARK-33539)
  • Obsługa (IGNORUJ | RESPECT) NULLS for LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE(SPARK-30789)

Inne istotne zmiany

  • Monitor
    • Nowe metryki do externalShuffleService(SPARK-35258)
    • Dodawanie nowych interfejsów API REST i parametrów na poziomie etapu (SPARK-26399)
    • Obsługa dystrybucji metryk zadań i funkcji wykonawczej dystrybucji metryk w interfejsie API REST (SPARK-34488)
    • Dodawanie metryk rezerwowych dla agregacji skrótów (SPARK-35529)
  • Dodaj count_distinct jako opcję Dataset#summary(SPARK-34165)
  • Implementowanie elementu ScriptTransform w języku sql/core (SPARK-31936)
  • Konfigurowanie limitu czasu pulsu sterownika BlockManagerMaster (SPARK-34278)
  • Skonfiguruj nazwę usługi shuffle po stronie klienta i zezwól na zastąpienie konfiguracji opartej na klasie po stronie serwera (SPARK-34828)
  • ExecutorMetricsPoller powinien zachować wpis etapu w stageTCMP do momentu wystąpienia pulsu (SPARK-34779)
  • Zastąp wartość if klauzulą filter w poleceniu RewriteDistinctAggregates(SPARK-34882)
  • Naprawianie błędu podczas stosowania elementu CostBasedJoinReorder na samosprzężeniu (SPARK-34354)
  • FUNKCJA CREATE TABLE LIKE powinna uwzględniać właściwości tabeli zarezerwowanej (SPARK-34935)
  • Dostarczanie pliku ivy Ustawienia do sterownika w trybie klastra YARN (SPARK-34472)
  • Rozwiązywanie zduplikowanych typowych kolumn z funkcji USING/NATURAL JOIN(SPARK-34527)
  • Ukryj właściwości widoku wewnętrznego dla opisu tabeli cmd(SPARK-35318)
  • Obsługa rozwiązywania brakujących attrów dla wskazówek dotyczących dystrybucji/klastra według/ponownej części (SPARK-35331)
  • Ignoruj błąd podczas sprawdzania ścieżki w pliku FileStreamSink.hasMetadata(SPARK-34526)
  • Ulepszanie obsługi funkcji zatwierdzania magii s3a przez wnioskowanie brakujących konfiguracji (SPARK-35383)
  • Zezwalaj na pominięcie : w ciągu typu STRUCT (SPARK-35706)
  • Dodaj nowy operator, aby odróżnić, czy usługa AQE może bezpiecznie zoptymalizować (SPARK-35786)
  • Dołączanie nowych zagnieżdżonych pól struktury zamiast sortowania dla unionByName z wypełnieniem o wartości null (SPARK-35290)
  • Funkcja ArraysZip powinna zachować nazwy pól, aby uniknąć ponownego zapisywania przez analizator/optymalizator (SPARK-35876)
  • Użyj wartości Void jako nazwy typu NullType(SPARK-36224)
  • Wprowadzenie nowego interfejsu API do elementu FileCommitProtocol zezwala na elastyczne nazewnictwo plików (SPARK-33298)

Zmiany zachowania

Zapoznaj się z przewodnikami migracji dla każdego składnika: Spark Core.

Przesyłanie strumieniowe ze strukturą

Główne funkcje

  • Sesjonizacja oparta na czasie zdarzenia (okno sesji)(SPARK-10816)
  • Uaktualnianie klienta platformy Kafka do wersji 2.8.0 (SPARK-33913)
  • Trigger.AvailableNow do uruchamiania zapytań przesyłania strumieniowego, takich jak Trigger.Once w wielu partiach w języku Scala(SPARK-36533)

Inne istotne zmiany

  • Wprowadzenie nowej opcji w źródle platformy Kafka w celu określenia minimalnej liczby rekordów do odczytu na wyzwalacz (SPARK-35312)
  • Dodawanie najnowszych przesunięć do postępu źródła (SPARK-33955)

PySpark

Projekt Zen

  • Interfejs API biblioteki Pandas na platformie Spark (SPARK-34849)
  • obsługa funkcji faulthanlder dla procesu roboczego języka Python uległa awarii (SPARK-36062)
  • Używanie reguły nazewnictwa węża w interfejsach API funkcji (SPARK-34306)
  • Włącz domyślnie spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled(SPARK-35419)
  • Obsługa wnioskowania zagnieżdżonego dict jako struktury podczas tworzenia ramki danych (SPARK-35929)

Inne istotne zmiany

  • Włącz domyślnie przypięty tryb wątku (SPARK-35303)
  • Dodano obsługę parametru NullType dla wykonań strzałek (SPARK-33489)
  • Dodawanie obsługi self_destruct strzałki do funkcji ToPandas (SPARK-32953)
  • Dodawanie interfejsu API otoki docelowej wątku dla trybu wątku pin pyspark (SPARK-35498)

Zmiany zachowania

Zobacz przewodniki dotyczące migracji.

MLlib

usprawnienia dotyczące wydajności

  • Optymalizacja transformacji BucketedRandomProjectionLSH (SPARK-34220)
  • optymalizacja w2v findSynonyms (SPARK-34189)
  • optymalizowanie rozrzedzielonego rozwiązania GEMM przez pominięcie sprawdzania granic (SPARK-35707)
  • Zwiększanie wydajności rekomendacji ML ALSForAll by GEMV(SPARK-33518)

Ulepszenia trenowania modelu

  • Refaktoryzacja agregatora logistycznego — obsługa wirtualnego centrum (SPARK-34797)
  • Regresja logistyczna binarna z wyśrodkowaniem przechwytywania (SPARK-34858, SPARK-34448)
  • Regresja logistyczna wielomianowa z wyśrodkowaniem obsługi przechwytywania (SPARK-34860)

Ulepszenia platformy BLAS

  • Zastąp w pełni com.github.fommil.netlib przez dev.ludovic.netlib:2.0(SPARK-35295)
  • Dodawanie wektoryzowanej implementacji BLAS (SPARK-33882)
  • Przyspieszanie rezerwowego tworzenia oprogramowania BLAS za pomocą biblioteki dev.ludovic.netlib(SPARK-35150)

Inne istotne zmiany

  • Przekształcanie OVR naprawia potencjalne konflikty kolumn (SPARK-34356)

Wycofywanie i usuwanie

  • Przestarzałe spark.launcher.child Połączenie ionTimeout(SPARK-33717)
  • przestarzałe GRUPUJ WEDŁUG... GRUPOWANIE ZESTAWÓW (...) i podwyższanie POZIOMU GRUPOWANIA WEDŁUG ZESTAWÓW GRUPOWANIA (...) (SPARK-34932)
  • Przestarzałe interfejs API ps.broadcast(SPARK-35810)
  • Wycofaj num_files argument (SPARK-35807)
  • Przestarzałe DataFrame.to_spark_io(SPARK-35811)

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 10.0.

Środowisko systemu

  • System operacyjny: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
Antergos Linux 2015.10 (rolling ISO) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 Cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekorator 5.0.6 distlib 0.3.3
dystrybucja informacji 0.23ubuntu1 aspekty — omówienie 1.0.0 filelock 3.0.12
Idna 2.10 ipykernel 5.3.4 Ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 Koale 1.8.1 matplotlib 3.4.2
Numpy 1.19.2 Pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Poduszkę 8.2.0 Pip 21.0.1 kreślenie 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
żądania 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 Sześć 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 Wytrzymałość 8.0.1 threadpoolctl 2.1.0
Tornado 6.1 traitlety 5.0.5 nienadzorowane uaktualnienia 0.1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
Koła 0.36.2

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2021-09-21.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 Backports 1.2.1
base 4.1.1 base64enc 0.1-3 bitowe 4.0.4
bit64 4.0.5 blob 1.2.2 rozruch 1.3-28
Napar 1.0-6 Brio 1.1.2 Miotła 0.7.9
bslib 0.3.0 cachem 1.0.6 obiekt wywołujący 3.7.0
caret 6.0-88 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 Kolorów 2.0-2
commonmark 1,7 — kompilator 4.1.1 config 0.3.1
cpp11 0.3.1 Pastel 1.4.1 poświadczenia 1.3.1
Curl 4.3.2 data.table 1.14.0 usługi Power BI 4.1.1
DBI 1.1.1 dbplyr 2.1.1 Desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 Szyfrowane 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 wielokropek 0.3.2
evaluate 0,14 fani 0.5.0 farver 2.1.0
szybka mapa 1.1.0 forcats 0.5.1 foreach 1.5.1
Zagranicznych 0.8-81 Forge 0.2.0 Fs 1.5.0
Przyszłości 1.22.1 future.apply 1.8.1 Płukać 1.2.0
Generyczne 0.1.0 Gert 1.4.1 ggplot2 3.3.5
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
Globals 0.14.0 Kleju 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 Gower 0.2.2 grafika 4.1.1
grDevices 4.1.1 Siatki 4.1.1 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 Haven 2.4.3
wysoki 0,9 Hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Identyfikatory 1.0.1
Ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Iteratory 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 knitr 1.34 Etykietowania 0.4.2
Później 1.3.0 Kraty 0.20-44 Lawy 1.6.10
cykl życia 1.0.0 nasłuchiwanie 0.8.0 lubridate 1.7.10
magrittr 2.0.1 Markdown 1.1 MASSACHUSETTS 7.3-54
Macierz 1.3-4 zapamiętywanie 2.0.0 metody 4.1.1
mgcv 1.8-37 Mime 0,11 Metryki modelu 1.2.2.2
modeler 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 równolegle 1.28.1 Filar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 Pochwały 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Postęp 1.2.2 progressr 0.8.0
Obietnice 1.2.0.1 Proto 1.0.0 Ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 przepisy 0.1.16 Rewanżu 1.0.1
rewanż2 2.1.2 Piloty 2.4.0 reprex 2.0.1
zmień kształt2 1.4.4 rlang 0.4.11 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions (rversions) 2.1.1 rvest 1.0.1
Sass 0.4.0 Skale 1.1.1 selektor 0.4-2
sessioninfo 1.1.1 Kształt 1.4.6 Błyszczące 1.6.0
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
Przestrzennej 7.3-11 Splajnów 4.1.1 sqldf 0.4-11
KWADRAT 2021.1 Statystyki 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 Przetrwanie 3.2-13
sys 3.4 tcltk 4.1.1 NauczanieDemos 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.33 tools 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 narzędzia 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
Vroom 1.5.5 Waldo 0.3.1 wąs 0,4
withr 2.4.2 xfun 0,26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 Yaml 2.2.1
Zip 2.2.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-klej 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Kolega 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.kofeina Kofeiny 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib Blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolektor 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
drzewa maven hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 2.0.0
org.apache.arrow strzałka-pamięć-rdzeń 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow wektor strzałki 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Bluszcz 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc podkładki orc-shim 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet kodowanie parquet 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-cieniowane 4.20
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper jute dozorców 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-kontynuacja 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket —wspólne 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Podkładki 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark Nieużywane 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten trzydostępne dodatkowe 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1