Databricks Runtime 13.2 (nieobsługiwane)
Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 13.2 obsługiwanym przez platformę Apache Spark 3.4.0.
Usługa Databricks opublikowała te obrazy w lipcu 2023 roku.
Nowe funkcje i ulepszenia
- Punkt kontrolny dziennika zmian dla magazynu stanów bazy danych RocksDB
- Zwiększona niezawodność próżni z płytkim klonem w katalogu aparatu Unity.
- Obsługa funkcji UDF języka Python w języku SQL
- Delta Lake UniForm for Iceberg jest w publicznej wersji zapoznawczej
- Klaster liquid usługi Delta Lake jest w publicznej wersji zapoznawczej
- Obsługa archiwizacji w usłudze Azure Databricks
- Obsługa klauzuli IDENTIFIER
- Obsługa wykazu aparatu Unity dla funkcji zdefiniowanych przez użytkownika (UDF) i Python
- Udostępnianie schematów przy użyciu funkcji udostępniania różnicowego
- Poprawki błędów
Punkt kontrolny dziennika zmian dla magazynu stanów bazy danych RocksDB
Możesz włączyć tworzenie punktów kontrolnych dziennika zmian, aby zmniejszyć czas trwania punktu kontrolnego i kompleksowe opóźnienie dla stanowych obciążeń przesyłania strumieniowego ze strukturą. Usługa Databricks zaleca włączenie punktów kontrolnych dziennika zmian dla wszystkich zapytań stanowych przesyłania strumieniowego ze strukturą. Zobacz Włączanie tworzenia punktów kontrolnych dziennika zmian.
Zwiększona niezawodność próżni z płytkim klonem w katalogu aparatu Unity.
Gdy używasz tabel zarządzanych wykazu aparatu Unity dla źródła i celu płytkiej operacji klonowania, katalog aparatu Unity zarządza źródłowymi plikami danych w celu zwiększenia niezawodności źródła i celu operacji klonowania. Uruchomienie VACUUM na źródle płytkiego klonu nie powoduje przerwania sklonowanej tabeli. Zobacz Płytkie klony wykazu próżni i aparatu Unity.
Obsługa funkcji UDF języka Python w języku SQL
Teraz można zadeklarować funkcje zdefiniowane przez użytkownika przy użyciu języka Python w instrukcjach SQL CREATE FUNCTION w katalogu aparatu Unity. Zobacz Funkcje zdefiniowane przez użytkownika (UDF) w wykazie aparatu Unity.
Delta Lake UniForm for Iceberg jest w publicznej wersji zapoznawczej
Format uniwersalny usługi Delta Lake (UniForm) umożliwia odczytywanie tabel delty z klientami góry lodowej. Zobacz Format uniwersalny (UniForm), aby uzyskać zgodność góry lodowej z tabelami delty.
Klaster liquid usługi Delta Lake jest w publicznej wersji zapoznawczej
Klaster liquid usługi Delta Lake zastępuje partycjonowanie tabel i ZORDER upraszcza decyzje dotyczące układu danych i optymalizuje wydajność zapytań. Zobacz Użyj płynnego klastrowania dla tabel typu Delta).
Obsługa archiwizacji w usłudze Azure Databricks
Obsługa archiwizacji w usłudze Azure Databricks wprowadza kolekcję funkcji, które umożliwiają korzystanie z zasad cyklu życia opartych na chmurze w magazynie obiektów w chmurze zawierających tabele delty w celu przenoszenia plików do archiwalnych warstw magazynowania. Zobacz Obsługa archiwizacji w usłudze Azure Databricks.
Obsługa klauzuli IDENTIFIER
Służy IDENTIFIER(:mytable) do bezpiecznego sparametryzowania nazw tabel, kolumn, funkcji i schematów w wielu instrukcjach SQL.
Obsługa wykazu aparatu Unity dla funkcji zdefiniowanych przez użytkownika (UDF) i Python
W środowisku Databricks Runtime 13.2 lub nowszym funkcje zdefiniowane przez użytkownika (UDF) napisane w języku Python są obsługiwane w klastrach korzystających z trybu dostępu współdzielonego w obszarze roboczym obsługującym wykaz aparatu Unity. Obejmuje to funkcje UDF języka Python i biblioteki Pandas. Aby uzyskać szczegółowe informacje na temat funkcji zdefiniowanych przez użytkownika, zobacz Funkcje skalarne zdefiniowane przez użytkownika — Python.
Udostępnianie schematów przy użyciu funkcji udostępniania różnicowego
Środowisko Databricks Runtime 13.2 dodaje możliwość ALTER SHARE <share-name> ADD SCHEMA <schema-name> udostępniania całego schematu przy użyciu funkcji Udostępniania różnicowego, zapewniając adresatowi dostęp do wszystkich tabel i widoków w schemacie w momencie udostępnienia go wraz z wszystkimi tabelami i widokami dodanymi do schematu w przyszłości. Zobacz Dodawanie schematów do udziału i ALTER SHARE.
Poprawki błędów
- Usunięto usterkę z czytnikiem JSON, gdzie rekordy były analizowane w
PERMISSIVEtrybie, jeślifailOnUnknownFieldsmodezostał włączony. Rekordy są teraz porzucane wDROPMALFORMEDparsertrybie lub są zapisywane wbadRecordsPathobiekcie , jeśli zostały ustawione dowolne z tych opcji.FAILFASTzgłasza błąd, jeśli typ kolumny nie jest zgodny.
Uaktualnienia biblioteki
- Uaktualnione biblioteki języka Python:
- nodeenv z wersji 1.7.0 do 1.8.0
- Uaktualnione biblioteki języka R:
- Uaktualnione biblioteki Java:
- io.delta.delta-sharing-spark_2.12 z 0.6.7 do 0.7.0
Apache Spark
Środowisko Databricks Runtime 13.2 obejmuje platformę Apache Spark 3.4.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 13.1 (nieobsługiwane), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:
- [SPARK-42750] [SC-133452] [DBRRM-273] Obsługa instrukcji Insert By Name
- [SPARK-43133] [SC-133728] Obsługa programu Scala Client DataStreamWriter Foreach
- [SPARK-43663] [SC-134135] [CONNECT] [PS] Włączyć
SeriesParityTests.test_compare - [SPARK-43684] [SC-134162] [SPARK-43685] [SPARK-43686] [SPARK-43691] [CONNECT] [PS] Poprawka
(NullOps|NumOps).(eq|ne)dotycząca Połączenie platformy Spark. - [SPARK-44021] [SC-134109] [SQL] Dodaj spark.sql.files.maxPartitionNum
- [SPARK-43910] [SC-132936] [SQL] Usuwanie
__auto_generated_subquery_namez identyfikatorów w błędach - [SPARK-43976] [SC-133375] [CORE] Obsługa przypadku, w którym zmodyfikowane konfiguracje nie istnieją w dziennikach zdarzeń
- [SPARK-32559] [SC-133992] [SQL] Naprawa logiki przycinania nie obsługiwała poprawnie znaków kontrolek ASCII
- [SPARK-43421] [SC-132930] [SS] Implementowanie punktów kontrolnych opartych na dziennikach zmian dla dostawcy magazynu stanów bazy danych RocksDB
- [SPARK-43594] [SC-133851] [SQL] Dodawanie elementu LocalDateTime do dowolnegoToMicros
- [SPARK-43884] [SC-133867] Znaczniki param w języku DDL
- [SPARK-43398] [SC-133894] [CORE] Limit czasu funkcji wykonawczej powinien być maksymalnym limitem czasu bezczynności i limitu czasu rdd
- [SPARK-43610] [SC-133892] [CONNECT] [PS] Włącz
InternalFrame.attach_distributed_columnw usłudze Spark Połączenie. - [SPARK-43971] [SC-133826] [CONNECT] [PYTHON] Obsługa elementu createDataFrame języka Python w sposób przesyłania strumieniowego
- [SPARK-44006] [SC-133652] [CONNECT] [PYTHON] Obsługa artefaktów pamięci podręcznej
- [SPARK-43790] [SC-133468] [PYTHON] [CONNECT] [ML] Dodawanie
copyFromLocalToFsinterfejsu API - [SPARK-43921] [SC-133461] [PROTOBUF] Generowanie plików deskryptora Protobuf w czasie kompilacji
- [SPARK-43906] [SC-133638] [SC-133404] [PYTHON] [CONNECT] Implementowanie obsługi plików w pliku SparkSession.addArtifacts
- [SPARK-44010] [SC-133744] [PYTHON] [SS] [DROBNE] Poprawka typu StreamingQueryProgress w języku PythonPerSecond
- [SPARK-43768] [SC-132398] [PYTHON] [CONNECT] Obsługa zarządzania zależnościami w języku Python w usłudze Python Spark Połączenie
- [SPARK-43979] [13.X] Przywróć wartość "[SC-133456][SQL] CollectedMetrics powinna być traktowana jako ta sama dla samosprzężenia"
- [SPARK-42290] [SC-133696] [SQL] Naprawienie błędu OOM nie można zgłosić, gdy usługa AQE jest włączona
- [SPARK-43943] [SC-133648] [SQL] [PYTHON] [CONNECT] Dodawanie funkcji matematycznych SQL do języków Scala i Python
- [SPARK-43747] [SC-132047] [PYTHON] [CONNECT] Implementowanie obsługi pliku pyfile w pliku SparkSession.addArtifacts
- [SPARK-43700] [SC-133726] [SPARK-43701] [CONNECT] [PS] Włączanie
TimedeltaOps.(sub|rsub)przy użyciu platformy Spark Połączenie - [SPARK-43712] [SC-133641] [SPARK-43713] [CONNECT] [PS] Włącz test parzystości:
test_line_plot,test_pie_plot. - [SPARK-43867] [SC-132895] [SQL] Ulepszanie sugerowanych kandydatów do nierozwiązanego atrybutu
- [SPARK-43901] [SC-133454] [SQL] Avro do obsługi niestandardowego typu dziesiętnego wspieranego przez long
- [SPARK-43267] [SC-133024] [JDBC] Obsługa nieznanej kolumny zdefiniowanej przez użytkownika jako ciągu w tablicy
- [SPARK-43935] [SC-133637] [SQL] [PYTHON] [CONNECT] Dodawanie funkcji xpath_* do języków Scala i Python
- [SPARK-43916] [SC-133647] [SQL] [PYTHON] [CONNECT] Dodawanie percentylu do interfejsu API języka Python i języka Scala
- [SPARK-43717] [SC-133455] [CONNECT] Zmniejszenie rozmiaru klienta scala nie może obsłużyć partycji null dla danych wejściowych pierwotnych scala
- [SPARK-43984] [SC-133469] [SQL] [PROTOBUF] Zmiana w celu użycia
foreach, gdymapnie generuje wyników - [SPARK-43612] [SC-132011] [CONNECT] [PYTHON] Implementowanie elementów SparkSession.addArtifact w kliencie języka Python
- [SPARK-44002] [SC-133606] [CONNECT] Naprawianie procedury obsługi stanu artefaktów
- [SPARK-43933] [SC-133470] [SQL] [PYTHON] [CONNECT] Dodawanie funkcji agregacji regresji liniowej do języków Scala i Python
- [SPARK-43920] [SC-133614] [SQL] [CONNECT] Tworzenie modułu sql/api
- [SPARK-43979] [SC-133456] [SQL] CollectedMetrics powinny być traktowane jako te same dla samosprzężenia
- [SPARK-43977] [SC-133373] [CONNECT] Napraw nieoczekiwany wynik sprawdzania
dev/connect-jvm-client-mima-check - [SPARK-43985] [SC-133412] [PROTOBUF] spark protobuf: naprawianie wyliczenia jako usterki ints
- [SPARK-43930] [SC-133406] [SQL] [PYTHON] [CONNECT] Dodawanie funkcji unix_* do języków Scala i Python
- [SPARK-43807] [SC-132545] [SQL] Migrowanie _LEGACY_ERROR_TEMP_1269 do PARTITION_SCHEMA_IS_EMPTY
- [SPARK-43956] [SC-133123] [SQL] Usunięto usterkę, która nie wyświetla sql kolumny dla percentyla[Cont|Dysk]
- [SPARK-42626] [SC-133248] [CONNECT] Dodawanie iteratora destrukcyjnego dla elementu SparkResult
- [SPARK-43333] [SC-132898] [SQL] Zezwalaj avro na konwertowanie typu unii na sql ze stabilną nazwą pola z typem
- [SPARK-43953] [SC-133134] [CONNECT] Usunąć
pass - [SPARK-43970] [SC-133403] [PYTHON] [CONNECT] Ukryj nieobsługiwane metody ramki danych przed automatycznym uzupełnianiem
- [SPARK-43973] [SC-133272] [SS] [Interfejs użytkownika] Interfejs użytkownika przesyłania strumieniowego ze strukturą powinien prawidłowo wyświetlać nieudane zapytania
- [SPARK-42577] [SC-125445] [CORE] Dodaj ograniczenie maksymalnej liczby prób dla etapów, aby uniknąć potencjalnego nieskończonego ponawiania próby
- [SPARK-43841] [SC-132699] [SQL] Obsługa atrybutów kandydatów bez prefiksu w
StringUtils#orderSuggestedIdentifiersBySimilarity - [SPARK-41497] [SC-124795] [CORE] [Kontynuacja] Modyfikowanie wersji obsługi konfiguracji
spark.rdd.cache.visibilityTracking.enableddo wersji 3.5.0 - [SPARK-37942] [SC-130983] [CORE] [SQL] Migrowanie klas błędów
- [SPARK-43898] [SC-132926] [CORE] Automatycznie zarejestruj się
immutable.ArraySeq$ofRefwKryoSerializerjęzyku Scala 2.13 - [SPARK-43775] [SC-132891] [SQL] DataSource V2: Zezwalaj na reprezentowanie aktualizacji jako usuwania i wstawiania
- [SPARK-43817] [SC-132662] [SPARK-43702] [PYTHON] Obsługa elementu UserDefinedType w elemedu createDataFrame z ramek danych biblioteki pandas i dopanda
- [SPARK-43418] [SC-132753] [SC-130685] [CONNECT] Dodawanie elementu SparkSession.Builder.getOrCreate
- [SPARK-43549] [SC-132383] [SQL] Przekonwertuj _LEGACY_ERROR_TEMP_0036 na INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
- [SPARK-41497] [SC-124644] [CORE] Naprawianie wartości akumulatorowej w przypadku zadania ponawiania próby z rdd cache
- [SPARK-43892] [SC-133006] [PYTHON] Dodawanie obsługi autouzupełniania dla elementu w programie
df[|]pyspark.sql.dataframe.DataFrame - [SPARK-43881] [SC-133140] [SQL] [PYTHON] [CONNECT] Dodawanie opcjonalnego wzorca dla elementu Catalog.listDatabases
- [SPARK-43205] [SC-132623] KLAUZULA IDENTIFIER
- [SPARK-43545] [SC-132378] [SQL] [PYTHON] Obsługa typu zagnieżdżonego znacznika czasu
- [SPARK-43949] [SC-133048] [PYTHON] Uaktualnianie pakietu cloudpickle do wersji 2.2.1
- [SPARK-43760] [SC-132809] [SQL] Nullability of scalar subquery results (Nullability of scalar subquery results)
- [SPARK-43696] [SC-132737] [SPARK-43697] [SPARK-43698] [SPARK-43699] [PS] Poprawka
TimedeltaOpsdotycząca Połączenie platformy Spark - [SPARK-43895] [SC-132897] [CONNECT] [GO] Przygotowywanie ścieżki pakietu go
- [SPARK-43894] [SC-132892] [PYTHON] Naprawiono usterkę w pliku df.cache()
- [SPARK-43509] [SC-131625] [CONNECT] Obsługa tworzenia wielu sesji platformy Spark Połączenie
- [SPARK-43882] [SC-132888] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2122
- [SPARK-43687] [SC-132747] [SPARK-43688] [SPARK-43689] [SPARK-43690] [PS] Poprawka
NumOpsdotycząca Połączenie platformy Spark - [SPARK-43604] [SC-132165] [SQL] Refaktoryzacja
INVALID_SQL_SYNTAXw celu uniknięcia osadzania tekstu błędu w kodzie źródłowym - [SPARK-43859] [SC-132883] [SQL] Zastąpij ciąg toString w kolumnie LateralColumnAliasReference
- [SPARK-43792] [SC-132939] [SQL] [PYTHON] [CONNECT] Dodawanie opcjonalnego wzorca dla katalogu.listCatalogs
- [SPARK-43353] Przywróć "[SC-132734][PYTHON] Migrowanie pozostałych błędów sesji do klasy błędów"
- [SPARK-43375] [SC-130309] [CONNECT] Ulepszanie komunikatów o błędach dla INVALID_CONNECT_URL
- [SPARK-43863] [SC-132721] [CONNECT] Usuń nadmiarowy
toSeqzSparkConnectPlannerjęzyka Scala 2.13 - [SPARK-43676] [SC-132708] [SPARK-43677] [SPARK-43678] [SPARK-43679] [PS] Poprawka
DatetimeOpsdotycząca Połączenie platformy Spark - [SPARK-43666] [SC-132689] [SPARK-43667] [SPARK-43668] [SPARK-43669] [PS] Poprawka
BinaryOpsdotycząca Połączenie platformy Spark - [SPARK-43680] [SC-132709] [SPARK-43681] [SPARK-43682] [SPARK-43683] [PS] Poprawka
NullOpsdotycząca Połączenie platformy Spark - [SPARK-43782] [SC-132885] [CORE] Obsługa konfiguracji poziomu dziennika przy użyciu statycznej konfiguracji platformy Spark
- [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
- [SPARK-43290] [SC-131961] [SQL] Dodaje obsługę usług AES IV i AAD do narzędzia ExpressionImplUtils
- [SPARK-43795] [SC-132532] [CONNECT] Usuwanie parametrów, które nie są używane dla platformy Spark Połączenie Planner
- [SPARK-42317] [SC-129194] [SQL] Przypisz nazwę do _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
- [SPARK-43597] [SC-131960] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_0017
- [SPARK-43834] [SC-132679] [SQL] Używanie klas błędów w błędach kompilacji elementu
ResolveDefaultColumns - [SPARK-43749] [SC-132423] [SPARK-43750] [SQL] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_240[4–5]
- [SPARK-43576] [SC-132533] [CORE] Usuwanie nieużywanych deklaracji z modułu Core
- [SPARK-43314] [SC-129970] [CONNECT] [PYTHON] Migrowanie błędów klienta platformy Spark Połączenie do klasy błędów
- [SPARK-43799] [SC-132715] [PYTHON] Dodawanie opcji binarnej deskryptora do interfejsu API Pyspark Protobuf
- [SPARK-43837] [SC-132678] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_103[1–2]
- [SPARK-43862] [SC-132750] [SQL] Przypisywanie nazwy do klasy błędów LEGACY_ERROR_TEMP(1254 i 1315)
- [SPARK-43886] [SC-132808] [PYTHON] Akceptowanie krotki ogólnej jako wskazówek dotyczących wpisywania wskazówek dotyczących funkcji UDF biblioteki Pandas
- [SPARK-43530] [SC-132653] [PROTOBUF] Odczytywanie pliku deskryptora tylko raz
- [SPARK-43820] [SC-132676] [SPARK-43822] [SPARK-43823] [SPARK-43826] [SPARK-43827] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_241[1–7]
- [SPARK-43671] [SC-132519] [SPARK-43672] [SPARK-43673] [SPARK-43674] [PS] Poprawka
CategoricalOpsdotycząca Połączenie platformy Spark - [SPARK-39979] [SC-132685] [SQL] Dodaj opcję używania dużych wektorów szerokości zmiennych dla operacji UDF strzałki
- [SPARK-43692] [SC-132660] [SPARK-43693] [SPARK-43694] [SPARK-43695] [PS] Poprawka
StringOpsdotycząca Połączenie platformy Spark - [SPARK-43353] [SC-132734] [PYTHON] Migrowanie pozostałych błędów sesji do klasy błędów
- [SPARK-43815] [SC-132781] [SQL] Dodawanie
to_varcharaliasu dla poleceniato_char - [SPARK-43543] [13.x] [SC-131839] [PYTHON] Naprawiono zachowanie zagnieżdżonego typu MapType w funkcji zdefiniowanej przez użytkownika biblioteki Pandas
- [SPARK-43361] [SC-131789] [PROTOBUF] aktualizacja dokumentacji błędów związanych z serializacji wyliczeniowej
- [SPARK-43740] [SC-132035] [PYTHON] [CONNECT] Ukryj nieobsługiwane
sessionmetody przed automatycznym uzupełnianiem - [SPARK-43022] [SC-131681] [CONNECT] Obsługa funkcji protobuf dla klienta Scala
- [SPARK-43304] [13.x] [SC-129969] [CONNECT] [PYTHON] Migrowanie
NotImplementedErrordoPySparkNotImplementedError - [SPARK-43860] [SC-132713] [SQL] Włącz rekursję ogona wszędzie tam, gdzie jest to możliwe
- [SPARK-42421] [SC-132695] [CORE] Użyj narzędzi, aby uzyskać przełącznik dynamicznej alokacji używanej w lokalnym punkcie kontrolnym
- [SPARK-43590] [SC-132012] [CONNECT] Upewnij się
connect-jvm-client-mima-check, że program mima obsługuje sprawdzanie modułuprotobuf - [SPARK-43315] [13.x] [CONNECT] [PYTHON] [SS] Migrowanie pozostałych błędów z ramki danych(Czytelnik|Składnik zapisywania) w klasie błędów
- [SPARK-43361] [SC-130980] [PROTOBUF] spark-protobuf: zezwalaj na serde z wyliczeniami jako ints
- [SPARK-43789] [SC-132397] [R] Domyślnie używa elementu "spark.sql.execution.arrow.maxRecordsPerBatch" w ramce createDataFrame języka R ze strzałką
- [SPARK-43596] [SC-126994] [SQL] Obsługa predykatu IsNull w rewriteDomainJoins
- [SPARK-42249] [SC-122565] [SQL] Ujmowanie linku HTML do dokumentacji w komunikatach o błędach.
- [SPARK-43128] [SC-131628] [CONNECT] [SS] Tworzenie
recentProgressilastProgresszwracanieStreamingQueryProgresszgodne z natywnym interfejsem API języka Scala - [SPARK-43387] [SC-130448] [SQL] Podaj czytelny dla człowieka kod błędu dla _LEGACY_ERROR_TEMP_1168.
- [SPARK-43334] [SC-132358] [Interfejs użytkownika] Naprawianie błędu podczas serializacji funkcji ExecutorPeakMetricsDistributions w odpowiedzi interfejsu API
- [SPARK-42958] [SC-131475] [CONNECT] Refaktoryzacja
connect-jvm-client-mima-checkw celu obsługi sprawdzania mima za pomocą modułu avro - [SPARK-43591] [SC-131977] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_0013
- [SPARK-38464] [SC-132211] [CORE] Używanie klas błędów w org.apache.spark.io
- [SPARK-43759] [SC-132189] [SQL] [PYTHON] Uwidaczniaj typ TimestampNTZType w pyspark.sql.types
- [SPARK-43649] [SC-132036] [SPARK-43650] [SPARK-43651] [SQL] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_240[1–3]
- [SPARK-43719] [SC-132016] [WEBUI] Obsługa
missing row.excludedInStagespola - [SPARK-42956] [SC-127257] [CONNECT] Obsługa funkcji avro dla klienta Scala
- [SPARK-43487] [SC-131975] [SQL] Rozwiązano problem z komunikatem o błędzie zagnieżdżonym CTE
- [SPARK-43265] [SC-129653] Przenoszenie struktury błędów do wspólnego modułu narzędzi
- [SPARK-40912] [SC-131547] [CORE] Koszty wyjątków w kryoDeserializationStream
- [SPARK-43583] [SC-131976] [CORE] get MergedBlockedMetaReqHandler z delegata zamiast wystąpienia programu SaslRpcHandler
- [SPARK-42996] [SC-131997] [CONNECT] [PS] [ML] Utwórz i przypisz odpowiednie bilety JIRA dla wszystkich testów zakończonych niepowodzeniem.
- [SPARK-38469] [SC-131425] [CORE] Używanie klasy error w witrynie org.apache.spark.network
- [SPARK-43718] [SC-132014] [SQL] Poprawnie ustaw wartość null dla kluczy w sprzężeniach USING
- [SPARK-43502] [SC-131419] [PYTHON] [CONNECT]
DataFrame.droppowinna zaakceptować pustą kolumnę - [SPARK-43743] [SC-132038] [SQL] Port HIVE-12188 (DoAs nie działa prawidłowo w zabezpieczonym hs2 nie kerberos)
- [SPARK-43598] [SC-131929] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_2400
- [SPARK-43138] [SC-131031] [CORE] Naprawiono wyjątek ClassNotFoundException podczas migracji
- [SPARK-43360] [SC-131526] [SS] [CONNECT] Scala client StreamingQueryManager
- [SPARK-38467] [SC-131025] [CORE] Używanie klas błędów w pliku org.apache.spark.memory
- [SPARK-43345] [SC-131790] [SPARK-43346] [SQL] Zmień nazwę klas błędów LEGACY_ERROR_TEMP[0041|1206]
- [SPARK-42815] [SC-126450] [SQL] Wyrażenie skrótu obsługi eliminacji podwyrażu
- [SPARK-38462] [SC-130449] [CORE] Dodawanie INTERNAL_ERROR_EXECUTOR klasy błędów
- [SPARK-43589] [SC-131798] [SQL] Poprawka
cannotBroadcastTableOverMaxTableBytesErrordo użyciabytesToString - [SPARK-43539] [SC-131830] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_0003
- [SPARK-43157] [SC-131688] [SQL] Sklonuj plan InMemoryRelation w pamięci podręcznej, aby uniemożliwić klonowanemu planowi odwoływanie się do tych samych obiektów
- [SPARK-43309] [SC-129746] [SPARK-38461] [CORE] Rozszerzanie INTERNAL_ERROR o kategorie i dodawanie INTERNAL_ERROR_BROADCAST klasy błędów
- [SPARK-43281] [SC-131370] [SQL] Poprawka współbieżnego modułu zapisywania nie aktualizuje metryk plików
- [SPARK-43383] [SC-130660] [SQL] Dodawanie
rowCountstatystyk do relacji lokalnej - [SPARK-43574] [SC-131739] [PYTHON] [SQL] Obsługa ustawiania pliku wykonywalnego języka Python dla interfejsów API funkcji UDF i pandas w środowiskach roboczych podczas wykonywania
- [SPARK-43569] [SC-131694] [SQL] Usuwanie obejścia problemu z usługą HADOOP-14067
- [SPARK-43183] [SC-128938] [SS] [13.x] Wprowadzenie nowego wywołania zwrotnego "onQueryIdle" do elementu StreamingQueryListener
- [SPARK-43528] [SC-131531] [SQL] [PYTHON] Obsługa zduplikowanych nazw pól w obiekcie createDataFrame z ramkami danych biblioteki pandas
- [SPARK-43548] [SC-131686] [SS] Usuwanie obejścia problemu z usługą HADOOP-16255
- [SPARK-43494] [SC-131272] [CORE] Bezpośrednie wywołanie
replicate()HdfsDataOutputStreamBuilderzamiast odbicia wSparkHadoopUtil#createFile - [SPARK-43471] [SC-131063] [CORE] Obsługa brakujących właściwości hadoopProperties i metricsProperties
- [SPARK-42899] [SC-126456] [SQL] Napraw DataFrame.to(schemat) w celu obsługi przypadku, gdy w polu dopuszczanym wartości null istnieje pole niezagnieżdżone bez wartości null
- [SPARK-43302] [SC-129747] [SQL] Tworzenie interfejsu UDAF języka Python jako funkcji agregującej
- [SPARK-43223] [SC-131270] [Połączenie] Wpisz agg, reduce functions, RelationalGroupedDataset#as
- [SPARK-43482] [SC-131375] [SS] Rozwiń węzeł QueryTerminatedEvent, aby zawierać klasę błędów, jeśli istnieje w wyjątku
- [SPARK-43359] [SC-131463] [SQL] Usuń z tabeli Programu Hive powinien zostać zgłoszony komunikat "UNSUPPORTED_FEATURE. TABLE_OPERATION"
- [SPARK-43284] [SC-130313] Przełącz się z powrotem do ciągów zakodowanych w adresie URL
- [SPARK-43492] [SC-131227] [SQL] Dodawanie aliasów
DATE_ADDfunkcji 3-args iDATE_DIFF - [SPARK-43473] [SC-131372] [PYTHON] Obsługa typu struktury w obiekcie createDataFrame z ramki danych biblioteki pandas
- [SPARK-43386] [SC-131110] [SQL] Ulepszanie listy sugerowanych kolumn/atrybutów w
UNRESOLVED_COLUMN.WITH_SUGGESTIONklasie błędów - [SPARK-43443] [SC-131332] [SQL] Dodawanie testu porównawczego dla wnioskowania typu sygnatury czasowej w przypadku użycia nieprawidłowej wartości
- [SPARK-43518] [SC-131420] [SQL] Konwertowanie
_LEGACY_ERROR_TEMP_2029na INTERNAL_ERROR - [SPARK-42604] [SC-130648] [CONNECT] Implementowanie biblioteki functions.typedlit
- [SPARK-42323] [ES-669513] Przywróć "[SC-123479][SQL] Assign name to
_LEGACY_ERROR_TEMP_2332" - [SPARK-43357] [SC-130649] [SQL] Filtruj datę cudzysłowu typu daty
- [SPARK-43410] [SC-130526] [SQL] Ulepszanie wektoryzowanej pętli dla spakowanych parametrów skipValues
- [SPARK-43441] [SC-130995] [CORE]
makeDotNodenie powinna zakończyć się niepowodzeniem, gdy parametr DeterministicLevel jest nieobecny - [SPARK-43324] [SC-130455] [SQL] Obsługa poleceń UPDATE dla źródeł opartych na różnicach
- [SPARK-43272] [SC-131168] [CORE] Bezpośrednie wywołanie
createFilezamiast odbicia - [SPARK-43296] [13.x] [SC-130627] [CONNECT] [PYTHON] Migrowanie błędów sesji platformy Spark Połączenie do klasy błędów
- [SPARK-43405] [SC-130987] [SQL] Usuń bezużyteczne
getRowFormatSQL, ,outputRowFormatSQLinputRowFormatSQLmetoda - [SPARK-43447] [SC-131017] [R] Obsługa języka R 4.3.0
- [SPARK-43425] [SC-130981] [SQL] Dodaj
TimestampNTZTypedoColumnarBatchRow - [SPARK-41532] [SC-130523] [CONNECT] [KLIENT] Dodawanie sprawdzania operacji obejmujących wiele ramek danych
- [SPARK-43262] [SC-129270] [CONNECT] [SS] [PYTHON] Migrowanie błędów przesyłania strumieniowego ze strukturą platformy Spark Połączenie do klasy błędów
- [SPARK-42992] [13.x] [SC-129465] [PYTHON] Wprowadzenie błędu PySparkRuntimeError
- [SPARK-43422] [SC-130982] [SQL] Zachowaj tagi w usłudze LogicalRelation przy użyciu danych wyjściowych metadanych
- [SPARK-43390] [SC-130646] [SQL] Usługa DSv2 zezwala CTAS/RTAS na rezerwowanie wartości null schematu
- [SPARK-43430] [SC-130989] [CONNECT] [PROTO] Funkcja ExecutePlanRequest obsługuje dowolne opcje żądania.
- [SPARK-43313] [SC-130254] [SQL] Dodawanie brakujących wartości DOMYŚLNYch kolumn dla akcji MERGE INSERT
- [SPARK-42842] [SC-130438] [SQL] Scal klasę błędów _LEGACY_ERROR_TEMP_2006 z REGEX_GROUP_INDEX
- [SPARK-43377] [SC-130405] [SQL] Włącz
spark.sql.thriftServer.interruptOnCanceldomyślnie - [SPARK-43292] [SC-130525] [CORE] [CONNECT] Przejście
ExecutorClassLoaderdocoremodułu i uproszczenieExecutor#addReplClassLoaderIfNeeded - [SPARK-43040] [SC-130310] [SQL] Zwiększanie obsługi typów timestampNTZ w źródle danych JDBC
- [SPARK-43343] [SC-130629] [SS] Element FileStreamSource powinien wyłączyć dodatkowe sprawdzanie globu pliku podczas tworzenia źródła danych
- [SPARK-43312] [SC-130294] [PROTOBUF] Opcja konwertowania dowolnych pól na format JSON
- [SPARK-43404] [SC-130586] [SS] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów
- [SPARK-43397] [SC-130614] [CORE] Czas likwidowania funkcji wykonawczej dziennika w
executorLostmetodzie - [SPARK-42388] [SC-128568] [SQL] Unikaj dwukrotnego odczytywania stopki parquet w wektoryzowanego czytnika
- [SPARK-43306] [13.x] [SC-130320] [PYTHON] Migrowanie wartościError z typów Spark SQL do klasy błędów
- [SPARK-43337] [SC-130353] [Interfejs użytkownika] [3.4] Ikony strzałek asc/desc sortowania kolumny nie są wyświetlane w kolumnie tabeli
- [SPARK-43279] [SC-130351] [CORE] Czyszczenie nieużywanych elementów członkowskich z
SparkHadoopUtil - [SPARK-43250] [SC-130147] [SQL] Zastąp klasę
_LEGACY_ERROR_TEMP_2014błędów błędem wewnętrznym - [SPARK-43363] [SC-130299] [SQL] [PYTHON] Wykonaj wywołanie
astypetypu kategorii tylko wtedy, gdy nie podano typu strzałki - [SPARK-43261] [SC-130154] [PYTHON] Migrowanie
TypeErrorz typów Spark SQL do klasy błędów - [SPARK-41971] [SC-130230] [SQL] [PYTHON] Dodawanie konfiguracji konwersji biblioteki pandas w celu obsługi typów struktur
- [SPARK-43381] [SC-130464] [CONNECT] Utwórz "transformStatCov" leniwy
- [SPARK-43362] [SC-130481] [SQL] Specjalna obsługa typu JSON dla łącznika MySQL
- [SPARK-42843] [SC-130196] [SQL] Aktualizowanie _LEGACY_ERROR_TEMP_2007 klasy błędów w celu REGEX_GROUP_INDEX
- [SPARK-42585] [SC-129968] [CONNECT] Przesyłanie strumieniowe relacji lokalnych
- [SPARK-43181] [SC-130476] [SQL] Pokaż adres WebURL interfejsu użytkownika w
spark-sqlpowłoce - [SPARK-43051] [SC-130194] [CONNECT] Dodaj opcję emitowania wartości domyślnych
- [SPARK-43204] [SC-129296] [SQL] Wyrównywanie przypisań MERGE z atrybutami tabeli
- [SPARK-43348] [SC-130082] [PYTHON] Obsługa
Python 3.8biblioteki PyPy3 - [SPARK-42845] [SC-130078] [SQL] Aktualizowanie klasy błędów _LEGACY_ERROR_TEMP_2010 do błędu InternalError
- [SPARK-43211] [SC-128978] [HIVE] Usuwanie obsługi usługi Hadoop2 w narzędziu IsolatedClientLoader
Środowisko systemu
- System operacyjny: Ubuntu 22.04.2 LTS
- Java: Zulu 8.70.0.23-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.2.2
- Delta Lake: 2.4.0
Zainstalowane biblioteki języka Python
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.2.1 | attrs | 21.4.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black (czarny) | 22.6.0 | Bleach | 4.1.0 |
| migacz | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
| certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | kliknięcie | 8.0.4 | Kryptografii | 37.0.1 |
| Cycler | 0.11.0 | Cython | 0.29.32 | databricks-sdk | 0.1.6 |
| dbus-python | 1.2.18 | debugpy | 1.5.1 | Dekorator | 5.1.1 |
| defusedxml | 0.7.1 | distlib | 0.3.6 | docstring-to-markdown | 0,12 |
| punkty wejścia | 0,4 | Wykonywanie | 1.2.0 | aspekty — omówienie | 1.0.3 |
| fastjsonschema | 2.16.3 | filelock | 3.12.0 | fonttools | 4.25.0 |
| googleapis-common-protos | 1.56.4 | grpcio | 1.48.1 | stan obiektu grpcio | 1.48.1 |
| httplib2 | 0.20.2 | Idna | 3.3 | importlib-metadata | 4.6.4 |
| ipykernel | 6.17.1 | Ipython | 8.10.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | Jedi | 0.18.1 | Jeepney | 0.7.1 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.16.0 | jupyter-client | 7.3.4 | jupyter_core | 4.11.2 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | Brelok | 23.5.0 |
| kiwisolver | 1.4.2 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | Znaczniki Sejf | 2.0.1 | matplotlib | 3.5.2 |
| biblioteka matplotlib-inline | 0.1.6 | Mccabe | 0.7.0 | mistune | 0.8.4 |
| więcej itertools | 8.10.0 | mypy-extensions | 0.4.3 | nbclient | 0.5.13 |
| nbconvert | 6.4.4 | nbformat | 5.5.0 | nest-asyncio | 1.5.5 |
| nodeenv | 1.8.0 | notes | 6.4.12 | Numpy | 1.21.5 |
| oauthlib | 3.2.0 | Opakowania | 21,3 | Pandas | 1.4.4 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.9.0 |
| Patsy | 0.5.2 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Poduszkę | 9.2.0 | Pip | 22.2.2 | platformdirs | 2.5.2 |
| kreślenie | 5.9.0 | wtyczka | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 3.19.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pycparser | 2.21 | pydantic | 1.10.6 |
| pyflakes | 3.0.1 | Pygments | 2.11.2 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pirstent | 0.18.0 | python-dateutil | 2.8.2 |
| python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 |
| pytz | 2022.1 | pyzmq | 23.2.0 | żądania | 2.28.1 |
| Liny | 1.7.0 | s3transfer | 0.6.0 | scikit-learn | 1.1.1 |
| scipy | 1.9.1 | seaborn | 0.11.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 63.4.1 | Sześć | 1.16.0 |
| zupy | 2.3.1 | ssh-import-id | 5,11 | stack-data | 0.6.2 |
| statsmodels | 0.13.2 | Wytrzymałość | 8.1.0 | terminado | 0.13.1 |
| ścieżka testowa | 0.6.0 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tomli | 2.0.1 | Tornado | 6.1 | traitlety | 5.1.1 |
| typing_extensions | 4.3.0 | ujson | 5.4.0 | nienadzorowane uaktualnienia | 0.1 |
| urllib3 | 1.26.11 | Virtualenv | 20.16.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.2 |
| Koła | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
| zipp | 1.0.0 |
Zainstalowane biblioteki języka R
Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2023-02-10.
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| strzałkę | 10.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| Backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bitowe | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.3 |
| rozruch | 1.3-28 | Napar | 1.0-8 | Brio | 1.1.3 |
| Miotła | 1.0.3 | bslib | 0.4.2 | cachem | 1.0.6 |
| obiekt wywołujący | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-59 | class | 7.3-21 | cli | 3.6.0 |
| clipr | 0.8.0 | zegar | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-19 | Kolorów | 2.1-0 | commonmark | 1.8.1 |
| — kompilator | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| Pastel | 1.5.2 | poświadczenia | 1.3.2 | Curl | 5.0.0 |
| data.table | 1.14.6 | usługi Power BI | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.3.0 | Desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | Szyfrowane | 0.6.31 | downlit (wyłączony) | 0.4.2 |
| dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
| wielokropek | 0.3.2 | evaluate | 0,20 | fani | 1.0.4 |
| farver | 2.1.1 | szybka mapa | 1.1.0 | fontawesome | 0.5.0 |
| forcats | 1.0.0 | foreach | 1.5.2 | Zagranicznych | 0.8-82 |
| Forge | 0.2.0 | Fs | 1.6.1 | Przyszłości | 1.31.0 |
| future.apply | 1.10.0 | Płukać | 1.3.0 | Generyczne | 0.1.3 |
| Gert | 1.9.2 | ggplot2 | 3.4.0 | Gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-6 | Globals | 0.16.2 |
| Kleju | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| Gower | 1.0.1 | grafika | 4.2.2 | grDevices | 4.2.2 |
| Siatki | 4.2.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | Haven | 2.5.1 |
| wysoki | 0.10 | Hms | 1.1.2 | htmltools | 0.5.4 |
| htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
| Identyfikatory | 1.0.1 | Ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.7 | Iteratory | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.4 | KernSmooth | 2.23-20 | knitr | 1.42 |
| Etykietowania | 0.4.2 | Później | 1.3.0 | Kraty | 0.20-45 |
| Lawy | 1.7.1 | cykl życia | 1.0.3 | nasłuchiwanie | 0.9.0 |
| lubridate | 1.9.1 | magrittr | 2.0.3 | Markdown | 1.5 |
| MASSACHUSETTS | 7.3-58.2 | Macierz | 1.5-1 | zapamiętywanie | 2.0.1 |
| metody | 4.2.2 | mgcv | 1.8-41 | Mime | 0,12 |
| miniUI | 0.1.1.1 | Metryki modelu | 1.2.2.2 | modeler | 0.1.10 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.5 | parallel | 4.2.2 |
| równolegle | 1.34.0 | Filar | 1.8.1 | pkgbuild | 1.4.0 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
| plogr | 0.2.0 | plyr | 1.8.8 | Pochwały | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | Postęp | 1.2.2 |
| progressr | 0.13.0 | Obietnice | 1.2.0.1 | Proto | 1.0.0 |
| Serwera proxy | 0.4-27 | Ps | 1.7.2 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.2 | przepisy | 1.0.4 |
| Rewanżu | 1.0.1 | rewanż2 | 2.1.2 | Piloty | 2.4.2 |
| reprex | 2.0.2 | zmień kształt2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2,20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.20 | rstudioapi | 0,14 | rversions (rversions) | 2.1.2 |
| rvest | 1.0.3 | Sass | 0.4.5 | Skale | 1.2.1 |
| selektor | 0.4-2 | sessioninfo | 1.2.2 | Kształt | 1.4.6 |
| Błyszczące | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
| SparkR | 3.4.0 | Przestrzennej | 7.3-15 | Splajnów | 4.2.2 |
| sqldf | 0.4-11 | KWADRAT | 2021.1 | Statystyki | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
| Przetrwanie | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.6 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | zmiana czasu | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0.44 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.3 |
| narzędzia | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.2 |
| viridisLite | 0.4.1 | Vroom | 1.6.1 | Waldo | 0.4.0 |
| wąs | 0.4.1 | withr | 2.5.0 | xfun | 0,37 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| Yaml | 2.3.7 | Zip | 2.2.2 |
Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-klej | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-biblioteka-biblioteka | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | strumień | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-cieniowane | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Kolega | 1.3.4 |
| com.fasterxml.jackson.core | adnotacje jackson | 2.14.2 |
| com.fasterxml.jackson.core | jackson-core | 2.14.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
| com.github.ben-manes.kofeina | Kofeiny | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.2-5 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.9 |
| com.google.crypto.tink | Tink | 1.7.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | Guawa | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.214 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | parsery jednowołciowości | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | Blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.7.0 |
| io.dropwizard.metrics | metryki —rdzeń | 4.2.10 |
| io.dropwizard.metrics | metrics-graphite | 4.2.10 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.10 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
| io.dropwizard.metrics | metrics-jmx | 4.2.10 |
| io.dropwizard.metrics | metrics-json | 4.2.10 |
| io.dropwizard.metrics | metrics-jvm | 4.2.10 |
| io.dropwizard.metrics | serwlety metrics-servlets | 4.2.10 |
| io.netty | netty-all | 4.1.87.Final |
| io.netty | netty-buffer | 4.1.87.Final |
| io.netty | netty-codec | 4.1.87.Final |
| io.netty | netty-codec-http | 4.1.87.Final |
| io.netty | netty-codec-http2 | 4.1.87.Final |
| io.netty | netty-codec-socks | 4.1.87.Final |
| io.netty | netty-common | 4.1.87.Final |
| io.netty | netty-handler | 4.1.87.Final |
| io.netty | netty-handler-proxy | 4.1.87.Final |
| io.netty | netty-resolver | 4.1.87.Final |
| io.netty | transport netto | 4.1.87.Final |
| io.netty | netty-transport-classes-epoll | 4.1.87.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.87.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Kolektor | 0.12.0 |
| jakarta.adnotacja | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktywacja | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | Pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.29 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | tat | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | format strzałki | 11.0.0 |
| org.apache.arrow | strzałka-pamięć-rdzeń | 11.0.0 |
| org.apache.arrow | arrow-memory-netty | 11.0.0 |
| org.apache.arrow | wektor strzałki | 11.0.0 |
| org.apache.avro | Avro | 1.11.1 |
| org.apache.avro | avro-ipc | 1.11.1 |
| org.apache.avro | avro-mapred | 1.11.1 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | kurator-klient | 2.13.0 |
| org.apache.curator | struktura kuratora | 2.13.0 |
| org.apache.curator | przepisy kuratora | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | podkładki hive | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | Bluszcz | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
| org.apache.logging.log4j | log4j-api | 2.19.0 |
| org.apache.logging.log4j | log4j-core | 2.19.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
| org.apache.mesos | Mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.8.3-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.8.3-shaded-protobuf |
| org.apache.orc | podkładki orc-shim | 1.8.3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-cieniowane | 4.22 |
| org.apache.yetus | adnotacje odbiorców | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | jute dozorców | 3.6.3 |
| org.checkerframework | checker-qual | 3.19.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-kontynuacja | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-http | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-io | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-jndi | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-plus | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-proxy | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-security | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-server | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-servlet | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-servlets | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-util | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-webapp | 9.4.50.v2021201 |
| org.eclipse.jetty | jetty-xml | 9.4.50.v2021201 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.50.v2021201 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.50.v2021201 |
| org.eclipse.jetty.websocket | websocket —wspólne | 9.4.50.v2021201 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.50.v2021201 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.50.v2021201 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | lokalizator hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | moduł sprawdzania poprawności hibernacji | 6.1.7.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Adnotacje | 17.0.0 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.8 |
| org.roaringbitmap | RoaringBitmap | 0.9.39 |
| org.roaringbitmap | Podkładki | 0.9.39 |
| org.rocksdb | rocksdbjni | 7.8.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interfejs testowy | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | zgodny ze standardem scalatest | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.6 |
| org.slf4j | jul-to-slf4j | 2.0.6 |
| org.slf4j | slf4j-api | 2.0.6 |
| org.threeten | trzydostępne dodatkowe | 1.7.1 |
| org.tukaani | Xz | 1,9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.33 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |