Databricks Runtime 13.1 (nieobsługiwane)

Usługa Azure Databricks opublikowała te obrazy w maju 2023 r.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 13.1 obsługiwanym przez platformę Apache Spark 3.4.0.

Nowe funkcje i ulepszenia

• Obsługa klastra dla zestawu JDK 17 (publiczna wersja zapoznawcza)
• Dodawanie, zmienianie lub usuwanie danych w tabelach przesyłania strumieniowego
• Odczytywanie platformy Kafka przy użyciu języka SQL
• Nowe wbudowane funkcje SQL
• Obsługa wykazu aparatu Unity dla bibliotek języka Python o zakresie klastra
• Rozszerzone domyślne włączanie zoptymalizowanych zapisów w wykazie aparatu Unity
• Zaawansowana obsługa operatorów stanowych w obciążeniach przesyłania strumieniowego ze strukturą
• Klon różnicowy dla wykazu aparatu Unity jest w publicznej wersji zapoznawczej
• Obsługa pub/sub przesyłania strumieniowego ze strukturą
• Upuszczanie duplikatów w znakach wodnych w strumieniu ze strukturą
• Rozszerzona obsługa konwersji różnicowych z tabel góry lodowej z obciętymi kolumnami partycji
• Przesyłanie strumieniowe zmian schematu za pomocą mapowania kolumn w usłudze Delta Lake
• Usuń WERSJĘ START
• Nowe wyrażenia H3 dostępne w języku Python

Obsługa klastra dla zestawu JDK 17 (publiczna wersja zapoznawcza)

Usługa Databricks zapewnia teraz obsługę klastra dla zestawu Java Development Kit (JDK) 17. Zobacz Zestaw SDK usługi Databricks dla języka Java.

Dodawanie, zmienianie lub usuwanie danych w tabelach przesyłania strumieniowego

Teraz można używać instrukcji DML do modyfikowania tabel przesyłania strumieniowego publikowanych w wykazie aparatu Unity za pomocą potoków tabel delta Live Tables. Zobacz Dodawanie, zmienianie lub usuwanie danych w tabeli przesyłania strumieniowego oraz Dodawanie, zmienianie lub usuwanie danych w docelowej tabeli przesyłania strumieniowego. Instrukcje DML umożliwiają również modyfikowanie tabel przesyłania strumieniowego utworzonych w usłudze Databricks SQL.

Odczytywanie platformy Kafka przy użyciu języka SQL

Teraz możesz użyć read_kafka funkcji SQL do odczytywania danych platformy Kafka. Przesyłanie strumieniowe za pomocą języka SQL jest obsługiwane tylko w tabelach delta live lub w tabelach przesyłania strumieniowego w usłudze Databricks SQL. Zobacz read_kafka funkcji wartości tabeli.

Nowe wbudowane funkcje SQL

Dodano następujące funkcje:

• array_prepend(tablica, elem) Zwraca array wartość poprzedzoną ciągami elem.
• try_aes_decrypt(wyrażenie, klucz [, tryb [, wypełnienie])) Odszyfrowuje plik binarny utworzony przy użyciu szyfrowania AES i zwraca NULL wartość, jeśli wystąpi błąd.
• sql_keywords() Zwraca tabelę słów kluczowych SQL usługi Azure Databricks.

Obsługa wykazu aparatu Unity dla bibliotek języka Python o zakresie klastra

Wykaz aparatu Unity ma pewne ograniczenia dotyczące użycia biblioteki. W środowisku Databricks Runtime 13.1 lub nowszym obsługiwane są biblioteki języka Python o zakresie klastra, w tym pliki koła języka Python przekazywane jako pliki obszaru roboczego. Biblioteki, do których odwołuje się ścieżka plików DBFS, nie są obsługiwane zarówno w katalogu głównym systemu plików DBFS, jak i w lokalizacji zewnętrznej zainstalowanej w systemie plików DBFS. Biblioteki inne niż języka Python nie są obsługiwane. Zobacz Biblioteki klastrów.

W środowisku Databricks Runtime 13.0 lub nowszym biblioteki o zakresie klastra nie są obsługiwane w klastrach korzystających z trybu dostępu współdzielonego w obszarze roboczym obsługującym wykaz aparatu Unity.

Rozszerzone domyślne włączanie zoptymalizowanych zapisów w wykazie aparatu Unity

Domyślna zoptymalizowana obsługa zapisu dla tabel różnicowych zarejestrowanych w wykazie aparatu Unity została rozszerzona w celu uwzględnienia CTAS instrukcji i INSERT operacji dla tabel partycjonowanych. To zachowanie jest zgodne z wartościami domyślnymi w usłudze SQL Warehouse. Zobacz Zoptymalizowane zapisy dla usługi Delta Lake w usłudze Azure Databricks.

Zaawansowana obsługa operatorów stanowych w obciążeniach przesyłania strumieniowego ze strukturą

Teraz można połączyć wiele operatorów stanowych, co oznacza, że można podać dane wyjściowe operacji, takie jak agregacja okienna do innej operacji stanowej, takiej jak sprzężenie. Zobacz Optymalizowanie stanowych zapytań przesyłania strumieniowego ze strukturą.

Klon różnicowy dla wykazu aparatu Unity jest w publicznej wersji zapoznawczej

Teraz możesz użyć płytkiego klonowania, aby utworzyć nowe tabele zarządzane przez wykaz aparatu Unity z istniejących tabel zarządzanych przez wykaz aparatu Unity. Zobacz Płytkie klonowanie tabel wykazu aparatu Unity.

Obsługa pub/sub przesyłania strumieniowego ze strukturą

Teraz możesz użyć wbudowanego łącznika, aby zasubskrybować usługę Google Pub/Sub za pomocą przesyłania strumieniowego ze strukturą. Zobacz Subskrybowanie usługi Google Pub/Sub.

Upuszczanie duplikatów w znakach wodnych w strumieniu ze strukturą

Teraz można użyć dropDuplicatesWithinWatermark w połączeniu z określonym progiem limitu w celu deduplikacji rekordów w strumieniu ze strukturą. Zobacz Usuwanie duplikatów w znaku wodnym.

Rozszerzona obsługa konwersji różnicowych z tabel góry lodowej z obciętymi kolumnami partycji

Teraz można używać CLONE tabel i CONVERT TO DELTA z tabelami Góry lodowej, które mają partycje zdefiniowane na obcięte kolumny typów int, longi string. Obcięte kolumny typu decimal nie są obsługiwane.

Przesyłanie strumieniowe zmian schematu za pomocą mapowania kolumn w usłudze Delta Lake

Teraz możesz podać lokalizację śledzenia schematu, aby włączyć przesyłanie strumieniowe z tabel różnicowych z włączonym mapowaniem kolumn. Zobacz Przesyłanie strumieniowe za pomocą mapowania kolumn i zmian schematu.

Usuń WERSJĘ START

START VERSION jest teraz przestarzały dla elementu ALTER SHARE.

Nowe wyrażenia H3 dostępne w języku Python

Wyrażenia h3_coverash3 i h3_coverash3string są dostępne w języku Python.

Poprawki błędów

Parquet failOnUnknownFields nie usuwa już dyskretnie danych w przypadku niezgodności typów

Jeśli plik Parquet został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładujący w failOnNewColumns trybie ewolucji schematu, kolumny, które mają różne typy danych, teraz kończą się niepowodzeniem i zalecamy użycie polecenia rescuedDataColumn. Moduł automatycznego ładowania teraz poprawnie odczytuje i nie ratuje już typów liczb całkowitych, krótkich lub bajtów, jeśli podano jeden z tych typów danych. Plik Parquet sugeruje jeden z dwóch pozostałych typów.

Zmiany powodujące niezgodność

Uaktualnij wersję sqlite-jdbc do wersji 3.42.0.0, aby rozwiązać problem CVE-2023-32697

Uaktualnij wersję sqlite-jdbc z wersji 3.8.11.2 do 3.42.0.0. Interfejsy API wersji 3.42.0.0 nie są w pełni zgodne z wersją 3.8.11.2. Jeśli używasz pliku sqlite-jdbc w kodzie, sprawdź raport zgodności sqlite-jdbc, aby uzyskać szczegółowe informacje. Jeśli przeprowadzasz migrację do wersji 13.1 i używasz programu sqlite, potwierdź metody i typ zwracany w wersji 3.42.0.0.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • facets-overview from 1.0.2 to 1.0.3
  • filelock z wersji 3.10.7 do 3.12.0
  • pyarrow z 7.0.0 do 8.0.0
  • czas pracy z 8.0.1 do 8.1.0
• Uaktualnione biblioteki języka R:
• Uaktualnione biblioteki Java:
  • com.github.ben-manes.kofeina.kofeina z 2.3.4 do 2.9.3
  • org.apache.orc.orc-core z wersji 1.8.2-shaded-protobuf do wersji 1.8.3-shaded-protobuf
  • org.apache.orc.orc-mapreduce from 1.8.2-shaded-protobuf to 1.8.3-shaded-protobuf
  • org.apache.orc.orc-shims z wersji 1.8.2 do 1.8.3
  • org.checkerframework.checker-qual od 3.5.0 do 3.19.0
  • org.scalactic.scalactic_2.12 z wersji 3.0.8 do 3.2.15
  • org.scalatest.scalatest_2.12 z wersji 3.0.8 do 3.2.15
  • org.xerial.sqlite-jdbc z wersji 3.8.11.2 do 3.42.0.0

Apache Spark

Środowisko Databricks Runtime 13.1 obejmuje platformę Apache Spark 3.4.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 13.0 (nieobsługiwane), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-42719] [DBRRM-199] [SC-131578] Przywróć "[SC-125225] 'MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166] [SC-130056] [CORE] Przywróć [SC-127830]/
• [SPARK-43331] [SC-130064] [CONNECT] Dodawanie Połączenie SparkSession.interruptAll
• [SPARK-16484] [13.1] [CHERRY_PICK] [SC-130076] [SQL] Używanie rejestrów 8-bitowych do reprezentowania zasobników Danych
• [SPARK-43332] [SC-130051] [CONNECT] [PYTHON] Umożliwia rozszerzenie programu ChannelBuilder dla platformy Spark Połączenie Client
• [SPARK-43323] [SC-129966] [SQL] [PYTHON] Naprawianie elementu DataFrame.toPandas z włączoną strzałką w celu prawidłowego obsługi wyjątków
• [SPARK-42940] [SC-129896] [SS] [CONNECT] Ulepszanie zarządzania sesjami na potrzeby zapytań przesyłanych strumieniowo
• [SPARK-43336] [SQL] Rzutowanie między znacznikami czasu a znacznikami czasu wymaga strefy czasowej
• [SPARK-43032] [SC-125756] [CONNECT] [SS] Dodawanie menedżera zapytań przesyłania strumieniowego
• [SPARK-16484] [SC-129975] [SQL] Dodano obsługę funkcji Datasketches HllSketch
• [SPARK-43260] [SC-129281] [PYTHON] Przeprowadź migrację błędów typu strzałek spark SQL pandas do klasy błędów.
• [SPARK-41766] [SC-129964] [CORE] Obsługa żądania likwidacji wysłanego przed rejestracją funkcji wykonawczej
• [SPARK-43307] [SC-129971] [PYTHON] Migrowanie błędów wartości biblioteki PandasUDF do klasy błędów
• [SPARK-43206] [SC-129903] [SS] [CONNECT] Wyjątek przesyłania strumieniowego () obejmuje ślad stosu
• [SPARK-43311] [SC-129905] [SS] Ulepszenia zarządzania pamięcią dostawcy pamięci dostawcy magazynu stanów bazy danych RocksDB
• [SPARK-43237] [SC-129898] [CORE] Obsługa komunikatu wyjątku o wartości null w dzienniku zdarzeń
• [SPARK-43320] [SC-129899] [SQL] [HIVE] Bezpośrednie wywoływanie interfejsu API hive 2.3.9
• [SPARK-43270] [SC-129897] [PYTHON] Implementowanie __dir__() elementu w pyspark.sql.dataframe.DataFrame celu uwzględnienia kolumn
• [SPARK-43183] Przywróć "[SC-128938][SS] Wprowadzenie nowego wywołania zwrotnego "...
• [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675] [SQL] Zastąp klasę błędów _LEGACY_ERROR_TEMP_2022 przez błąd wewnętrzny
• [SPARK-43198] [SC-129470] [CONNECT] Poprawka "Nie można zainicjować ammonite klasy..." błąd podczas korzystania z filtru
• [SPARK-43165] [SC-129777] [SQL] Przenoszenie elementu canWrite do elementu DataTypeUtils
• [SPARK-43298] [SC-129729] [PYTHON] [ML] predict_batch_udf z danymi wejściowymi skalarnymi kończy się niepowodzeniem z rozmiarem partii jednego
• [SPARK-43298] [SC-129700] Przywróć "[PYTHON][ML] predict_batch_udf z danymi wejściowymi skalarnymi kończy się niepowodzeniem z rozmiarem partii jednego"
• [SPARK-43052] [SC-129663] [CORE] Obsługa stostrace z nazwą pliku o wartości null w dzienniku zdarzeń
• [SPARK-43183] [SC-128938] [SS] Wprowadzenie nowego wywołania zwrotnego "onQueryIdle" do elementu StreamingQueryListener
• [SPARK-43209] [SC-129190] [CONNECT] [PYTHON] Migrowanie błędów wyrażeń do klasy błędów
• [SPARK-42151] [SC-128754] [SQL] Wyrównywanie przypisań AKTUALIZACJi z atrybutami tabeli
• [SPARK-43134] [SC-129468] [CONNECT] [SS] JVM client StreamingQuery exception() API
• [SPARK-43298] [SC-129699] [PYTHON] [ML] predict_batch_udf z danymi wejściowymi skalarnymi kończy się niepowodzeniem z rozmiarem partii jednego
• [SPARK-43248] [SC-129660] [SQL] Niepotrzebne serializowanie/deserializowanie ścieżki w przypadku równoległych statystyk zbierania partycji
• [SPARK-43274] [SC-129464] [SPARK-43275] [PYTHON] [CONNECT] Wprowadzić PySparkNotImplementedError
• [SPARK-43146] [SC-128804] [CONNECT] [PYTHON] Implementowanie chętnej oceny na potrzeby ponownego resetowania irepr_html
• [SPARK-42953] [SC-129469] [Połączenie][Kontynuacja] Poprawka kompilacji testowej maven dla testów UDF klienta Scala
• [SPARK-43144] [SC-129280] Interfejs API Scala Client DataStreamReader ()
• [SPARK-43136] [SC-129358] [CONNECT] Dodawanie funkcji groupByKey + mapGroup + coGroup
• [SPARK-43156] [SC-129672] [SC-128532] [SQL] Naprawiono COUNT(*) is null usterkę w skorelowanym podzapytaniu skalarnych
• [SPARK-43046] [SC-129110] [SS] [Połączenie] Zaimplementowano listę rozwijaną interfejsu API języka PythonWithinWatermark dla platformy Spark Połączenie
• [SPARK-43199] [SC-129467] [SQL] Utwórz idempotentną inlineCTE
• [SPARK-43293] [SC-129657] [SQL] __qualified_access_only powinny być ignorowane w normalnych kolumnach
• [SPARK-43276] [SC-129461] [CONNECT] [PYTHON] Migrowanie błędów okna usługi Spark Połączenie do klasy błędów
• [SPARK-43174] [SC-129109] [SQL] Naprawianie kompletnego narzędzia SparkSQLCLIDriver
• [SPARK-43084] [SC-128654] [SS] Dodawanie obsługi aplikacji applyInPandasWithState na potrzeby połączenia spark
• [SPARK-43119] [SC-129040] [SQL] Obsługa dynamicznego pobierania słów kluczowych SQL za pomocą interfejsu API JDBC i interfejsu TVF
• [SPARK-43082] [SC-129112] [CONNECT] [PYTHON] Zoptymalizowane pod kątem strzałek funkcje zdefiniowane przez użytkownika języka Python na platformie Spark Połączenie
• [SPARK-43085] [SC-128432] [SQL] Obsługa przypisania domyślnej kolumny dla nazw tabel wieloczęściowych
• [SPARK-43156] [SC-129463] [SPARK-43098] [SQL] Rozszerzanie testu błędów liczby podzapytań skalarnych za pomocą funkcji decorrelateInnerQuery wyłączone
• [SPARK-43226] [LC-671] Definiowanie wyodrębniaczy dla metadanych stałej pliku
• [SPARK-43210] [SC-129189] [CONNECT] [PYTHON] Wprowadzić PySparkAssertionError
• [SPARK-43214] [SC-129199] [SQL] Publikowanie metryk po stronie sterownika dla elementu LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Naprawiono spójne niepowodzenie aplikacji ReplE2ESuite z zestawem JDK 17
• [SPARK-43268] [SC-129249] [SQL] Użyj odpowiednich klas błędów, gdy wyjątki są konstruowane z komunikatem
• [SPARK-43142] [SC-129299] Naprawianie wyrażeń DSL atrybutów z znakami specjalnymi
• [SPARK-43129] [SC-128896] Podstawowy interfejs API języka Scala do przesyłania strumieniowego platformy Spark Połączenie
• [SPARK-43233] [SC-129250] [SS] Dodawanie rejestrowania dla odczytu usługi Kafka Batch dla partycji tematu, zakresu przesunięcia i identyfikatora zadania
• [SPARK-43249] [SC-129195] [CONNECT] Naprawianie brakujących statystyk dla polecenia SQL
• [SPARK-42945] [SC-129188] [CONNECT] Obsługa PYSPARK_JVM_STACKTRACE_ENABLED w usłudze Spark Połączenie
• [SPARK-43178] [SC-129197] [CONNECT] [PYTHON] Migrowanie błędów funkcji UDF do platformy błędów PySpark
• [SPARK-43123] [SC-128494] [SQL] Wewnętrzne metadane pól nie powinny być wyciekane do wykazów
• [SPARK-43217] [SC-129205] Poprawnie powtarzaj w zagnieżdżonych mapach/tablicach w findNestedField
• [SPARK-43243] [SC-129294] [PYTHON] [CONNECT] Dodawanie parametru poziomu do printSchema dla języka Python
• [SPARK-43230] [SC-129191] [CONNECT] Uprościć DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403] [SQL] Respect RequiresDistributionAndOrdering w CTAS/RTAS
• [SPARK-43234] [SC-129192] [CONNECT] [PYTHON] Migrowanie ValueError z ramki danych Conect do klasy błędów
• [SPARK-43212] [SC-129187] [SS] [PYTHON] Migrowanie błędów przesyłania strumieniowego ze strukturą do klasy błędów
• [SPARK-43239] [SC-129186] [PS] Usuń null_counts z info()
• [SPARK-43190] [SC-128930] [SQL] Element ListQuery.childOutput powinien być zgodny z danymi wyjściowymi podrzędnymi
• [SPARK-43191] [SC-128924] [CORE] Zastąp odbicie w/bezpośrednim wywołaniem elementu CallerContext usługi Hadoop
• [SPARK-43193] [SC-129042] [SS] Usuwanie obejścia problemu z usługą HADOOP-12074
• [SPARK-42657] [SC-128621] [CONNECT] Obsługa znajdowania i transferu plików klasy REPL po stronie klienta do serwera jako artefaktów
• [SPARK-43098] [SC-77059] [SQL] Naprawiono usterkę poprawności COUNT, gdy podzapytywanie skalarne ma klauzulę grupowania według
• [SPARK-43213] [SC-129062] [PYTHON] Dodaj DataFrame.offset do wanilii PySpark
• [SPARK-42982] [SC-128400] [CONNECT] [PYTHON] Naprawiono element createDataFrame w celu przestrzegania podanego schematu ddl
• [SPARK-43124] [SC-129011] [SQL] Dataset.show projects CommandResults lokalnie
• [SPARK-42998] [SC-127422] [CONNECT] [PYTHON] Naprawianie obiektu DataFrame.collect za pomocą struktury null
• [SPARK-41498] [SC-125343] Przywróć "Propagacja metadanych za pomocą unii"
• [SPARK-42960] [SC-129010] [CONNECT] [SS] Dodawanie interfejsu API await_termination() i wyjątków () na potrzeby zapytań przesyłanych strumieniowo w języku Python
• [SPARK-42552] [SC-128824] [SQL] Poprawianie dwuetapowej strategii analizowania analizatora antlr
• [SPARK-43207] [SC-128937] [CONNECT] Dodawanie funkcji pomocnika w celu wyodrębnienia wartości z wyrażenia literału
• [SPARK-43186] [SC-128841] [SQL] [HIVE] Usuń obejście problemu dla pliku FileSinkDesc
• [SPARK-43107] [SC-128533] [SQL] Łączenie zasobników w sprzężeniach zastosowanych po stronie strumienia sprzężenia emisji
• [SPARK-43195] [SC-128922] [CORE] Usuwanie niepotrzebnej serializacji otoki w narzędziu HadoopFSUtils
• [SPARK-43137] [SC-128828] [SQL] Popraw wartość ArrayInsert, jeśli pozycja jest składana i dodatnia.
• [SPARK-37829] [SC-128827] [SQL] Element Dataframe.joinWith outer-join powinien zwrócić wartość null dla niedopasowanego wiersza
• [SPARK-43042] [SC-128602] [SS] [Połączenie] Dodawanie obsługi interfejsu API table() dla elementu DataStreamReader
• [SPARK-43153] [SC-128753] [CONNECT] Pomiń wykonywanie platformy Spark, gdy ramka danych jest lokalna
• [SPARK-43064] [SC-128496] [SQL] Karta SQL interfejsu wiersza polecenia platformy Spark powinna być wyświetlana tylko raz
• [SPARK-43126] [SC-128447] [SQL] Oznaczanie dwóch wyrażeń funkcji UDF hive jako stanowych
• [SPARK-43111] [SC-128750] [PS] [CONNECT] [PYTHON] Scal instrukcje zagnieżdżone if w pojedyncze if instrukcje
• [SPARK-43113] [SC-128749] [SQL] Ocena zmiennych po stronie strumienia podczas generowania kodu dla warunku powiązanego
• [SPARK-42895] [SC-127258] [CONNECT] Ulepszanie komunikatów o błędach dla zatrzymanych sesji platformy Spark
• [SPARK-42884] [SC-126662] [CONNECT] Dodawanie integracji aplikacji Ammonite REPL
• [SPARK-43168] [SC-128674] [SQL] Usuń metodę Get PhysicalDataType z klasy Datatype
• [SPARK-43121] [SC-128455] [SQL] Użyj BytesWritable.copyBytes zamiast ręcznego kopiowania w elemektorze "HiveInspectors"
• [SPARK-42916] [SC-128389] [SQL] JDBCTableCatalog utrzymuje meta char/Varchar po stronie odczytu
• [SPARK-43050] [SC-128550] [SQL] Naprawianie konstrukcji wyrażeń agregujących przez zastępowanie funkcji grupowania
• [SPARK-43095] [SC-128549] [SQL] Unikaj po awarii idempotencji strategii dla partii: Infer Filters
• [SPARK-43130] [SC-128597] [SQL] Przenoszenie typu wewnętrznego do właściwości PhysicalDataType
• [SPARK-43105] [SC-128456] [CONNECT] Skróty bajtów i ciągów w komunikacie proto
• [SPARK-43099] [SC-128596] [SQL] Użyj getName polecenia getCanonicalName zamiast, aby uzyskać nazwę klasy konstruktora podczas rejestrowania funkcji udf w funkcjiRegistry
• [SPARK-42994] [SC-128586] [ML] [CONNECT] Dystrybutor PyTorch obsługuje tryb lokalny
• [SPARK-42859] Przywróć "[SC-127935][CONNECT][PS] Podstawowa obsługa interfejsu API biblioteki pandas na platformie Spark Połączenie"
• [SPARK-43021] [SC-128472] [SQL] CoalesceBucketsInJoin nie działa w przypadku korzystania z AQE
• [SPARK-43125] [SC-128477] [CONNECT] Poprawka Połączenie Server nie może obsłużyć wyjątku z komunikatem o wartości null
• [SPARK-43147] [SC-128594] poprawka lint flake8 dla kontroli lokalnej
• [SPARK-43031] [SC-128360] [SS] [Połączenie] Włączanie testu jednostkowego i dokumentu na potrzeby przesyłania strumieniowego
• [SPARK-43039] [LC-67] Obsługa pól niestandardowych w kolumnie _metadata źródła pliku.
• [SPARK-43120] [SC-128407] [SS] Dodano obsługę śledzenia przypiętych bloków użycia pamięci dla magazynu stanów bazy danych RocksDB
• [SPARK-43110] [SC-128381] [SQL] Przenieś jakoIntegral do właściwości PhysicalDataType
• [SPARK-43118] [SC-128398] [SS] Usuwanie niepotrzebnej asercji dla elementu UninterruptibleThread na platformie KafkaMicroBatchStream
• [SPARK-43055] [SC-128331] [CONNECT] [PYTHON] Obsługa zduplikowanych nazw pól zagnieżdżonych
• [SPARK-42437] [SC-128339] [PYTHON] [CONNECT] Tabela PySpark catalog.cacheTable umożliwia określenie poziomu magazynu
• [SPARK-42985] [SC-128332] [CONNECT] [PYTHON] Naprawianie elementu createDataFrame w celu przestrzegania konfiguracji SQL
• [SPARK-39696] [SC-127830] [CORE] Naprawianie wyścigu danych w dostępie do elementu TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335] [SQL] Przenoszenie całkowitej do właściwości PhysicalDataType
• [SPARK-42741] [SC-125547] [SQL] Nie odpakuj rzutów w porównaniu binarnym, gdy literał ma wartość null
• [SPARK-43057] [SC-127948] [CONNECT] [PYTHON] Migrowanie błędów kolumn platformy Spark Połączenie do klasy błędów
• [SPARK-42859] [SC-127935] [CONNECT] [PS] Podstawowa obsługa interfejsu API biblioteki pandas na platformie Spark Połączenie
• [SPARK-43013] [SC-127773] [PYTHON] Migrowanie ValueError z ramki danych do PySparkValueErrorelementu .
• [SPARK-43089] [SC-128051] [CONNECT] Redact — ciąg debugowania w interfejsie użytkownika
• [SPARK-43028] [SC-128070] [SQL] Dodawanie SQL_CONF_NOT_FOUND klasy błędów
• [SPARK-42999] [SC-127842] [Połączenie] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937] [SQL] Dodawanie testu dropDuplicates w aplikacji JavaDatasetSuite
• [SPARK-43075] [SC-127939] [CONNECT] Zmień gRPC wartość na grpcio , gdy nie jest zainstalowana.
• [SPARK-42953] [SC-127809] [Połączenie] Typd filter, map, flatMap, mapPartitions
• [SPARK-42597] [SC-125506] [SQL] Obsługa typu daty odpakowania do typu znacznika czasu
• [SPARK-42931] [SC-127933] [SS] Wprowadzenie dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943] [CONNECT] Dodawanie stałych typów danych proto
• [SPARK-43077] [SC-128050] [SQL] Ulepszanie komunikatu o błędzie UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030] [SS] [Połączenie] Interfejsy API dataStreamReader
• [SPARK-43049] [SC-127846] [SQL] Użyj funkcji CLOB zamiast VARCHAR(255) dla parametru StringType dla oracle JDBC
• [SPARK-43018] [SC-127762] [SQL] Naprawiono usterkę dotyczącą poleceń INSERT z literałami znacznika czasu
• [SPARK-42855] [SC-127722] [SQL] Używanie sprawdzania wartości null środowiska uruchomieniowego w tabeli TableOutputResolver
• [SPARK-43030] [SC-127847] [SQL] Deduplikacja relacji z kolumnami metadanych
• [SPARK-42993] [SC-127829] [ML] [CONNECT] Zapewnienie zgodności dystrybutora PyTorch z platformą Spark Połączenie
• [SPARK-43058] [SC-128072] [SQL] Przenoszenie wartości liczbowych i ułamkowych do właściwości PhysicalDataType
• [SPARK-43056] [SC-127946] [SS] Zatwierdzenie magazynu stanów bazy danych RocksDB powinno kontynuować działanie w tle tylko wtedy, gdy został wstrzymany
• [SPARK-43059] [SC-127947] [CONNECT] [PYTHON] Migrowanie błędu TypeError z ramki danych(Czytelnik|Składnik zapisywania) w klasie błędów
• [SPARK-43071] [SC-128018] [SQL] Obsługa opcji SELECT DEFAULT z ustawieniem ORDER BY, LIMIT, OFFSET dla relacji źródłowej INSERT
• [SPARK-43061] [SC-127956] [CORE] [SQL] Wprowadzenie elementu PartitionEvaluator na potrzeby wykonywania operatora SQL
• [SPARK-43067] [SC-127938] [SS] Poprawianie lokalizacji pliku zasobu klasy błędów w łączniku platformy Kafka
• [SPARK-43019] [SC-127844] [SQL] Przenoszenie kolejności do właściwości PhysicalDataType
• [SPARK-43010] [SC-127759] [PYTHON] Migrowanie błędów kolumny do klasy błędów
• [SPARK-42840] [SC-127782] [SQL] Zmienianie _LEGACY_ERROR_TEMP_2004 błędu na błąd wewnętrzny
• [SPARK-43041] [SC-127765] [SQL] Przywracanie konstruktorów wyjątków pod kątem zgodności z interfejsem API łącznika
• [SPARK-42939] [SC-127761] [SS] [CONNECT] Podstawowy interfejs API przesyłania strumieniowego języka Python dla platformy Spark Połączenie
• [SPARK-42844] [SC-127766] [SQL] Zaktualizuj klasę _LEGACY_ERROR_TEMP_2008 błędów na INVALID_URL
• [SPARK-42316] [SC-127720] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723] [CONNECT] [PYTHON] Migrowanie błędów ramki danych platformy Spark Połączenie do klasy błędów
• [SPARK-42983] [SC-127717] [CONNECT] [PYTHON] Poprawiono element createDataFrame, aby prawidłowo obsługiwać tablicę numpy 0-dim
• [SPARK-42955] [SC-127476] [SQL] Pomiń klasyfikowanieexceptionu i zawijanie elementu AnalysisException dla elementu SparkThrowable
• [SPARK-42949] [SC-127255] [SQL] Upraszczanie kodu dla ROZWIĄZANIA NAAJ
• [SPARK-43011] [SC-127577] [SQL] array_insert powinna zakończyć się niepowodzeniem z indeksem 0
• [SPARK-42974] [SC-127487] [CORE] Przywróć Utils.createTempDir , aby użyć ShutdownHookManager metody i czyszczenia JavaUtils.createTempDir .
• [SPARK-42964] [SC-127585] [SQL] PosgresDialect "42P07" oznacza również, że tabela już istnieje
• [SPARK-42978] [SC-127351] [SQL] Derby&PG: ZMIANA NAZWY nie może kwalifikować nowej nazwy tabeli przy użyciu nazwy schematu
• [SPARK-37980] [SC-127668] [SQL] Dostęp do row_index za pośrednictwem _metadata, jeśli jest to możliwe w testach
• [SPARK-42655] [SC-127591] [SQL] Błąd nieprawidłowej niejednoznacznej odwołania do kolumny
• [SPARK-43009] [SC-127596] [SQL] Sparametryzowane sql() ze Any stałymi
• [SPARK-43026] [SC-127590] [SQL] Stosowanie AQE z pamięcią podręczną tabel innych niż exchange
• [SPARK-42963] [SC-127576] [SQL] Rozszerzanie rozszerzeń sparkSessionExtensions w celu wstrzykiwania reguł do optymalizatora etapu zapytań AQE
• [SPARK-42918] [SC-127357] Uogólnij obsługę atrybutów metadanych w fileSourceStrategy
• [SPARK-42806] [SC-127452] [SPARK-42811] [CONNECT] Dodawanie Catalog obsługi
• [SPARK-42997] [SC-127535] [SQL] TableOutputResolver musi używać poprawnych ścieżek kolumn w komunikatach o błędach dla tablic i map
• [SPARK-43006] [SC-127486] [PYSPARK] Poprawiono literówkę w usłudze StorageLevel eq()
• [SPARK-43005] [SC-127485] [PYSPARK] Poprawiono literówkę w pyspark/pandas/config.py
• [SPARK-43004] [SC-127457] [CORE] Poprawiono literówkę w elemecie ResourceRequest.equals()
• [SPARK-42907] [SC-126984] [CONNECT] [PYTHON] Implementowanie funkcji Avro
• [SPARK-42979] [SC-127272] [SQL] Definiowanie konstruktorów literałów jako słów kluczowych
• [SPARK-42946] [SC-127252] [SQL] Redact poufne dane, które są zagnieżdżone przez podstawienie zmiennych
• [SPARK-42952] [SC-127260] [SQL] Uproszczenie parametru reguły analizatora PreprocessTableCreation i DataSourceAnalysis
• [SPARK-42683] [LC-75] Automatyczna zmiana nazwy kolumn metadanych powodujących konflikt
• [SPARK-42853] [SC-126101] [Kontynuacja] Rozwiązywanie konfliktów
• [SPARK-42929] [SC-126748] [CONNECT] make mapInPandas / mapInArrow support "is_barrier"
• [SPARK-42968] [SC-127271] [SS] Dodaj opcję pomijania koordynatora zatwierdzania w ramach interfejsu API StreamingWrite dla źródeł/ujściów DSv2
• [SPARK-42954] [SC-127261] [PYTHON] [CONNECT] Dodawanie YearMonthIntervalType do programu PySpark i platformy Spark Połączenie klienta języka Python
• [SPARK-41359] [SC-127256] [SQL] Użyj PhysicalDataType zamiast typu datatype w pliku UnsafeRow
• [SPARK-42873] [SC-127262] [SQL] Definiowanie typów spark SQL jako słów kluczowych
• [SPARK-42808] [SC-126302] [CORE] Unikaj pobierania dostępnychprocesorów za każdym razem MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880] [SQL] PlanSubqueries powinna mieć ustawioną InSubqueryExec#shouldBroadcast wartość true
• [SPARK-42896] [SC-126729] [SQL] [PYTHON] Wykonywanie mapInPandas / mapInArrow trybu bariery pomocniczej
• [SPARK-42874] [SC-126442] [SQL] Włącz nową strukturę testową złotego pliku na potrzeby analizy wszystkich plików wejściowych
• [SPARK-42922] [SC-126850] [SQL] Przechodzenie z losowego do rozwiązania SecureRandom
• [SPARK-42753] [SC-126369] Ponowne użycie elementuExchange odwołuje się do nieistniejących węzłów
• [SPARK-40822] [SC-126274] [SQL] Stabilne aliasy kolumn pochodnych
• [SPARK-42908] [SC-126856] [PYTHON] Podnieś błąd RuntimeError, gdy wartość SparkContext jest wymagana, ale nie została zainicjowana
• [SPARK-42779] [SC-126042] [SQL] Zezwalaj na zapisy w wersji 2 w celu wskazania rozmiaru partycji mieszania porad
• [SPARK-42914] [SC-126727] [PYTHON] Ponowne użycie transformUnregisteredFunction dla elementu DistributedSequenceID.
• [SPARK-42878] [SC-126882] [CONNECT] Interfejs API tabeli w elementach DataFrameReader może również akceptować opcje
• [SPARK-42927] [SC-126883] [CORE] Zmień zakres dostępu na o.a.spark.util.Iterators#sizeprivate[util]
• [SPARK-42943] [SC-126879] [SQL] Użyj funkcji LONGTEXT zamiast text dla parametru StringType w celu uzyskania efektywnej długości
• [SPARK-37677] [SC-126855] [CORE] Rozpakuj może zachować uprawnienia do pliku
• [SPARK-42891] [13.x] [SC-126458] [CONNECT] [PYTHON] Implementowanie interfejsu API mapy cogrouped
• [SPARK-41876] [SC-126849] [CONNECT] [PYTHON] Implementowanie obiektu DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761] [CORE] [SQL] Zmienianie zakresu dostępu powiązanych ProtobufSerDe implementacji na private[protobuf]
• [SPARK-42819] [SC-125879] [SS] Dodano obsługę ustawiania max_write_buffer_number i write_buffer_size dla bazy danych RocksDB używanej podczas przesyłania strumieniowego
• [SPARK-42924] [SC-126737] [SQL] [CONNECT] [PYTHON] Wyjaśnienie komentarza sparametryzowanych args SQL
• [SPARK-42748] [SC-126455] [CONNECT] Zarządzanie artefaktami po stronie serwera
• [SPARK-42816] [SC-126365] [CONNECT] Obsługa maksymalnego rozmiaru komunikatu do 128 MB
• [SPARK-42850] [SC-126109] [SQL] Usuwanie zduplikowanej reguły CombineFilters w optymalizatorze
• [SPARK-42662] [SC-126355] [CONNECT] [PS] Dodawanie komunikatu proto dla interfejsu API biblioteki pandas w indeksie domyślnym platformy Spark
• [SPARK-42720] [SC-126136] [PS] [SQL] Używa wyrażenia dla indeksu domyślnego sekwencji rozproszonej zamiast planu
• [SPARK-42790] [SC-126174] [SQL] Abstrakcja wykluczonej metody w celu lepszego testowania testów platformy Docker JDBC.
• [SPARK-42900] [SC-126473] [CONNECT] [PYTHON] Poprawiono element createDataFrame, aby uwzględniać wnioskowanie i nazwy kolumn
• [SPARK-42917] [SC-126657] [SQL] Popraw polecenie getUpdateColumnNullabilityQuery dla derbyDialect
• [SPARK-42684] [SC-125157] [SQL] Katalog w wersji 2 nie powinien domyślnie zezwalać na wartość domyślną kolumny
• [SPARK-42861] [SC-126635] [SQL] Użyj pliku private[sql] zamiast chronionego[sql], aby uniknąć generowania dokumentacji interfejsu API
• [SPARK-42920] [SC-126728] [CONNECT] [PYTHON] Włączanie testów dla funkcji zdefiniowanej przez użytkownika za pomocą funkcji UDT
• [SPARK-42791] [SC-126617] [SQL] Tworzenie nowej złotej struktury testów plików na potrzeby analizy
• [SPARK-42911] [SC-126652] [PYTHON] Wprowadzenie bardziej podstawowych wyjątków
• [SPARK-42904] [SC-126634] [SQL] Obsługa char/Varchar dla katalogu JDBC
• [SPARK-42901] [SC-126459] [CONNECT] [PYTHON] Przejście StorageLevel do oddzielnego pliku, aby uniknąć potencjalnego file recursively imports
• [SPARK-42894] [SC-126451] [CONNECT] Obsługa cacheunpersiststorageLevel/persist//klienta jvm platformy Spark Connect
• [SPARK-42792] [SC-125852] [SS] Dodano obsługę WRITE_FLUSH_BYTES dla bazy danych RocksDB używanej w operatorach stanowych przesyłania strumieniowego
• [SPARK-41233] [SC-126441] [CONNECT] [PYTHON] Dodawanie array_prepend do klienta platformy Spark Połączenie Python
• [SPARK-42681] [SC-125149] [SQL] Ograniczenie swobody porządkowania dla polecenia ALTER TABLE ADD|Zastąp deskryptor kolumn
• [SPARK-42889] [SC-126367] [CONNECT] [PYTHON] Implementowanie pamięci podręcznej, utrwalania, wyrejestrowania i magazynuLevel
• [SPARK-42824] [SC-125985] [CONNECT] [PYTHON] Podaj jasny komunikat o błędzie dla nieobsługiwanych atrybutów JVM
• [SPARK-42340] [SC-126131] [CONNECT] [PYTHON] Implementowanie interfejsu API mapowania grupowanego
• [SPARK-42892] [SC-126454] [SQL] Przenoszenie tych samych typów i odpowiednich metod poza typ danych
• [SPARK-42827] [SC-126126] [CONNECT] Obsługa functions#array_prepend klienta scala connect
• [SPARK-42823] [SC-125987] [SQL] spark-sql powłoka obsługuje przestrzenie nazw wieloczęściowe na potrzeby inicjowania
• [SPARK-42817] [SC-125960] [CORE] Rejestrowanie nazwy usługi shuffle raz w usłudze ApplicationMaster
• [SPARK-42786] [SC-126438] [Połączenie] Wpisz wybierz
• [SPARK-42800] [SC-125868] [CONNECT] [PYTHON] [ML] Implementowanie funkcji ml {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439] [SQL] Obsługa generowania kodu dla funkcji HiveSimpleUDF
• [SPARK-41233] [SC-126110] [SQL] [PYTHON] Dodawanie array_prepend funkcji
• [SPARK-42864] [SC-126268] [ML] [3.4] Utwórz IsotonicRegression.PointsAccumulator prywatne
• [SPARK-42876] [SC-126281] [SQL] Parametr PhysicalDataType typu danych powinien być prywatny[sql]
• [SPARK-42101] [SC-125437] [SQL] Tworzenie obsługi AQE InMemoryTableScanExec
• [SPARK-41290] [SC-124030] [SQL] Obsługa wyrażeń GENERATED ALWAYS AS dla kolumn w instrukcjach create/replace tabeli
• [SPARK-42870] [SC-126220] [CONNECT] Przenieś toCatalystValue do connect-common
• [SPARK-42247] [SC-126107] [CONNECT] [PYTHON] Napraw parametr UserDefinedFunction, aby mieć wartość returnType
• [SPARK-42875] [SC-126258] [CONNECT] [PYTHON] Naprawa elementów toPandas w celu prawidłowego obsługi typów strefy czasowej i mapowania
• [SPARK-42757] [SC-125626] [CONNECT] Implementowanie pliku textFile dla elementu DataFrameReader
• [SPARK-42803] [SC-126081] [CORE] [SQL] [ML] Użyj funkcji getParameterCount zamiast getParameterTypes.length
• [SPARK-42833] [SC-126043] [SQL] Refaktoryzacja applyExtensions w SparkSession
• [SPARK-41765] Przywróć metryki zapisu [SC-123550][SQL] Wycofaj metryki zapisu w wersji 1...
• [SPARK-42848] [SC-126105] [CONNECT] [PYTHON] Implementowanie elementu DataFrame.registerTempTable
• [SPARK-42020] [SC-126103] [CONNECT] [PYTHON] Obsługa elementu UserDefinedType na platformie Spark Połączenie
• [SPARK-42818] [SC-125861] [CONNECT] [PYTHON] Implementowanie elementu DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867] [CONNECT] Dodawanie client_type do komunikatu AddArtifactsRequest protobuf
• [SPARK-42772] [SC-125860] [SQL] Zmienianie wartości domyślnej opcji JDBC dotyczących wypychania na wartość true
• [SPARK-42771] [SC-125855] [SQL] Refaktoryzacja funkcji HiveGenericUDF
• [SPARK-25050] [SC-123839] [SQL] Avro: pisanie złożonych związków
• [SPARK-42765] [SC-125850] [CONNECT] [PYTHON] Włącz importowanie pandas_udf z pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225] [CORE] MapOutputTracker#getMapLocation powinien przestrzegać spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173] [SQL] Zwiększanie wydajności partycji upuszczania
• [SPARK-42689] [SC-125195] [CORE] [SHUFFLE] Zezwalaj usłudze ShuffleDriverComponent na deklarowanie, czy dane mieszania są niezawodnie przechowywane
• [SPARK-42726] [SC-125279] [CONNECT] [PYTHON] Zaimplementować DataFrame.mapInArrow
• [SPARK-41765] [SC-123550] [SQL] Wyciąganie metryk zapisu w wersji 1 w pliku WriteFiles
• [SPARK-41171] [SC-124191] [SQL] Wnioskowanie i wypychanie limitu okna przez okno, jeśli partitionSpec jest pusty
• [SPARK-42686] [SC-125292] [CORE] Odroczenie formatowania komunikatów debugowania w narzędziu TaskMemoryManager
• [SPARK-42756] [SC-125443] [CONNECT] [PYTHON] Funkcja pomocnika do konwertowania literału proto na wartość w kliencie języka Python
• [SPARK-42793] [SC-125627] [CONNECT] connect moduł wymaga build_profile_flags
• [SPARK-42701] [SC-125192] [SQL] try_aes_decrypt() Dodawanie funkcji
• [SPARK-42679] [SC-125438] [CONNECT] [PYTHON] element createDataFrame nie działa ze schematem bez wartości null
• [SPARK-42733] [SC-125542] [CONNECT] [Kontynuacja] Pisanie bez ścieżki lub tabeli
• [SPARK-42777] [SC-125525] [SQL] Obsługa konwertowania statystyk wykazu TimestampNTZ na statystyki planu
• [SPARK-42770] [SC-125558] [CONNECT] Dodaj truncatedTo(ChronoUnit.MICROS) element , aby wykonać SQLImplicitsTestSuite zadanie w języku Java 17 codziennych testów ogólnodostępnych
• [SPARK-42752] [SC-125550] [PYSPARK] [SQL] Umożliwia drukowanie wyjątków PySpark podczas inicjowania
• [SPARK-42732] [SC-125544] [PYSPARK] [CONNECT] Obsługa metody getActiveSession sesji programu Spark Connect
• [SPARK-42755] [SC-125442] [CONNECT] Konwersja wartości literału współczynnika na connect-common
• [SPARK-42747] [SC-125399] [ML] Naprawianie nieprawidłowego stanu wewnętrznego loR i AFT
• [SPARK-42740] [SC-125439] [SQL] Usunięto usterkę, która powoduje, że przesunięcie lub stronicowanie wypychania jest nieprawidłowe dla niektórych wbudowanych dialektów
• [SPARK-42745] [SC-125332] [SQL] Ulepszona funkcja AliasAwareOutputExpression współpracuje z maszyną DSv2
• [SPARK-42743] [SC-125330] [SQL] Obsługa analizowania kolumn TimestampNTZ
• [SPARK-42721] [SC-125371] [CONNECT] Przechwytywanie przechwytywania RPC
• [SPARK-42691] [SC-125397] [CONNECT] [PYTHON] Implementowanie powłoki Dataset.semanticHash
• [SPARK-42688] [SC-124922] [CONNECT] Zmień nazwę Połączenie client_id żądania proto na session_id
• [SPARK-42310] [SC-122792] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339] [CORE] Optymalizowanie procedur Utils.bytesToString
• [SPARK-42725] [SC-125296] [CONNECT] [PYTHON] Tworzenie parametrów tablicy obsługi LiteralExpression
• [SPARK-42702] [SC-125293] [SPARK-42623] [SQL] Obsługa zapytania sparametryzowanego w podzapytaniu i CTE
• [SPARK-42697] [SC-125189] [WEBUI] Poprawka /api/v1/applications w celu zwrócenia całkowitego czasu pracy zamiast 0 dla pola czasu trwania
• [SPARK-42733] [SC-125278] [CONNECT] [PYTHON] Naprawiono plik DataFrameWriter.save, aby działał bez parametru ścieżki
• [SPARK-42376] [SC-124928] [SS] Wprowadzanie propagacji znaku wodnego między operatorami
• [SPARK-42710] [SC-125205] [CONNECT] [PYTHON] Zmienianie nazwy elementu FrameMap proto na MapPartitions
• [SPARK-37099] [SC-123542] [SQL] Wprowadzenie limitu grupy okna dla filtru opartego na rangi w celu zoptymalizowania obliczeń top-k
• [SPARK-42630] [SC-125207] [CONNECT] [PYTHON] Wprowadzenie parametru UnparsedDataType i opóźnienia analizowania ciągu DDL do momentu udostępnienia elementu Spark Połączenie Client
• [SPARK-42690] [SC-125193] [CONNECT] Implementowanie funkcji analizowania plików CSV/JSON dla klienta Języka Scala
• [SPARK-42709] [SC-125172] [PYTHON] Usuń założenie, __file__ że jest dostępne
• [SPARK-42318] [SC-122648] [SPARK-42319] [SQL] Przypisz nazwę do LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183] [SQL] Obsługa typu danych analizatora json "timestamp_ltz" jako timestampType
• [SPARK-42722] [SC-125175] [CONNECT] [PYTHON] Język Python Połączenie def schema() nie powinien buforować schematu
• [SPARK-42643] [SC-125152] [CONNECT] [PYTHON] Rejestrowanie funkcji języka Java (agregacja) zdefiniowanych przez użytkownika
• [SPARK-42656] [SC-125177] [CONNECT] [Kontynuacja] Naprawianie skryptu spark-connect
• [SPARK-41516] [SC-123899] [SQL] Zezwalaj dialektom jdbc na zastępowanie zapytania użytego do utworzenia tabeli
• [SPARK-41725] [SC-124396] [CONNECT] Chętne wykonanie DF.sql()
• [SPARK-42687] [SC-124896] [SS] Lepszy komunikat o błędzie dotyczący nieobsługiwanej pivot operacji w usłudze Streaming
• [SPARK-42676] [SC-124809] [SS] Zapisywanie tymczasowych punktów kontrolnych dla zapytań przesyłanych strumieniowo do lokalnego systemu plików, nawet jeśli domyślny fs jest ustawiony inaczej
• [SPARK-42303] [SC-122644] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560] [SQL] Upewnij się, że co najmniej jedna jednostka czasowa po "interwale"
• [SPARK-42649] [SC-124576] [CORE] Usuwanie standardowego nagłówka licencji apache z góry plików źródłowych innych firm
• [SPARK-42611] [SC-124395] [SQL] Wstaw sprawdzanie długości znaków/varchar dla pól wewnętrznych podczas rozpoznawania
• [SPARK-42419] [SC-124019] [CONNECT] [PYTHON] Migrowanie do platformy błędów dla interfejsu API kolumn platformy Spark Połączenie.
• [SPARK-42637] [SC-124522] [CONNECT] Dodawanie pliku SparkSession.stop()
• [SPARK-42647] [SC-124647] [PYTHON] Zmienianie aliasu dla przestarzałych i usuniętych typów numpy
• [SPARK-42616] [SC-124389] [SQL] SparkSQLCLIDriver zamknie tylko uruchomioną sesję hiveState
• [SPARK-42593] [SC-124405] [PS] Wycofaj i usuń interfejsy API, które zostaną usunięte w bibliotece pandas 2.0.
• [SPARK-41870] [SC-124402] [CONNECT] [PYTHON] Naprawianie elementu createDataFrame w celu obsługi zduplikowanych nazw kolumn
• [SPARK-42569] [SC-124379] [CONNECT] Zgłaszanie wyjątków dla nieobsługiwanego interfejsu API sesji
• [SPARK-42631] [SC-124526] [CONNECT] Obsługa rozszerzeń niestandardowych w kliencie Języka Scala
• [SPARK-41868] [SC-124387] [CONNECT] [PYTHON] Naprawianie elementu createDataFrame w celu obsługi czasów trwania
• [SPARK-42572] [SC-124171] [SQL] [SS] Naprawiono zachowanie elementu StateStoreProvider.validateStateRowFormat

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 13.1.

Środowisko systemu

• System operacyjny: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Zainstalowane biblioteki języka Python

Biblioteka	Wersja	Biblioteka	Wersja	Biblioteka	Wersja
appdirs	1.4.4	argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0
asttokens	2.2.1	attrs	21.4.0	backcall	0.2.0
beautifulsoup4	4.11.1	black (czarny)	22.6.0	Bleach	4.1.0
migacz	1.4	boto3	1.24.28	botocore	1.27.28
certifi	2022.9.14	cffi	1.15.1	chardet	4.0.0
charset-normalizer	2.0.4	kliknięcie	8.0.4	Kryptografii	37.0.1
Cycler	0.11.0	Cython	0.29.32	dbus-python	1.2.18
debugpy	1.5.1	Dekorator	5.1.1	defusedxml	0.7.1
distlib	0.3.6	docstring-to-markdown	0,12	punkty wejścia	0,4
Wykonywanie	1.2.0	aspekty — omówienie	1.0.3	fastjsonschema	2.16.3
filelock	3.12.0	fonttools	4.25.0	googleapis-common-protos	1.56.4
grpcio	1.48.1	stan obiektu grpcio	1.48.1	httplib2	0.20.2
Idna	3.3	importlib-metadata	4.6.4	ipykernel	6.17.1
Ipython	8.10.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
Jedi	0.18.1	Jeepney	0.7.1	Jinja2	2.11.3
jmespath	0.10.0	joblib	1.2.0	jsonschema	4.16.0
jupyter-client	7.3.4	jupyter_core	4.11.2	jupyterlab-pygments	0.1.2
jupyterlab-widgets	1.0.0	Brelok	23.5.0	kiwisolver	1.4.2
launchpadlib	1.10.16	lazr.restfulclient	0.14.4	lazr.uri	1.0.6
Znaczniki Sejf	2.0.1	matplotlib	3.5.2	biblioteka matplotlib-inline	0.1.6
Mccabe	0.7.0	mistune	0.8.4	więcej itertools	8.10.0
mypy-extensions	0.4.3	nbclient	0.5.13	nbconvert	6.4.4
nbformat	5.5.0	nest-asyncio	1.5.5	nodeenv	1.7.0
notes	6.4.12	Numpy	1.21.5	oauthlib	3.2.0
Opakowania	21,3	Pandas	1.4.4	pandocfilters	1.5.0
parso	0.8.3	pathspec	0.9.0	Patsy	0.5.2
pexpect	4.8.0	pickleshare	0.7.5	Poduszkę	9.2.0
Pip	22.2.2	platformdirs	2.5.2	kreślenie	5.9.0
wtyczka	1.0.0	prometheus-client	0.14.1	prompt-toolkit	3.0.36
protobuf	3.19.4	psutil	5.9.0	psycopg2	2.9.3
ptyprocess	0.7.0	pure-eval	0.2.2	pyarrow	8.0.0
pycparser	2.21	pydantic	1.10.6	pyflakes	3.0.1
Pygments	2.11.2	PyGObject	3.42.1	PyJWT	2.3.0
pyodbc	4.0.32	pyparsing	3.0.9	pyright	1.1.294
pirstent	0.18.0	python-dateutil	2.8.2	python-lsp-jsonrpc	1.0.0
python-lsp-server	1.7.1	pytoolconfig	1.2.2	pytz	2022.1
pyzmq	23.2.0	żądania	2.28.1	Liny	1.7.0
s3transfer	0.6.0	scikit-learn	1.1.1	scipy	1.9.1
seaborn	0.11.2	SecretStorage	3.3.1	Send2Trash	1.8.0
setuptools	63.4.1	Sześć	1.16.0	zupy	2.3.1
ssh-import-id	5,11	stack-data	0.6.2	statsmodels	0.13.2
Wytrzymałość	8.1.0	terminado	0.13.1	ścieżka testowa	0.6.0
threadpoolctl	2.2.0	tokenize-rt	4.2.1	tomli	2.0.1
Tornado	6.1	traitlety	5.1.1	typing_extensions	4.3.0
ujson	5.4.0	nienadzorowane uaktualnienia	0.1	urllib3	1.26.11
Virtualenv	20.16.3	wadllib	1.3.6	wcwidth	0.2.5
webencodings	0.5.1	whatthepatch	1.0.2	Koła	0.37.1
widgetsnbextension	3.6.1	yapf	0.31.0	zipp	1.0.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2023-02-10.

Biblioteka	Wersja	Biblioteka	Wersja	Biblioteka	Wersja
strzałkę	10.0.1	askpass	1.1	assertthat	0.2.1
Backports	1.4.1	base	4.2.2	base64enc	0.1-3
bitowe	4.0.5	bit64	4.0.5	blob	1.2.3
rozruch	1.3-28	Napar	1.0-8	Brio	1.1.3
Miotła	1.0.3	bslib	0.4.2	cachem	1.0.6
obiekt wywołujący	3.7.3	caret	6.0-93	cellranger	1.1.0
chron	2.3-59	class	7.3-21	cli	3.6.0
clipr	0.8.0	zegar	0.6.1	cluster	2.1.4
codetools	0.2-19	Kolorów	2.1-0	commonmark	1.8.1
— kompilator	4.2.2	config	0.3.1	cpp11	0.4.3
Pastel	1.5.2	poświadczenia	1.3.2	Curl	5.0.0
data.table	1.14.6	usługi Power BI	4.2.2	DBI	1.1.3
dbplyr	2.3.0	Desc	1.4.2	devtools	2.4.5
diffobj	0.3.5	Szyfrowane	0.6.31	downlit (wyłączony)	0.4.2
dplyr	1.1.0	dtplyr	1.2.2	e1071	1.7-13
wielokropek	0.3.2	evaluate	0,20	fani	1.0.4
farver	2.1.1	szybka mapa	1.1.0	fontawesome	0.5.0
forcats	1.0.0	foreach	1.5.2	Zagranicznych	0.8-82
Forge	0.2.0	Fs	1.6.1	Przyszłości	1.31.0
future.apply	1.10.0	Płukać	1.3.0	Generyczne	0.1.3
Gert	1.9.2	ggplot2	3.4.0	Gh	1.3.1
gitcreds	0.1.2	glmnet	4.1-6	Globals	0.16.2
Kleju	1.6.2	googledrive	2.0.0	googlesheets4	1.0.1
Gower	1.0.1	grafika	4.2.2	grDevices	4.2.2
Siatki	4.2.2	gridExtra	2.3	gsubfn	0,7
gtable	0.3.1	hardhat	1.2.0	Haven	2.5.1
wysoki	0.10	Hms	1.1.2	htmltools	0.5.4
htmlwidgets	1.6.1	httpuv	1.6.8	httr	1.4.4
Identyfikatory	1.0.1	Ini	0.3.1	ipred	0.9-13
isoband	0.2.7	Iteratory	1.0.14	jquerylib	0.1.4
jsonlite	1.8.4	KernSmooth	2.23-20	knitr	1.42
Etykietowania	0.4.2	Później	1.3.0	Kraty	0.20-45
Lawy	1.7.1	cykl życia	1.0.3	nasłuchiwanie	0.9.0
lubridate	1.9.1	magrittr	2.0.3	Markdown	1.5
MASSACHUSETTS	7.3-58.2	Macierz	1.5-1	zapamiętywanie	2.0.1
metody	4.2.2	mgcv	1.8-41	Mime	0,12
miniUI	0.1.1.1	Metryki modelu	1.2.2.2	modeler	0.1.10
munsell	0.5.0	nlme	3.1-162	nnet	7.3-18
numDeriv	2016.8-1.1	openssl	2.0.5	parallel	4.2.2
równolegle	1.34.0	Filar	1.8.1	pkgbuild	1.4.0
pkgconfig	2.0.3	pkgdown	2.0.7	pkgload	1.3.2
plogr	0.2.0	plyr	1.8.8	Pochwały	1.0.0
prettyunits	1.1.1	Proc	1.18.0	processx	3.8.0
prodlim	2019.11.13	profvis	0.3.7	Postęp	1.2.2
progressr	0.13.0	Obietnice	1.2.0.1	Proto	1.0.0
Serwera proxy	0.4-27	Ps	1.7.2	purrr	1.0.1
r2d3	0.2.6	R6	2.5.1	ragg	1.2.5
randomForest	4.7-1.1	rappdirs	0.3.3	rcmdcheck	1.4.0
RColorBrewer	1.1-3	Rcpp	1.0.10	RcppEigen	0.3.3.9.3
readr	2.1.3	readxl	1.4.2	przepisy	1.0.4
Rewanżu	1.0.1	rewanż2	2.1.2	Piloty	2.4.2
reprex	2.0.2	zmień kształt2	1.4.4	rlang	1.0.6
rmarkdown	2,20	RODBC	1.3-20	roxygen2	7.2.3
rpart	4.1.19	rprojroot	2.0.3	Rserve	1.8-12
RSQLite	2.2.20	rstudioapi	0,14	rversions (rversions)	2.1.2
rvest	1.0.3	Sass	0.4.5	Skale	1.2.1
selektor	0.4-2	sessioninfo	1.2.2	Kształt	1.4.6
Błyszczące	1.7.4	sourcetools	0.1.7-1	sparklyr	1.7.9
SparkR	3.4.0	Przestrzennej	7.3-15	Splajnów	4.2.2
sqldf	0.4-11	KWADRAT	2021.1	Statystyki	4.2.2
stats4	4.2.2	stringi	1.7.12	stringr	1.5.0
Przetrwanie	3.5-3	sys	3.4.1	systemfonts	1.0.4
tcltk	4.2.2	testthat	3.1.6	textshaping	0.3.6
tibble	3.1.8	tidyr	1.3.0	tidyselect	1.2.0
tidyverse	1.3.2	zmiana czasu	0.2.0	timeDate	4022.108
tinytex	0.44	tools	4.2.2	tzdb	0.3.0
urlchecker	1.0.1	usethis	2.1.6	utf8	1.2.3
narzędzia	4.2.2	uuid	1.1-0	vctrs	0.5.2
viridisLite	0.4.1	Vroom	1.6.1	Waldo	0.4.0
wąs	0.4.1	withr	2.5.0	xfun	0,37
xml2	1.3.3	xopen	1.0.0	xtable	1.8-4
Yaml	2.3.7	Zip	2.2.2

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy	Identyfikator artefaktu	Wersja
Antlr	Antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.390
com.amazonaws	aws-java-sdk-cloudformation	1.12.390
com.amazonaws	aws-java-sdk-cloudfront	1.12.390
com.amazonaws	aws-java-sdk-cloudhsm	1.12.390
com.amazonaws	aws-java-sdk-cloudsearch	1.12.390
com.amazonaws	aws-java-sdk-cloudtrail	1.12.390
com.amazonaws	aws-java-sdk-cloudwatch	1.12.390
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.390
com.amazonaws	aws-java-sdk-codedeploy	1.12.390
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.390
com.amazonaws	aws-java-sdk-cognitosync	1.12.390
com.amazonaws	aws-java-sdk-config	1.12.390
com.amazonaws	aws-java-sdk-core	1.12.390
com.amazonaws	aws-java-sdk-datapipeline	1.12.390
com.amazonaws	aws-java-sdk-directconnect	1.12.390
com.amazonaws	aws-java-sdk-directory	1.12.390
com.amazonaws	aws-java-sdk-dynamodb	1.12.390
com.amazonaws	aws-java-sdk-ec2	1.12.390
com.amazonaws	aws-java-sdk-ecs	1.12.390
com.amazonaws	aws-java-sdk-efs	1.12.390
com.amazonaws	aws-java-sdk-elasticache	1.12.390
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.390
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.390
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.390
com.amazonaws	aws-java-sdk-emr	1.12.390
com.amazonaws	aws-java-sdk-glacier	1.12.390
com.amazonaws	aws-java-sdk-klej	1.12.390
com.amazonaws	aws-java-sdk-iam	1.12.390
com.amazonaws	aws-java-sdk-importexport	1.12.390
com.amazonaws	aws-java-sdk-kinesis	1.12.390
com.amazonaws	aws-java-sdk-kms	1.12.390
com.amazonaws	aws-java-sdk-lambda	1.12.390
com.amazonaws	aws-java-sdk-logs	1.12.390
com.amazonaws	aws-java-sdk-machinelearning	1.12.390
com.amazonaws	aws-java-sdk-opsworks	1.12.390
com.amazonaws	aws-java-sdk-rds	1.12.390
com.amazonaws	aws-java-sdk-redshift	1.12.390
com.amazonaws	aws-java-sdk-route53	1.12.390
com.amazonaws	aws-java-sdk-s3	1.12.390
com.amazonaws	aws-java-sdk-ses	1.12.390
com.amazonaws	aws-java-sdk-simpledb	1.12.390
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.390
com.amazonaws	aws-java-sdk-sns	1.12.390
com.amazonaws	aws-java-sdk-sqs	1.12.390
com.amazonaws	aws-java-sdk-ssm	1.12.390
com.amazonaws	aws-java-sdk-storagegateway	1.12.390
com.amazonaws	aws-java-sdk-sts	1.12.390
com.amazonaws	aws-java-sdk-support	1.12.390
com.amazonaws	aws-java-sdk-biblioteka-biblioteka	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.390
com.amazonaws	jmespath-java	1.12.390
com.clearspring.analytics	strumień	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-cieniowane	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	Kolega	1.3.4
com.fasterxml.jackson.core	adnotacje jackson	2.14.2
com.fasterxml.jackson.core	jackson-core	2.14.2
com.fasterxml.jackson.core	jackson-databind	2.14.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.14.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.14.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.13.4
com.fasterxml.jackson.module	jackson-module-paranamer	2.14.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.14.2
com.github.ben-manes.kofeina	Kofeiny	2.9.3
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1-natives
com.github.fommil.netlib	native_system java	1.1
com.github.fommil.netlib	native_system java	1.1-natives
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-natives
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-natives
com.github.luben	zstd-jni	1.5.2-5
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.9
com.google.crypto.tink	Tink	1.7.0
com.google.errorprone	error_prone_annotations	2.10.0
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	Guawa	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	2.1.214
com.helger	Profiler	1.1.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	11.2.2.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.0
com.univocity	parsery jednowołciowości	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.15
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.11.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	Blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.21
io.delta	delta-sharing-spark_2.12	0.6.4
io.dropwizard.metrics	metryki —rdzeń	4.2.10
io.dropwizard.metrics	metrics-graphite	4.2.10
io.dropwizard.metrics	metrics-healthchecks	4.2.10
io.dropwizard.metrics	metrics-jetty9	4.2.10
io.dropwizard.metrics	metrics-jmx	4.2.10
io.dropwizard.metrics	metrics-json	4.2.10
io.dropwizard.metrics	metrics-jvm	4.2.10
io.dropwizard.metrics	serwlety metrics-servlets	4.2.10
io.netty	netty-all	4.1.87.Final
io.netty	netty-buffer	4.1.87.Final
io.netty	netty-codec	4.1.87.Final
io.netty	netty-codec-http	4.1.87.Final
io.netty	netty-codec-http2	4.1.87.Final
io.netty	netty-codec-socks	4.1.87.Final
io.netty	netty-common	4.1.87.Final
io.netty	netty-handler	4.1.87.Final
io.netty	netty-handler-proxy	4.1.87.Final
io.netty	netty-resolver	4.1.87.Final
io.netty	transport netto	4.1.87.Final
io.netty	netty-transport-classes-epoll	4.1.87.Final
io.netty	netty-transport-classes-kqueue	4.1.87.Final
io.netty	netty-transport-native-epoll	4.1.87.Final
io.netty	netty-transport-native-epoll	4.1.87.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.87.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.87.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.87.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.87.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	Kolektor	0.12.0
jakarta.adnotacja	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktywacja	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	transaction-api	1.1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
ml.combust.mleap	mleap-databricks-runtime_2.12	v0.20.0-db2
net.java.dev.jna	jna	5.8.0
net.razorvine	Pickle	1.3
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.22
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1
org.apache.ant	tat	1.9.16
org.apache.ant	ant-jsch	1.9.16
org.apache.ant	ant-launcher	1.9.16
org.apache.arrow	format strzałki	11.0.0
org.apache.arrow	strzałka-pamięć-rdzeń	11.0.0
org.apache.arrow	arrow-memory-netty	11.0.0
org.apache.arrow	wektor strzałki	11.0.0
org.apache.avro	Avro	1.11.1
org.apache.avro	avro-ipc	1.11.1
org.apache.avro	avro-mapred	1.11.1
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.21
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	kurator-klient	2.13.0
org.apache.curator	struktura kuratora	2.13.0
org.apache.curator	przepisy kuratora	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	Derby	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.3.4
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	podkładki hive	2.3.9
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	Bluszcz	2.5.1
org.apache.logging.log4j	log4j-1.2-api	2.19.0
org.apache.logging.log4j	log4j-api	2.19.0
org.apache.logging.log4j	log4j-core	2.19.0
org.apache.logging.log4j	log4j-slf4j2-impl	2.19.0
org.apache.mesos	Mesos	1.11.0-shaded-protobuf
org.apache.orc	orc-core	1.8.3-shaded-protobuf
org.apache.orc	orc-mapreduce	1.8.3-shaded-protobuf
org.apache.orc	podkładki orc-shim	1.8.3
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-cieniowane	4.22
org.apache.yetus	adnotacje odbiorców	0.13.0
org.apache.zookeeper	zookeeper	3.6.3
org.apache.zookeeper	jute dozorców	3.6.3
org.checkerframework	checker-qual	3.19.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.50.v2021201
org.eclipse.jetty	jetty-kontynuacja	9.4.50.v2021201
org.eclipse.jetty	jetty-http	9.4.50.v2021201
org.eclipse.jetty	jetty-io	9.4.50.v2021201
org.eclipse.jetty	jetty-jndi	9.4.50.v2021201
org.eclipse.jetty	jetty-plus	9.4.50.v2021201
org.eclipse.jetty	jetty-proxy	9.4.50.v2021201
org.eclipse.jetty	jetty-security	9.4.50.v2021201
org.eclipse.jetty	jetty-server	9.4.50.v2021201
org.eclipse.jetty	jetty-servlet	9.4.50.v2021201
org.eclipse.jetty	jetty-servlets	9.4.50.v2021201
org.eclipse.jetty	jetty-util	9.4.50.v2021201
org.eclipse.jetty	jetty-util-ajax	9.4.50.v2021201
org.eclipse.jetty	jetty-webapp	9.4.50.v2021201
org.eclipse.jetty	jetty-xml	9.4.50.v2021201
org.eclipse.jetty.websocket	websocket-api	9.4.50.v2021201
org.eclipse.jetty.websocket	websocket-client	9.4.50.v2021201
org.eclipse.jetty.websocket	websocket —wspólne	9.4.50.v2021201
org.eclipse.jetty.websocket	websocket-server	9.4.50.v2021201
org.eclipse.jetty.websocket	websocket-servlet	9.4.50.v2021201
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	lokalizator hk2	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.36
org.glassfish.jersey.containers	jersey-container-servlet-core	2.36
org.glassfish.jersey.core	jersey-client	2.36
org.glassfish.jersey.core	jersey-common	2.36
org.glassfish.jersey.core	jersey-server	2.36
org.glassfish.jersey.inject	jersey-hk2	2.36
org.hibernate.validator	moduł sprawdzania poprawności hibernacji	6.1.7.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	Adnotacje	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	mariadb-java-client	2.7.4
org.mlflow	mlflow-spark	2.2.0
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.3.8
org.roaringbitmap	RoaringBitmap	0.9.39
org.roaringbitmap	Podkładki	0.9.39
org.rocksdb	rocksdbjni	7.8.3
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.4.3
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	interfejs testowy	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	zgodny ze standardem scalatest	3.2.15
org.scalatest	scalatest-core_2.12	3.2.15
org.scalatest	scalatest-diagrams_2.12	3.2.15
org.scalatest	scalatest-featurespec_2.12	3.2.15
org.scalatest	scalatest-flatspec_2.12	3.2.15
org.scalatest	scalatest-freespec_2.12	3.2.15
org.scalatest	scalatest-funspec_2.12	3.2.15
org.scalatest	scalatest-funsuite_2.12	3.2.15
org.scalatest	scalatest-matchers-core_2.12	3.2.15
org.scalatest	scalatest-mustmatchers_2.12	3.2.15
org.scalatest	scalatest-propspec_2.12	3.2.15
org.scalatest	scalatest-refspec_2.12	3.2.15
org.scalatest	scalatest-shouldmatchers_2.12	3.2.15
org.scalatest	scalatest-wordspec_2.12	3.2.15
org.scalatest	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.6
org.slf4j	jul-to-slf4j	2.0.6
org.slf4j	slf4j-api	2.0.6
org.threeten	trzydostępne dodatkowe	1.7.1
org.tukaani	Xz	1,9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	snakeyaml	1.33
Oro	Oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2
Stax	stax-api	1.0.1