Udostępnij przez

Databricks Runtime 15.2 (EoS)

Note

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w sekcji Notatki o wersjach i zgodności środowiska Databricks Runtime.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 15.2 obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks wydała tę wersję w maju 2024 r.

Zmiany zachowania

Odkurzacz czyści pliki metadanych COPY INTO

Uruchomienie VACUUM na tabeli utworzonej za pomocą COPY INTO teraz czyści nieużywane metadane powiązane ze śledzeniem zaimportowanych plików. Nie ma wpływu na semantykę operacyjną programu COPY INTO.

Federacja Lakehouse jest dostępna dla wszystkich (GA)

W środowisku Databricks Runtime 15.2 lub nowszym, łączniki Lakehouse Federation dla następujących typów baz danych są ogólnie dostępne (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

W tej wersji wprowadzono również następujące ulepszenia:

  • Obsługa dodatkowych operacji pushdown (funkcje tekstowe, matematyczne i inne).
  • Ulepszony współczynnik powodzenia przetwarzania zapytań o różnorodnej strukturze.
  • Dodatkowe możliwości debugowania operacji pushdown.
    • Dane wyjściowe EXPLAIN FORMATTED wyświetla tekst zapytania podlegającego optymalizacji.
    • Interfejs użytkownika profilu zapytania wyświetla tekst zapytania przeniesionego na niższy poziom, identyfikatory węzłów federacyjnych i czas wykonywania zapytań JDBC (w trybie szczegółowym). Zobacz Wyświetlanie zapytań federacyjnych generowanych przez system.

BY POSITION w przypadku mapowania kolumn przy użyciu plików COPY INTO CSV bez nagłówka

W środowisku Databricks Runtime 15.2 lub nowszym można użyć BY POSITION słów kluczowych (lub alternatywnej składni ( col_name [ , <col_name> ... ] )) z plikami COPY INTO CSV bez nagłówka, aby uprościć mapowanie kolumny źródłowej na docelową kolumnę tabeli. Zobacz Parametry.

Zmniejsz zużycie pamięci, gdy zadania platformy Spark kończą się niepowodzeniem z powodu błędu Resubmitted

W środowisku Databricks Runtime 15.2 lub nowszym zwracana wartość metody Spark TaskInfo.accumulables() jest pusta, gdy zadania kończą się niepowodzeniem Resubmitted z powodu błędu. Wcześniej metoda zwróciła wartości wcześniejszej pomyślnej próby wykonania zadania. Ta zmiana zachowania ma wpływ na następujących użytkowników:

  • Zadania platformy Spark korzystające z EventLoggingListener klasy .
  • Niestandardowi odbiorcy Spark.

Aby przywrócić poprzednie zachowanie, ustaw spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled na wartość false.

Wyświetlanie wersji planu wykonywania zapytań adaptacyjnych jest wyłączone

Aby zmniejszyć zużycie pamięci, wersje planu adaptacyjnego wykonywania zapytań (AQE) są domyślnie wyłączone w interfejsie użytkownika platformy Spark. Aby włączyć wyświetlanie wersji planu AQE w interfejsie użytkownika platformy Spark, ustaw wartość spark.databricks.sql.aqe.showPlanChangesInUI.enabledtrue.

Ograniczenie liczby zachowanych zapytań zmniejsza się w celu zmniejszenia użycia pamięci interfejsu użytkownika platformy Spark

W środowisku Databricks Runtime 15.2 lub nowszym, aby zmniejszyć ilość pamięci zużywanej przez interfejs użytkownika platformy Spark w obliczeniach usługi Azure Databricks, limit liczby zapytań widocznych w interfejsie użytkownika jest niższy z zakresu od 1000 do 100. Aby zmienić limit, ustaw nową wartość przy użyciu konfiguracji platformy spark.sql.ui.retainedExecutions Spark.

DESCRIBE HISTORY teraz pokazuje kolumny klastrowania dla tabel korzystających z klastrowania płynnego

Po uruchomieniu zapytania DESCRIBE HISTORY kolumna operationParameters domyślnie wyświetla pole clusterBy dla operacji CREATE OR REPLACE i OPTIMIZE. W przypadku tabeli delty używającej płynnego klastrowania clusterBy pole jest wypełniane kolumnami klastrowania tabeli. Jeśli tabela nie używa klastrowania płynnego, pole jest puste.

Składnia widżetu notatnika jest przestarzała

Począwszy od środowiska Databricks Runtime 15.2, składnia ${param} uzyskiwania dostępu do wartości widżetów notatnika w komórkach SQL jest przestarzała. Zamiast tego użyj składni znacznika parametru (:param). Składnia znacznika parametrów zapewnia lepszą ochronę przed wstrzyknięciem kodu SQL i lepszą wydajność zapytań.

Aby uzyskać wskazówki dotyczące migracji i przykłady, zobacz Dziedziczone widżety notatnika. Aby uzyskać informacje o bieżącym zalecanym podejściu, zobacz Widżety usługi Databricks.

Nowe funkcje i ulepszenia

Obsługa kluczy podstawowych i obcych jest ogólnie dostępna

Obsługa kluczy podstawowych i obcych w środowisku Databricks Runtime jest ogólnie dostępna. Wersja ogólnie dostępna zawiera następujące zmiany uprawnień wymaganych do używania kluczy podstawowych i obcych:

  • Aby zdefiniować klucz obcy, musisz mieć uprawnienia SELECT w tabeli z kluczem podstawowym, do którego odwołuje się klucz obcy. Nie musisz posiadać tabeli z kluczem podstawowym, którego wymóg wcześniej obowiązywał.
  • Usunięcie klucza podstawowego przy użyciu klauzuli CASCADE nie wymaga uprawnień w tabelach, które definiują klucze obce odwołujące się do klucza podstawowego. Wcześniej trzeba było posiadać tabele referencyjne.
  • Usunięcie tabeli zawierającej ograniczenia wymaga teraz tych samych uprawnień, co porzucanie tabel, które nie zawierają ograniczeń.

Aby dowiedzieć się, jak używać kluczy podstawowych i obcych z tabelami lub widokami, zobacz CONSTRAINT klauzulę, ADD CONSTRAINT klauzulęoraz DROP CONSTRAINT klauzulę.

Klastrowanie cieczy jest ogólnie dostępne

Obsługa klastrowania cieczy jest teraz ogólnie dostępna przy użyciu środowiska Databricks Runtime 15.2 lub nowszego. Zobacz Używaj płynnego grupowania dla tabel.

Rozszerzanie typu jest dostępne w publicznej wersji testowej

Teraz można włączyć rozszerzanie typów w tabelach wspieranych przez usługę Delta Lake. Tabele z włączonym rozszerzaniem typu umożliwiają zmianę typu kolumn na szerszy typ danych bez ponownego zapisywania bazowych plików danych. Sprawdź Rozszerzanie typu.

Klauzula ewolucji schematu dodana do składni scalania SQL

Teraz możesz dodać klauzulę WITH SCHEMA EVOLUTION do instrukcji scalania SQL, aby umożliwić ewolucję schematu dla operacji. Zobacz składnię ewolucji schematu do scalania .

Niestandardowe źródła danych PySpark są dostępne w publicznej wersji zapoznawczej

Źródło danych PySpark można utworzyć przy użyciu interfejsu API źródła danych języka Python (PySpark), który umożliwia odczytywanie z niestandardowych źródeł danych i zapisywanie w niestandardowych ujściach danych na platformie Apache Spark przy użyciu języka Python. Zobacz niestandardowe źródła danych PySpark

applyInPandas i mapInPandas są teraz dostępne w obliczeniach wykazu aparatu Unity z trybem dostępu współdzielonego

W ramach wydania konserwacyjnego Databricks Runtime 14.3 LTS, typy UDF są teraz obsługiwane w trybie dostępu współdzielonego na środowisku obliczeniowym z uruchomioną wersją Databricks Runtime 14.3 lub nowszą.

Użyj polecenia dbutils.widgets.getAll(), aby pobrać wszystkie widżety w notesie

Użyj polecenia dbutils.widgets.getAll() , aby pobrać wszystkie wartości widżetu w notesie. Jest to szczególnie przydatne podczas przekazywania wielu wartości widżetów do zapytania Spark SQL.

Obsługa inwentaryzacji próżniowej

Teraz można określić spis plików do rozważenia podczas uruchamiania polecenia VACUUM w tabeli delty. Zobacz dokumentację OSS Delta.

Obsługa funkcji kompresji Zstandard

Teraz możesz użyć funkcji zst_compress, zstd_decompressi try_zstd_decompress do kompresowania i dekompresowania danych BINARY.

Poprawki błędów

Plany zapytań w interfejsie użytkownika SQL są teraz poprawnie wyświetlane PhotonWriteStage

Gdy polecenia write były wyświetlane w interfejsie użytkownika SQL, w planach zapytań błędnie pokazywano PhotonWriteStage jako operator. W tej wersji interfejs użytkownika jest aktualizowany w celu wyświetlania PhotonWriteStage jako etapu. Jest to tylko zmiana interfejsu użytkownika i nie ma wpływu na sposób uruchamiania zapytań.

Ray został zaktualizowany w celu rozwiązania problemów z uruchamianiem klastrów Ray

Ta wersja zawiera poprawioną wersję Ray, która naprawia niezgodność uniemożliwiającą klastrom Ray uruchomienie się z Databricks Runtime dla Machine Learning. Ta zmiana gwarantuje, że funkcja Ray jest identyczna z wersjami środowiska Databricks Runtime wcześniejszych niż 15.2.

Poprawiono klasę błędów dla funkcji DataFrame.sort() i DataFrame.sortWithinPartitions()

Ta wersja zawiera aktualizację PySpark DataFrame.sort() i DataFrame.sortWithinPartitions() funkcje, aby upewnić się, że ZERO_INDEX klasa błędów jest zgłaszana podczas 0 przekazywania jako argument indeksu. Wcześniej został zgłoszony błąd klasy INDEX_NOT_POSITIVE.

Ipywidgets jest obniżany z wersji 8.0.4 do 7.7.2

Aby naprawić błędy wprowadzone przez uaktualnienie plików ipywidgets do wersji 8.0.4 w środowisku Databricks Runtime 15.0, funkcja ipywidgets została obniżona do wersji 7.7.2 w środowisku Databricks Runtime 15.2. Jest to ta sama wersja uwzględniona w poprzednich wersjach środowiska Databricks Runtime.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • GitPython z wersji 3.1.42 do 3.1.43
    • google-api-core z wersji 2.17.1 do 2.18.0
    • Aktualizacja google-auth z wersji 2.28.1 do 2.29.0
    • google-cloud-storage z wersji 2.15.0 do 2.16.0
    • googleapis-common-protos z 1.62.0 do 1.63.0
    • ipywidgets z 8.0.4 do 7.7.2
    • mlflow-skinny z 2.11.1 do 2.11.3
    • s3transfer z 0.10.0 do 0.10.1
    • sqlparse z 0.4.4 do 0.5.0
    • typing_extensions z wersji 4.7.1 na wersję 4.10.0
  • Uaktualnione biblioteki języka R:
  • Uaktualnione biblioteki Java:
    • com.amazonaws.aws-java-sdk-autoscaling z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics od wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-config z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-core z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-directory z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb z 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 z 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ecs z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-efs z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing z 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder z wersji 1.12.390 do wersji 1.12.610
    • com.amazonaws.aws-java-sdk-emr z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-glacier od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-glue, aktualizacja z wersji 1.12.390 do wersji 1.12.610
    • com.amazonaws.aws-java-sdk-iam od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-importexport z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-kms od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-lambda z 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-logs z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning from 1.12.390 to 1.12.610 (com.amazonaws.aws-java-sdk-machinelearning from 1.12.390 to 1.12.610)
    • com.amazonaws.aws-java-sdk-opsworks z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-rds z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-redshift z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-route53 z 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-s3 z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ses z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sns z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sqs z 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ssm z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sts z wersji 1.12.390 do 1.12.610
    • Aktualizacja com.amazonaws.aws-java-sdk-support z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces z wersji 1.12.390 do 1.12.610
    • com.amazonaws.jmespath-java od 1.12.390 do 1.12.610

Apache Spark

Środowisko Databricks Runtime 15.2 obejmuje platformę Apache Spark 3.5.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 15.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-47941] [SC-163568] [SS] [Połącz] Propagacja błędów inicjowania procesu roboczego ForeachBatch dla użytkowników programu PySpark
  • [SPARK-47412] [SC-163455][sql] Dodano obsługę sortowania dla LPad/RPad.
  • [SPARK-47907] [ SC-163408][sql] Aktywuj w konfiguracji
  • [SPARK-46820] [ SC-157093][python] Poprawka regresji komunikatu o błędzie przez przywrócenie new_msg
  • [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/Resource managers: migracja do strukturalnego logowania
  • [SPARK-47890] [SC-163324][connect][PYTHON] Dodaj funkcje wariantowe do języków Scala i Python.
  • [SPARK-47894] [SC-163086][core][WEBUI] Dodaj Environment stronę do interfejsu użytkownika głównego
  • [SPARK-47805] [SC-163459][ss] Implementowanie czasu wygaśnięcia dla mapState
  • [SPARK-47900] [SC-163326] Naprawiono sprawdzenie niejawnego sortowania (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][sql]Umożliwienie składania wyrażeń obliczających bieżący czas*
  • [SPARK-47845] [SC-163315][sql][PYTHON][connect] Obsługa typu Column w funkcji split dla języka Scala i Python
  • [SPARK-47754] [SC-162144][sql] Postgres: obsługa odczytywania tablic wielowymiarowych
  • [SPARK-47416] [SC-163001][sql] Dodaj nowe funkcje do CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][sql] Naprawiono usterkę agregacji w rewriteWithExpression
  • [SPARK-47821] [SC-162967][sql] Implementowanie wyrażenia is_variant_null
  • [SPARK-47883] [SC-163184][sql] Utwórz CollectTailExec.doExecute leniwy przy użyciu kolejki wierszy
  • [SPARK-47390] [SC-163306][sql] Funkcja PostgresDialect odróżnia znacznik CZASU od TIMESTAMP_TZ
  • [SPARK-47924] [ SC-163282][core] Dodawanie dziennika DEBUG do DiskStore.moveFileToBlock
  • [SPARK-47897] [ SC-163183][sql][3.5] Poprawka regresji wydajności zestawu wyrażeń w skali 2.12
  • [SPARK-47565] [ SC-161786][python] Wytrzymałość puli roboczej PySpark
  • [SPARK-47885] [SC-162989][python][CONNECT] Dostosuj pyspark.resource, aby był kompatybilny z pyspark-connect
  • [SPARK-47887] [SC-163122][connect] Usuń nieużywany import spark/connect/common.proto z spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][python][CONNECT] Spraw, by pyspark.worker_utils był zgodny z pyspark-connect
  • [SPARK-47691] [SC-161760][sql] Postgres: Obsługa tablicy wielowymiarowej po stronie zapisu
  • [SPARK-47617] [SC-162513][sql] Dodawanie infrastruktury testowania TPC-DS do sortowania
  • [SPARK-47356] [SC-162858][sql] Dodaj wsparcie dla ConcatWs & Elt (wszystkie porównania)
  • [SPARK-47543] [SC-161234][connect][PYTHON] Wnioskowanie dict jako MapType z ramki danych Pandas w celu umożliwienia tworzenia ramki danych
  • [SPARK-47863] [SC-162974][sql] Naprawa implementacji uwzględniającej porządek kolacji dla startsWith i endsWith w ICU
  • [SPARK-47867] [SC-162966][sql] Obsługa wariantu w skanowaniu JSON.
  • [SPARK-47366] [SC-162475][sql][PYTHON] Dodaj VariantVal dla PySpark
  • [SPARK-47803] [SC-162726][sql] Obsługa rzutowania na wariant.
  • [SPARK-47769] [SC-162841][sql] Dodaj wyrażenie schema_of_variant_agg.
  • [SPARK-47420] [ SC-162842][sql] Poprawiono dane wyjściowe testu
  • [SPARK-47430] [SC-161178][sql] Obsługa GROUP BY dla MapType
  • [SPARK-47357] [SC-162751][sql] Dodawanie obsługi górnej, dolnej, InitCap (wszystkie sortowania)
  • [SPARK-47788] [SC-162729][ss] Zapewnienie jednolitego partycjonowania skrótów dla operacji stanowych w strumieniowaniu.
  • [SPARK-47776] [ SC-162291][ss] Nie zezwalaj na sortowanie nierówności binarnych w kluczowym schemacie operatora stanowego
  • [SPARK-47673] [SC-162824][ss] Implementacja czasu wygaśnięcia dla ListState
  • [SPARK-47818] [SC-162845][connect] Wprowadzenie pamięci podręcznej planu w SparkConnectPlanner w celu zwiększenia wydajności żądań Analyze
  • [SPARK-47694] [ SC-162783][connect] Ustaw maksymalny rozmiar komunikatu konfigurowalny po stronie klienta
  • [SPARK-47274] Przywróć "[SC-162479][python][SQL] Podaj więcej funkcji użycia...
  • [SPARK-47616] [ SC-161193][sql] Dodawanie dokumentu użytkownika do mapowania typów danych Spark SQL z programu MySQL
  • [SPARK-47862] [SC-162837][python][CONNECT]Naprawiono generowanie plików proto
  • [SPARK-47849] [SC-162724][python][CONNECT] Zmiana skryptu wydania w celu wydania oprogramowania pyspark-connect
  • [SPARK-47410] [SC-162518][sql] Przebudowa UTF8String i CollationFactory
  • [SPARK-47807] [SC-162505][python][ML] Uczynić pyspark.ml zgodnym z pyspark-connect
  • [SPARK-47707] [SC-161768][sql] Specjalna obsługa typu JSON dla łącznika MySQL/J 5.x
  • [SPARK-47765] Przywróć "[SC-162636][sql] Dodaj SET sortowanie do analizowania...
  • [SPARK-47081] [SC-162151][connect][FOLLOW] Poprawa użyteczności modułu obsługi postępu
  • [SPARK-47289] [SC-161877][sql] Zezwalaj rozszerzeń na rejestrowanie rozszerzonych informacji w planie wyjaśnienia
  • [SPARK-47274] [ SC-162479][python][SQL] Zapewnianie bardziej przydatnego kontekstu dla błędów interfejsu API ramki danych PySpark
  • [SPARK-47765] [SC-162636][sql] Dodawanie SET sortowania do reguł analizatora
  • [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite kończy się niepowodzeniem z nieprawidłowym planem
  • [SPARK-47812] [SC-162696][connect] Obsługa serializacji SparkSession dla pracownika ForEachBatch
  • [SPARK-47253] [SC-162698][core] Umożliwienie zatrzymania LiveEventBus bez całkowitego opróżniania kolejki zdarzeń
  • [SPARK-47827] [SC-162625][python] Brakujące ostrzeżenia dotyczące przestarzałych funkcji
  • [SPARK-47733] [SC-162628][ss] Dodaj metryki niestandardowe dla operatora transformWithState w części postępu zapytania
  • [SPARK-47784] [SC-162623][ss] Połącz tryby TTLMode i TimeoutMode w jeden tryb TimeMode.
  • [SPARK-47775] [ SC-162319][sql] Obsługa pozostałych typów skalarnych w specyfikacji wariantu.
  • [SPARK-47736] [SC-162503][sql] Dodaj obsługę dla AbstractArrayType
  • [SPARK-47081] [ SC-161758][connect] Obsługa postępu wykonywania zapytań
  • [SPARK-47682] [SC-162138][sql] Obsługa konwersji z variant.
  • [SPARK-47802] [SC-162478][sql] Przywrócenie z interpretacji struct() do interpretacji *
  • [SPARK-47680] [SC-162318][sql] Dodaj wyrażenie variant_explode.
  • [SPARK-47809] [ SC-162511][sql] checkExceptionInExpression powinien sprawdzić błąd dla każdego trybu generowania kodu
  • [SPARK-41811] [ SC-162470][python][CONNECT] Implementowanie SQLStringFormatter za pomocą polecenia WithRelations
  • [SPARK-47693] [SC-162326][sql] Dodanie optymalizacji dla porównania małych liter w UTF8String używanego w sortowaniu UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][sql] Sortowanie ciągów znaków w typach złożonych obsługujących operacje reverse, array_join, concat, map
  • [SPARK-46812] [SC-161535][connect][PYTHON] Spraw, aby mapInPandas / mapInArrow obsługiwały ResourceProfile
  • [SPARK-47727] [SC-161982][python] Ustawienie SparkConf na poziomie głównym zarówno dla SparkSession, jak i SparkContext
  • [SPARK-47406] [SC-159376][sql] Obsługa typów danych TIMESTAMP i DATETIME w MYSQLDialect
  • [SPARK-47081] Przywróć polecenie "[SC-161758][connect] Support Query Executi...
  • [SPARK-47681] [ SC-162043][sql] Dodaj wyrażenie schema_of_variant.
  • [SPARK-47783] [SC-162222] Dodaj brakujące kody SQLSTATEs i popraw użycie YY000, aby...
  • [SPARK-47634] [ SC-161558][sql] Dodawanie starszej obsługi wyłączania normalizacji klucza mapy
  • [SPARK-47746] [SC-162022] Wdrożenie kodowania zakresu opartego na porządkach w RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExec powinien zawsze używać context.session
  • [SPARK-47643] [SC-161534][ss][PYTHON] Dodano test pyspark dla źródła przesyłania strumieniowego w Pythonie
  • [SPARK-47582] [SC-161943][sql] Migrate Catalyst logInfo z zmiennymi do struktury rejestrowania strukturalnego
  • [SPARK-47558] [SC-162007][ss] Obsługa TTL dla stanu ValueState
  • [SPARK-47358] [SC-160912][sql][COLLATION] Ulepszanie obsługi wyrażeń powtórzeń w celu zwrócenia poprawnego typu danych
  • [SPARK-47504] [SC-162044][sql] Rozwiązywanie simpleStrings AbstractDataType dla StringTypeCollated
  • [SPARK-47719] Cofnij “[SC-161909][sql] Zmień spark.sql.legacy.t...”
  • [SPARK-47657] [SC-162010][sql] Implementowanie obsługi wypychania filtru sortowania dla źródła plików
  • [SPARK-47081] [ SC-161758][connect] Obsługa postępu wykonywania zapytań
  • [SPARK-47744] [SC-161999] Dodano obsługę bajtów ujemnych w koderze zakresu
  • [SPARK-47713] [SC-162009][sql][CONNECT] Naprawienie błędu samosprzężenia
  • [SPARK-47310] [ SC-161930][ss] Dodawanie mikro-benchmarku do operacji scalania dla wielu wartości w części magazynu stanów
  • [SPARK-47700] [SC-161774][sql] Naprawianie formatowania komunikatów o błędach za pomocą treeNode
  • [SPARK-47752] [SC-161993][ps][CONNECT] Uczyń pyspark.pandas kompatybilnym z pyspark-connect
  • [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] Implementowanie interfejsu API logWarning/logInfo w strukturze rejestrowania strukturalnego
  • [SPARK-47107] [SC-161201][ss][PYTHON] Zaimplementować czytnik partycji dla strumieniowego źródła danych w Pythonie
  • [SPARK-47553] [SC-161772][ss] Dodawanie obsługi języka Java dla interfejsów API operatorów transformWithState
  • [SPARK-47719] [SC-161909][sql] Zmień wartość domyślną spark.sql.legacy.timeParserPolicy na POPRAWIONE
  • [SPARK-47655] [SC-161761][ss] Zintegrować czasomierz z obsługą stanu początkowego dla state-v2
  • [SPARK-47665] [SC-161550][sql] Używanie narzędzia SMALLINT do zapisywania parametru ShortType w usłudze MYSQL
  • [SPARK-47210] [SC-161777][sql] Dodanie niejawnego rzutowania bez obsługi form nieokreślonych
  • [SPARK-47653] [SC-161767][ss] Dodano obsługę ujemnych typów liczbowych i kodera klucza skanowania zakresowego.
  • [SPARK-46743] [SC-160777][sql] Błąd licznika po stałym składaniu
  • [SPARK-47525] [ SC-154568][sql] Obsługa łączenia korelacji podzapytania w atrybutach mapy
  • [SPARK-46366] [SC-151277][sql] Użyj wyrażenia WITH w funkcji BETWEEN, aby uniknąć zduplikowanych wyrażeń
  • [SPARK-47563] [SC-161183][sql] Dodawanie normalizacji mapy podczas tworzenia
  • [SPARK-42040] [ SC-161171][sql] SPJ: Wprowadzenie nowego interfejsu API dla partycji wejściowej w wersji 2 w celu raportowania statystyk partycji
  • [SPARK-47679] [SC-161549][sql] Użyj HiveConf.getConfVars bezpośrednio nazw konfekcyjnych programu Hive
  • [SPARK-47685] [SC-161566][sql] Przywróć obsługę typu Stream in Dataset#groupBy
  • [SPARK-47646] [SC-161352][sql] Try_to_number zwraca wartość NULL dla nieprawidłowo sformułowanych danych wejściowych
  • [SPARK-47366] [ SC-161324][python] Dodano aliasy pyspark i ramki danych parse_json
  • [SPARK-47491] [SC-161176][core] Dodaj slf4j-api plik jar do ścieżki klasy najpierw przed pozostałymi katalogami jars
  • [SPARK-47270] [SC-158741][sql] Dataset.isEmpty przetwarza wyniki poleceń lokalnie
  • [SPARK-47364] [SC-158927][core] Ostrzega, gdy wtyczki odpowiadają na jednokierunkową wiadomość
  • [SPARK-47280] [SC-158350][sql] Usuwanie ograniczenia strefy czasowej DLA SYGNATURY CZASOWEJ ORACLE WITH TIMEZONE
  • [SPARK-47551] [ SC-161542][sql] Dodaj wyrażenie variant_get.
  • [SPARK-47559] [SC-161255][sql] Wsparcie generowania kodu dla wariantu parse_json
  • [SPARK-47572] [SC-161351][sql] Zapewnienie, że 'partitionSpec' w oknach jest porządkowalne.
  • [SPARK-47546] [SC-161241][sql] Ulepszanie walidacji podczas odczytywania wariantu z Parquet
  • [SPARK-47543] [SC-161234][connect][PYTHON] Wnioskowanie dict jako MapType z ramki danych Pandas w celu umożliwienia tworzenia ramki danych
  • [SPARK-47485] [SC-161194][sql][PYTHON][connect] Tworzenie kolumny z sortowaniami w interfejsie API ramki danych
  • [SPARK-47641] [ SC-161376][sql] Zwiększanie wydajności dla UnaryMinus i Abs
  • [SPARK-47631] [SC-161325][sql] Usuń nieużywaną SQLConf.parquetOutputCommitterClass metodę
  • [SPARK-47674] [SC-161504][core] Włącz spark.metrics.appStatusSource.enabled domyślnie
  • [SPARK-47273] [SC-161162][ss][PYTHON] implementowanie interfejsu zapisywania strumienia danych języka Python.
  • [SPARK-47637] [ SC-161408][sql] Użyj errorCapturingIdentifier w większej liczbie miejsc
  • [SPARK-47497] Przywróć "Przywróć "[SC-160724][sql] Umożliwienie, aby to_csv obsługiwało dane wyjściowe tablicy/struktury/mapy/binarnych jako ładne ciągi""
  • [SPARK-47492] [SC-161316][sql] Poszerzenie zasad dotyczących białych znaków w lexerze
  • [SPARK-47664] [SC-161475][python][CONNECT] Zweryfikuj nazwę kolumny przy użyciu buforowanego schematu
  • [SPARK-47638] [SC-161339][ps][CONNECT] Pomiń walidację nazwy kolumny w programie PS
  • [SPARK-47363] [SC-161247][ss] Stan początkowy bez wdrożenia mechanizmu odczytu stanu dla interfejsu API stanu w wersji 2.
  • [SPARK-47447] [SC-160448][sql] Umożliw odczyt Parquet TimestampLTZ jako TimestampNTZ
  • [SPARK-47497] Przywróć "[SC-160724][sql] Obsługa to_csv danych wyjściowych array/struct/map/binary jako ciągów ładnych"
  • [SPARK-47434] [SC-160122][webui] Poprawka statistics linku w StreamingQueryPage
  • [SPARK-46761] [SC-159045][sql] Ciągi cytowane w ścieżce JSON powinny obsługiwać "?" characters
  • [SPARK-46915] [ SC-155729][sql] Uproszczenie i wyrównanie UnaryMinusAbs klasy błędów
  • [SPARK-47431] [SC-160919][sql] Dodaj domyślne sortowanie na poziomie sesji
  • [SPARK-47620] [ SC-161242][python][CONNECT] Dodawanie funkcji pomocniczej w celu sortowania kolumn
  • [SPARK-47570] [SC-161165][ss] Integrowanie zmian kodera skanowania zakresu z implementacją czasomierza
  • [SPARK-47497] [SC-160724][sql] Umożliwienie to_csv wspierania wyjścia array/struct/map/binary w formie ładnych ciągów
  • [SPARK-47562] [SC-161166][connect] Wydzielenie obsługi literałów z plan.py
  • [SPARK-47509] [SC-160902][sql] Blokuj wyrażenia podrzędne w funkcjach lambda i funkcjach wyższego rzędu
  • [SPARK-47539] [ SC-160750][sql] Ustaw wartość zwracaną metody castToString na Any => UTF8String
  • [SPARK-47372] [SC-160905][ss] Dodano obsługę kodera stanu klucza opartego na skanowaniu zakresu do użycia z dostawcą magazynu stanowego
  • [SPARK-47517] [SC-160642][core][SQL] Preferuj Utils.bytesToString dla wyświetlania rozmiaru
  • [SPARK-47243] [SC-158059][ss] Popraw nazwę pakietu StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][python][CONNECT] Obsługa źródeł danych języka Python za pomocą programu Spark Connect
  • [SPARK-47521] [ SC-160666][core] Użyj Utils.tryWithResource podczas odczytywania danych przetasowywania z magazynu zewnętrznego
  • [SPARK-47474] [SC-160522][core] Przywróć spark-47461 i dodaj komentarze
  • [SPARK-47560] [ SC-160914][python][CONNECT] Unikaj RPC do weryfikowania nazwy kolumny z buforowanym schematem
  • [SPARK-47451] [ SC-160749][sql] Obsługa to_json(variant).
  • [SPARK-47528] [ SC-160727][sql] Dodaj obsługę UserDefinedType do elementu DataTypeUtils.canWrite
  • [SPARK-44708] Przywróć element "[SC-160734][python] Migrate test_reset_index assert_eq to use assertDataFrameEqual"
  • [SPARK-47506] [ SC-160740][sql] Dodawanie obsługi wszystkich formatów źródeł plików dla sortowanych typów danych
  • [SPARK-47256] [ SC-160784][sql] Przypisywanie nazw do klas błędów _LEGACY_ERROR_TEMP_102[4–7]
  • [SPARK-47495] [SC-160720][core] Naprawiono plik JAR zasobu podstawowego dodany do spark.jars dwa razy w trybie klastra k8s
  • [SPARK-47398] [SC-160572][sql] Wyodrębnianie cech dla elementu InMemoryTableScanExec, aby umożliwić rozszerzanie funkcjonalności
  • [SPARK-47479] [ SC-160623][sql] Optymalizacja nie może zapisywać danych w relacjach z wieloma ścieżkami dziennika błędów
  • [SPARK-47483] [SC-160629][sql] Dodanie obsługi operacji agregacji i sprzężenia na tablicach zestawionych ciągów
  • [SPARK-47458] [ SC-160237][core] Rozwiązać problem z obliczaniem maksymalnych zadań współbieżnych dla etapu bariery
  • [SPARK-47534] [SC-160737][sql] Move o.a.s.variant to o.a.s.types.variant
  • [SPARK-47396] [SC-159312][sql] Dodaj ogólne mapowanie CZASU bez strefy czasowej na TimestampNTZType
  • [SPARK-44708] [SC-160734][python] Zmiana testowego resetu indeksu z użyciem assert_eq na assertDataFrameEqual
  • [SPARK-47309] [SC-157733][sc-160398][SQL] XML: Dodawanie testów wnioskowania schematu dla tagów wartości
  • [SPARK-47007] [SC-160630][sql] Dodaj MapSort wyrażenie
  • [SPARK-47523] [SC-160645][sql] Zamień przestarzałe JsonParser#getCurrentName na JsonParser#currentName
  • [SPARK-47440] [ SC-160635][sql] Poprawka wypychania nieobsługiwanej składni do serwera MsSqlServer
  • [SPARK-47512] [SC-160617][ss] Typ operacji oznaczającej tag używany przy połączeniu/rozłączeniu blokady instancji magazynu stanów RocksDB.
  • [SPARK-47346] [SC-159425][python] Umożliwienie konfiguracji trybu demona podczas tworzenia pracowników planowania w języku Python
  • [SPARK-47446] [SC-160163][core] Ostrzeż przed BlockManagerremoveBlockInternal
  • [SPARK-46526] [SC-156099][sql] Obsługa LIMIT skorelowanych podzapytania, gdzie predykaty odwołują się tylko do tabeli zewnętrznej
  • [SPARK-47461] [SC-160297][core] Usuń funkcję totalRunningTasksPerResourceProfile prywatną z ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][sql] Obsługa ciągów z koalescją w operacjach tablicowych
  • [SPARK-47500] [SC-160627][python][CONNECT] Wyłączyć obsługę nazw kolumn z plan.py
  • [SPARK-47383] [SC-160144][core] Obsługa konfiguracji spark.shutdown.timeout
  • [SPARK-47342] [SC-159049]Przywracanie parametru "[SQL] Support TimestampNTZ for DB2 TIMESTAMP WITH TIME ZONE"
  • [SPARK-47486] [SC-160491][connect] Usuń prywatną, nieużywaną metodę ArrowDeserializers.getString
  • [SPARK-47233] [SC-154486][connect][SS][2/2] Logika klienta i serwera dla odbiornika zapytań przesyłania strumieniowego po stronie klienta
  • [SPARK-47487] [SC-160534][sql] Upraszczanie kodu w ansiTypeCoercion
  • [SPARK-47443] [SC-160459][sql] Obsługa agregacji okien dla sortowania
  • [SPARK-47296] [SC-160457][sql][COLLATION] Niepowodzenie nieobsługiwanych funkcji dla sortowania niebinarnego
  • [SPARK-47380] [SC-160164][connect] Upewnij się, że SparkSession jest taka sama po stronie serwera
  • [SPARK-47327] [SC-160069][sql] Przenieś test jednoczesności sortowania kluczy do CollationFactorySuite
  • [SPARK-47494] [SC-160495][doc] Dodaj dokumentację migracji dla zmiany zachowania wnioskowania znaczników czasowych Parquet od Spark 3.3
  • [SPARK-47449] [ SC-160372][ss] Refaktoryzacja i podział listy/testów jednostkowych czasomierza
  • [SPARK-46473] [SC-155663][sql] Ponowne użycie getPartitionedFile metody
  • [SPARK-47423] [SC-160068][sql] Obsługa operacji zbioru dla ciągów tekstowych z sortowaniami
  • [SPARK-47439] [SC-160115][python] Udokumentuj Interfejs API źródła danych języka Python na stronie referencyjnej interfejsu API
  • [SPARK-47457] [SC-160234][sql] Poprawka IsolatedClientLoader.supportsHadoopShadedClient do obsługi platformy Hadoop 3.4+
  • [SPARK-47366] [ SC-159348][sql] Implementowanie parse_json.
  • [SPARK-46331] [SC-152982][sql] Usuwanie elementu CodegenFallback z podzestawu wyrażeń DateTime i wyrażenia version()
  • [SPARK-47395] [SC-159404] Dodaj zestawienie oraz porządkowanie do innych interfejsów API
  • [SPARK-47437] [SC-160117][python][CONNECT] Popraw klasę błędów dla DataFrame.sort*
  • [SPARK-47174] [SC-154483][connect][SS][1/2] SparkConnectListenerBusListener po stronie serwera dla nasłuchiwacza zapytań strumieniowych po stronie klienta
  • [SPARK-47324] [SC-158720][sql] Dodaj brakującą konwersję znacznika czasu dla zagnieżdżonych typów JDBC.
  • [SPARK-46962] [ SC-158834][ss][PYTHON] Dodanie interfejsu dla API strumieniowego źródła danych w Pythonie i zaimplementowanie środowiska wykonawczego w Pythonie do obsługi strumieniowego źródła danych
  • [SPARK-45827] [ SC-158498][sql] Przenoszenie kontroli typów danych do CreatableRelationProvider
  • [SPARK-47342] [SC-158874][sql] Obsługa TimestampNTZ dla DB2 TIMESTAMP Z CZASEM STREFY
  • [SPARK-47399] [SC-159378][sql] Wyłącz wygenerowane kolumny na wyrażeniach z sortowaniami
  • [SPARK-47146] [SC-158247][core] Możliwy wyciek wątku podczas sprzężenia scalania z sortowaniem
  • [SPARK-46913] [ SC-159149][ss] Dodanie obsługi czasomierzy opartych na czasie przetwarzania/zdarzeń z operatorem transformWithState
  • [SPARK-47375] [ SC-159063][sql] Dodanie wytycznych dotyczących mapowania znacznika czasu w JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][sql] Obsługa ZNACZNIKA CZASU ZE STREFĄ CZASOWĄ dla H2Dialect
  • [SPARK-45827] Cofnij zmianę “[SC-158498][sql] Przenieś kontrole typów danych do ...
  • [SPARK-47208] [SC-159279][core] Umożliwienie zastępowania podstawowych pamięci narzutowych
  • [SPARK-42627] [SC-158021][spark-26494][SQL] Obsługa Oracle TIMESTAMP WITH LOCAL TIME ZONE
  • [SPARK-47055] [ SC-156916][python] Upgrade MyPy 1.8.0
  • [SPARK-46906] [SC-157205][ss] Dodać sprawdzenie zmiany operatora stanowego dla przesyłania strumieniowego
  • [SPARK-47391] [SC-159283][sql] Usuwanie obejścia przypadku testowego dla zestawu JDK 8
  • [SPARK-47272] [SC-158960][ss] Dodanie implementacji MapState dla interfejsu API stanu w wersji 2.
  • [SPARK-47375] [ SC-159278][doc][FollowUp] Poprawa błędu w dokumentacji dotyczącej opcji JDBC preferTimestampNTZ
  • [SPARK-42328] [SC-157363][sql] Usuwanie _LEGACY_ERROR_TEMP_1175 z klas błędów
  • [SPARK-47375] [ SC-159261][doc][FollowUp] Popraw opis opcji preferTimestampNTZ w kodzie JDBC
  • [SPARK-47344] [ SC-159146] Rozszerzenie progu błędu INVALID_IDENTIFIER poza przechwytywanie identyfikatora '-', aby obejmować również inne przypadki, oraz poprawa problemu z 'IS !'. NULL" i in.
  • [SPARK-47340] [SC-159039][sql] Zmień wartość "collate" w polu StringType typename na małe litery
  • [SPARK-47087] [SC-157077][sql] Zgłoś wyjątek platformy Spark z klasą błędów w sprawdzaniu wartości konfiguracji
  • [SPARK-47327] [ SC-158824][sql] Rozwiązano problem z bezpieczeństwem wątków w kolatorze ICU
  • [SPARK-47082] [SC-157058][sql] Naprawa błędu wynikającego z wyjścia poza granice
  • [SPARK-47331] [SC-158719][ss] Serializacja przy użyciu klas przypadków/pierwotnych/POJO opartych na koderze SQL dla interfejsu API dowolnego stanu w wersji 2.
  • [SPARK-47250] [ SC-158840][ss] Dodawanie dodatkowych weryfikacji i zmian NERF dla dostawcy stanu bazy danych RocksDB i korzystania z rodzin kolumn
  • [SPARK-47328] [SC-158745][sql] Zmień nazwę sortowania UCS_BASIC na UTF8_BINARY
  • [SPARK-47207] [SC-157845][core] Obsługa spark.driver.timeout i DriverTimeoutPlugin
  • [SPARK-47370] [ SC-158956][doc] Dodawanie dokumentu migracji: wnioskowanie typu TimestampNTZ w plikach Parquet
  • [SPARK-47309] [SC-158827][sql][XML] Dodawanie testów jednostkowych wnioskowania schematu
  • [SPARK-47295] [SC-158850][sql] Dodano ICU StringSearch dla funkcji startsWith i endsWith
  • [SPARK-47343] [SC-158851][sql] Naprawa NPE, gdy wartość zmiennej sqlString jest ciągiem null w poleceniu execute immediate
  • [SPARK-46293] [SC-150117][connect][PYTHON] Użyj protobuf zależności przechodniej
  • [SPARK-46795] [SC-154143][sql] Zastąp UnsupportedOperationException przez SparkUnsupportedOperationException w sql/core
  • [SPARK-46087] [ SC-149023][python] Synchronizacja zależności PySpark w dokumentach i wymaganiach deweloperskich
  • [SPARK-47169] [ SC-158848][sql] Wyłączanie zasobnika dla kolumn sortowania
  • [SPARK-42332] [ SC-153996][sql] Zmienianie wymagania dla elementu SparkException w parametrze ComplexTypeMergingExpression
  • [SPARK-45827] [ SC-158498][sql] Przenoszenie kontroli typów danych do CreatableRelationProvider
  • [SPARK-47341] [ SC-158825][connect] Zastąp polecenia relacjami w kilku testach w usłudze SparkConnectClientSuite
  • [SPARK-43255] [ SC-158026][sql] Zamień klasę błędów _LEGACY_ERROR_TEMP_2020 przez błąd wewnętrzny
  • [SPARK-47248] [SC-158494][sql][COLLATION] Ulepszona obsługa funkcji ciągów: zawiera
  • [SPARK-47334] [SC-158716][sql] Spraw, aby withColumnRenamed ponownie użył implementacji withColumnsRenamed
  • [SPARK-46442] [SC-153168][sql] DS V2 obsługuje wypychanie PERCENTILE_CONT i PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][sql] Dodano obsługę scala.MatchError wewnątrz elementu QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][sql] Dodawanie typu singleton wariantu dla języka Java
  • [SPARK-47337] [SC-158743][sql][DOCKER] Uaktualnianie wersji obrazu platformy Docker DB2 do 11.5.8.0
  • [SPARK-47302] [SC-158609][sql] Sortuj słowo kluczowe jako identyfikator
  • [SPARK-46817] [SC-154196][core] Poprawiono spark-daemon.sh użycie, dodając decommission polecenie
  • [SPARK-46739] [SC-153553][sql] Dodaj klasę błędów UNSUPPORTED_CALL
  • [SPARK-47102] [ SC-158253][sql] Dodaj flagę konfiguracji COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][sql][AVRO] Użyj pliku mapreduce.output.fileoutputformat.compress zamiast przestarzałego pliku mapred.output.compress w zadaniach zapisu Avro
  • [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory: Przekroczenie czasu, jeśli pracownik nie połączy się z powrotem.
  • [SPARK-46835] [SC-158355][sql][Porównania] Wsparcie dla połączeń z porównaniami nie-binarnymi
  • [SPARK-47131] [SC-158154][sql][COLLATION] Obsługa funkcji ciągów: contains, startswith, endswith
  • [SPARK-46077] [SC-157839][sql] Należy rozważyć typ generowany przez TimestampNTZConverter w JdbcDialect.compileValue.
  • [SPARK-47311] [ SC-158465][sql][PYTHON] Pomijanie wyjątków języka Python, w których PySpark nie znajduje się w ścieżce języka Python
  • [SPARK-47319] [SC-158599][sql] Ulepszanie obliczania brakującego wejścia
  • [SPARK-47316] [SC-158606][sql] Fix TimestampNTZ in Postgres Array
  • [SPARK-47268] [SC-158158][sql][Collations] Obsługa ponownego partycjonowania z sortowaniami
  • [SPARK-47191] [ SC-157831][sql] Unikaj niepotrzebnego wyszukiwania relacji podczas odsuania tabeli/widoku
  • [SPARK-47168] [ SC-158257][sql] Wyłącz wypychanie filtra Parquet podczas pracy z ciągami znaków o nie domyślnym porządku sortowania
  • [SPARK-47236] [ SC-158015][core] Poprawiono deleteRecursivelyUsingJavaIO, aby pominąć nieistniejące wejście pliku
  • [SPARK-47238] [ SC-158466][sql] Zmniejszenie użycia pamięci wykonawczej przez utworzenie wygenerowanego kodu w WSCG jako zmiennej emisji
  • [SPARK-47249] [SC-158133][connect] Naprawiono usterkę polegającą na tym, że wszystkie wykonania połączenia są uznawane za porzucone niezależnie od ich rzeczywistego stanu
  • [SPARK-47202] [SC-157828][python] Naprawienie literówki powodującej błąd w datach z tzinfo
  • [SPARK-46834] [SC-158139][sql][Sortowanie] Obsługa agregacji
  • [SPARK-47277] [SC-158351][3.5] Funkcja narzędziowa PySpark assertDataFrameEqual nie powinna obsługiwać strumieniowych ramek danych (DF)
  • [SPARK-47155] [SC-158473][python] Naprawa problemu z klasą błędów
  • [SPARK-47245] [SC-158163][sql] Poprawienie kodu błędu dla INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [ SC-158425][core] Dodaj ostrzeżenie z wiadomością w Dependency jeśli ma zostać utworzona zbyt duża liczba bloków mieszania.
  • [SPARK-47277] [SC-158329] Funkcja pomocnicza PySpark assertDataFrameEqual nie powinna obsługiwać strumieniowych ramek danych (DF)
  • [SPARK-47293] [ SC-158356][core] Budowanie batchSchema za pomocą sparkSchema zamiast dodawania jeden po drugim
  • [SPARK-46732] [SC-153517][connect] Spraw, aby wątek Podzapytanie/Transmitowanie działał z zarządzaniem artefaktami Connect.
  • [SPARK-44746] [SC-158332][python] Dodaj więcej dokumentacji udTF języka Python dla funkcji, które akceptują tabele wejściowe
  • [SPARK-47120] [SC-157517][sql] Przenoszenie porównań z podzapytania do filtru danych powoduje wystąpienie NPE w filtrze Parquet
  • [SPARK-47251] [SC-158291][python] Blokuj nieprawidłowe typy z argumentu args polecenia sql
  • [SPARK-47251] Przywróć "[SC-158121][python] Blokuj nieprawidłowe typy z argumentu args polecenia sql "
  • [SPARK-47015] [ SC-157900][sql] Wyłączanie partycjonowania w kolumnach sortowania
  • [SPARK-46846] [SC-154308][core] Spraw, aby WorkerResourceInfo jawnie rozszerzał Serializable
  • [SPARK-46641] [SC-156314][ss] Dodaj próg maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][connect] SparkConnectPlanner ustaw funkcje wewnętrzne jako prywatne
  • [SPARK-47266] [SC-158146][connect] Zwróć ProtoUtils.abbreviate ten sam typ co wejście
  • [SPARK-46961] [SC-158183][ss] Używanie ProcessorContext do przechowywania i pobierania uchwytu
  • [SPARK-46862] [ SC-154548][sql] Wyłączanie przycinania kolumn CSV w trybie wielowierszowym
  • [SPARK-46950] [SC-155803][core][SQL] Wyrównaj not available codec klasę błędów
  • [SPARK-46368] [SC-153236][core] Obsługa readyz interfejsu API przesyłania REST
  • [SPARK-46806] [ SC-154108][python] Ulepszanie komunikatu o błędzie dla tabeli spark.table, gdy typ argumentu jest nieprawidłowy
  • [SPARK-47211] [SC-158008][connect][PYTHON] Naprawa ignorowania sortowania ciągów w PySpark Connect
  • [SPARK-46552] [SC-151366][sql] Zastąp UnsupportedOperationException przez SparkUnsupportedOperationException w catalyst
  • [SPARK-47147] [SC-157842][python][SQL] Naprawiono błąd konwersji ciągów sortowania PySpark
  • [SPARK-47144] [SC-157826][connect][SQL][python] Naprawiono błąd sortowania programu Spark Connect, dodając pole collateId protobuf
  • [SPARK-46575] [SC-153200][sql][HIVE] Umożliwić powtarzalność HiveThriftServer2.startWithContext w DevelopApi i naprawić niestabilność ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [ SC-153832][core] W usłudze ResourceProfileManager wywołania funkcji powinny występować po deklaracjach zmiennych
  • [SPARK-47214] [SC-157862][python] Tworzenie interfejsu API UDTF dla metody "analyze" w celu odróżnienia stałych argumentów NULL i innych typów argumentów
  • [SPARK-46766] [SC-153909][sql][AVRO] Obsługa puli buforów ZSTD dla źródła danych AVRO
  • [SPARK-47192] [SC-157819] Konwertowanie niektórych błędów _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][ss] Dodano obsługę ListState w API dowolnych stanów wersji 2.
  • [SPARK-46881] [SC-154612][core] Obsługa spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][core] Obsługa spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][sql] Naprawa usterki polegającej na używaniu niepoprawnego kodeka kompresji parquet lz4raw
  • [SPARK-46791] [SC-154018][sql] Obsługa zbiorów Java w JavaTypeInference
  • [SPARK-46332] [ SC-150224][sql] Migrowanie CatalogNotFoundException do klasy błędów CATALOG_NOT_FOUND
  • [SPARK-47164] [ SC-157616][sql] Ustaw wartość domyślną z szerszego typu Wąski literał v2 zachowuje się tak samo jak wersja 1
  • [SPARK-46664] [SC-153181][core] Ulepsz Master aby szybko odzyskać przy zerowej liczbie pracowników i aplikacji
  • [SPARK-46759] [SC-153839][sql][AVRO] Codec xz i zstandard obsługują poziom kompresji dla plików avro

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Zobacz Aktualizacje konserwacyjne środowiska Databricks Runtime 15.2.

Środowisko systemu

  • System operacyjny: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Zainstalowane biblioteki języka Python

Library Version Library Version Library Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 kryptografia 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 dekorator 5.1.1 distlib 0.3.8
entrypoints 0.4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 packaging 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN Menedżera Pakietów Posit.

Library Version Library Version Library Version
arrow 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 baza 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
karetka 6.0-94 cellranger 1.1.0 chron 2.3-61
klasa 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 klaster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 kompilator 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 dane logowania 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 skrót 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 wielokropek 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
typy ogólne 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 siatka 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
cykl życia 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 methods 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
serwer proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
kształt 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 przestrzenny 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics odtwarzać strumieniowo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx moduł zbierający 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on