Udostępnij za pośrednictwem

Databricks Runtime 11.1 (EoS)

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby zapoznać się z datą zakończenia wsparcia, zobacz End-of-support and end-of-life history (Koniec wsparcia technicznego i historia zakończenia życia). Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w uwagach o wydaniu i zgodności wersji Databricks Runtime.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 11.1 obsługiwanym przez platformę Apache Spark 3.3.0. Usługa Databricks wydała tę wersję w lipcu 2022 roku.

Nowe funkcje i ulepszenia

Photon jest ogólnie dostępny

Aplikacja Photon jest teraz ogólnie dostępna, począwszy od środowiska Databricks Runtime 11.1. Platforma Photon jest natywnym wektorowym silnikiem zapytań na platformie Azure Databricks, napisanym tak, aby był bezpośrednio kompatybilny z interfejsami API platformy Apache Spark, dzięki czemu działa z istniejącym kodem. Technologia Photon została opracowana w języku C++, aby korzystać z nowoczesnego sprzętu i używa najnowszych technik przetwarzania wektoryzowanych zapytań w celu wykorzystania równoległości danych i instrukcji w procesorach CPU, zwiększając wydajność rzeczywistych danych i aplikacji — wszystko to natywnie w usłudze Data Lake.

Photon jest częścią środowiska uruchomieniowego o wysokiej wydajności, które uruchamia istniejące wywołania interfejsu API SQL i DataFrame szybciej, zmniejszając całkowity koszt obciążenia. Narzędzie Photon jest domyślnie używane w magazynach SQL usługi Databricks.

Nowe funkcje i ulepszenia obejmują:

  • Nowy operator sortowania wektoryzowanego
  • Nowe funkcje okna wektoryzowanego
  • Nowe typy wystąpień i rozmiary we wszystkich chmurach

Ograniczenia:

  • UDF języka Scala/Python nie są obsługiwane przez Photon
  • RDD nie jest obsługiwany przez Photon
  • Przesyłanie strumieniowe ze strukturą nie jest obsługiwane przez usługę Photon

Aby uzyskać więcej informacji, zobacz następujące ogłoszenia Photon.

Photon: Nowy operator sortowania wektoryzowanego

Photon teraz obsługuje wektoryzowane sortowanie, kiedy zapytanie zawiera SORT_BY, CLUSTER_BYlub funkcję okna z ORDER BY.

Ograniczenia: Aplikacja Photon nie obsługuje klauzuli globalnej ORDER BY . Sortowanie na potrzeby oceny okien będzie działać z użyciem technologii Photon, ale sortowanie globalne będzie nadal wykonywane na platformie Spark.

Photon: Nowe funkcje okna wektoryzowanego

Photon obsługuje teraz wektoryzowaną ocenę funkcji okna dla wielu typów ramek i funkcji. Nowe funkcje okien obejmują: row_number, rank, dense_rank, lag, lead, percent_rank, ntilei nth_value. Obsługiwane typy ramek okien: bieżące (UNBOUNDED PRECEDING AND CURRENT ROW), nieograniczone (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), rosnące (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) i malejące (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Ograniczenia:

  • Photon wspiera tylko ROWS wersje wszystkich typów ramek.
  • Photon nie obsługuje jeszcze typu ramki przesuwanej (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: obsługiwane typy wystąpień

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

Kanał danych zmian może teraz automatycznie obsługiwać znaczniki czasu poza zakresem

Zasilanie danymi zmiany (CDF) ma teraz nowy tryb, który pozwala na podawanie znaczników czasu lub wersji wykraczających poza wersję najnowszego zatwierdzenia, bez zgłaszania błędów. Ten tryb jest domyślnie wyłączony. Możesz ją włączyć, ustawiając konfigurację spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled na true.

Polecenia opisania i pokazania funkcji SQL teraz pokazują nazwy w katalogu Unity w wynikach (wersja publiczna)

Polecenia DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAINi SHOW CREATE TABLE teraz zawsze wyświetlają nazwę katalogu w wyniku.

Wnioskowanie schematu i ewolucja plików Parquet w narzędziu do automatycznego ładowania (publiczna wersja zapoznawcza)

Moduł automatycznego ładowania obsługuje teraz wnioskowanie schematu i ewolucję plików Parquet. Podobnie jak w przypadku formatów JSON, CSV i Avro, można teraz użyć kolumny uratowanych danych do ratowania nieoczekiwanych danych, które mogą pojawić się w plikach Parquet. Obejmuje to dane, których nie można przeanalizować w oczekiwanym typie danych, kolumny o różnej wielkości liter, lub dodatkowe kolumny, które nie są częścią oczekiwanego schematu. Automatyczne ładowanie można skonfigurować tak, aby automatycznie ewoluował schemat podczas dodawania nowych kolumn w danych przychodzących. Zobacz Konfigurowanie wnioskowania i ewolucji schematu w Auto Loader.

Auto Loader teraz obsługuje ewolucję schematu dla Avro (GA)

Zobacz Konfigurowanie wnioskowania i ewolucji schematu w Auto Loader.

Obsługa zastępowania dynamicznego partycji w Delta Lake

Delta Lake umożliwia teraz dynamiczny tryb nadpisywania partycji, aby zastąpić wszystkie istniejące dane w każdej logicznej partycji, dla której zapis wprowadzi nowe dane. Zobacz Selektywne zastępowanie danych za pomocą usługi Delta Lake.

Obsługa schematu danych dla obiektów utworzonych w Unity Catalog

Schemat informacji zawiera oparty na języku SQL interfejs API do metadanych różnych obiektów bazy danych, w tym tabel i widoków, ograniczeń i procedur. W schemacie informacji znajduje się zestaw widoków opisujących obiekty znane wykazowi schematu, do którego masz uprawnienia. Schemat informacyjny katalogu SYSTEM zwraca informacje o obiektach we wszystkich katalogach w metamagazynie. Zobacz Schemat informacji.

Ograniczenia informacyjne dotyczące tabel Delta Lake z Unity Catalog (publiczna wersja zapoznawcza)

Teraz można definiować ograniczenia klucza głównego i klucza obcego na tabelach Delta Lake przy użyciu Unity Catalog. Ograniczenia informacyjne nie są wymuszane. Zobacz klauzulę CONSTRAINT.

Katalog Unity jest ogólnodostępny

Unity Catalog jest teraz dostępny, począwszy od wersji środowiska wykonawczego Databricks Runtime 11.1. Zobacz Co to jest Katalog Unity?.

Delta Sharing jest w wersji ogólnodostępnej

Delta Sharing jest teraz ogólnie dostępne, począwszy od platformy Databricks Runtime 11.1.

Udostępnianie Databricks Delta w ramach Databricks jest w pełni zarządzane bez konieczności wymiany tokenów. Możesz tworzyć i zarządzać dostawcami, adresatami oraz udziałami w interfejsie użytkownika lub za pomocą interfejsów API SQL i REST.

Niektóre funkcje obejmują ograniczanie dostępu adresatów, wykonywanie zapytań dotyczących danych przy użyciu list dostępu do adresów IP i ograniczeń regionów oraz delegowanie zarządzania udostępnianiem delty do osób niebędących administratorami. Możesz również wykonywać zapytania dotyczące zmian danych lub udostępniać wersje przyrostowe za pomocą zestawienia zmian danych. Zobacz Delta Sharing.

Zmiany zachowania

Redakcja właściwości poufnych dla DESCRIBE TABLE oraz POKAŻ WŁAŚCIWOŚCI TABLE

Właściwości poufne są redagowane w ramkach danych oraz w wynikach poleceń DESCRIBE TABLE i SHOW TABLE PROPERTIES.

Klastry zadań domyślnie działają w trybie dostępu dla pojedynczego użytkownika, korzystając z Databricks Runtime 11.1 lub nowszego.

Aby być zgodnym z Unity Catalog, klastry zadań używające środowiska Databricks Runtime 11.1 lub nowszego utworzone za pomocą interfejsu użytkownika lub API zadań będą domyślnie działały w trybie dostępu pojedynczego użytkownika. Tryb dostępu pojedynczego użytkownika obsługuje większość języków programowania, funkcji klastra i funkcji nadzoru nad danymi. Nadal można skonfigurować standardowy tryb dostępu (dawniej tryb dostępu współdzielonego) za pomocą interfejsu użytkownika lub interfejsu API, ale języki lub funkcje mogą być ograniczone.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • filelock z wersji 3.6.0 do 3.7.1
    • wykres z 5.6.0 do 5.8.2
    • protobuf z wersji 3.20.1 na wersję 4.21.2
  • Uaktualnione biblioteki języka R:
    • chron z 2.3-56 do 2.3-57
    • Interfejs DBI z wersji 1.1.2 do 1.1.3
    • dbplyr z wersji 2.1.1 do 2.2.0
    • e1071 z 1.7-9 do 1.7-11
    • przyszłość z wersji 1.25.0 do 1.26.1
    • globals od wersji 0.14.0 do wersji 0.15.1
    • hardhat z 0.2.0 do 1.1.0
    • ipred z 0.9-12 do 0.9-13
    • openssl z 2.0.0 do 2.0.2
    • równolegle z wersji 1.31.1 do 1.32.0
    • processx z wersji 3.5.3 do 3.6.1
    • progressr z 0.10.0 do 0.10.1
    • proxy z wersji 0.4-26 do 0.4-27
    • ps z 1.7.0 do 1.7.1
    • randomForest z 4.7-1 do 4.7-1.1
    • roxygen2 z 7.1.2 do 7.2.0
    • Rserve z 1.8-10 do 1.8-11
    • RSQLite z wersji 2.2.13 do 2.2.14
    • "Sparklyr" z wersji 1.7.5 do wersji 1.7.7
    • tinytex z 0.38 do 0.40
    • usethis z 2.1.5 do 2.1.6
    • xfun od 0.30 do 0.31
  • Uaktualnione biblioteki Java:
    • io.delta.delta-sharing-spark_2.12 z 0.4.0 do 0.5.0

Apache Spark

Środowisko Databricks Runtime 11.2 obejmuje platformę Apache Spark 3.3.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 11.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-40054] [SQL] Przywracanie składni obsługi błędów try_cast()
  • [SPARK-39489] [CORE] Zwiększanie wydajności rejestrowania zdarzeń JsonProtocol przy użyciu narzędzia Jackson zamiast Json4s
  • [SPARK-39319] [CORE][sql] Tworzenie kontekstów zapytań w ramach SparkThrowable
  • [SPARK-40085] [SQL] Użyj klasy błędów INTERNAL_ERROR zamiast IllegalStateException, aby wskazać usterki
  • [SPARK-40001] [SQL] Spraw, aby zapisy NULL w kolumnach DOMYŚLNYch JSON zapisywały 'null' do magazynu.
  • [SPARK-39635] [SQL] Obsługa metryk modułów sterujących w interfejsie API metryk niestandardowych DS v2
  • [SPARK-39184] [SQL] Obsługa zbyt małej tablicy wyników w sekwencjach dat i znaczników czasu
  • [SPARK-40019] [SQL] Refaktoryzacja komentarza containNull w ArrayType i poprawa niejasności logiki w wyrażeniu collectionOperatora dotyczącym containsNull
  • [SPARK-39989] [SQL] Obsługa szacowania statystyk kolumn, jeśli jest to wyrażenie z możliwością składania
  • [SPARK-39926] [SQL] Naprawa błędu obsługi wartości domyślnych kolumn przy niewektorowych skanach Parquet
  • [SPARK-40052] [SQL] Obsługa bezpośrednich buforów bajtowych w VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Naprawianie typu interwału docelowego w błędach przepełnienia rzutu
  • [SPARK-39835] [SQL] Naprawa EliminateSorts polegająca na usunięciu globalnego sortowania znajdującego się poniżej sortowania lokalnego
  • [SPARK-40002] [SQL] Nie wypychaj limitu przez okno przy użyciu ntile
  • [SPARK-39976] [SQL] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
  • [SPARK-39985] [SQL] Włącz niejawne wartości kolumn domyślnych we wstawkach z ramek danych
  • [SPARK-39776] [SQL] JOIN opisowy ciąg powinien dodać typ połączenia
  • [SPARK-38901] [SQL] DS V2 obsługuje przenoszenie niżej funkcji pomocniczych
  • [SPARK-40028] [SQL][kontynuacja] Ulepszenie przykładów funkcji tekstowych
  • [SPARK-39983] [CORE][sql] Nie buforuj nieserializowane relacje emisji na sterowniku
  • [SPARK-39812] [SQL] Uprość kod, który konstruuje AggregateExpression z toAggregateExpression
  • [SPARK-40028] [SQL] Dodawanie przykładów binarnych dla wyrażeń ciągu
  • [SPARK-39981] [SQL] Rzuć wyjątek QueryExecutionErrors.castingCauseOverflowErrorInTableInsert w elemencie Cast
  • [SPARK-40007] [PYTHON][sql] Dodawanie trybu do funkcji
  • [SPARK-40008] [SQL] Obsługa rzutowania liczb całkowitych do interwałów ANSI
  • [SPARK-40003] [PYTHON][sql] Dodawanie "mediany" do funkcji
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand powinien ponownie zapisać relację wyników
  • [SPARK-39951] [SQL] Aktualizacja sprawdzania kolumnowego Parquet V2 dla zagnieżdżonych pól
  • [SPARK-39775] [ CORE][avro] Wyłącz sprawdzanie poprawności wartości domyślnych podczas analizowania schematów Avro
  • [SPARK-33236] [shuffle] Backport do Databricks Runtime 11.x: Umożliwić usługę shuffle opartą na przesyłaniu do przechowywania stanu w bazie danych na poziomie NM dla restartu zachowującego pracę
  • [SPARK-39836] [SQL] Uprość program V2ExpressionBuilder, wyodrębniając typową metodę.
  • [SPARK-39867] [SQL] Globalny limit nie powinien dziedziczyć elementu OrderPreservingUnaryNode
  • [SPARK-39873] [SQL] Usuń OptimizeLimitZero i scal je w EliminateLimits
  • [SPARK-39961] [SQL] Rzutowanie z obsługą push-down w DS V2, jeśli rzutowanie jest bezpieczne
  • [SPARK-39872] [SQL] Zmiana na użycie BytePackerForLong#unpack8Values z interfejsem API danych wejściowych tablicy w programie VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Usuń niepotrzebne AliasHelper lub PredicateHelper dla niektórych reguł
  • [SPARK-39962] [WARMFIX][es-393486][PYTHON][sql] Zastosuj projekcję, gdy atrybuty grupy są puste
  • [SPARK-39900] [SQL] Zajmowanie się częściowym lub negowanym warunkiem w przepychaniu predykatów formatu binarnego
  • [SPARK-39904] [SQL] Zmień nazwę inferDate na preferujDate i wyjaśnij semantyka opcji w źródle danych CSV
  • [SPARK-39958] [SQL] Dodawanie dziennika ostrzeżeń, gdy nie można załadować niestandardowego obiektu metryki
  • [SPARK-39936] [SQL] Przechowywanie schematu we właściwościach widoków platformy Spark
  • [SPARK-39932] [SQL] WindowExec powinien wyczyścić końcowy bufor partycji
  • [SPARK-37194] [SQL] Unikaj niepotrzebnego sortowania przy zapisie v1, jeśli nie jest to partycja dynamiczna
  • [SPARK-39902] [SQL] Dodaj szczegóły skanowania do węzła skanowania planu Spark w SparkUI
  • [SPARK-39865] [SQL] Pokaż odpowiednie komunikaty o błędach przepełnienia podczas wstawiania danych do tabeli
  • [SPARK-39940] [SS] Odśwież tabelę katalogu dla zapytania strumieniowego z wykorzystaniem ujścia DSv1
  • [SPARK-39827] [SQL] Używanie klasy błędu ARITHMETIC_OVERFLOW przy przepełnieniu typu int add_months()
  • [SPARK-39914] [SQL] Dodawanie filtru DS v2 do konwersji filtru w wersji 1
  • [SPARK-39857] [SQL] Ręczne przeportowanie Databricks Runtime 11.x; V2ExpressionBuilder używa nieprawidłowego typu LiteralValue dla warunku In #43454
  • [SPARK-39840] [SQL][python] Wyodrębnij PythonArrowInput jako symetrię do PythonArrowOutput
  • [SPARK-39651] [SQL] Przycinanie warunku filtru, jeśli porównanie z funkcją rand jest deterministyczne
  • [SPARK-39877] [PYTHON] Dodaj odwrotne przestawienie do interfejsu API ramki danych PySpark
  • [SPARK-39847] [ WARMFIX][ss] Naprawianie stanu wyścigu w RocksDBLoader.loadLibrary() w przypadku przerwania wątku wywołującego
  • [SPARK-39909] [SQL] Organizowanie sprawdzania informacji wypychanych dla aplikacji JDBCV2Suite
  • [SPARK-39834] [SQL][ss] Uwzględnij statystyki źródła i ograniczenia dla LogicalRDD, jeśli pochodzą z DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) wypełnia brakujące nowe kolumny z wartością null
  • [SPARK-39860] [SQL] Więcej wyrażeń powinno rozszerzać predykat
  • [SPARK-39823] [SQL][python] Zmień nazwę Dataset.as na Dataset.to i dodaj DataFrame.to w PySpark
  • [SPARK-39918] [SQL][pomocnicza] Zastąp wyraz "nieporównywalny" ciągiem "nieporównywalny" w komunikacie o błędzie
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder używa nieprawidłowego typu danych LiteralValue dla predykatu In
  • [SPARK-39862] [SQL] Ręczne przenoszenie wstecz dla PR 43654 dla Databricks Runtime 11.x: Aktualizacja SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS, aby umożliwić/zabronić ALTER TABLE ... Polecenie ADD COLUMN oddzielnie.
  • [SPARK-39844] [SQL] Ręczne backportowanie dla PR 43652 dla Databricks Runtime 11.x
  • [SPARK-39899] [SQL] Naprawa przekazania parametrów komunikatów do InvalidUDFClassException
  • [SPARK-39890] [SQL] Spraw, aby TakeOrderedAndProjectExec dziedziczył AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Obsługa obiektu CharType w narzędziu PySpark
  • [SPARK-38864] [SQL] Dodaj unpivot / melt do zestawu danych
  • [SPARK-39864] [SQL] Domyślnie zarejestruj ExecutionListenerBus
  • [SPARK-39808] [SQL] Obsługa trybu funkcji agregującej
  • [SPARK-39839] [SQL] Obsługa specjalnego przypadku dziesiętnej o zmiennej długości i wartości null z niezerowym offsetAndSize w sprawdzaniu integralności strukturalnej UnsafeRow
  • [SPARK-39875] [SQL] Zmień protected metodę w klasie końcowej na private lub package-visible
  • [SPARK-39731] [SQL] Naprawiono problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyyMMdd" przy użyciu POPRAWIONĄ polityką analizatora czasu.
  • [SPARK-39805] [SS] Przestarzałe trigger.Once i podwyższanie poziomu trigger.AvailableNow
  • [SPARK-39784] [SQL] Umieść wartości literałów po prawej stronie filtra źródła danych po przetłumaczeniu wyrażenia Catalyst na filtr źródła danych
  • [SPARK-39672] [SQL][3.1] Naprawa problemu z usuwaniem projektu przed filtrem w kontekście skorelowanego podzapytania
  • [SPARK-39552] [SQL] Ujednolicenie wersji 1 i 2 DESCRIBE TABLE
  • [SPARK-39806] [SQL] Uzyskiwanie dostępu do _metadata w tabeli partycjonowanej może spowodować awarię zapytania
  • [SPARK-39810] [SQL] Catalog.tableExists powinna obsługiwać zagnieżdżoną przestrzeń nazw
  • [SPARK-37287] [SQL] Wydzielenie dynamicznego partycjonowania oraz sortowania według wiader z FileFormatWriter
  • [SPARK-39469] [SQL] Określanie typu daty dla wnioskowania schematu CSV
  • [SPARK-39148] [SQL] Wypychanie agregacji DS w wersji 2 może współdziałać z OFFSET lub LIMIT
  • [SPARK-39818] [SQL] Poprawka błędu w typach ARRAY, STRUCT, MAP z wartościami domyślnymi z polami NULL
  • [SPARK-39792] [SQL] Dodaj wartość DecimalDivideWithOverflowCheck dla średniej dziesiętnej
  • [SPARK-39798] [SQL] Zastąp toSeq.toArray na .toArray[Any] w konstruktorze GenericArrayData
  • [SPARK-39759] [SQL] Implementowanie indeksów list w JDBC (dialekt H2)
  • [SPARK-39385] [SQL] Obsługuje popychanie w dół REGR_AVGX i REGR_AVGY
  • [SPARK-39787] [SQL] Użyj klasy błędu w błędzie analizowania funkcji to_timestamp
  • [SPARK-39760] [PYTHON] Obsługa platformy Varchar w PySpark
  • [SPARK-39557] [SQL] Ręczne backportowanie do środowiska Databricks Runtime 11.x: Obsługa typów tablic, struktur, mapy jako wartości domyślnych
  • [SPARK-39758] [SQL][3.3] Naprawa NPE w funkcjach regexp z powodu nieprawidłowych wzorców
  • [SPARK-39749] [SQL] Tryb SQL ANSI: użyj reprezentacji zwykłego ciągu podczas konwersji wartości dziesiętnej na ciąg znaków
  • [SPARK-39704] [SQL] Implementowanie funkcji createIndex & dropIndex i indexExists w JDBC (dialekt H2)
  • [SPARK-39803] [SQL] Użyj LevenshteinDistance zamiast StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Obsługa typu TimestampNTZ w źródle danych JDBC
  • [SPARK-39781] [SS] Dodano obsługę udostępniania max_open_files dostawcy magazynu stanów bazy danych Rocksdb
  • [SPARK-39719] [R] Zaimplementować databaseExists/getDatabase w obsłudze SparkR wspierającej przestrzeń nazw 3L
  • [SPARK-39751] [SQL] Zmień nazwę metryki agregacji kluczy skrótu
  • [SPARK-39772] [SQL] Przestrzeń nazw powinna mieć wartość null, gdy baza danych ma wartość null w starych konstruktorach
  • [SPARK-39625] [ SPARK-38904][sql] Add Dataset.as(StructType)
  • [SPARK-39384] [SQL] Kompilowanie wbudowanych funkcji agregacji regresji liniowej dla dialektu JDBC
  • [SPARK-39720] [R] Implementowanie tableExists/getTable w usłudze SparkR dla przestrzeni nazw 3L
  • [SPARK-39744] [SQL] REGEXP_INSTR Dodawanie funkcji
  • [SPARK-39716] [R] Zrób tak, by currentDatabase/setCurrentDatabase/listCatalogs w SparkR obsługiwało przestrzeń nazw 3L
  • [SPARK-39788] [SQL] Zmień nazwę catalogName na dialectName dla JdbcUtils
  • [SPARK-39647] [CORE] Zarejestrować wykonawcę w ESS przed zarejestrowaniem BlockManagera
  • [SPARK-39754] [CORE][sql] Usuń nieużywane import lub niepotrzebne {}
  • [SPARK-39706] [SQL] Ustaw brakującą kolumnę z wartością defaultValue jako stałą w ParquetColumnVector
  • [SPARK-39699] [SQL] Ulepsz inteligentne zwijanie projektu o wyrażenia tworzenia kolekcji
  • [SPARK-39737] [SQL] PERCENTILE_CONT i PERCENTILE_DISC powinien obsługiwać filtr agregowany
  • [SPARK-39579] [SQL][python][R] Umożliwienie kompatybilności ListFunctions/getFunction/functionExists z trójwarstwową przestrzenią nazw
  • [SPARK-39627] [SQL] Wypychanie JDBC V2 powinno ujednolicić interfejs API kompilacji
  • [SPARK-39748] [SQL][ss] Uwzględnij plan logiczny źródła dla LogicalRDD, jeśli pochodzi z DataFrame
  • [SPARK-39385] [SQL] Tłumaczenie funkcji agregacji regresji liniowej na potrzeby wypychania
  • [SPARK-39695] [SQL] REGEXP_SUBSTR Dodawanie funkcji
  • [SPARK-39667] [SQL] Dodaj inne obejście, jeśli nie ma wystarczającej ilości pamięci do skompilowania i emisji tabeli
  • [SPARK-39666] [ES-337834][sql] Użyj UnsafeProjection.create, aby spełniać spark.sql.codegen.factoryMode w ExpressionEncoder
  • [SPARK-39643] [SQL] Zakaz wyrażeń podzapytania w wartościach domyślnych
  • [SPARK-38647] [SQL] Dodaj SupportsReportOrdering jako domieszkę w interfejsie dla Scan (DataSourceV2)
  • [SPARK-39497] [SQL] Popraw wyjątek analizy dla brakującej kolumny klucza mapy
  • [SPARK-39661] [SQL] Unikaj tworzenia niepotrzebnego rejestratora SLF4J
  • [SPARK-39713] [SQL] Tryb ANSI: dodawanie sugestii dotyczących używania try_element_at dla błędu INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL]Usługa DS w wersji 2 obsługuje funkcje wypychania daty/godziny
  • [SPARK-39638] [SQL] Zmień, aby używać ConstantColumnVector do przechowywania kolumn partycji w OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Usuń ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) z ColumnVectorUtils
  • [SPARK-39231] [SQL] Użyj ConstantColumnVector zamiast On/OffHeapColumnVector do przechowywania kolumn partycji w VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] Element V2SessionCatalog nie powinien zgłaszać wyjątku NoSuchDatabaseException w elemenie loadNamspaceMetadata
  • [SPARK-39447] [SQL] Unikaj błędu AssertionError w metodzie AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Przeróbka MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec powinien uwzględniać kolejność wyjściową elementów podrzędnych
  • [SPARK-39606] [SQL] Używanie statystyk podrzędnych do szacowania operatora zamówienia
  • [SPARK-39611] [PYTHON][ps] Naprawić nieprawidłowe aliasy w array_ufunc
  • [SPARK-39656] [SQL][3.3] Naprawienie nieprawidłowej przestrzeni nazw w DescribeNamespaceExec
  • [SPARK-39675] [SQL] Przełącz konfigurację "spark.sql.codegen.factoryMode" z celu testowania do celu wewnętrznego
  • [SPARK-39139] [SQL] Ds v2 obsługuje wypychanie DS V2 UDF
  • [SPARK-39434] [SQL] Zapewnij kontekst zapytania w przypadku błędu czasu wykonywania, gdy indeks tablicy jest poza zakresem
  • [SPARK-39479] [SQL] DS V2 obsługuje przenoszenie funkcji matematycznych (niezgodne z ANSI)
  • [SPARK-39618] [SQL] REGEXP_COUNT Dodawanie funkcji
  • [SPARK-39553] [CORE] wielowątkowe wyrejestrowanie tasowania nie powinno rzucać NullPointerException (NPE) podczas używania Scala 2.13
  • [SPARK-38755] [PYTHON][3.3] Dodawanie pliku w celu rozwiązania problemu brakujących ogólnych funkcji pandas
  • [SPARK-39444] [SQL] Dodawanie funkcji OptimizeSubqueries do listy nonExcludableRules
  • [SPARK-39316] [SQL] Scalanie PromotePrecision i CheckOverflow w arytmetykę binarną z dziesiętną precyzją
  • [SPARK-39505] [Interfejs użytkownika] Zawartość dziennika ucieczki renderowana w interfejsie użytkownika
  • [SPARK-39448] [SQL] Dodawanie ReplaceCTERefWithRepartition do listy nonExcludableRules
  • [SPARK-37961] [SQL] Zastąp maxRows/maxRowsPerPartition dla niektórych logicznych operatorów
  • [SPARK-35223] Przywracanie dodawania problemuNavigationLink
  • [SPARK-39633] [SQL] Obsługa sygnatury czasowej w sekundach dla TimeTravel przy użyciu opcji DataFrame
  • [SPARK-38796] [SQL] Zaktualizuj dokumentację dotyczącą formatów liczb za pomocą funkcji {try_}to_number
  • [SPARK-39650] [SS] Naprawiono błędny schemat danych w deduplikacji przesyłania strumieniowego z zachowaniem zgodności wstecznej
  • [SPARK-39636] [CORE][ui] Naprawiono wiele usterek w JsonProtocol, które wpływają na poziomy przechowywania (StorageLevels) i żądania zasobów zadania/wykonawcy (Task/Executor ResourceRequests)
  • [SPARK-39432] [SQL] Zwracanie ELEMENT_AT_BY_INDEX_ZERO z element_at(*, 0)
  • [SPARK-39349] Dodaj centralną metodę CheckError dla kontroli jakości ścieżki błędu
  • [SPARK-39453] [SQL] Ds v2 obsługuje wypychanie niegregowanych funkcji (innych niż ANSI)
  • [SPARK-38978] [SQL] DS V2 obsługuje operator wypychania OFFSET
  • [SPARK-39567] [SQL] Obsługa interwałów ANSI w funkcjach percentylu
  • [SPARK-39383] [SQL] Obsługuje kolumny DOMYŚLNE w ALTER TABLE ALTER COLUMNS do źródeł danych w wersji 2
  • [SPARK-39396] [ SQL] Naprawienie wyjątku logowania LDAP "kod błędu 49 — nieprawidłowe poświadczenia"
  • pl-PL: [SPARK-39548] [SQL] Komenda CreateView z zapytaniem zawierającym klauzulę okna napotkała problem z nieprawidłowym odnalezieniem definicji okna.
  • [SPARK-39575] [AVRO] dodaj funkcję ByteBuffer#rewind po ByteBuffer#get w Avr...
  • [SPARK-39543] Opcja DataFrameWriterV2 powinna zostać przekazana do właściwości magazynu w przypadku powrotu do wersji 1
  • [SPARK-39564] [SS] Uwidacznia informacje tabeli wykazu do planu logicznego w zapytaniu przesyłanym strumieniowo
  • [SPARK-39582] [SQL] Popraw znacznik "Since" dla array_agg
  • [SPARK-39388] [SQL] Ponowne użycie orcSchema podczas wypychania predykatów Orc
  • [SPARK-39511] [SQL] Ulepszenie lokalnego limitu 1 dla prawej strony lewego półłączenia/antyłączenia, jeśli warunek łączenia jest pusty
  • [SPARK-38614] [SQL] Nie wypychaj limitu przez okno korzystające z percent_rank
  • [SPARK-39551] [SQL] Dodanie sprawdzenia nieprawidłowego planu AQE
  • [SPARK-39383] [SQL] Obsługują kolumny DOMYŚLNE w ALTER TABLE ADD COLUMNS do źródeł danych w wersji 2
  • [SPARK-39538] [SQL] Unikaj tworzenia niepotrzebnego rejestratora SLF4J
  • [SPARK-39383] [SQL] Ręczne przeniesienie do środowiska Databricks Runtime 11.x: refaktoryzacja obsługi kolumny DEFAULT, aby zrezygnować z przekazywania głównego analizatora.
  • [SPARK-39397] [SQL] Zrelaksuj aliasAwareOutputExpression, aby obsługiwać alias za pomocą wyrażenia
  • [SPARK-39496] [SQL] Obsługa struktury null w pliku Inline.eval
  • [SPARK-39545] [SQL] Zastąp concat metodę dla ExpressionSet języka Scala 2.13, aby zwiększyć wydajność
  • [SPARK-39340] [SQL] Funkcja DS v2 agg pushdown powinna zezwalać na kropki w nazwie kolumn najwyższego poziomu
  • [SPARK-39488] [SQL] Upraszczanie obsługi błędów obiektu TempResolvedColumn
  • [SPARK-38846] [SQL] Dodaj jawne mapowanie danych między typem liczbowym Teradata a typem DecimalType platformy Spark
  • [SPARK-39520] [SQL] Przesłoń -- metodę dla ExpressionSet w Scala 2.13
  • [SPARK-39470] [SQL] Obsługa rzutowania interwałów ANSI na liczby dziesiętne
  • [SPARK-39477] [SQL] Usuń informacje "Liczba zapytań" ze złotych plików SQLQueryTestSuite
  • [SPARK-39419] [SQL] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
  • [SPARK-39061] [SQL] Poprawnie ustaw wartość null dla atrybutów wyjściowych Inline
  • [SPARK-39320] [SQL] Obsługa funkcji agregującej MEDIAN
  • [SPARK-39261] [CORE] Ulepszanie formatowania nowego wiersza dla komunikatów o błędach
  • [SPARK-39355] [SQL] Pojedyncza kolumna używa cudzysłowia do konstruowania atrybutu UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE powinien zredagować właściwości
  • [SPARK-37623] [SQL] Obsługa funkcji agregującej ANSI: regr_intercept
  • [SPARK-39374] [SQL] Ulepszanie komunikatu o błędzie dla listy kolumn określonej przez użytkownika
  • [SPARK-39255] [SQL][3.3] Ulepszanie komunikatów o błędach
  • pl-PL: [SPARK-39321] [SQL] Refaktoryzacja funkcji TryCast w celu użycia RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Akceptowanie tablicy NumPy w elemecie createDataFrame
  • [SPARK-39267] [SQL] Czyszczenie niepotrzebnego symbolu dsl
  • [SPARK-39171] [SQL] Ujednolicenie wyrażenia rzutowania
  • [SPARK-28330] [SQL] Obsługa języka ANSI SQL: klauzula przesunięcia wyniku w wyrażeniu zapytania
  • [SPARK-39203] [SQL] Przepisanie lokalizacji tabeli na bezwzględny URI na podstawie URI bazy danych
  • [SPARK-39313] [SQL] toCatalystOrdering powinna zakończyć się niepowodzeniem, jeśli nie można przetłumaczyć elementu V2Expression
  • [SPARK-39301] [SQL][python] Korzystanie z właściwości LocalRelation i uwzględnianie rozmiaru partii strzałki w elemenie createDataFrame z optymalizacją strzałek
  • [SPARK-39400] [SQL] spark-sql powinien usunąć katalog zasobów hive we wszystkich przypadkach

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji Databricks Runtime 11.1.

Środowisko systemu

  • System operacyjny: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
Antergos Linux 2015.10 (ciągłe ISO) argon2-cffi 20.1.0 generator asynchroniczny 1.10
attrs 21.2.0 Wezwanie zwrotne 0.2.0 backports.ustawienia-punktów-wejścia 1.1.1
czarny 22.3.0 wybielacz 4.0.0 boto3 1.21.18
botocore 1.24.18 certyfikat 2021.10.8 cffi 1.14.6
chardet 4.0.0 normalizator zestawu znaków 2.0.4 kliknij 8.0.3
kryptografia 3.4.8 rowerzysta 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 dekorator 5.1.0
defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 distlib 0.3.5 informacje o dystrybucji 0.23ubuntu1
punkty wejścia 0,3 aspekty — omówienie 1.0.0 blokada plików 3.8.0
IDNA 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 Widżety JupyterLab 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
Mistune 0.8.4 mypy-extensions 0.4.3 NBClient 0.5.3
nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notes 6.4.5 numpy 1.20.3 opakowanie 21,0
Pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
specyfikacja ścieżki 0.9.0 Frajer 0.5.2 pexpect 4.8.0
pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5 Poduszka 8.4.0 pip (menedżer pakietów Pythona) 21.2.4
platformdirs 2.5.2 kreślenie 5.9.0 prometheus-client 0.11.0
zestaw narzędzi prompt 3.0.20 Protobuf (w skrócie od Protocol Buffers) 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 pytz (biblioteka Pythona do obliczeń stref czasowych) 2021.3
pyzmq 22.2.1 żądania 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy (biblioteka naukowa dla Pythona) 1.7.1
urodzony na morzu 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
sześć 1.16.0 ssh-import-id (narzędzie do importowania kluczy SSH) 5.10 statsmodels - biblioteka do modelowania statystycznego 0.12.2
Wytrzymałość 8.0.1 zakończony 0.9.4 ścieżka testowa 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 wpisywanie rozszerzeń 3.10.0.2
nienadzorowane uaktualnienia 0.1 urllib3 1.26.7 virtualenv 20.8.0
szerokość(wcwidth) 0.2.5 kodowania webowe 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Zainstalowane biblioteki języka R

Biblioteki R są instalowane z migawki CRAN dostarczonej przez Microsoft z dnia 2022-08-15.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 potwierdzić to 0.2.1 backporty (wsteczne przenoszenie funkcji) 1.4.1
baza 4.1.3 base64enc 0.1-3 bit 4.0.4
bit-64 4.0.5 blob 1.2.3 bootowanie 1.3-28
warzyć 1.0-7 Brio 1.1.3 miotła 1.0.0
bslib 0.4.0 kaszmir 1.0.6 obiekt wywołujący 3.7.1
karetka 6.0-93 cellranger 1.1.0 Chroń 2.3-57
klasa 7.3-20 CLI 3.3.0 clipr 0.8.0
klaster 2.1.3 codetools 0.2-18 przestrzeń kolorów 2.0-3
commonmark 1.8.0 kompilator 4.1.3 konfig 0.3.1
cpp11 0.4.2 kredka 1.5.1 dane logowania 1.3.2
curl 4.3.2 tabela danych 1.14.2 zestawy danych 4.1.3
DBI 1.1.3 dbplyr 2.2.1 opis 1.4.1
devtools 2.4.4 diffobj 0.3.5 skrót 0.6.29
downlit (wyłączony) 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 wielokropek 0.3.2 ocenić 0,16
fani 1.0.3 kolory 2.1.1 szybka mapa 1.1.0
Font Awesome 0.3.0 dla kotów 0.5.1 foreach 1.5.2
zagraniczny 0.8-82 kuźnia 0.2.0 fs 1.5.2
przyszłość 1.27.0 wprowadź przyszłość 1.9.0 płukać gardło 1.2.0
typy ogólne 0.1.3 Gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globalna 0.16.0 klej 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 grafika 4.1.3
grDevices 4.1.3 siatka 4.1.3 gridExtra 2.3
gsubfn 0,7 gtabela 0.3.0 hełm ochronny 1.2.0
przystań 2.5.0 wyższy 0,9 hms 1.1.1
htmltools – narzędzie do tworzenia stron internetowych 0.5.3 widżety HTML 1.5.4 httpuv 1.6.5
httr 1.4.3 Identyfikatory 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Iteratory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr (narzędzie do generowania dynamicznych raportów w R) 1.39 Etykietowanie 0.4.2 później 1.3.0
krata 0.20-45 lawa 1.6.10 cykl życia 1.0.1
nasłuchiwanie 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1.1 MASA 7.3-56 Macierz 1.4-1
zapamiętywanie 2.0.1 metody 4.1.3 mgcv 1.8-40
mim 0,12 miniUI (interfejs użytkownika) 0.1.1.1 Metryki modelu 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
sieć neuronowa (nnet) 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
równoległy 4.1.3 równolegle 1.32.1 filar 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
pochwała 1.0.0 prettyunits 1.1.1 pROC 1.18.0
Procesx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Postęp 1.2.2 progressr 0.10.1 Obietnice 1.2.0.1
Prototyp 1.0.0 serwer proxy 0.4-27 PS 1.7.1
mruczenie 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 "randomForest" 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 czytnik 2.1.2 readxl (biblioteka do odczytu plików Excel) 1.4.0
przepisy 1.0.1 rewanż 1.0.1 rematch2 2.1.2
urządzenia zdalne 2.4.2 przykład powtarzalny 2.0.1 zmień kształt2 1.4.4
rlang 1.0.4 rmarkdown (narzędzie do tworzenia dokumentów w R) 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.2
waga 1.2.0 selektor 0.4-2 Informacje o sesji 1.2.2
kształt 1.4.6 błyszczący 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 przestrzenny 7.3-11
Splajny 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
Statystyki 4.1.3 statystyki4 4.1.3 łańcuchy 1.7.8
stringr 1.4.0 przetrwanie 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
kształtowanie tekstu 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 czasData 4021.104
tinytex 0,40 narzędzia 4.1.3 Baza Danych Stref Czasowych (tzdb) 0.3.0
sprawdzacz URL 1.0.1 użyj tego 2.1.6 utf8 1.2.2
programy użytkowe 4.1.3 UUID (Uniwersalnie Unikalny Identyfikator) 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.4.0
włókno metalowe 0,4 Withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 Xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws Klient Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-automatyczne-skalowanie 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm (zestaw narzędzi Java dla usługi CloudHSM) 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy (biblioteka do zarządzania wdrażaniem kodu w AWS) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (konfiguracja aws-java-sdk) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect (pakiet narzędzi programistycznych dla Java do współpracy z AWS Direct Connect) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr (biblioteka SDK Java dla usługi Amazon EMR) 1.12.189
com.amazonaws AWS Java SDK dla Glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws AWS-Java-SDK-ImportExport 1.12.189
com.amazonaws AWS SDK dla Javy - Kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-uczenie-maszynowe 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds (pakiet programistyczny Java dla AWS RDS) 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts (pakiet programistyczny Java dla AWS STS) 1.12.189
com.amazonaws wsparcie dla aws-java-sdk 1.12.189
com.amazonaws aws-java-sdk-biblioteki 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics odtwarzać strumieniowo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core Adnotacje Jackson 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat Jackson-format-danych-CBOR 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib rdzeń 1.1.2
com.github.fommil.netlib natywne_odniesienie-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib system natywny-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib "netlib-native_system-linux-x86_64-natives" 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guawa 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.WYDANIE
com.lihaoyi kodźródłowy_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK do przechowywania danych Azure Data Lake) 2.3.9
com.ning compress-lzf (biblioteka do kompresji danych) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses soczewki_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfig 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
Zbiory Commons Zbiory Commons 3.2.2
commons-dbcp commons-dbcp 1.4
wspólne przesyłanie plików wspólne przesyłanie plików 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor powietrza 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics wskaźniki-kontrole zdrowia 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metryki w formacie JSON 4.1.1
io.dropwizard.metrics metryki-JVM 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty Netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common (element wspólny) 4.1.74.Final
io.netty "netty-handler" 4.1.74.Final
io.netty rozwiązywacz netty 4.1.74.Final
io.netty Klasy netty-tcnative 2.0.48.Final
io.netty netty transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx moduł zbierający 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
\ jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction interfejs programistyczny transakcji 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine Pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake SDK do pobierania danych Snowflake 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc (niedostępne w lokalnym języku) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr Szablon łańcucha 3.2.1
org.apache.ant mrówka 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant program uruchamiający Ant 1.9.2
org.apache.arrow format strzałki 7.0.0
org.apache.arrow strzałka-pamięć-rdzeń 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow wektor strzałki 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons tekst wspólny 1,9
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop API klienta Hadoop 3.3.2-databricks
org.apache.hadoop środowisko uruchomieniowe klienta Hadoop 3.3.2
org.apache.hive hive-beeline (narzędzie do interakcji z bazą danych Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive Klient hive-llap 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api (interfejs do przechowywania danych hive) 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims harmonogram osłon/imitacji ula 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy bluszcz 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc podkładki orc-shim 1.7.5
org.apache.parquet kolumna parquet 1.12.0-databricks-0004
org.apache.parquet parquet-wspólny 1.12.0-databricks-0004
org.apache.parquet kodowanie parquet 1.12.0-databricks-0004
org.apache.parquet struktury formatu Parquet 1.12.0-databricks-0004
org.apache.parquet Parquet-Hadoop (framework do analizy danych) 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. opiekun zoo 3.6.2
org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. Zookeeper Jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapujący-ASL 1.9.13
org.codehaus.janino commons-kompilator 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-kontynuacja 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty-plus 9.4.46.v20220331
org.eclipse.jetty serwer pośredniczący Jetty 9.4.46.v20220331
org.eclipse.jetty moduł bezpieczeństwa Jetty 9.4.46.v20220331
org.eclipse.jetty serwer aplikacji Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Jetty-aplikacja internetowa 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-klient 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket serwer WebSocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-lokalizator-zasobów 1.0.3
org.glassfish.hk2.external aopalliance-zapakowane ponownie 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers serwlet kontenerowy Jersey 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core dzianina-zwykła 2.34
org.glassfish.jersey.core serwer jersey 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0 Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging (narzędzie do rejestrowania zdarzeń w JBoss) 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Podkładki dystansowe 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Nieużywane 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
oprogramowanie.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on