Databricks Runtime 12.1 (EoS)
Uwaga
Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).
Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 12.1 obsługiwanym przez platformę Apache Spark 3.3.1.
Usługa Databricks wydała tę wersję w styczniu 2023 r.
Nowe funkcje i ulepszenia
- Funkcje tabel usługi Delta Lake obsługiwane na potrzeby zarządzania protokołami
- Predykcyjne we/wy dla aktualizacji jest w publicznej wersji zapoznawczej
- Eksplorator wykazu jest teraz dostępny dla wszystkich osób
- Obsługa wielu operatorów stanowych w jednym zapytaniu przesyłanym strumieniowo
- Obsługa protokołu jest dostępna w publicznej wersji zapoznawczej
- Obsługa uwierzytelniania rejestru schematów platformy Confluent
- Obsługa udostępniania historii tabel przy użyciu udziałów udostępniania różnicowego
- Obsługa przesyłania strumieniowego przy użyciu udziałów udostępniania różnicowego
- Wersja tabeli korzystająca ze znacznika czasu jest teraz obsługiwana w przypadku tabel udostępniania różnicowego w wykazach
- Obsługa FUNKCJI WHEN NOT MATCHED BY SOURCE for MERGE INTO
- Zoptymalizowana kolekcja statystyk dla funkcji KONWERTUJ NA RÓŻNICĘ
- Obsługa wykazu aparatu Unity na potrzeby cofania tabel
Funkcje tabel usługi Delta Lake obsługiwane na potrzeby zarządzania protokołami
Usługa Azure Databricks wprowadziła obsługę funkcji tabeli usługi Delta Lake, które wprowadzają szczegółowe flagi określające, które funkcje są obsługiwane przez daną tabelę. Zobacz Jak usługa Azure Databricks zarządza zgodnością funkcji usługi Delta Lake?.
Predykcyjne we/wy dla aktualizacji jest w publicznej wersji zapoznawczej
Predykcyjne we/wy przyspiesza teraz operacje DELETE
, MERGE
i UPDATE
dla tabel delty z włączonymi wektorami usuwania w obliczeniach z włączoną funkcją Photon. Zobacz Co to jest predykcyjne we/wy?
Eksplorator wykazu jest teraz dostępny dla wszystkich osób
Eksplorator wykazu jest teraz dostępny dla wszystkich osób usługi Azure Databricks w przypadku korzystania z środowiska Databricks Runtime 7.3 LTS i nowszych wersji.
Obsługa wielu operatorów stanowych w jednym zapytaniu przesyłanym strumieniowo
Użytkownicy mogą teraz łączyć operatory stanowe z trybem dołączania w zapytaniu przesyłanym strumieniowo. Nie wszystkie operatory są w pełni obsługiwane. Sprzężenie interwału czasu strumienia i flatMapGroupsWithState
nie zezwalaj innym operatorom stanowym na łączenie łańcuchowe.
Obsługa protokołu jest dostępna w publicznej wersji zapoznawczej
Za pomocą from_protobuf
funkcji i to_protobuf
można wymieniać dane między typami binarnymi i strukturami. Zobacz protokołu odczytu i zapisu.
Obsługa uwierzytelniania rejestru schematów platformy Confluent
Integracja usługi Azure Databricks z rejestrem schematów confluent obsługuje teraz zewnętrzne adresy rejestru schematów z uwierzytelnianiem. Ta funkcja jest dostępna dla from_avro
funkcji , to_avro
, from_protobuf
i to_protobuf
. Zobacz Protobuf lub Avro.
Obsługa udostępniania historii tabel przy użyciu udziałów udostępniania różnicowego
Teraz możesz udostępnić tabelę z pełną historią przy użyciu funkcji udostępniania różnicowego, umożliwiając adresatom wykonywanie zapytań dotyczących podróży czasowych i wykonywanie zapytań dotyczących tabeli przy użyciu przesyłania strumieniowego ze strukturą platformy Spark. WITH HISTORY
jest zalecana CHANGE DATA FEED
zamiast , chociaż ta ostatnia nadal jest obsługiwana. Zobacz ALTER SHARE (ALTER SHARE ) i Add tables to a share (Dodawanie tabel do udziału).
Obsługa przesyłania strumieniowego przy użyciu udziałów udostępniania różnicowego
Przesyłanie strumieniowe ze strukturą platformy Spark współpracuje teraz z formatem deltasharing
w źródłowej tabeli udostępniania różnicowego, która została udostępniona przy użyciu polecenia WITH HISTORY
.
Wersja tabeli korzystająca ze znacznika czasu jest teraz obsługiwana w przypadku tabel udostępniania różnicowego w wykazach
Teraz możesz użyć składni TIMESTAMP AS OF
SQL w instrukcjach, SELECT
aby określić wersję tabeli udostępniania różnicowego zainstalowanej w wykazie. Tabele muszą być współużytkowane przy użyciu polecenia WITH HISTORY
.
Obsługa FUNKCJI WHEN NOT MATCHED BY SOURCE for MERGE INTO
Teraz możesz dodać WHEN NOT MATCHED BY SOURCE
klauzule w celu MERGE INTO
zaktualizowania lub usunięcia wierszy w wybranej tabeli, które nie mają dopasowań w tabeli źródłowej na podstawie warunku scalania. Nowa klauzula jest dostępna w języku SQL, Python, Scala i Java. Zobacz SCALANIE W.
Zoptymalizowana kolekcja statystyk dla funkcji KONWERTUJ NA RÓŻNICĘ
Zbieranie statystyk dla CONVERT TO DELTA
operacji jest teraz znacznie szybsze. Zmniejsza to liczbę obciążeń, które mogą być używane NO STATISTICS
do wydajności.
Obsługa wykazu aparatu Unity na potrzeby cofania tabel
Ta funkcja została początkowo wydana w publicznej wersji zapoznawczej. Jest ogólnie dostępny od 25 października 2023 r.
Teraz można cofnąć usunięcie usuniętej tabeli zarządzanej lub zewnętrznej w istniejącym schemacie w ciągu siedmiu dni od upuszczania. Zobacz COFANIE TABELI I POKAŻ USUNIĘTE TABELE.
Uaktualnienia biblioteki
- Uaktualnione biblioteki języka Python:
- filelock z wersji 3.8.0 do 3.8.2
- platformdirs z wersji 2.5.4 do 2.6.0
- setuptools z 58.0.4 do 61.2.0
- Uaktualnione biblioteki języka R:
- Uaktualnione biblioteki Java:
- io.delta.delta-sharing-spark_2.12 z 0.5.2 do 0.6.2
- org.apache.hive.hive-storage-api z wersji 2.7.2 do 2.8.1
- org.apache.parquet.parquet-column from 1.12.3-databricks-0001 to 1.12.3-databricks-0002
- org.apache.parquet.parquet-common from 1.12.3-databricks-0001 do 1.12.3-databricks-0002
- org.apache.parquet.parquet-encoding from 1.12.3-databricks-0001 do 1.12.3-databricks-0002
- org.apache.parquet.parquet-format-structures from 1.12.3-databricks-0001 do 1.12.3-databricks-0002
- org.apache.parquet.parquet-hadoop z 1.12.3-databricks-0001 do 1.12.3-databricks-0002
- org.apache.parquet.parquet-jackson z 1.12.3-databricks-0001 do 1.12.3-databricks-0002
- org.tukaani.xz od 1.8 do 1.9
Apache Spark
Środowisko Databricks Runtime 12.1 obejmuje platformę Apache Spark 3.3.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 12.0 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:
- [SPARK-41405] [SC-119769] [12.1.0] Przywracanie "[SC-119411][SQL] Scentralizowanie logiki rozpoznawania kolumn" i "[SC-117170][SPARK-41338][SQL] Rozwiązywanie odwołań zewnętrznych i normalnych kolumn w tej samej partii analizatora"
- [SPARK-41405] [SC-119411] [SQL] Scentralizowanie logiki rozpoznawania kolumn
- [SPARK-41859] [SC-119514] [SQL] CreateHiveTableAsSelectCommand powinien poprawnie ustawić flagę zastępowania
- [SPARK-41659] [SC-119526] [CONNECT] [12.X] Włączanie narzędzi doctests w pliku pyspark.sql.connect.readwriter
- [SPARK-41858] [SC-119427] [SQL] Naprawiono regresję wydajności czytnika ORC z powodu funkcji wartości DOMYŚLNEj
- [SPARK-41807] [SC-119399] [CORE] Usuń nieistniejący klasę błędów: UNSUPPORTED_FEATURE. DISTRIBUTE_BY
- [SPARK-41578] [12.x] [SC-119273] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2141
- [SPARK-41571] [SC-119362] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2310
- [SPARK-41810] [SC-119373] [CONNECT] Wnioskowanie nazw z listy słowników w pliku SparkSession.createDataFrame
- [SPARK-40993] [SC-119504] [SPARK-41705] [CONNECT] [12.X] Przenoszenie dokumentacji i skryptu programu Spark Connect do dokumentacji deweloperów i języka Python
- [SPARK-41534] [SC-119456] [CONNECT] [SQL] [12.x] Konfigurowanie początkowego modułu klienta dla programu Spark Connect
- [SPARK-41365] [SC-118498] [Interfejs użytkownika] [3.3] Nie można załadować strony interfejsu użytkownika etapów dla serwera proxy w określonym środowisku usługi yarn
- [SPARK-41481] [SC-118150] [CORE] [SQL] Ponowne użycie
INVALID_TYPED_LITERAL
zamiast_LEGACY_ERROR_TEMP_0020
- [SPARK-41049] [SC-119305] [SQL] Ponowne przechodzenie do obsługi wyrażeń stanowych
- [SPARK-41726] [SC-119248] [SQL] Usunąć
OptimizedCreateHiveTableAsSelectCommand
- [SPARK-41271] [SC-118648] [SC-118348] [SQL] Obsługa sparametryzowanych zapytań SQL według
sql()
- [SPARK-41066] [SC-119344] [CONNECT] [PYTHON] Implementowanie
DataFrame.sampleBy
iDataFrame.stat.sampleBy
- [SPARK-41407] [SC-119402] [SC-119012] [SQL] [WSZYSTKIE TESTY] Wyciąganie zapisu w wersji 1 do plików WriteFiles
- [SPARK-41565] [SC-118868] [SQL] Dodawanie klasy błędów
UNRESOLVED_ROUTINE
- [SPARK-41668] [SC-118925] [SQL] Funkcja DECODE zwraca nieprawidłowe wyniki po przekazaniu wartości NULL
- [SPARK-41554] [SC-119274] Poprawka zmiany skali dziesiętnej, gdy skala zmniejszyła się o m...
- [SPARK-41065] [SC-119324] [CONNECT] [PYTHON] Implementowanie
DataFrame.freqItems
iDataFrame.stat.freqItems
- [SPARK-41742] [SC-119404] [SPARK-41745] [CONNECT] [12.X] Ponowne przeprowadzenie testów dokumentów i dodanie brakującego aliasu kolumny do funkcji count()
- [SPARK-41069] [SC-119310] [CONNECT] [PYTHON] Implementowanie
DataFrame.approxQuantile
iDataFrame.stat.approxQuantile
- [SPARK-41809] [SC-119367] [CONNECT] [PYTHON] Obsługa funkcji
from_json
DataType Schema - [SPARK-41804] [SC-119382] [SQL] Wybieranie prawidłowego rozmiaru elementu dla
InterpretedUnsafeProjection
tablicy tras zdefiniowanych przez użytkownika - [SPARK-41786] [SC-119308] [CONNECT] [PYTHON] Funkcje pomocnika deduplikacji
- [SPARK-41745] [SC-119378] [SPARK-41789] [12.X] Tworzenie
createDataFrame
listy wierszy pomocy technicznej - [SPARK-41344] [SC-119217] [SQL] Wyjaśnij błąd, gdy tabela nie została znaleziona w katalogu SupportsCatalogOptions
- [SPARK-41803] [SC-119380] [CONNECT] [PYTHON] Dodawanie brakującej funkcji
log(arg1, arg2)
- [SPARK-41808] [SC-119356] [CONNECT] [PYTHON] Opcje obsługi funkcji JSON
- [SPARK-41779] [SC-119275] [SPARK-41771] [CONNECT] [PYTHON] Ustaw
__getitem__
filtr pomocy technicznej i wybierz pozycję - [SPARK-41783] [SC-119288] [SPARK-41770] [CONNECT] [PYTHON] Tworzenie obsługi operacji kolumny Brak
- [SPARK-41440] [SC-119279] [CONNECT] [PYTHON] Unikaj operatora pamięci podręcznej dla ogólnego przykładu.
- [SPARK-41785] [SC-119290] [CONNECT] [PYTHON] Narzędzie
GroupedData.mean
- [SPARK-41629] [SC-119276] [CONNECT] Obsługa rozszerzeń protokołu w relacyjnym i wyrażeniu
- [SPARK-41417] [SC-118000] [CORE] [SQL] Zmień nazwę
_LEGACY_ERROR_TEMP_0019
naINVALID_TYPED_LITERAL
- [SPARK-41533] [SC-119342] [CONNECT] [12.X] Właściwa obsługa błędów dla serwera Spark Connect/ klienta
- [SPARK-41292] [SC-119357] [CONNECT] [12.X] Okno obsługi w przestrzeni nazw pyspark.sql.window
- [SPARK-41493] [SC-119339] [CONNECT] [PYTHON] Opcje obsługi funkcji csv
- [SPARK-39591] [SC-118675] [SS] Śledzenie postępu asynchronicznego
- [SPARK-41767] [SC-119337] [CONNECT] [PYTHON] [12.X] Narzędzie
Column.{withField, dropFields}
- [SPARK-41068] [SC-119268] [CONNECT] [PYTHON] Narzędzie
DataFrame.stat.corr
- [SPARK-41655] [SC-119323] [CONNECT] [12.X] Włączanie narzędzi doctests w pliku pyspark.sql.connect.column
- [SPARK-41738] [SC-119170] [CONNECT] Mix ClientId w pamięci podręcznej SparkSession
- [SPARK-41354] [SC-119194] [CONNECT] Dodaj
RepartitionByExpression
do elementu proto - [SPARK-41784] [SC-119289] [CONNECT] [PYTHON] Dodaj brak
__rmod__
w kolumnie - [SPARK-41778] [SC-119262] [SQL] Dodawanie aliasu "reduce" do arrayAggregate
- [SPARK-41067] [SC-119171] [CONNECT] [PYTHON] Narzędzie
DataFrame.stat.cov
- [SPARK-41764] [SC-119216] [CONNECT] [PYTHON] Ustaw nazwę operacji ciągu wewnętrznego na spójną z funkcją FunctionRegistry
- [SPARK-41734] [SC-119160] [CONNECT] Dodawanie komunikatu nadrzędnego dla wykazu
- [SPARK-41742] [SC-119263] Obsługa df.groupBy().agg({"*":"count"})
- [SPARK-41761] [SC-119213] [CONNECT] [PYTHON] Naprawianie operacji arytmetycznych:
__neg__
, ,__pow__
__rpow__
- [SPARK-41062] [SC-118182] [SQL] Zmień nazwę
UNSUPPORTED_CORRELATED_REFERENCE
naCORRELATED_REFERENCE
- [SPARK-41751] [SC-119211] [CONNECT] [PYTHON] Naprawiać
Column.{isNull, isNotNull, eqNullSafe}
- [SPARK-41728] [SC-119164] [CONNECT] [PYTHON] [12.X] Implementowanie
unwrap_udt
funkcji - [SPARK-41333] [SC-119195] [SPARK-41737] Narzędzie
GroupedData.{min, max, avg, sum}
- [SPARK-41751] [SC-119206] [CONNECT] [PYTHON] Naprawiać
Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
- [SPARK-41631] [SC-101081] [SQL] Obsługa niejawnego rozpoznawania aliasu kolumny bocznej w agregacji
- [SPARK-41529] [SC-119207] [CONNECT] [12.X] Implementowanie pliku SparkSession.stop
- [SPARK-41729] [SC-119205] [CORE] [SQL] [12.X] Zmień nazwę
_LEGACY_ERROR_TEMP_0011
naUNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
- [SPARK-41717] [SC-119078] [CONNECT] [12.X] Deduplikuj drukowanie i repr_html na stronie LogicalPlan
- [SPARK-41740] [SC-119169] [CONNECT] [PYTHON] Narzędzie
Column.name
- [SPARK-41733] [SC-119163] [SQL] [SS] Stosowanie oczyszczania opartego na wzorcu drzewa dla reguły ResolveWindowTime
- [SPARK-41732] [SC-119157] [SQL] [SS] Stosowanie oczyszczania opartego na wzorcu drzewa dla reguły SessionWindowing
- [SPARK-41498] [SC-119018] Propagacja metadanych za pomocą unii
- [SPARK-41731] [SC-119166] [CONNECT] [PYTHON] [12.X] Implementowanie metody dostępu do kolumny
- [SPARK-41736] [SC-119161] [CONNECT] [PYTHON]
pyspark_types_to_proto_types
powinna obsługiwaćArrayType
- [SPARK-41473] [SC-119092] [CONNECT] [PYTHON] Implementowanie
format_number
funkcji - [SPARK-41707] [SC-119141] [CONNECT] [12.X] Implementowanie interfejsu API wykazu w programie Spark Connect
- [SPARK-41710] [SC-119062] [CONNECT] [PYTHON] Narzędzie
Column.between
- [SPARK-41235] [SC-119088] [SQL] [PYTHON] Funkcja o wysokiej kolejności: implementacja array_compact
- [SPARK-41518] [SC-118453] [SQL] Przypisywanie nazwy do klasy błędów
_LEGACY_ERROR_TEMP_2422
- [SPARK-41723] [SC-119091] [CONNECT] [PYTHON] Implementowanie
sequence
funkcji - [SPARK-41703] [SC-119060] [CONNECT] [PYTHON] Łączenie wartości NullType i typed_null w literału
- [SPARK-41722] [SC-119090] [CONNECT] [PYTHON] Implementowanie 3 brakujących funkcji przedziału czasu
- [SPARK-41503] [SC-119043] [CONNECT] [PYTHON] Implementowanie funkcji przekształcania partycji
- [SPARK-41413] [SC-118968] [SQL] Unikaj mieszania w sprzężeniu podzielonym na partycje magazynu, gdy klucze partycji są niezgodne, ale wyrażenia sprzężenia są zgodne
- [SPARK-41700] [SC-119046] [CONNECT] [PYTHON] Usunąć
FunctionBuilder
- [SPARK-41706] [SC-119094] [CONNECT] [PYTHON]
pyspark_types_to_proto_types
powinna obsługiwaćMapType
- [SPARK-41702] [SC-119049] [CONNECT] [PYTHON] Dodawanie nieprawidłowych operacji kolumn
- [SPARK-41660] [SC-118866] [SQL] Propagacja kolumn metadanych tylko w przypadku ich użycia
- [SPARK-41637] [SC-119003] [SQL] ORDER BY ALL
- [SPARK-41513] [SC-118945] [SQL] Implementowanie akumulatora w celu zbierania metryk liczby wierszy mapowania
- [SPARK-41647] [SC-119064] [CONNECT] [12.X] Deduplikacja plików docstrings w pliku pyspark.sql.connect.functions
- [SPARK-41701] [SC-119048] [CONNECT] [PYTHON] Obsługa operacji kolumn
decimal
- [SPARK-41383] [SC-119015] [SPARK-41692] [SPARK-41693] Implementowanie
rollup
elementów icube
pivot
- [SPARK-41635] [SC-118944] [SQL] GRUPUJ WEDŁUG WSZYSTKICH
- [SPARK-41645] [SC-119057] [CONNECT] [12.X] Deduplikuj pliki docstrings w ramce pyspark.sql.connect.dataframe
- [SPARK-41688] [SC-118951] [CONNECT] [PYTHON] Przenoszenie wyrażeń do expressions.py
- [SPARK-41687] [SC-118949] [CONNECT] Deduplikacja plików docstrings w pliku pyspark.sql.connect.group
- [SPARK-41649] [SC-118950] [CONNECT] Deduplikacja plików docstrings w pliku pyspark.sql.connect.window
- [SPARK-41681] [SC-118939] [CONNECT] Factor GroupedData out to group.py
- [SPARK-41292] [SC-119038] [SPARK-41640] [SPARK-41641] [CONNECT] [PYTHON] [12.X] Implementowanie
Window
funkcji - [SPARK-41675] [SC-119031] [SC-118934] [CONNECT] [PYTHON] [12.X] Obsługa operacji kolumn
datetime
- [SPARK-41672] [SC-118929] [CONNECT] [PYTHON] Włączanie przestarzałych funkcji
- [SPARK-41673] [SC-118932] [CONNECT] [PYTHON] Narzędzie
Column.astype
- [SPARK-41364] [SC-118865] [CONNECT] [PYTHON] Implementowanie
broadcast
funkcji - [SPARK-41648] [SC-118914] [CONNECT] [12.X] Deduplikacja plików docstrings w pliku pyspark.sql.connect.readwriter
- [SPARK-41646] [SC-118915] [CONNECT] [12.X] Deduplikuj pliki docstrings w pliku pyspark.sql.connect.session
- [SPARK-41643] [SC-118862] [CONNECT] [12.X] Deduplikacja plików docstrings w pliku pyspark.sql.connect.column
- [SPARK-41663] [SC-118936] [CONNECT] [PYTHON] [12.X] Implementowanie pozostałych funkcji lambda
- [SPARK-41441] [SC-118557] [SQL] Obsługa generowania bez wymaganych danych wyjściowych podrzędnych do hostowania odwołań zewnętrznych
- [SPARK-41669] [SC-118923] [SQL] Wczesne oczyszczanie w canCollapseExpressions
- [SPARK-41639] [SC-118927] [SQL] [PROTOBUF] : Usuwanie scalaReflectionLock z elementu SchemaConverters
- [SPARK-41464] [SC-118861] [CONNECT] [PYTHON] Narzędzie
DataFrame.to
- [SPARK-41434] [SC-118857] [CONNECT] [PYTHON] Początkowa implementacja
LambdaFunction
- [SPARK-41539] [SC-118802] [SQL] Ponowne mapowanie statystyk i ograniczeń względem danych wyjściowych w planie logicznym dla wartości LogicalRDD
- [SPARK-41396] [SC-118786] [SQL] [PROTOBUF] Obsługa pól OneOf i kontrole rekursji
- [SPARK-41528] [SC-118769] [CONNECT] [12.X] Scal przestrzeń nazw interfejsu API Spark Connect i PySpark
- [SPARK-41568] [SC-118715] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1236
- [SPARK-41440] [SC-118788] [CONNECT] [PYTHON] Narzędzie
DataFrame.randomSplit
- [SPARK-41583] [SC-118718] [SC-118642] [CONNECT] [PROTOBUF] Dodawanie programu Spark Connect i protobuf do setup.py z określaniem zależności
- [SPARK-27561] [SC-101081] [12.x] [SQL] Obsługa niejawnego rozpoznawania aliasów kolumn bocznych w programie Project
- [SPARK-41535] [SC-118645] [SQL] Poprawnie ustaw wartość null dla pól interwału kalendarza w
InterpretedUnsafeProjection
polach iInterpretedMutableProjection
- [SPARK-40687] [SC-118439] [SQL] Obsługa maskowania danych wbudowanej funkcji "maska"
- [SPARK-41520] [SC-118440] [SQL] Podziel AND_OR TreePattern na oddzielne i OR TreePatterns
- [SPARK-41349] [SC-118668] [CONNECT] [PYTHON] Implementowanie obiektu DataFrame.hint
- [SPARK-41546] [SC-118541] [CONNECT] [PYTHON]
pyspark_types_to_proto_types
powinna obsługiwać typ struktury. - [SPARK-41334] [SC-118549] [CONNECT] [PYTHON] Przenoszenie
SortOrder
elementu proto z relacji do wyrażeń - [SPARK-41387] [SC-118450] [SS] Potwierdzenie bieżącego przesunięcia końcowego ze źródła danych platformy Kafka dla elementu Trigger.AvailableNow
- [SPARK-41508] [SC-118445] [CORE] [SQL] Zmień nazwę
_LEGACY_ERROR_TEMP_1180
naUNEXPECTED_INPUT_TYPE
i usuń_LEGACY_ERROR_TEMP_1179
- [SPARK-41319] [SC-118441] [CONNECT] [PYTHON] Zaimplementuj kolumnę. {kiedy, w przeciwnym razie} i funkcja
when
zUnresolvedFunction
- [SPARK-41541] [SC-118460] [SQL] Naprawiono wywołanie nieprawidłowej metody podrzędnej w metodzie SQLShuffleWriteMetricsReporter.decRecordsWritten()
- [SPARK-41453] [SC-118458] [CONNECT] [PYTHON] Narzędzie
DataFrame.subtract
- [SPARK-41248] [SC-118436] [SC-118303] [SQL] Dodaj pozycję "spark.sql.json.enablePartialResults", aby włączyć/wyłączyć wyniki częściowe w formacie JSON
- [SPARK-41437] Przywróć "[SC-117601][SQL] Nie optymalizuj zapytania wejściowego dwa razy dla rezerwowego zapisu w wersji 1"
- [SPARK-41472] [SC-118352] [CONNECT] [PYTHON] Implementowanie pozostałych funkcji ciągów/binarnych
- [SPARK-41526] [SC-118355] [CONNECT] [PYTHON] Narzędzie
Column.isin
- [SPARK-32170] [SC-118384] [CORE] Popraw spekulacje za pomocą metryk zadań etapu.
- [SPARK-41524] [SC-118399] [SS] Rozróżnianie obiektów SQLConf i extraOptions w obiekcie StateStoreConf pod kątem użycia w usłudze RocksDBConf
- [SPARK-41465] [SC-118381] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1235
- [SPARK-41511] [SC-118365] [SQL] Obsługa LongToUnsafeRowMap ignoruje wartośćDuplicatedKey
- [SPARK-41409] [SC-118302] [CORE] [SQL] Zmień nazwę
_LEGACY_ERROR_TEMP_1043
naWRONG_NUM_ARGS.WITHOUT_SUGGESTION
- [SPARK-41438] [SC-118344] [CONNECT] [PYTHON] Narzędzie
DataFrame.colRegex
- [SPARK-41437] [SC-117601] [SQL] Nie optymalizuj zapytania wejściowego dwa razy dla rezerwowego zapisu w wersji 1
- [SPARK-41314] [SC-117172] [SQL] Przypisywanie nazwy do klasy błędów
_LEGACY_ERROR_TEMP_1094
- [SPARK-41443] [SC-118004] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1061
- [SPARK-41506] [SC-118241] [CONNECT] [PYTHON] Refaktoryzacja literałuExpression do obsługi typu danych
- [SPARK-41448] [SC-118046] Ustaw spójne identyfikatory zadań MR w fileBatchWriter i FileFormatWriter
- [SPARK-41456] [SC-117970] [SQL] Zwiększanie wydajności try_cast
- [SPARK-41495] [SC-118125] [CONNECT] [PYTHON] Implementowanie
collection
funkcji: P~Z - [SPARK-41478] [SC-118167] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1234
- [SPARK-41406] [SC-118161] [SQL] Komunikat o błędzie refaktoryzacji,
NUM_COLUMNS_MISMATCH
aby uczynić go bardziej ogólnym - [SPARK-41404] [SC-118016] [SQL] Refaktoryzacja
ColumnVectorUtils#toBatch
w celu przetestowaniaColumnarBatchSuite#testRandomRows
bardziej pierwotnego typu danych - [SPARK-41468] [SC-118044] [SQL] Naprawiono obsługę PlanExpression w pliku EquivalentExpressions
- [SPARK-40775] [SC-118045] [SQL] Naprawianie zduplikowanych wpisów opisu skanowania plików w wersji 2
- [SPARK-41492] [SC-118042] [CONNECT] [PYTHON] Implementowanie funkcji MISC
- [SPARK-41459] [SC-118005] [SQL] Poprawka ograniczania danych wyjściowych dziennika operacji serwera jest pusta
- [SPARK-41395] [SC-117899] [SQL]
InterpretedMutableProjection
należy użyćsetDecimal
polecenia , aby ustawić wartości null dla miejsc dziesiętnych w niebezpiecznym wierszu - [SPARK-41376] [SC-117840] [CORE] [3.3] Popraw logikę sprawdzania netty preferDirectBufs podczas uruchamiania funkcji wykonawczej
- [SPARK-41484] [SC-118159] [SC-118036] [CONNECT] [PYTHON] [12.x] Implementowanie
collection
funkcji: E~M - [SPARK-41389] [SC-117426] [CORE] [SQL] Ponowne użycie
WRONG_NUM_ARGS
zamiast_LEGACY_ERROR_TEMP_1044
- [SPARK-41462] [SC-117920] [SQL] Typ znacznika daty i znacznika czasu może być rzutowy do znacznika czasu
- [SPARK-41435] [SC-117810] [SQL] Zmień, aby wywołać metodę
invalidFunctionArgumentsError
curdate()
, gdyexpressions
nie jest pusta - [SPARK-41187] [SC-118030] [CORE] LiveExecutor MemoryLeak w appStatusListener, gdy występuje funkcja ExecutorLost
- [SPARK-41360] [SC-118083] [CORE] Unikaj ponownej rejestracji elementu BlockManager, jeśli funkcja wykonawcza została utracona
- [SPARK-41378] [SC-117686] [SQL] Obsługa statystyk kolumn w wersji 2
- [SPARK-41402] [SC-117910] [SQL] [CONNECT] [12.X] Zastąpij wartość prettyName elementu StringDecode
- [SPARK-41414] [SC-118041] [CONNECT] [PYTHON] [12.x] Implementowanie funkcji znacznika daty/godziny
- [SPARK-41329] [SC-117975] [CONNECT] Rozwiązywanie problemów z importowaniem cyklicznym w programie Spark Connect
- [SPARK-41477] [SC-118025] [CONNECT] [PYTHON] Poprawnie wywnioskuj typ danych liczb całkowitych literału
- [SPARK-41446] [SC-118024] [CONNECT] [PYTHON] [12.x] Tworzenie
createDataFrame
schematu obsługi i większej liczby typów wejściowych zestawów danych - [SPARK-41475] [SC-117997] [CONNECT] Naprawianie błędu polecenia lint-scala i literówki
- [SPARK-38277] [SC-117799] [SS] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
- [SPARK-41375] [SC-117801] [SS] Unikaj pustej najnowszej wersji platformy KafkaSourceOffset
- [SPARK-41412] [SC-118015] [CONNECT] Narzędzie
Column.cast
- [SPARK-41439] [SC-117893] [CONNECT] [PYTHON] Implementowanie
DataFrame.melt
iDataFrame.unpivot
- [SPARK-41399] [SC-118007] [SC-117474] [CONNECT] Refaktoryzacja testów powiązanych z kolumnami do test_connect_column
- [SPARK-41351] [SC-117957] [SC-117412] [CONNECT] [12.x] Kolumna powinna obsługiwać operator !=
- [SPARK-40697] [SC-117806] [SC-112787] [SQL] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
- [SPARK-41349] [SC-117594] [CONNECT] [12.X] Implementowanie obiektu DataFrame.hint
- [SPARK-41338] [SC-117170] [SQL] Rozpoznawanie odwołań zewnętrznych i normalnych kolumn w tej samej partii analizatora
- [SPARK-41436] [SC-117805] [CONNECT] [PYTHON] Implementowanie
collection
funkcji: A~C - [SPARK-41445] [SC-117802] [CONNECT] Implementowanie elementu DataFrameReader.parquet
- [SPARK-41452] [SC-117865] [SQL]
to_char
powinna zwracać wartość null, gdy format ma wartość null - [SPARK-41444] [SC-117796] [CONNECT] Obsługa read.json()
- [SPARK-41398] [SC-117508] [SQL] Złagodzenie ograniczeń dotyczących sprzężenia partycjonowanego magazynu, gdy klucze partycji po filtrowaniu środowiska uruchomieniowego nie są zgodne
- [SPARK-41228] [SC-117169] [SQL] Zmień nazwę i popraw komunikat o błędzie dla elementu
COLUMN_NOT_IN_GROUP_BY_CLAUSE
. - [SPARK-41381] [SC-117593] [CONNECT] [PYTHON] Implementowanie
count_distinct
funkcji isum_distinct
- [SPARK-41433] [SC-117596] [CONNECT] Umożliwia skonfigurowanie maksymalnej liczby strzałek wsadowych
- [SPARK-41397] [SC-117590] [CONNECT] [PYTHON] Implementowanie części funkcji ciągowych/binarnych
- [SPARK-41382] [SC-117588] [CONNECT] [PYTHON] Implementowanie
product
funkcji - [SPARK-41403] [SC-117595] [CONNECT] [PYTHON] Narzędzie
DataFrame.describe
- [SPARK-41366] [SC-117580] [CONNECT] Df.groupby.agg() powinien być zgodny
- [SPARK-41369] [SC-117584] [CONNECT] Dodawanie połączenia wspólnego z zacienionym plikiem jar serwerów
- [SPARK-41411] [SC-117562] [SS] Poprawka usterek obsługi znaku wodnego operatora wielostanowego
- [SPARK-41176] [SC-116630] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1042
- [SPARK-41380] [SC-117476] [CONNECT] [PYTHON] [12.X] Implementowanie funkcji agregacji
- [SPARK-41363] [SC-117470] [CONNECT] [PYTHON] [12.X] Implementowanie normalnych funkcji
- [SPARK-41305] [SC-117411] [CONNECT] Ulepszanie dokumentacji polecenia proto
- [SPARK-41372] [SC-117427] [CONNECT] [PYTHON] Implementowanie obiektu TempView ramki danych
- [SPARK-41379] [SC-117420] [SS] [PYTHON] Zapewnianie sklonowanej sesji spark w ramce danych w funkcji użytkownika dla ujścia foreachBatch w PySpark
- [SPARK-41373] [SC-117405] [SQL] [BŁĄD] Zmień nazwę CAST_WITH_FUN_SUGGESTION na CAST_WITH_FUNC_SUGGESTION
- [SPARK-41358] [SC-117417] [SQL] Refaktoryzacja
ColumnVectorUtils#populate
metody do użyciaPhysicalDataType
zamiastDataType
- [SPARK-41355] [SC-117423] [SQL] Obejście problemu z weryfikacją nazwy tabeli hive
- [SPARK-41390] [SC-117429] [SQL] Aktualizowanie skryptu używanego do generowania
register
funkcji w programieUDFRegistration
- [SPARK-41206] [SC-117233] [SC-116381] [SQL] Zmień nazwę klasy
_LEGACY_ERROR_TEMP_1233
błędów naCOLUMN_ALREADY_EXISTS
- [SPARK-41357] [SC-117310] [CONNECT] [PYTHON] [12.X] Implementowanie funkcji matematycznych
- [SPARK-40970] [SC-117308] [CONNECT] [PYTHON] Lista pomocy technicznej[Kolumna] dla argumentu sprzężenia
- [SPARK-41345] [SC-117178] [CONNECT] Dodawanie wskazówki do programu Connect Proto
- [SPARK-41226] [SC-117194] [SQL] [12.x] Refaktoryzacja typów platformy Spark przez wprowadzenie typów fizycznych
- [SPARK-41317] [SC-116902] [CONNECT] [PYTHON] [12.X] Dodawanie podstawowej obsługi elementu DataFrameWriter
- [SPARK-41347] [SC-117173] [CONNECT] Dodawanie rzutowania do wyrażenia proto
- [SPARK-41323] [SC-117128] [SQL] Current_schema pomocy technicznej
- [SPARK-41339] [SC-117171] [SQL] Zamknij i utwórz ponownie partię zapisu bazy danych RocksDB zamiast tylko wyczyścić
- [SPARK-41227] [SC-117165] [CONNECT] [PYTHON] Implementowanie sprzężenia krzyżowego ramki danych
- [SPARK-41346] [SC-117176] [CONNECT] [PYTHON] Implementowanie
asc
funkcji idesc
- [SPARK-41343] [SC-117166] [CONNECT] Przenoszenie funkcjiName analizowania do strony serwera
- [SPARK-41321] [SC-117163] [CONNECT] Obsługa pola docelowego dla elementu UnresolvedStar
- [SPARK-41237] [SC-117167] [SQL] Ponowne używanie klasy
UNSUPPORTED_DATATYPE
błędów dla elementu_LEGACY_ERROR_TEMP_0030
- [SPARK-41309] [SC-116916] [SQL] Ponowne użycie
INVALID_SCHEMA.NON_STRING_LITERAL
zamiast_LEGACY_ERROR_TEMP_1093
- [SPARK-41276] [SC-117136] [SQL] [ML] [MLLIB] [PROTOBUF] [PYTHON] [R] [SS] [AVRO] Optymalizowanie użycia konstruktora
StructType
- [SPARK-41335] [SC-117135] [CONNECT] [PYTHON] Obsługa funkcji IsNull i IsNotNull w kolumnie
- [SPARK-41332] [SC-117131] [CONNECT] [PYTHON] Poprawka
nullOrdering
wSortOrder
- [SPARK-41325] [SC-117132] [CONNECT] [12.X] Naprawianie brakującej średniej() dla grupowania w systemie plików DF
- [SPARK-41327] [SC-117137] [CORE] Poprawka
SparkStatusTracker.getExecutorInfos
po włączeniu/wyłączeniu Informacji o funkcji OffHeapStorageMemory - [SPARK-41315] [SC-117129] [CONNECT] [PYTHON] Implementowanie
DataFrame.replace
iDataFrame.na.replace
- [SPARK-41328] [SC-117125] [CONNECT] [PYTHON] Dodawanie interfejsu API logicznego i ciągu do kolumny
- [SPARK-41331] [SC-117127] [CONNECT] [PYTHON] Dodawanie
orderBy
idrop_duplicates
- [SPARK-40987] [SC-117124] [CORE]
BlockManager#removeBlockInternal
należy upewnić się, że blokada jest odblokowana z wdziękiem - [SPARK-41268] [SC-117102] [SC-116970] [CONNECT] [PYTHON] Refaktoryzacja "Kolumna" pod kątem zgodności interfejsu API
- [SPARK-41312] [SC-116881] [CONNECT] [PYTHON] [12.X] Implementowanie obiektu DataFrame.withColumnRenamed
- [SPARK-41221] [SC-116607] [SQL] Dodawanie klasy błędów
INVALID_FORMAT
- [SPARK-41272] [SC-116742] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_2019
- [SPARK-41180] [SC-116760] [SQL] Ponowne użycie
INVALID_SCHEMA
zamiast_LEGACY_ERROR_TEMP_1227
- [SPARK-41260] [SC-116880] [PYTHON] [SS] [12.X] Rzutowanie wystąpień biblioteki NumPy na typy pierwotne języka Python w aktualizacji GroupState
- [SPARK-41174] [SC-116609] [CORE] [SQL] Propagacja klasy błędów dla użytkowników w przypadku nieprawidłowego
format
elementuto_binary()
- [SPARK-41264] [SC-116971] [CONNECT] [PYTHON] Obsługa literału większej liczby typów danych
- [SPARK-41326] [SC-116972] [CONNECT] Brak danych wejściowych w deduplikacji poprawki
- [SPARK-41316] [SC-116900] [SQL] Włącz rekursję ogona wszędzie tam, gdzie jest to możliwe
- [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Obsługa wyrażeń ciągu w filtrze.
- [SPARK-41256] [SC-116932] [SC-116883] [CONNECT] Implementowanie obiektu DataFrame.withColumn(s)
- [SPARK-41182] [SC-116632] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1102
- [SPARK-41181] [SC-116680] [SQL] Migrowanie błędów opcji mapy do klas błędów
- [SPARK-40940] [SC-115993] [12.x] Usuń wielostanowe kontrolery operatorów na potrzeby zapytań przesyłanych strumieniowo.
- [SPARK-41310] [SC-116885] [CONNECT] [PYTHON] Implementowanie obiektu DataFrame.toDF
- [SPARK-41179] [SC-116631] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1092
- [SPARK-41003] [SC-116741] [SQL] BHJ LeftAnti nie aktualizuje numOutputRows, gdy kodgen jest wyłączony
- [SPARK-41148] [SC-116878] [CONNECT] [PYTHON] Implementowanie
DataFrame.dropna
iDataFrame.na.drop
- [SPARK-41217] [SC-116380] [SQL] Dodawanie klasy błędów
FAILED_FUNCTION_CALL
- [SPARK-41308] [SC-116875] [CONNECT] [PYTHON] Ulepszanie obiektu DataFrame.count()
- [SPARK-41301] [SC-116786] [CONNECT] Homogenizowanie zachowania dla platformy SparkSession.range()
- [SPARK-41306] [SC-116860] [CONNECT] Ulepszanie dokumentacji proto wyrażeń programu Connect
- [SPARK-41280] [SC-116733] [CONNECT] Implementowanie elementu DataFrame.tail
- [SPARK-41300] [SC-116751] [CONNECT] Schemat nieustawiony jest interpretowany jako schemat
- [SPARK-41255] [SC-116730] [SC-116695] [CONNECT] Zmienianie nazwy remoteSparkSession
- [SPARK-41250] [SC-116788] [SC-116633] [CONNECT] [PYTHON] Ramka danych. toPandas nie powinna zwracać opcjonalnej ramki danych biblioteki pandas
- [SPARK-41291] [SC-116738] [CONNECT] [PYTHON]
DataFrame.explain
powinna drukować i zwracać brak - [SPARK-41278] [SC-116732] [CONNECT] Czyszczenie nieużywanego atrybutu QualifiedAttribute w pliku Expression.proto
- [SPARK-41097] [SC-116653] [CORE] [SQL] [SS] [PROTOBUF] Usuwanie nadmiarowej bazy konwersji kolekcji w kodzie Scala 2.13
- [SPARK-41261] [SC-116718] [PYTHON] [SS] Rozwiązano problem dotyczący elementu applyInPandasWithState, gdy kolumny kluczy grupowania nie zostały umieszczone w kolejności od najwcześniejszego
- [SPARK-40872] [SC-116717] [3.3] Powrót do oryginalnego bloku mieszania, gdy fragment mieszania scalony push ma zerowy rozmiar
- [SPARK-41114] [SC-116628] [CONNECT] Obsługa danych lokalnych dla lokalnejrelacji
- [SPARK-41216] [SC-116678] [CONNECT] [PYTHON] Narzędzie
DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
- [SPARK-41238] [SC-116670] [CONNECT] [PYTHON] Obsługa bardziej wbudowanych typów danych
- [SPARK-41230] [SC-116674] [CONNECT] [PYTHON] Usuń
str
z typu wyrażenia agregacji - [SPARK-41224] [SC-116652] [SPARK-41165] [SPARK-41184] [CONNECT] Zoptymalizowana implementacja zbierania opartego na strzałkach w celu strumieniowego przesyłania strumieniowego z serwera do klienta
- [SPARK-41222] [SC-116625] [CONNECT] [PYTHON] Ujednolicenie definicji wpisywania
- [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Wyłącz nieobsługiwane funkcje.
- [SPARK-41201] [SC-116526] [CONNECT] [PYTHON] Implementowanie w kliencie
DataFrame.SelectExpr
języka Python - [SPARK-41203] [SC-116258] [CONNECT] Obsługa elementu Dataframe.tansform w kliencie języka Python.
- [SPARK-41213] [SC-116375] [CONNECT] [PYTHON] Implementowanie
DataFrame.__repr__
iDataFrame.dtypes
- [SPARK-41169] [SC-116378] [CONNECT] [PYTHON] Narzędzie
DataFrame.drop
- [SPARK-41172] [SC-116245] [SQL] Migrowanie niejednoznacznego błędu ref do klasy błędów
- [SPARK-41122] [SC-116141] [CONNECT] Objaśnienie interfejsu API może obsługiwać różne tryby
- [SPARK-41209] [SC-116584] [SC-116376] [PYTHON] Ulepszanie wnioskowania typu PySpark w metodzie _merge_type
- [SPARK-41196] [SC-116555] [SC-116179] [CONNECT] Homogenizuj wersję protobuf na serwerze Spark Connect, aby używać tej samej wersji głównej.
- [SPARK-35531] [SC-116409] [SQL] Aktualizowanie statystyk tabeli hive bez niepotrzebnej konwersji
- [SPARK-41154] [SC-116289] [SQL] Niepoprawne buforowanie relacji dla zapytań ze specyfikacją podróży czasowych
- [SPARK-41212] [SC-116554] [SC-116389] [CONNECT] [PYTHON] Narzędzie
DataFrame.isEmpty
- [SPARK-41135] [SC-116400] [SQL] Zmień nazwę
UNSUPPORTED_EMPTY_LOCATION
naINVALID_EMPTY_LOCATION
- [SPARK-41183] [SC-116265] [SQL] Dodawanie interfejsu API rozszerzenia do normalizacji planu na potrzeby buforowania
- [SPARK-41054] [SC-116447] [Interfejs użytkownika] [CORE] Obsługa bazy danych RocksDB jako KVStore w interfejsie użytkownika na żywo
- [SPARK-38550] [SC-115223] Przywróć "[SQL][CORE] Użyj magazynu opartego na dyskach, aby zapisać więcej informacji debugowania dla dynamicznego interfejsu użytkownika"
- [SPARK-41173] [SC-116185] [SQL] Wyprowadzj
require()
się z konstruktorów wyrażeń ciągu - [SPARK-41188] [SC-116242] [CORE] [ML] Ustaw funkcję wykonawczejEnv OMP_NUM_THREADS na wartość spark.task.cpus domyślnie dla procesów funkcji wykonawczej JVM platformy Spark
- [SPARK-41130] [SC-116155] [SQL] Zmień nazwę
OUT_OF_DECIMAL_TYPE_RANGE
naNUMERIC_OUT_OF_SUPPORTED_RANGE
- [SPARK-41175] [SC-116238] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1078
- [SPARK-41106] [SC-116073] [SQL] Zmniejszanie konwersji kolekcji podczas tworzenia atrybutuMap
- [SPARK-41139] [SC-115983] [SQL] Popraw klasę błędów:
PYTHON_UDF_IN_ON_CLAUSE
- [SPARK-40657] [SC-115997] [PROTOBUF] Wymaganie cieniowania dla pliku JAR klasy Java, ulepszanie obsługi błędów
- [SPARK-40999] [SC-116168] Propagacja wskazówek do podzapytania
- [SPARK-41017] [SC-116054] [SQL] Obsługa oczyszczania kolumn z wieloma niedeterministycznymi filtrami
- [SPARK-40834] [SC-114773] [SQL] Używanie elementu SparkListenerSQLExecutionEnd do śledzenia końcowego stanu SQL w interfejsie użytkownika
- [SPARK-41118] [SC-116027] [SQL]
to_number
/try_to_number
wartość powinna zwracaćnull
, gdy format jest następujący:null
- [SPARK-39799] [SC-115984] [SQL] DataSourceV2: Wyświetlanie interfejsu wykazu
- [SPARK-40665] [SC-116210] [SC-112300] [CONNECT] Unikaj osadzania programu Spark Connect w wersji binarnej platformy Apache Spark
- [SPARK-41048] [SC-116043] [SQL] Ulepszanie partycjonowania i porządkowania danych wyjściowych za pomocą pamięci podręcznej AQE
- [SPARK-41198] [SC-116256] [SS] Naprawianie metryk w zapytaniu przesyłanym strumieniowo o źródle przesyłania strumieniowego CTE i DSv1
- [SPARK-41199] [SC-116244] [SS] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
- [SPARK-40957] [SC-116261] [SC-114706] Dodawanie pamięci podręcznej w systemie plików HDFSMetadataLog
- [SPARK-40940] Przywróć "[SC-115993] Usuń wielostanowe kontrolery operatorów dla zapytań przesyłanych strumieniowo.
- [SPARK-41090] [SC-116040] [SQL] Zgłaszanie wyjątku podczas
db_name.view_name
tworzenia widoku tymczasowego według interfejsu API zestawu danych - [SPARK-41133] [SC-116085] [SQL] Integracja
UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION
z usługąNUMERIC_VALUE_OUT_OF_RANGE
- [SPARK-40557] [SC-116182] [SC-111442] [CONNECT] Zatwierdzenia zrzutu kodu 9
- [SPARK-40448] [SC-1144447] [SC-111314] [CONNECT] Kompilacja spark Connect jako wtyczka sterownika z zacienionymi zależnościami
- [SPARK-41096] [SC-115812] [SQL] Obsługa odczytywania typu FIXED_LEN_BYTE_ARRAY parquet
- [SPARK-41140] [SC-115879] [SQL] Zmień nazwę klasy
_LEGACY_ERROR_TEMP_2440
błędów naINVALID_WHERE_CONDITION
- [SPARK-40918] [SC-114438] [SQL] Niezgodność między plikami FileSourceScanExec i Orc i ParquetFileFormat podczas tworzenia danych wyjściowych kolumn
- [SPARK-41155] [SC-115991] [SQL] Dodawanie komunikatu o błędzie do elementu SchemaColumnConvertNotSupportedException
- [SPARK-40940] [SC-115993] Usuń wielostanowe kontrolery operatorów na potrzeby zapytań przesyłanych strumieniowo.
- [SPARK-41098] [SC-115790] [SQL] Zmień nazwę
GROUP_BY_POS_REFERS_AGG_EXPR
naGROUP_BY_POS_AGGREGATE
- [SPARK-40755] [SC-115912] [SQL] Migrowanie błędów sprawdzania typów w formatowaniu liczb na klasy błędów
- [SPARK-41059] [SC-115658] [SQL] Zmień nazwę
_LEGACY_ERROR_TEMP_2420
naNESTED_AGGREGATE_FUNCTION
- [SPARK-41044] [SC-115662] [SQL] Przekonwertuj DATATYPE_MISMATCH. UNSPECIFIED_FRAME do INTERNAL_ERROR
- [SPARK-40973] [SC-115132] [SQL] Zmień nazwę
_LEGACY_ERROR_TEMP_0055
naUNCLOSED_BRACKETED_COMMENT
Aktualizacje konserwacyjne
Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 12.1.
Środowisko systemu
- System operacyjny: Ubuntu 20.04.5 LTS
- Java: Zulu 8.64.0.19-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.2.2
- Delta Lake: 2.2.0
Zainstalowane biblioteki języka Python
Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
---|---|---|---|---|---|
argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
beautifulsoup4 | 4.11.1 | black (czarny) | 22.3.0 | wybielacz | 4.1.0 |
boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
kliknięcie | 8.0.4 | kryptografia | 3.4.8 | rowerzysta | 0.11.0 |
Cython | 0.29.28 | dbus-python | 1.2.16 | debugpy | 1.5.1 |
dekorator | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
docstring-to-markdown | 0,11 | punkty wejścia | 0,4 | Wykonywanie | 0.8.3 |
aspekty — omówienie | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.8.2 |
fonttools | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
joblib | 1.1.0 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
biblioteka matplotlib-inline | 0.1.2 | Mccabe | 0.7.0 | mistune | 0.8.4 |
mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
notes | 6.4.8 | numpy | 1.21.5 | opakowanie | 21,3 |
Pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
pathspec | 0.9.0 | Patsy | 0.5.2 | pexpect | 4.8.0 |
pickleshare | 0.7.5 | Poduszka | 9.0.1 | 21.2.4 | |
platformdirs | 2.6.0 | kreślenie | 5.6.0 | wtyczka | 1.0.0 |
prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pure-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyright | 1.1.283 |
pirstent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
żądania | 2.27.1 | requests-unixsocket | 0.2.0 | lina | 0.22.0 |
s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
Sześć | 1.16.0 | zupy | 2.3.1 | ssh-import-id | 5.10 |
stack-data | 0.2.0 | statsmodels | 0.13.2 | Wytrzymałość | 8.0.1 |
terminado | 0.13.1 | ścieżka testowa | 0.5.0 | threadpoolctl | 2.2.0 |
tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
traitlety | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.3 |
koło | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
Zainstalowane biblioteki języka R
Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2022-11-11.
Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
---|---|---|---|---|---|
strzałkę | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
backports (backports) | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
bitowe | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.3 |
rozruch | 1.3-28 | warzyć | 1.0-8 | Brio | 1.1.3 |
miotła | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
obiekt wywołujący | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
chron | 2.3-58 | class | 7.3-20 | cli | 3.4.1 |
clipr | 0.8.0 | zegar | 0.6.1 | cluster | 2.1.4 |
codetools | 0.2-18 | przestrzeń kolorów | 2.0-3 | commonmark | 1.8.1 |
— kompilator | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
kredka | 1.5.2 | poświadczenia | 1.3.2 | lok | 4.3.3 |
data.table | 1.14.4 | usługi Power BI | 4.2.2 | DBI | 1.1.3 |
dbplyr | 2.2.1 | Desc | 1.4.2 | devtools | 2.4.5 |
diffobj | 0.3.5 | trawić | 0.6.30 | downlit (wyłączony) | 0.4.2 |
dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
wielokropek | 0.3.2 | evaluate | 0.18 | fani | 1.0.3 |
farver | 2.1.1 | szybka mapa | 1.1.0 | fontawesome | 0.4.0 |
forcats | 0.5.2 | foreach | 1.5.2 | zagraniczny | 0.8-82 |
kuźnia | 0.2.0 | Fs | 1.5.2 | przyszłość | 1.29.0 |
future.apply | 1.10.0 | płukać gardło | 1.2.1 | Generyczne | 0.1.3 |
Gert | 1.9.1 | ggplot2 | 3.4.0 | Gh | 1.3.1 |
gitcreds | 0.1.2 | glmnet | 4.1-4 | globalna | 0.16.1 |
klej | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
Gower | 1.0.0 | grafika | 4.2.2 | grDevices | 4.2.2 |
siatka | 4.2.2 | gridExtra | 2.3 | gsubfn | 0,7 |
gtable | 0.3.1 | hardhat | 1.2.0 | przystań | 2.5.1 |
wysoki | 0,9 | Hms | 1.1.2 | htmltools | 0.5.3 |
htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
Identyfikatory | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
isoband | 0.2.6 | Iteratory | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1,40 |
Etykietowania | 0.4.2 | później | 1.3.0 | krata | 0.20-45 |
lawa | 1.7.0 | cykl życia | 1.0.3 | nasłuchiwanie | 0.8.0 |
lubridate | 1.9.0 | magrittr | 2.0.3 | Markdown | 1.3 |
MASA | 7.3-58 | Macierz | 1.5-1 | zapamiętywanie | 2.0.1 |
metody | 4.2.2 | mgcv | 1.8-41 | mim | 0,12 |
miniUI | 0.1.1.1 | Metryki modelu | 1.2.2.2 | modeler | 0.1.9 |
munsell | 0.5.0 | nlme | 3.1-160 | nnet | 7.3-18 |
numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
równolegle | 1.32.1 | filar | 1.8.1 | pkgbuild | 1.3.1 |
pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
plogr | 0.2.0 | plyr | 1.8.7 | pochwała | 1.0.0 |
prettyunits | 1.1.1 | Proc | 1.18.0 | processx | 3.8.0 |
prodlim | 2019.11.13 | profvis | 0.3.7 | Postęp | 1.2.2 |
progressr | 0.11.0 | Obietnice | 1.2.0.1 | Proto | 1.0.0 |
proxy | 0.4-27 | PS | 1.7.2 | purrr | 0.3.5 |
r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
readr | 2.1.3 | readxl | 1.4.1 | przepisy | 1.0.3 |
rewanż | 1.0.1 | rewanż2 | 2.1.2 | Piloty | 2.4.2 |
reprex | 2.0.2 | zmień kształt2 | 1.4.4 | rlang | 1.0.6 |
rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
RSQLite | 2.2.18 | rstudioapi | 0,14 | rversions (rversions) | 2.1.2 |
rvest | 1.0.3 | Sass | 0.4.2 | waga | 1.2.1 |
selektor | 0.4-2 | sessioninfo | 1.2.2 | kształt | 1.4.6 |
błyszczący | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
SparkR | 3.3.1 | przestrzenny | 7.3-11 | Splajnów | 4.2.2 |
sqldf | 0.4-11 | KWADRAT | 2021.1 | Statystyki | 4.2.2 |
stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
przetrwanie | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
tcltk | 4.2.2 | testthat | 3.1.5 | textshaping | 0.3.6 |
tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
tidyverse | 1.3.2 | zmiana czasu | 0.1.1 | timeDate | 4021.106 |
tinytex | 0.42 | tools | 4.2.2 | tzdb | 0.3.0 |
urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
narzędzia | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
viridisLite | 0.4.1 | Vroom | 1.6.0 | Waldo | 0.4.0 |
wąs | 0,4 | withr | 2.5.0 | xfun | 0.34 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.6 | zamek | 2.2.2 |
Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)
Identyfikator grupy | Identyfikator artefaktu | Wersja |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
com.amazonaws | aws-java-sdk-config | 1.12.189 |
com.amazonaws | aws-java-sdk-core | 1.12.189 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
com.amazonaws | aws-java-sdk-directory | 1.12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
com.amazonaws | aws-java-sdk-efs | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
com.amazonaws | aws-java-sdk-emr | 1.12.189 |
com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
com.amazonaws | aws-java-sdk-klej | 1.12.189 |
com.amazonaws | aws-java-sdk-iam | 1.12.189 |
com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
com.amazonaws | aws-java-sdk-kms | 1.12.189 |
com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
com.amazonaws | aws-java-sdk-logs | 1.12.189 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
com.amazonaws | aws-java-sdk-rds | 1.12.189 |
com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
com.amazonaws | aws-java-sdk-ses | 1.12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
com.amazonaws | aws-java-sdk-sns | 1.12.189 |
com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
com.amazonaws | aws-java-sdk-sts | 1.12.189 |
com.amazonaws | aws-java-sdk-support | 1.12.189 |
com.amazonaws | aws-java-sdk-biblioteka-biblioteka | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
com.amazonaws | jmespath-java | 1.12.189 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | strumień | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-cieniowane | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | kolega z klasy | 1.3.4 |
com.fasterxml.jackson.core | adnotacje jackson | 2.13.4 |
com.fasterxml.jackson.core | jackson-core | 2.13.4 |
com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
com.github.ben-manes.kofeina | kofeina | 2.3.4 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | core | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1.5.2-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | Tink | 1.6.1 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guawa | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.0.204 |
com.helger | Profiler | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.ning | compress-lzf | 1.1 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | parsery jednowołciowości | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 2.2.1 |
dev.ludovic.netlib | Blas | 2.2.1 |
dev.ludovic.netlib | lapack | 2.2.1 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.21 |
io.delta | delta-sharing-spark_2.12 | 0.6.2 |
io.dropwizard.metrics | metryki —rdzeń | 4.1.1 |
io.dropwizard.metrics | metrics-graphite | 4.1.1 |
io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | serwlety metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.74.Final |
io.netty | netty-buffer | 4.1.74.Final |
io.netty | netty-codec | 4.1.74.Final |
io.netty | netty-common | 4.1.74.Final |
io.netty | netty-handler | 4.1.74.Final |
io.netty | netty-resolver | 4.1.74.Final |
io.netty | netty-tcnative-classes | 2.0.48.Final |
io.netty | transport netto | 4.1.74.Final |
io.netty | netty-transport-classes-epoll | 4.1.74.Final |
io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-unix-common | 4.1.74.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | kolekcjoner | 0.12.0 |
jakarta.adnotacja | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | aktywacja | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.13 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | Pickle | 1.2 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.22 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.8 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | tat | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | format strzałki | 7.0.0 |
org.apache.arrow | strzałka-pamięć-rdzeń | 7.0.0 |
org.apache.arrow | arrow-memory-netty | 7.0.0 |
org.apache.arrow | wektor strzałki | 7.0.0 |
org.apache.avro | avro | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | avro-mapred | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | kurator-klient | 2.13.0 |
org.apache.curator | struktura kuratora | 2.13.0 |
org.apache.curator | przepisy kuratora | 2.13.0 |
org.apache.derby | Derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | podkładki hive | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | bluszcz | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
org.apache.logging.log4j | log4j-api | 2.18.0 |
org.apache.logging.log4j | log4j-core | 2.18.0 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.7.6 |
org.apache.orc | orc-mapreduce | 1.7.6 |
org.apache.orc | podkładki orc-shim | 1.7.6 |
org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
org.apache.parquet | kodowanie parquet | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-format-structures | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-cieniowane | 4.20 |
org.apache.yetus | adnotacje odbiorców | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.2 |
org.apache.zookeeper | jute dozorców | 3.6.2 |
org.checkerframework | checker-qual | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-kontynuacja | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket —wspólne | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | lokalizator hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
org.glassfish.jersey.core | jersey-client | 2.36 |
org.glassfish.jersey.core | jersey-common | 2.36 |
org.glassfish.jersey.core | jersey-server | 2.36 |
org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
org.hibernate.validator | moduł sprawdzania poprawności hibernacji | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | Adnotacje | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 1.27.0 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.3 |
org.roaringbitmap | RoaringBitmap | 0.9.25 |
org.roaringbitmap | Podkładki | 0.9.25 |
org.rocksdb | rocksdbjni | 6.24.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.14 |
org.scala-lang | scala-library_2.12 | 2.12.14 |
org.scala-lang | scala-reflect_2.12 | 2.12.14 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | interfejs testowy | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.36 |
org.slf4j | jul-to-slf4j | 1.7.36 |
org.slf4j | slf4j-api | 1.7.36 |
org.spark-project.spark.spark | Nieużywane | 1.0.0 |
org.threeten | trzydostępne dodatkowe | 1.5.0 |
org.tukaani | xz | 1,9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | macro-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1.24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |