Udostępnij przez

Databricks Runtime 14.2 (EoS)

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime znajdziesz w notach o wersjach i zgodności środowiska Databricks Runtime.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 14.2 obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks wydała tę wersję w listopadzie 2023 r.

Nowe funkcje i ulepszenia

CACHE SELECT jest teraz ignorowany

Polecenie CACHE SELECT SQL jest teraz ignorowane na rzecz ulepszonego algorytmu buforowania. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks.

Ulepszone zachowanie buforowania

Umieszczanie usługi DiskCache przez harmonogram platformy Spark ma teraz szybsze przypisywanie partycji, lepsze równoważenie podczas automatycznego skalowania klastra i bardziej spójne wykonywanie zapytań.

Naprawiono uszkodzoną obsługę plików w poleceniach DML

Polecenia DELETEDML, UPDATE i MERGE INTO nie uwzględniają już opcji odczytu ignoreCorruptFiles i ignoreMissingFiles. W przypadku napotkania nieczytelnego pliku w tabeli te polecenia kończą się teraz niepowodzeniem, nawet jeśli określono te opcje.

Teraz możesz używać funkcji Python from_avro, to_avro, from_protobuf i to_protobuf z rejestrem schematów w udostępnionych klastrach.

foreachBatch i StreamingListener wsparcie

Teraz możesz używać interfejsów API foreachBatch() i StreamingListener w Strukturalnym przesyłaniu strumieniowym w udostępnionych klastrach. Zobacz Używanie narzędzia foreachBatch do zapisywania w dowolnych ujściach danych i monitorowania zapytań przesyłania strumieniowego ze strukturą w usłudze Azure Databricks.

Współbieżność na poziomie wiersza jest ogólnie dostępna i domyślnie włączona

Współbieżność na poziomie wiersza zmniejsza konflikty między równoczesnymi operacjami zapisu, wykrywając zmiany na poziomie wiersza. Współbieżność na poziomie wiersza jest obsługiwana tylko w tabelach bez partycjonowania, w tym tabele z klastrowaniem płynnym. Współbieżność na poziomie wiersza jest domyślnie włączona w tabelach Delta z aktywnymi wektorami usuwania. Zobacz Konflikty zapisu ze współbieżnością na poziomie wiersza.

Delta Sharing: Odbiorcy mogą wykonywać zapytania wsadowe, CDF i strumieniowe w udostępnianych tabelach z wektorami usuwania (wersja publiczna do testów)

Odbiorcy Delta Sharing mogą teraz wykonywać zapytania wsadowe, CDF i strumieniowe na udostępnianych tabelach, które używają wektorów usuwania. W środowisku Databricks Runtime 14.1 mogą wykonywać tylko zapytania wsadowe. Zobacz Dodawanie tabel z wektorami usuwania lub mapowaniem kolumn do udziału, Odczyt tabel z wektorami usuwania lub włączonym mapowaniem kolumn oraz Odczyt tabel z wektorami usuwania lub włączonym mapowaniem kolumn.

Płytkie klonowanie zewnętrznych tabel Unity Catalog (wersja publiczna do wglądu)

Teraz można używać shallow clone z tabelami zewnętrznymi w Unity Catalog. Zobacz Płytkie klonowanie tabel w Unity Catalog.

Nowy algorytm przydziału buforowania dysku

Harmonogram platformy Spark używa teraz nowego algorytmu buforowania dysku. Algorytm poprawia użycie dysku i przypisywanie partycji między węzłami przy szybszym przypisaniu zarówno początkowo, jak i po zdarzeniach skalowania klastra. Przypisywanie pamięci podręcznej stickier poprawia spójność przebiegów i zmniejsza ilość danych przenoszonych podczas ponownego równoważenia operacji.

from_avro z łącznikiem rejestru schematów wspiera ewolucję schematu

Teraz możesz zezwolić potokom na ponowne uruchomienie po wykryciu zmieniających się rekordów. Wcześniej, jeśli w łączniku wystąpiła ewolucja schematu from_avro , nowe kolumny będą zwracać wartość null. Zobacz Odczytywanie i zapisywanie strumieniowych danych Avro.

Szybsze zbieranie statystyk wielowątowych

Zbieranie statystyk jest nawet do 10 razy szybsze w przypadku małych klastrów podczas uruchamiania CONVERT TO DELTA lub klonowania tabel z Apache Iceberg i Parquet. Zobacz Konwertowanie na Delta Lake i Klonowanie tabel Parquet i Iceberg.

Filtry pushdown w DeltaSource na plikach Delta

Aby uzyskać lepsze wykorzystanie, filtry partycji w zapytaniach strumieniowych na tabelach Delta są teraz przetwarzane przez system Delta przed zastosowaniem ograniczenia szybkości.

Obsługa funkcji skalarów Scala zdefiniowanych przez użytkownika w udostępnionych klastrach (publiczna wersja zapoznawcza)

Teraz można używać skalarowych funkcji zdefiniowanych przez użytkownika w języku Scala na klastrach z obsługą katalogu Unity, skonfigurowanych w trybie współdzielonego dostępu. Zobacz Funkcje skalarne zdefiniowane przez użytkownika — Scala.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • fastjsonschema z wersji 2.18.0 do 2.19.0
    • filelock z wersji 3.12.3 do 3.12.4
    • googleapis-common-protos z 1.60.0 do 1.61.0
  • Uaktualnione biblioteki języka R:
  • Uaktualnione biblioteki Java:

Apache Spark

Środowisko Databricks Runtime 14.2 obejmuje platformę Apache Spark 3.5.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 14.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-45592] [ DBRRM-624] Cofnięcie "[SC-146977][sql] Problem z poprawnością w AQE z elementem InMemoryTableScanExec"
  • [SPARK-45524] [DBRRM-625] Przywracanie "[SC-146319][python][SQL] Początkowa obsługa f...
  • [SPARK-45433] [DBRRM-621] Revert "[SC-145163][sql] Fix CSV/JSON schema infer...
  • [SPARK-45592] [SC-146977][sql] Problem z poprawnością w AQE z modułem InMemoryTableScanExec
  • [SPARK-45354] Przywróć "[SC-143991][sql] Opracowanie funkcji od najniższego poziomu"
  • [SPARK-45680] [ TYLKO TEST][sasp-2347][CONNECT] Napraw testy
  • [SPARK-45680] [CONNECT] Sesja wydania
  • [SPARK-43380] [SC-146726][es-897115][SQL] Napraw spowolnienie odczytu w Avro
  • [SPARK-45649] [SC-146742][sql] Ujednolicenie struktury przygotowania do OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727][python][SQL] Tworzenie StructType z Json
  • [SPARK-45620] [SC-146225][python] Napraw zorientowane na użytkownika interfejsy API związane z Python UDTF do używania camelCase
  • [SPARK-45727] [SC-146978][ss] Usuń nieużywaną mapę w symulacji propagacji znaczników czasowych
  • [SPARK-45723] [ SC-146890][python][CONNECT] Metody katalogu unikają konwersji Pandas
  • [SPARK-45574] [SC-146106][sql] Dodaj składnię :: jako skrót do rzutowania
  • [SPARK-45670] [ SC-146725][core][3.5] SparkSubmit nie obsługuje --total-executor-cores podczas wdrażania na K8s
  • [SPARK-45661] [ SC-146594][sql][PYTHON] Dodaj toNullable do StructType, MapType i ArrayType
  • [SPARK-45524] [SC-146319][python][SQL] Wstępna obsługa interfejsu API do odczytu źródła danych w języku Python
  • [SPARK-45542] [SC-145892][core] Zamień na setSafeMode(HdfsConstants.SafeModeAction, boolean)setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641][sql] SPJ: Obsługa pustych partycji wejściowych po filtrowaniu dynamicznym
  • [SPARK-45454] [ SC-144846][sql] Ustaw domyślnego właściciela tabeli na current_user
  • [SPARK-45554] [SC-146875][python] Wprowadzenie parametru elastycznego do assertSchemaEqual
  • [SPARK-45242] [ SC-143410][sql] Używanie identyfikatora ramki danych do semantycznie weryfikowania danych CollectMetrics
  • [SPARK-45674] [SC-146862][connect][PYTHON] Ulepszanie komunikatu o błędzie dla atrybutów zależnych od maszyny JVM na platformie Spark Connect.
  • [SPARK-45646] [SC-146276 ][sql] Usuń zmienne czasu kodowania twardego przed programem Hive 2.0
  • [SPARK-43380] [SC-146726][es-897115][SQL] Napraw spowolnienie odczytu w Avro
  • [SPARK-45545] [SC-146484][core] Pass SSLOptions wszędzie tam, gdzie tworzymy SparkTransportConf
  • [SPARK-45641] [SC-146260][ui] Wyświetlanie czasu rozpoczęcia aplikacji na stronie AllJobsPage
  • [SPARK-40154] [SC-146491][python][Docs] Poprawny poziom przechowywania w docstringu dataframe.cache
  • [SPARK-45626] [SC-146259][sql] Przekonwertuj _LEGACY_ERROR_TEMP_1055 na REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900][sql] Korekta poprawności dla zagnieżdżonych skorelowanych podzapytań skalarnych z agregatami COUNT
  • [SPARK-45619] [ SC-146226][connect][PYTHON] Zastosuj obserwowane metryki do obiektu obserwacji
  • [SPARK-45588] [SC-145909][protobuf][CONNECT][drobne] Ulepszenie Scaladoc dla StreamingForeachBatchHelper
  • [SPARK-45616] [SC-146120][core] Unikaj korzystania z ParVectora, ponieważ nie propaguje ThreadLocals ani SparkSession
  • pl-PL: [SPARK-45604] [SC-146105][sql] Dodaj sprawdzanie typu logicznego przy konwersji INT64 na datę/godzinę w czytniku wektoryzowanym Parquet
  • [SPARK-44649] [SC-145891][sql] Filtr wykonawczy obsługuje przekazywanie równoważnych wyrażeń po stronie tworzenia
  • [SPARK-41674] [ SC-128408][sql] Filtr środowiska uruchomieniowego powinien obsługiwać stronę sprzężenia wielopoziomowego jako stronę tworzenia filtru
  • [SPARK-45547] [SC-146228][ml] Walidacja wektorów za pomocą wbudowanej funkcji
  • [SPARK-45558] [SC-145890][ss] Wprowadzenie pliku metadanych dla operatora stanowego przesyłania strumieniowego
  • [SPARK-45618] [SC-146252][core] Remove BaseErrorHandler
  • [SPARK-45638] [SC-146251][sql][Avro] Ulepszanie pokrycia testowego konwersji dziesiętnej
  • [SPARK-44837] [SC-146020][sql] Zmień ALTER TABLE komunikat o błędzie kolumny ALTER PARTITION
  • [SPARK-45561] [SC-146264][sql] Dodaj odpowiednie konwersje dla programu TINYINT w mySQLDialect
  • [SPARK-45632] [SC-146255][sql] Pamięć podręczna tabel powinna unikać niepotrzebnego elementu ColumnarToRow po włączeniu AQE
  • [SPARK-45569] [ SC-145932][sql] Przypisz nazwę do błędu _LEGACY_ERROR_TEMP_2152
  • [SPARK-44784] [SC-141015][connect] Uczynienie testowania SBT hermetycznym.
  • [SPARK-45452] [SC-144836][sql] Ulepszanie InMemoryFileIndex korzystania z FileSystem.listFiles interfejsu API
  • [SPARK-44735] [SC-146186][sql] Dodaj komunikat ostrzegawczy przy wstawianiu kolumn o tej samej nazwie przez wiersze, które się nie zgadzają.
  • [SPARK-45351] [ SC-144791][core] Zmień spark.shuffle.service.db.backend wartość domyślną na ROCKSDB
  • [SPARK-45553] [SC-145906][ps] Oznaczyć jako przestarzałe assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022][core] Ujawnić DeterministicLevel jako DeveloperApi
  • [SPARK-45549] [SC-145895][core] Usuń nieużywane numExistingExecutors w CoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030][connect] Uwzględnij "SqlState" w wiadomości prototypowej "SparkThrowable"
  • [SPARK-45595] [SC-146037] uwidaczniać sqlstate w komunikacie o błędzie
  • [SPARK-45628] [SC-146123][ml] Popraw vector_to_array dla .mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884][sql][FOLLOW UP] Wyłącz dekorrelację w warunkach sprzężenia dla testu InSubquery AQE
  • [SPARK-45576] [SC-145883][core] Usuń niepotrzebne dzienniki debugowania w PrzeładowującyX509TrustManagerSuite
  • [SPARK-45485] [ SC-145719][connect] Ulepszenia agenta użytkownika: Użyj zmiennej env SPARK_CONNECT_USER_AGENT i uwzględnij atrybuty specyficzne dla środowiska
  • [SPARK-45508] [SC-145513][core] Dodaj "-add-opens=java.base/jdk.internal.ref=ALL-UNNAMED", aby Platforma mogła uzyskać dostęp do narzędzia Cleaner w środowisku Java 9+
  • [SPARK-45595] Przywróć “[SC-146037] Wyświetl SQLSTATE w komunikacie o błędzie”
  • [SPARK-45595] [SC-146037] Uwidaczniaj element SQLSTATE w komunikacie o błędzie
  • [SPARK-45112] Przywróć "[SC-143259][sql] Użyj polecenia UnresolvedFunction ba...
  • [SPARK-45257] [ SC-143411][core] Włącz spark.eventLog.compress domyślnie
  • [SPARK-45586] [ SC-145899][sql] Zmniejsz opóźnienie kompilatora dla planów z dużymi drzewami wyrażeń
  • [SPARK-45517] [SC-145691][connect][14.x] Rozwiń więcej konstruktorów wyjątków, aby obsługiwać parametry struktury błędów
  • [SPARK-45581] [SC-145896] Ustaw parametr SQLSTATE na obowiązkowy.
  • [SPARK-45427] [ SC-145590][core] Dodawanie ustawień protokołu SSL RPC do protokołów SSLOptions i SparkTransportConf
  • [SPARK-45261] [ SC-143357][core] Poprawka EventLogFileWriters do obsługi none jako kodeka
  • [SPARK-45582] [SC-145897][ss] Upewnij się, że wystąpienie magazynu nie jest używane po wywołaniu zatwierdzenia w trybie agregacji strumieniowej w trybie wyjściowym
  • [SPARK-45562] [SC-145720][sc-144650][SQL] XML: Ustaw element "rowTag" jako wymaganą opcję
  • [SPARK-45392] [SC-144362][core][SQL][ss] Zastąp ciąg Class.newInstance() ciągiem Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [ SC-145163][sql] Poprawiono wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym znacznikiem czasuFormat
  • [SPARK-45458] [SC-145011][sql] Konwertuj IllegalArgumentException na SparkIllegalArgumentException w ramach wyrażeń bitowych
  • [SPARK-45564] [ SC-145735][sql] Upraszczanie wyrażenia "DataFrameStatFunctions.bloomFilter" za pomocą wyrażenia "BloomFilterAggregate"
  • [SPARK-45566] [SC-145777][ps] Wsparcie narzędzi testowych podobnych do Pandas dla interfejsu API Pandas na platformie Spark
  • [SPARK-45498] [ SC-145509][core] Kontynuacja: Ignoruj ukończenie zadania ze starego etapu...
  • [SPARK-45483] [ SC-145152][connect] Popraw grupy funkcji w funkcji connect.functions
  • [SPARK-45577] [ SC-145781][python] Poprawka UserDefinedPythonTableFunctionAnalyzeRunner w celu przekazania złożonych wartości z nazwanych argumentów
  • [SPARK-45009] [SC-138223][Kontynuacja] Wyłącz dekorrelację w warunkach sprzężenia dla AetherSQLQuerySuite
  • [SPARK-45415] [SC-145344] Zezwalaj na selektywne wyłączanie "fallocate" w magazynie stanów bazy danych RocksDB
  • [SPARK-45500] [SC-145134][core][WEBUI] Pokaż liczbę nietypowo zakończonych zadań w interfejsie MasterPage
  • [SPARK-44120] [SC-144349][python] Obsługa języka Python 3.12
  • [SPARK-45439] [SC-145589][sql][UI] Zmniejsz użycie pamięci w LiveStageMetrics.accumIdsToMetricType
  • [SPARK-45565] [ SC-145717][ui] Niepotrzebna pętla JSON.stringify i JSON.parse dla listy zadań w szczegółach etapu
  • [SPARK-45567] [SC-145718][connect] Usuń nadmiarowy warunek 'if' w org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
  • [SPARK-45112] [SC-143259][sql] Użyj rozwiązania opartego na funkcji nierozwiązanej w funkcjach zbioru danych SQL
  • [SPARK-45486] [SASP-2457][sc-145612][CONNECT] Spraw, aby żądanie add_artifact było idempotentne
  • [SPARK-44913] [ SC-144326][sql] DS V2 obsługuje wypychanie W2 UDF, która ma metodę magiczną
  • [SPARK-45538] [SC-145635][python][CONNECT]pyspark connect overwrite_partitions usterka
  • [SPARK-45491] [SC-145622] Dodawanie brakującego elementu SQLSTATES 2/2
  • [SPARK-45009] [SC-145620][sc-138223][SQL] Dekorelacja podzapytań predykatów w warunku sprzężenia
  • [SPARK-45377] [SC-144377][core] Obsługa InputStream w NettyLogger
  • [SPARK-45248] [SC-143759][core]Ustawianie limitu czasu dla serwera spark ui
  • [SPARK-44594] [SC-145611][ss] Usuń nadmiarowy parametr metody w konektorze Kafka
  • [SPARK-45539] [SC-145621][ss] Dodaj asercję i dziennik, aby wskazać, że definicja znacznika wodnego jest wymagana w przypadku zapytań agregacji przesyłania strumieniowego w trybie dodawania
  • [SPARK-44262] [SC-145639][sql] Dodaj dropTable i getInsertStatement do JdbcDialect
  • [SPARK-45516] [SC-145480][connect] Uwzględnij QueryContext w wiadomości protokołu SparkThrowable
  • [SPARK-45310] [SC-145127][core] Status bloku tasowania raportów powinien uwzględniać usługę tasowania podczas migracji wycofywania
  • [SPARK-45521] [ SC-145487][ml] Unikaj ponownego obliczania nnz w VectorAssembler
  • [SPARK-45418] [SC-145485][sql][PYTHON][connect] Zmień alias kolumny current_database() na current_schema()
  • [SPARK-45116] [SC-145142][sql] Dodaj komentarz dotyczący parametru JdbcDialect createTable
  • [SPARK-45495] [SC-145529][core] Obsługa profilu zasobów zadania na poziomie etapu dla klastra k8s, gdy alokacja dynamiczna jest wyłączona
  • [SPARK-45487] [SC-145559] Naprawa błędów SQLSTATEs i błędów tymczasowych
  • [SPARK-45505] [SC-145550][python] Refaktoryzacja analyzeInPython dla ponownego użycia
  • [SPARK-45132] [SC-145425][sql] Poprawka IDENTIFIER dla wywołania funkcji
  • [SPARK-45213] [ SC-145020][sql] Przypisz nazwę do błędu _LEGACY_ERROR_TEMP_2151
  • [SPARK-45416] [SC-145126][connect] Sprawdzenie spójności wyników Arrow
  • [SPARK-45163] [SC-143386][sql] Połącz UNSUPPORTED_VIEW_OPERATION i UNSUPPORTED_TABLE_OPERATION oraz rozwiąż niektóre problemy
  • [SPARK-45421] [SC-144814][sql] Przechwytywanie AnalysisException w przypadku InlineCTE
  • [SPARK-43664] [SC-145404][connect][PS] Zgłoś wyjątek dla ps.sql obiektu Pandas-on-Spark w programie Spark Connect.
  • [SPARK-45402] [ SC-145371][sql][PYTHON] Dodawanie interfejsu API UDTF dla metod "eval" i "terminate" w celu korzystania z poprzedniego wyniku "analyze"
  • [SPARK-36112] [SC-67885] [SQL] Obsługa skorelowanych podzapytań EXISTS i IN przy użyciu struktury DecorrelateInnerQuery
  • [SPARK-45383] [ SC-144929][sql] Naprawić komunikat o błędzie podczas podróży w czasie z nieistniejącą tabelą
  • [SPARK-43254] [SC-143318][sql] Przypisz nazwę do błędu _LEGACY_ERROR_TEMP_2018
  • [SPARK-45204] [SC-145167][connect] Dodaj opcjonalny symbol ExecuteHolder do SparkConnectPlanner
  • [SPARK-45451] [ SC-145144][sql] Ustawialny domyślny poziom pamięci podręcznej zestawu danych
  • [SPARK-45192] [ SC-143194][ui] Korekta opóźnionego parametru lineInterpolate dla krawędzi graphviz
  • [SPARK-45467] [SC-145146][core] Zamień na Proxy.getProxyClass()Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139][ml][CONNECT] Dodaj transformator cech asemblera tablicowego
  • [SPARK-44855] [SC-145226][connect] Małe poprawki w przyłączaniu ExecuteGrpcResponseSender do ExecuteResponseObserver
  • [SPARK-45398] [SC-144796][sql] Dołącz ESCAPE do sql() wyrażenia Like
  • [SPARK-45494] [ SC-145129][core][PYTHON] Wprowadzenie funkcji util do odczytu/zapisu tablicy bajtów dla środowiska PythonWorkerUtils
  • [SPARK-45464] [SC-145125][core] Naprawa kompilacji dystrybucji sieci Yarn
  • [SPARK-45461] [SC-144851][core][SQL][mllib] Wprowadzenie mapera dla poziomu przechowywania
  • [SPARK-45450] [ SC-145009][Python] Popraw importy zgodnie z PEP8: pyspark.pandas i pyspark (core)
  • [SPARK-45475] [SC-145018][sql] Używa DataFrame.foreachPartition zamiast RDD.foreachPartition w narzędziu JdbcUtils
  • [SPARK-45271] [SC-143778][sql] Połącz _LEGACY_ERROR_TEMP_1113 z TABLE_OPERATION i usuń nieużywaną metodę w QueryCompilationErrors
  • [SPARK-45449] [ SC-145013][sql] Problem z unieważnieniem pamięci podręcznej z tabelą JDBC
  • [SPARK-45473] [ SC-145017][sql] Naprawiono niepoprawny komunikat o błędzie dla roundbase
  • [SPARK-43299] [SC-145022][ss][CONNECT] Konwertuj wyjątek StreamingQueryException w kliencie Scala
  • [SPARK-45474] [SC-145014][core][WEBUI] Obsługa filtrowania najwyższego poziomu w interfejsie API JSON MasterPage
  • [SPARK-45205] [SC-145012][sql] CommandResultExec ma zastąpić metody iteracyjne, aby uniknąć wyzwalania wielu zadań.
  • [SPARK-45472] [ SC-145004][ss] Magazyn stanów bazy danych RocksDB nie musi ponownie sprawdzać istnienia ścieżki punktu kontrolnego
  • [SPARK-45470] [ SC-145010][sql] Unikaj wklejania wartości tekstowej rodzaju kompresji Hive ORC
  • [SPARK-45448] [SC-144829][python] Importy naprawiono zgodnie z PEP8: pyspark.testing, pyspark.mllib, pyspark.resource i pyspark.streaming
  • [SPARK-45446] [SC-144828][python] Naprawianie importów zgodnie z PEP8: pyspark.errors i pyspark.ml
  • [SPARK-45239] [ SC-144832][connect] Zmniejsz domyślną wartość spark.connect.jvmStacktrace.maxSize
  • [SPARK-45436] [SC-144831][python][CONNECT] Metody ramki danych sprawdzają tę samą sesję
  • [SPARK-45413] [SC-144847][core] Dodaj ostrzeżenie dotyczące wycofania obsługi bazy danych LevelDB
  • [SPARK-45462] [ SC-144848][core][WEBUI] Pokaż Duration w ApplicationPage
  • [SPARK-44527] [SC-144855][sql] Zastąp wartość ScalarSubquery wartością null, jeśli jej wartość maxRows wynosi 0
  • [SPARK-45401] [ SC-144854][python] Dodaj nową metodę cleanup w interfejsie UDTF
  • [SPARK-43704] [SC-144849][connect][PS] Obsługa MultiIndex dla to_series()
  • [SPARK-45424] [SC-144888][sql] TimestampFormatter poprawia zwracanie opcjonalnych wyników analizy, gdy tylko dopasowanie prefiksu jest obecne.
  • [SPARK-45441] [SC-144833][python] Dodanie dodatkowych funkcji narzędziowych do PythonWorkerUtils
  • [SPARK-45412] [ SC-144803][python][CONNECT] Zweryfikuj plan i sesję w DataFrame.__init__
  • [SPARK-45408] [SC-144810][core] Dodaj ustawienia SSL dla RPC do TransportConf
  • [SPARK-45432] [SC-144818][core] Usuń przestarzały konstruktor Hadoop-2 LocatedFileStatus
  • [SPARK-45434] [ SC-144819][ml][CONNECT] LogisticsRegression sprawdza etykiety treningowe
  • [SPARK-45420] [SC-144808][sql][PYTHON][connect] Add DataType.fromDDL into PySpark
  • [SPARK-45406] [SC-144793][python][CONNECT] Usuń schema z konstruktora ramki danych
  • [SPARK-45404] [SC-144799][core] Obsługa AWS_ENDPOINT_URL zmiennej środowiskowej
  • [SPARK-43620] [SC-144792][connect][PS] Fix Pandas APIs zależy od nieobsługiwanych funkcji
  • [SPARK-45354] [SC-143991][sql] Rozwiązywanie funkcji od dołu
  • [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] Dodanie prób ponownych dla API artefaktu. Ulepszanie obsługi błędów (kontynuacja do [SPARK-45093]).
  • [SPARK-45120] [ SC-142780][spark-45150][Interfejs użytkownika] Uaktualnienie d3 z wersji 3 do wersji 7(7.8.5) i stosowanie zmian interfejsu API w interfejsie użytkownika
  • [SPARK-44838] [SC-143983][sql] raise_error ulepszenia
  • [SPARK-45312] [SC-143754][sql][interfejs użytkownika] Obsługa przełączania wyświetlania/ukrywania planu w formacie SVG na stronie wykonania
  • [SPARK-45378] [SC-144448][core] Dodaj funkcję convertToNettyForSsl do ManagedBuffer
  • [SPARK-44762] [SC-144338][connect][CORE] Dokumentacja dla SparkConnect.addJobTag oraz Connect SparkSession.addTag
  • [SPARK-45383] Obsługa nierozwiązanego elementu RelationTimeTravel w odpowiedni sposób
  • [SPARK-45347] [SC-144512][sql][CONNECT] Uwzględnij SparkThrowable w FetchErrorDetailsResponse
  • [SPARK-45012] [ SC-141512][sql] CheckAnalysis powinien zgłosić plan wbudowany w analizieException
  • [SPARK-45359] [SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} powinien zgłaszać wyjątki, gdy plan jest nieprawidłowy
  • [SPARK-45227] [SC-144233][core] Naprawiono subtelny problem z bezpieczeństwem wątków w CoarseGrainedExecutorBackend
  • [SPARK-45266] [ SC-144171][python] Reguła analizatora refactor ResolveFunctions w celu opóźnienia łączenia bocznego, gdy są używane argumenty tabeli
  • [SPARK-45266] Przywróć regułę analizatora „[SC-144171][python] Refaktoryzuj zasadę ResolveFunctions w celu opóźnienia tworzenia joinu lateralnego, gdy używane są argumenty tabeli”
  • [SPARK-45371] [ SC-144389][connect] Rozwiązywanie problemów z cieniowaniem w kliencie Spark Connect Scala
  • [SPARK-45057] [ SC-144214][core] Unikaj uzyskiwania blokady odczytu, gdy parametr keepReadLock ma wartość false
  • [SPARK-45385] [SC-144357][sql] Zdeprecjonować spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [SC-143917][sql] Usuń konfigurację SQL spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [ SC-144171][python] Reguła analizatora refactor ResolveFunctions w celu opóźnienia łączenia bocznego, gdy są używane argumenty tabeli
  • [SPARK-45362] [SC-144198][python] Wydziel wyrażenia BY zanim metoda 'eval' UDTF w języku Python je zużyje
  • [SPARK-45346] [ SC-143925][sql] Wnioskowanie schematu Parquet powinno uwzględniać flagę wrażliwą na wielkość liter podczas scalania schematu
  • [SPARK-45341] [ SC-143933][core] Popraw poziom tytułu w komentarzach KVStore.java, aby sbt doc pomyślnie działało z Java 17
  • [SPARK-45334] [SC-143914 ][sql] Usuń wprowadzający w błąd komentarz w parquetSchemaConverter
  • [SPARK-45337] [ SC-143932][core] Refaktoryzacja AbstractCommandBuilder#getScalaVersion w celu usunięcia sprawdzania dla Scala 2.12
  • [SPARK-45329] [SC-143918][python][CONNECT] Metody DataFrame pomijają konwersję z pandas
  • [SPARK-43662] [SC-143923][ps][CONNECT] Obsługa merge_asof w programie Spark Connect
  • [SPARK-44126] [SC-143751][core] Liczba niepowodzeń migracji shuffle nie powinna być zwiększana, gdy docelowy wykonawca zostanie zlikwidowany.
  • [SPARK-44550] [SC-119768][sql] Włącz poprawki poprawności w null IN (empty list) obszarze ANSI
  • [SPARK-45316] [SC-143783][core][SQL] Dodawanie nowych parametrów ignoreCorruptFiles/ignoreMissingFiles do i HadoopRDDNewHadoopRDD
  • [SPARK-45093] [ SC-143414][connect][PYTHON] Raportowanie błędów dla zapytania addArtifacts
  • [SPARK-44756] [ SC-143787][core] Wykonawca zawiesza się, gdy RetryingBlockTransferor nie zdoła zainicjować ponownej próby
  • [SPARK-45333] [ SC-143768][core] Naprawa jednego błędu jednostkowego związanego z spark.eventLog.buffer.kb
  • [SPARK-45317] [ SC-143750][sql][CONNECT] Obsługa nieokreślonej nazwy pliku w śladach stosu wyjątków
  • [SPARK-45191] [ SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId dodaje informacje kolumnowe
  • [SPARK-45235] [SC-143314][connect][PYTHON] Obsługa parametrów map i tablic przez sql()
  • [SPARK-45138] [ SC-143309][ss] Definiowanie nowej klasy błędów i stosowanie jej w przypadku niepowodzenia tworzenia punktu kontrolnego w systemie plików DFS
  • [SPARK-45297] [SC-143644][sql] Usuń obejście dla elementu dateformatter dodanego na platformie SPARK-31827
  • [SPARK-44345] [SC-143593][core] Obniż unknown shuffle map output poziom logów do ostrzeżenia, jeśli migracja tasowania jest włączona
  • [SPARK-44463] [SC-143251][ss][CONNECT] Ulepszenie obsługi błędów dla strumieniowego procesu roboczego języka Python w Connect
  • [SPARK-45207] [SC-143603][sql][CONNECT] Implementowanie wzbogacania błędów dla klienta Scala
  • [SPARK-45240] [SC-143602][sql][CONNECT] Implementowanie wzbogacania błędów dla klienta języka Python
  • [SPARK-45216] [SC-143288][sql] Fix non-deterministic seeded Dataset APIs (Rozwiązywanie problemów z interfejsami API zestawów danych niedeterministycznych)
  • [SPARK-45251] [ SC-143419][connect] Dodaj pole client_type dla FetchErrorDetails.
  • [SPARK-45137] [SC-143001][connect] Obsługa parametrów mapy/tablicy w sparametryzowanych zapytaniach sql()
  • [SPARK-45224] [ SC-143257][python] Dodaj przykłady z mapą i tablicą jako parametry sql()
  • [SPARK-44622] [SC-143205][sql][CONNECT] Implementowanie FetchErrorDetails RPC
  • [SPARK-45178] [SC-136089] Wykonanie pojedynczej partii dla Trigger.AvailableNow z nieobsługiwanymi źródłami zamiast użycia wrappera
  • [SPARK-44823] [14.x][sc-142979][PYTHON] Aktualizacja black do wersji 23.9.1 i naprawa błędnych sprawdzeń
  • [SPARK-45078] [ SC-142954][sql] Fix array_insert ImplicitCastInputTypes nie działa
  • [SPARK-44579] [SC-138428][sql] Obsługa przerwania przy anulowaniu w SQLExecution
  • [SPARK-45252] [SC-143371][core] Wyłączyć znaki większy/mniejszy niż w komentarzach, aby sbt doc wykonał się pomyślnie
  • [SPARK-45189] [ SC-142973][sql] Tworzenie nierozwiązanej relacji z IdentyfikatoraTabeli powinno zawierać pole katalogu
  • [SPARK-45229] [ SC-143254][core][UI] Pokaż liczbę sterowników oczekujących w stanie PRZESŁANE w programie MasterPage
  • [SPARK-43453] Cofnij „[SC-143135][ps] Ignoruj namesMultiIndex podczas axis=1 dla concat”

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 14.2.

Środowisko systemu

  • System operacyjny: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 wywołanie zwrotne 0.2.0
beautifulsoup4 4.11.1 czarny 22.6.0 wybielacz 4.1.0
kierunkowskaz 1.4 boto3 1.24.28 botocore 1.27.96
certyfikat 2022.12.7 cffi 1.15.1 chardet 4.0.0
normalizator zestawu znaków 2.0.4 kliknij 8.0.4 komunikacja 0.1.2
ContourPy 1.0.5 kryptografia 39.0.1 rowerzysta 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 dekorator 5.1.1 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1
distlib 0.3.7 Konwertowanie docstringów na markdown 0,11 punkty wejścia 0,4
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 fastjsonschema 2.19.0
blokada plików 3.12.4 fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 status grpcio 1.48.1 httplib2 0.20.2
IDNA 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 serwer Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 Widżety JupyterLab 1.0.0 brelok 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml jest biblioteką do analizy XML i HTML. 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 moduł matplotlib-inline 0.1.6 Mccabe 0.7.0
Mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 NBClient 0.5.13 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notes 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 opakowanie 22,0 Pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 specyfikacja ścieżki 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5
Poduszka 9.4.0 pip (menedżer pakietów Pythona) 22.3.1 platformdirs 2.5.2
kreślenie 5.9.0 wtyczka 1.0.0 prometheus-client 0.14.1
zestaw narzędzi prompt 3.0.36 Protobuf (w skrócie od Protocol Buffers) 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,4 pycparser 2.21
pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.6 pyflakes (narzędzie do analizy statycznej kodu Python) 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz (biblioteka Pythona do obliczeń stref czasowych) 2022.7 pyzmq 23.2.0
żądania 2.28.1 lina 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy (biblioteka naukowa dla Pythona) 1.10.0 urodzony na morzu 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
Sześć 1.16.0 Sniffio 1.2.0 sitko do zupy 2.3.2.post1
ssh-import-id (narzędzie do importowania kluczy SSH) 5,11 stos danych 0.2.0 statsmodels - biblioteka do modelowania statystycznego 0.13.5
Wytrzymałość 8.1.0 zakończone 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 moduł typing_extensions 4.4.0
ujson (szybka biblioteka do obsługi formatu JSON) 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 szerokość(wcwidth) 0.2.5
kodowanie sieciowe 0.5.1 websocket-klient 0.58.0 czymjestłatka 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf (Yet Another Python Formatter - Kolejny Formatator Pythona) 0.33.0
zamek błyskawiczny 1.0.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN Menedżera Pakietów Posit z dnia 2023-02-10.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
strzała 12.0.1 askpass 1.1 potwierdzić to 0.2.1
backporty 1.4.1 baza 4.3.1 base64enc 0.1-3
odrobina 4.0.5 bit-64 4.0.5 blob 1.2.4
uruchomienie 1.3-28 warzyć 1.0-8 Brio 1.1.3
miotła 1.0.5 bslib 0.5.0 kaszmir 1.0.8
obiekt wywołujący 3.7.3 karetka 6.0-94 cellranger 1.1.0
Chroń 2.3-61 klasa 7.3-22 CLI 3.6.1
clipr 0.8.0 zegar 0.7.0 klaster 2.1.4
codetools 0.2-19 przestrzeń kolorów 2.1-0 commonmark 1.9.0
kompilator 4.3.1 konfiguracja 0.3.1 Konflikt 1.2.0
cpp11 0.4.4 kredka 1.5.2 dane logowania 1.3.2
kręcić się 5.0.1 tabela danych 1.14.8 zbiory danych 4.3.1
DBI 1.1.3 dbplyr 2.3.3 opis 1.4.2
devtools 2.4.5 schemat 1.6.5 diffobj 0.3.5
skrót 0.6.33 downlit (wyłączony) 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 wielokropek 0.3.2
oceniać 0.21 fani 1.0.4 kolory 2.1.1
szybka mapa 1.1.1 Font Awesome 0.5.1 dla kotów 1.0.0
foreach 1.5.2 zagraniczny 0.8-82 kuźnia 0.2.0
fs 1.6.2 przyszłość 1.33.0 wprowadź przyszłość 1.11.0
płukać gardło 1.5.1 typy ogólne 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globalna 0.16.2 klej 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.1 grDevices 4.3.1 siatka 4.3.1
gridExtra 2.3 gsubfn 0,7 gtabela 0.3.3
hełm ochronny 1.3.0 przystań 2.5.3 wyższy 0.10
Hms 1.1.3 htmltools – narzędzie do tworzenia stron internetowych 0.5.5 widżety HTML 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Identyfikatory 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iteratory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr (narzędzie do generowania dynamicznych raportów w R) 1,43
Etykietowanie 0.4.2 później 1.3.1 sieć 0.21-8
lawa 1.7.2.1 cykl życia 1.0.3 nasłuchiwanie 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASA 7.3-60 Macierz 1.5-4.1 zapamiętywanie 2.0.1
metody 4.3.1 mgcv 1.8-42 mim 0,12
miniUI (interfejs użytkownika) 0.1.1.1 Metryki modelu 1.2.2.2 Modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 sieć neuronowa (nnet) 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 równoległy 4.3.1
równolegle 1.36.0 filar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 pochwała 1.0.0
prettyunits 1.1.1 pROC 1.18.4 Procesx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Postęp 1.2.2
progressr 0.13.0 Obietnice 1.2.0.1 Proto 1.0.0
serwer proxy 0.4-27 PS 1.7.5 mruczenie 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
"randomForest" 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
czytnik 2.1.4 readxl (biblioteka do odczytu plików Excel) 1.4.3 przepisy 1.0.6
rewanż 1.0.1 rewanż2 2.1.2 Piloty 2.4.2
przykład replikowalny (reprex) 2.0.2 zmień kształt2 1.4.4 rlang 1.1.1
rmarkdown (narzędzie do tworzenia dokumentów w R) 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 waga 1.2.1
selektor 0.4-2 informacje o sesji 1.2.2 kształt 1.4.6
błyszczący 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
przestrzenny 7.3-15 Splajny 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 Statystyki 4.3.1 statystyki4 4.3.1
łańcuchy 1.7.12 stringr 1.5.0 przetrwanie 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 kształtowanie tekstu 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
zmiana czasu 0.2.0 czasData 4022.108 tinytex 0,45
narzędzia 4.3.1 Baza Danych Stref Czasowych (tzdb) 0.4.0 sprawdzacz URL 1.0.1
użyj tego 2.2.2 utf8 1.2.3 narzędzia 4.3.1
UUID (Uniwersalnie Unikalny Identyfikator) 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 Waldo 0.5.1 wąs 0.4.1
Withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 Xtable 1.8-4 yaml 2.3.7
zamek / zip 2.3.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws Klient Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-automatyczne-skalowanie 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm (zestaw narzędzi Java dla usługi CloudHSM) 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy (biblioteka do zarządzania wdrażaniem kodu w AWS) 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (konfiguracja aws-java-sdk) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect (pakiet narzędzi programistycznych dla Java do współpracy z AWS Direct Connect) 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr (biblioteka SDK Java dla usługi Amazon EMR) 1.12.390
com.amazonaws AWS Java SDK dla Glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws AWS-Java-SDK-ImportExport 1.12.390
com.amazonaws AWS SDK dla Javy - Kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-uczenie-maszynowe 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds (pakiet programistyczny Java dla AWS RDS) 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts (pakiet programistyczny Java dla AWS STS) 1.12.390
com.amazonaws wsparcie dla aws-java-sdk 1.12.390
com.amazonaws aws-java-sdk-swf-biblioteki 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics odtwarzać strumieniowo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core Adnotacje Jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat Jackson-format-danych-CBOR 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofeina kofeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib natywne_odniesienie-java 1.1
com.github.fommil.netlib natywne_odniesienie-java 1.1-rodzimi
com.github.fommil.netlib natywny_system java 1.1
com.github.fommil.netlib natywny_system java 1.1-rodzimi
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-rodzimi
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-rodzimi
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone adnotacje podatne na błędy 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guawa 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.WYDANIE
com.lihaoyi kodźródłowy_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK do przechowywania danych Azure Data Lake) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (biblioteka do kompresji danych) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses soczewki_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfiguracja 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
Zbiory Commons Zbiory Commons 3.2.2
commons-dbcp commons-dbcp 1.4
wspólne przesyłanie plików wspólne przesyłanie plików 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor powietrza 0.25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics adnotacja metryk 4.2.19
io.dropwizard.metrics metryki —rdzeń 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metryki-kontrole zdrowia 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metryki w formacie JSON 4.2.19
io.dropwizard.metrics metryki-JVM 4.2.19
io.dropwizard.metrics serwlety metryczne 4.2.19
io.netty netty-all 4.1.96.Final
io.netty Netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common (element wspólny) 4.1.96.Final
io.netty "netty-handler" 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty rozwiązywacz netty 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty Klasy netty-tcnative 2.0.61.Final
io.netty Netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx moduł zbierający 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
\ jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction interfejs programistyczny transakcji 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine kiszony ogórek 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake SDK do pobierania danych Snowflake 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc (niedostępne w lokalnym języku) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr szablon łańcucha 3.2.1
org.apache.ant mrówka 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant program uruchamiający Ant 1.9.16
org.apache.arrow format strzałki 12.0.1
org.apache.arrow strzałka-pamięć-rdzeń 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow wektor strzałki 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons tekst wspólny 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-pamięć 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop środowisko uruchomieniowe klienta Hadoop 3.3.6
org.apache.hive hive-beeline (narzędzie do interakcji z bazą danych Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive Klient hive-llap 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api (interfejs do przechowywania danych hive) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims harmonogram osłon/imitacji ula 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy bluszcz 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc podkładki orc-szims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus adnotacje dla odbiorców 0.13.0
org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. opiekun zwierząt 3.6.3
org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. Zookeeper jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapujący-ASL 1.9.13
org.codehaus.janino commons-kompilator 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-kontynuacja 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty-plus 9.4.52.v20230823
org.eclipse.jetty serwer pośredniczący Jetty 9.4.52.v20230823
org.eclipse.jetty moduł bezpieczeństwa Jetty 9.4.52.v20230823
org.eclipse.jetty serwer Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty-aplikacja internetowa 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-klient 9.4.52.v20230823
org.eclipse.jetty.websocket websocket —wspólne 9.4.52.v20230823
org.eclipse.jetty.websocket serwer websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-lokalizator-zasobów 1.0.3
org.glassfish.hk2.external aopalliance-zapakowane ponownie 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers serwlet kontenerowy Jersey 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core dzianina-zwykła 2.40
org.glassfish.jersey.core serwer jersey 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging (narzędzie do rejestrowania zdarzeń w JBoss) 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Podkładki 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest zgodny ze standardem scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten ThreeTen Extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
oprogramowanie.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on