Databricks Runtime 9.0 (nieobsługiwane)

  • Artykuł

Poniższe informacje o wersji zawierają informacje o środowiskach Databricks Runtime 9.0 i Databricks Runtime 9.0 Photon obsługiwanych przez platformę Apache Spark 3.1.2. Usługa Databricks opublikowała te obrazy w sierpniu 2021 roku. Photon jest w publicznej wersji zapoznawczej.

Korekta

Poprzednia wersja tych informacji o wersji niepoprawnie stwierdziła, że zależności Apache Parquet zostały uaktualnione z wersji 1.10 do 1.12. W rzeczywistości zależności Parquet pozostają w wersji 1.10. Usunięto nieprawidłową notatkę o wersji.

Nowe funkcje i ulepszenia

Nowy interfejs API do podsumowania statystyk zestawów danych (publiczna wersja zapoznawcza)

Nowe dbutils.data.summarize polecenie w narzędziu Databricks Utilities umożliwia uruchomienie zadania platformy Spark, które automatycznie oblicza statystyki podsumowania kolumn ramki danych platformy Spark, a następnie wyświetla wyniki interaktywnie. Ta funkcja jest dostępna w języku Scala i Python. Zobacz Narzędzie danych (dbutils.data).

Łatwiejsza konfiguracja zewnętrznego źródła danych dla łącznika usługi Azure Synapse

Nowa externalDataSource opcja w łączniku Query data in Azure Synapse Analytics (Wykonywanie zapytań w łączniku usługi Azure Synapse Analytics ) umożliwia użycie wstępnie aprowizowanego zewnętrznego źródła danych do odczytu z bazy danych usługi Azure Synapse. Opcja externalDataSource usuwa potrzebę wcześniejszego wymaganego CONTROL uprawnienia.

W przypadku ustawienia externalDataSourcezewnętrzne źródło danych i tempDir opcja używana do konfigurowania magazynu tymczasowego musi odwoływać się do tego samego kontenera na koncie magazynu.

Opcjonalnie ogranicz sesję do określonego czasu trwania łącznika Amazon Redshift

Nowa fs.s3a.assumed.role.session.duration opcja w narzędziu Query Amazon Redshift using Azure Databricks connector (Tworzenie zapytań w usłudze Amazon Redshift przy użyciu łącznika usługi Azure Databricks ) umożliwia opcjonalne ustawienie czasu trwania sesji, gdy usługa Redshift uzyskuje dostęp do tymczasowego zasobnika S3 z przyjętą rolą.

Moduł ładujący automatycznie

Zoptymalizowana lista plików

Optymalizacje automatycznego modułu ładującego zapewniają ulepszenia wydajności i oszczędności kosztów podczas wyświetlania katalogów zagnieżdżonych w magazynie w chmurze, w tym AWS S3, Azure Data Lake Storage Gen2 (ADLS Gen2) i Google Cloud Storage (GCS).

Jeśli na przykład pliki są przekazywane jako /some/path/YYYY/MM/DD/HH/fileName, aby znaleźć wszystkie pliki w tych katalogach, automatyczne ładowanie używane do równoległego wyświetlania listy wszystkich podkatalogów, powodując 365 (dziennie) * 24 (na godzinę) = 8760 wywołania katalogu interfejsu API LIST do magazynu bazowego dla każdego katalogu roku. Po otrzymaniu spłaszczonej odpowiedzi z tych systemów magazynowania funkcja automatycznego ładowania zmniejsza liczbę wywołań interfejsu API do liczby plików w systemie magazynu podzielonych przez liczbę wyników zwracanych przez każde wywołanie interfejsu API (1000 dla S3, 5000 dla usługi ADLS Gen2 i 1024 dla GCS), znacznie zmniejszając koszty chmury.

Zoptymalizowany magazyn danych obrazów

Funkcja automatycznego ładowania może teraz automatycznie wykrywać dane obrazów pozyskiwane i optymalizować magazyn w tabelach delty w celu zwiększenia wydajności odczytu i zapisu. Zobacz Pozyskiwanie obrazów lub danych binarnych do usługi Delta Lake dla uczenia maszynowego.

Miniatury obrazów dla plików binarnych (publiczna wersja zapoznawcza)

Obrazy w binaryFile formacie załadowanym lub zapisanym jako tabele delty przy użyciu modułu ładującego automatyczne mają dołączone adnotacje, dzięki czemu miniatury obrazu są wyświetlane podczas wyświetlania tabeli w notesie usługi Azure Databricks. Aby uzyskać więcej informacji, zobacz Obrazy.

DirectoryRename zdarzenia umożliwiają niepodzielne przetwarzanie wielu plików

Strumienie automatycznego modułu ładującego utworzone w środowisku Databricks Runtime 9.0 lub nowszym w usłudze Azure Data Lake Storage Gen2 konfigurują powiadomienia o zdarzeniach plików w celu uwzględnienia nazw katalogów i nasłuchiwania RenameDirectory zdarzeń. Możesz użyć nazw katalogów, aby wiele plików było wyświetlanych niepodzielnie do automatycznego modułu ładującego.

SQL

Wykluczanie kolumn w programie SELECT * (publiczna wersja zapoznawcza)

SELECT * Teraz obsługuje EXCEPT słowo kluczowe, które pozwala wykluczyć określone kolumny najwyższego poziomu z rozszerzenia. Na przykład SELECT * EXCEPT (b) FROM tbl z tabeli ze schematem (a, b, c) rozwija się do (a, c).

Funkcje skalarne SQL (publiczna wersja zapoznawcza)

CREATE FUNCTION teraz obsługuje funkcje skalarne SQL. Można tworzyć funkcje skalarne, które przyjmują zestaw argumentów i zwracają pojedynczą wartość typu skalarnego. Treść funkcji SQL może być dowolnym wyrażeniem. Na przykład:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Aby uzyskać szczegółowe informacje, zobacz CREATE FUNCTION (SQL i Python).

Odwołanie do powyższych aliasów i kolumn w FROM podzapytaniach (publiczna wersja zapoznawcza)

Podzapytania w FROM klauzuli zapytania mogą być teraz poprzedzone LATERAL słowem kluczowym, które umożliwia im odwoływanie się do aliasów i kolumn w poprzednich FROM elementach. Na przykład:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Słowo LATERAL kluczowe obsługuje INNERelementy , CROSSi LEFT (OUTER) JOIN.

Zobacz Parametry i parametry.

Obsługa języka R

Biblioteki języka R o zakresie notesu (publiczna wersja zapoznawcza)

Biblioteki o zakresie notesu umożliwiają instalowanie bibliotek i tworzenie środowiska w zakresie sesji notesu. Te biblioteki nie mają wpływu na inne notesy uruchomione w tym samym klastrze. Biblioteki są dostępne zarówno w węzłach sterownika, jak i procesu roboczego, dzięki czemu można odwoływać się do nich w funkcjach zdefiniowanych przez użytkownika. Zobacz Biblioteki języka R o zakresie notesu.

Komunikaty ostrzegawcze w notesach języka R

Wartość warn domyślna opcji jest teraz ustawiona na 1 wewnątrz notesów języka R. W rezultacie wszystkie ostrzeżenia są teraz widoczne jako część wyniku polecenia. Aby dowiedzieć się więcej na temat warn opcji, zobacz Opcje Ustawienia.

Unikaj ponownego tworzenia, określając stan początkowy przetwarzania stanowego przesyłania strumieniowego ze strukturą

Teraz można określić stan początkowy zdefiniowany przez użytkownika na potrzeby przetwarzania stanowego przesyłania strumieniowego ze strukturą przy użyciu [flat]MapGroupsWithState operatora .

Zobacz Określanie stanu początkowego dla mapGroupsWithState.

Implementacja funkcji DELTA MERGE INTO jest teraz dostępna (publiczna wersja zapoznawcza)

Polecenie delty MERGE INTO ma dostępną nową implementację, co zmniejsza przetasowanie niezmodyfikowanych wierszy. Poprawia to wydajność polecenia i pomaga zachować istniejące klastrowanie w tabeli, takie jak porządkowanie Z. Aby włączyć funkcję scalania niskiego mieszania, ustaw wartość spark.databricks.delta.merge.enableLowShuffletrue. Zobacz Low shuffle merge on Azure Databricks (Niska ilość operacji mieszania w usłudze Azure Databricks).

Poprawki błędów

  • Nie można już zastąpić widoku, tworząc widok o tej samej nazwie.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • certifi od 2021.5.30 do 2020.12.5
    • chardet od 3.0.4 do 4.0.0
    • Cython z 0.29.21 do 0.29.23
    • dekorator z wersji 4.4.2 do 5.0.6
    • ipython z 7.19.0 do 7.22.0
    • joblib z 0.17.0 do 1.0.1
    • klient jupyter-client z wersji 6.1.7 do 6.1.12
    • Jupyter-core z wersji 4.6.3 do 4.7.1
    • kiwisolver z 1.3.0 do 1.3.1
    • matplotlib z wersji 3.2.2 do 3.4.2
    • Biblioteka pandas z wersji 1.1.5 do 1.2.4
    • pip od 20.2.4 do 21.0.1
    • prompt-toolkit z wersji 3.0.8 do 3.0.17
    • protobuf z 3.17.3 do 3.17.2
    • ptyprocess z 0.6.0 do 0.7.0
    • pyarrow z 1.0.1 do 4.0.0
    • Pygments z 2.7.2 do 2.8.1
    • pyzmq z 19.0.2 do 20.0.0
    • żądania z wersji 2.24.0 do 2.25.1
    • s3transfer z 0.3.6 do 0.3.7
    • scikit-learn z wersji 0.23.2 do 0.24.1
    • scipy z 1.5.2 do 1.6.2
    • seaborn od 0.10.0 do 0.11.1
    • setuptools z 50.3.1 do 52.0.0
    • statsmodels z 0.12.0 do 0.12.2
    • tornado z 6.0.4 do 6.1
    • virtualenv z wersji 20.2.1 do 20.4.1
    • od 0.35.1 do 0.36.2
  • Uaktualnione biblioteki języka R:
    • Macierz z zakresu od 1.3 do 1.3-4

Apache Spark

Środowisko Databricks Runtime 9.0 obejmuje platformę Apache Spark 3.1.2. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 8.4 (nieobsługiwane), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-35886] [SQL] [3.1] Podwyższenie poziomu poziomu nie powinno zastępować genCodePromotePrecision nie powinno zastępować kodu genCode
  • [SPARK-35879] [CORE] [SHUFFLE] Naprawianie regresji wydajności spowodowanej przez funkcja collectFetchRequests
  • [SPARK-35817] [SQL] [3.1] Wydajność przywracania zapytań względem szerokich tabel Avro
  • [SPARK-35841] [SQL] Rzutowanie ciągu do typu dziesiętnego nie działa, jeśli...
  • [SPARK-35783] [SQL] Ustaw listę kolumn odczytu w konfiguracji zadania, aby zmniejszyć odczyt danych ORC
  • [SPARK-35576] [SQL] [3.1] Zredaguj poufne informacje w wyniku polecenia Ustaw
  • [SPARK-35449] [SQL] [3.1] Wyodrębnij tylko typowe wyrażenia z wartości CaseWhen, jeśli parametr elseValue został ustawiony
  • [SPARK-35288] [SQL] Funkcja StaticInvoke powinna znaleźć metodę bez dokładnego dopasowania klas argumentów
  • [SPARK-34794] [SQL] Rozwiązywanie problemów z nazwą zmiennej lambda w funkcjach zagnieżdżonych ramek danych
  • [SPARK-35278] [SQL] Wywołanie powinno znaleźć metodę z poprawną liczbą parametrów
  • [SPARK-35226] [SQL] Obsługa opcji refreshKrb5Config w źródłach danych JDBC
  • [SPARK-35244] [SQL] Wywołanie powinno zgłaszać oryginalny wyjątek
  • [SPARK-35213] [SQL] Zachowaj poprawną kolejność zagnieżdżonych struktur w operacjach w łańcuchu za pomocą operacjiField
  • [SPARK-35087] [Interfejs użytkownika] Niektóre kolumny w tabeli Zagregowane metryki według funkcji wykonawczej strony szczegółów etapu są wyświetlane niepoprawnie.
  • [SPARK-35168] [SQL] mapred.reduce.tasks powinien mieć wartość shuffle.partitions not adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [Interfejs użytkownika] Gdy przełączamy się między różnymi stronami szczegółów etapu, element wpisu na nowo otwartej stronie może być pusty
  • [SPARK-35142] [PYTHON] [ML] Naprawiono nieprawidłowy typ zwracany dla elementu rawPredictionUDF w OneVsRestModel
  • [SPARK-35096] [SQL] SchematPruning powinien być zgodny z konfiguracją spark.sql.caseSensitive
  • [SPARK-34639] [SQL] [3.1] RelalGroupedDataset.alias nie powinien tworzyć unresolvedAlias
  • [SPARK-35080] [SQL] Zezwalaj tylko na podzestaw skorelowanych predykatów równości, gdy podzapytywanie jest agregowane
  • [SPARK-35117] [Interfejs użytkownika] Zmień pasek postępu z powrotem, aby wyróżnić współczynnik zadań w toku
  • [SPARK-35136] Usuń początkową wartość null LiveStage.info
  • [SPARK-34834] [NETWORK] Naprawianie potencjalnego wycieku pamięci netty w programie TransportResponseHandler
  • [SPARK-35045] [SQL] Dodawanie opcji wewnętrznej w celu kontrolowania buforu wejściowego w jednowołości
  • [SPARK-35014] Naprawiono wzorzec physicalAggregation, aby nie przepisać wyrażeń składanych
  • [SPARK-35019] [PYTHON] [SQL] Poprawiono niezgodność wskazówek dotyczących typów w pliku pyspark.sql.*
  • [SPARK-34926] [SQL] [3.1] PartitioningUtils.getPathFragment() powinna uwzględniać wartość partycji ma wartość null
  • [SPARK-34630] [PYTHON] Dodaj typehint dla pyspark.Wersja
  • [SPARK-34963] [SQL] Naprawiono zagnieżdżone oczyszczanie kolumn w celu wyodrębnienia pola struktury bez uwzględniania wielkości liter z tablicy struktury
  • [SPARK-34988] [CORE] [3.1] Uaktualnianie rozwiązania Jetty dla CVE-2021-28165
  • [SPARK-34922] [SQL] [3.1] Użyj funkcji porównywania kosztów względnych w CBO
  • [SPARK-34970] [SQL] [ZABEZPIECZENIA] [3.1] Opcje redact map-type w danych wyjściowych explain()
  • [SPARK-34923] [SQL] Dane wyjściowe metadanych powinny być puste dla większej liczby planów
  • [SPARK-34949] [CORE] Zapobiegaj ponownemu rejestrowaniu elementu BlockManager podczas zamykania funkcji wykonawczej
  • [SPARK-34939] [CORE] Zgłaszanie wyjątku niepowodzenia pobierania, gdy nie można wykonać deserializacji rozgłaszanych stanów map
  • [SPARK-34909] [SQL] Naprawianie konwersji ujemnej na niepodpisane w konwoju()
  • [SPARK-34845] [CORE] Narzędzie ProcfsMetricsGetter nie powinno zwracać częściowych metryk procfs
  • [SPARK-34814] [SQL] LikeSimplification powinna obsługiwać wartość NULL
  • [SPARK-34876] [SQL] Wypełnij wartość defaultResult agregacji niezwiązanych z wartościami null
  • [SPARK-34829] [SQL] Poprawianie wyników funkcji wyższej kolejności
  • [SPARK-34840] [SHUFFLE] Naprawia przypadki uszkodzenia w scalonych mieszania ...
  • [SPARK-34833] [SQL] Poprawnie zastosuj dopełnianie po prawej stronie dla skorelowanych podzapytania
  • [SPARK-34630] [PYTHON] [SQL] Dodano parametr typehint dla pliku pyspark.sql.Column.contains
  • [SPARK-34763] [SQL] col(), $"name" i df("name") powinny prawidłowo obsługiwać cytowane nazwy kolumn
  • [SPARK-33482][SPARK-34756] [SQL] Naprawianie sprawdzania równości FileScan
  • [SPARK-34790] [CORE] Wyłącz pobieranie bloków mieszania w partii po włączeniu szyfrowania we/wy
  • [SPARK-34803] [PYSPARK] Przekaż zgłoszony błąd ImportError, jeśli nie można zaimportować biblioteki pandas lub pyarrow
  • [SPARK-34225] [CORE] Nie koduj dalej, gdy ciąg formularza identyfikatora URI jest przekazywany do polecenia addFile lub addJar
  • [SPARK-34811] [CORE] Redact fs.s3a.access.key, na przykład wpis tajny i token
  • [SPARK-34796] [SQL] [3.1] Inicjowanie zmiennej licznika dla kodu LIMIT w doProduce()
  • [SPARK-34128] [SQL] Pomijanie niepożądanych ostrzeżeń TTransportException związanych z THRIFT-4805
  • [SPARK-34776] [SQL] Zagnieżdżone oczyszczanie kolumn nie powinno przycinać atrybutów wygenerowanych przez okno
  • [SPARK-34087] [3.1] [SQL] Naprawianie przecieku pamięci elementu ExecutionListenerBus
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords powinien używać modułu ładującego spark zamiast kontekstu
  • [SPARK-34719] [SQL] [3.1] Poprawnie rozpoznaj zapytanie widoku z zduplikowanymi nazwami kolumn
  • [SPARK-34766] [SQL] [3.1] Nie przechwytuj konfiguracji maven dla widoków
  • [SPARK-34731] [CORE] Unikaj elementu ConcurrentModificationException podczas redagowania właściwości w elemecie EventLoggingListener
  • [SPARK-34737] [SQL] [3.1] Rzutowanie wejściowe zmiennoprzecinkowe do podwójnej TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL] [3.1] Uprość resolveCreateNamedStruct
  • [SPARK-34768] [SQL] Uwzględnianie domyślnego rozmiaru buforu wejściowego w univocity
  • [SPARK-34770] [SQL] Element InMemoryCatalog.tableExists nie powinien zakończyć się niepowodzeniem, jeśli baza danych nie istnieje
  • [SPARK-34504] [SQL] Unikaj niepotrzebnego rozpoznawania widoków tymczasowych SQL dla poleceń DDL
  • [SPARK-34727] [SQL] Naprawianie rozbieżności w odlewaniu zmiennoprzecinkowym do znacznika czasu
  • [SPARK-34723] [SQL] Poprawny typ parametru dla eliminacji podrażenia na całym etapie
  • [SPARK-34724] [SQL] Naprawa interpretowanej oceny przy użyciu metody getMethod zamiast getDeclaredMethod
  • [SPARK-34713] [SQL] Naprawianie grupowania według metody CreateStruct za pomocą funkcji ExtractValue
  • [SPARK-34697] [SQL] Zezwalaj na objaśnienie funkcji DESCRIBE i SHOW FUNCTIONS o || (operator łączenia ciągów)
  • [SPARK-34682] [SQL] Użyj elementu PrivateMethodTester zamiast odbicia
  • [SPARK-34682] [SQL] Naprawianie regresji w ewidencjonowaniu błędu kanonicznego w poleceniu CustomShuffleReaderExec
  • [SPARK-34681] [SQL] Usunięto usterkę dotyczącą pełnego sprzężenia skrótu mieszania zewnętrznego podczas kompilowania po lewej stronie z nieprzyzwoisnym warunkiem
  • [SPARK-34545] [SQL] Rozwiązywanie problemów z funkcją valueCompare pirolite
  • [SPARK-34607] [SQL] [3.1] Dodaj Utils.isMemberClass , aby naprawić źle sformułowany błąd nazwy klasy w jdk8u
  • [SPARK-34596] [SQL] Użyj polecenia Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w pliku NewInstance.doGenCode
  • [SPARK-34613] [SQL] Poprawka widoku nie przechwytuje konfiguracji wskazówek wyłączania
  • [SPARK-32924] [WEBUI] Ustaw kolumnę czasu trwania w posortowanej w interfejsie użytkownika głównego w prawidłowej kolejności
  • [SPARK-34482] [SS] Popraw aktywną funkcję SparkSession dla elementu StreamExecution.logicalPlan
  • [SPARK-34567] [SQL] CreateTableAsSelect również powinna aktualizować metryki
  • [SPARK-34599] [SQL] Rozwiązano problem polegający na tym, że funkcja INSERT INTO OVERWRITE nie obsługuje kolumn partycji zawierających kropkę dla DSv2
  • [SPARK-34577] [SQL] Naprawianie upuszczania/dodawania kolumn do zestawu danych DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] Partycja statyczna powinna również być zgodna z zasadami StoreAssignmentPolicy podczas wstawiania do tabel w wersji 2
  • [SPARK-34555] [SQL] Rozwiązywanie problemów z danymi wyjściowymi metadanych z ramki danych
  • [SPARK-34534] Naprawianie kolejności blockIds podczas pobierania bloków za pomocą polecenia FetchShuffleBlocks
  • [SPARK-34547] [SQL] Użyj tylko kolumn metadanych do rozwiązania w ostateczności
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap kończy się niepowodzeniem dla nazwy kolumny o kropki
  • [SPARK-34561] [SQL] Naprawianie upuszczania/dodawania kolumn z/do zestawu danych w wersji 2 DESCRIBE TABLE
  • [SPARK-34556] [SQL] Sprawdzanie zduplikowanych kolumn partycji statycznych powinno uwzględniać uwzględnianie wielkości liter
  • [SPARK-34392] [SQL] Obsługa elementu ZoneOffset +h:mm w narzędziu DateTimeUtils. getZoneId
  • [SPARK-34550] [SQL] Pomiń wartość null InSet podczas filtrowania wypychania do magazynu metadanych Hive
  • [SPARK-34543] [SQL] Uwzględnianie spark.sql.caseSensitive konfiguracji podczas rozpoznawania specyfikacji partycji w wersji 1 SET LOCATION
  • [SPARK-34436] [SQL] Obsługa funkcji DPP LIKE ANY/ALL
  • [SPARK-34531] [CORE] Usuwanie tagu eksperymentalnego interfejsu API w usłudze PrometheusServlet
  • [SPARK-34497] [SQL] Naprawianie wbudowanych dostawców połączeń JDBC w celu przywrócenia zmian kontekstu zabezpieczeń JVM
  • [SPARK-34515] [SQL] Naprawianie elementu NPE, jeśli zestaw inset zawiera wartość null podczas polecenia getPartitionsByFilter
  • [SPARK-34490] [SQL] Analiza powinna zakończyć się niepowodzeniem, jeśli widok odwołuje się do usuniętej tabeli
  • [SPARK-34473] [SQL] Unikaj elementu NPE w elemecie DataFrameReader.schema(StructType)
  • [SPARK-34384] [CORE] Dodawanie brakujących dokumentów dla interfejsów API usługi ResourceProfile
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext może zawieszać się z problemem wyścigu
  • [SPARK-20977] [CORE] Użyj pola innego niż końcowego dla stanu KolekcjiAccumulator
  • [SPARK-34421] [SQL] Rozpoznawanie funkcji tymczasowych i widoków w widokach przy użyciu obiektów CTE
  • [SPARK-34431] [CORE] Załaduj hive-site.xml tylko raz
  • [SPARK-34405] [CORE] Poprawiono średnią wartość timersLabels w klasie PrometheusServlet
  • [SPARK-33438] [SQL] Chętnie inicjowanie obiektów ze zdefiniowanymi rozszerzeniami SQL Confs dla polecenia set -v
  • [SPARK-34158] Nieprawidłowy adres URL jedynego programu Developer Matei w pliku pom.xml
  • [SPARK-34346] [CORE] [SQL] [3.1] Plik io.file.buffer.size ustawiony przez spark.buffer.size zastąpi, ładując przypadkowo hive-site.xml, może spowodować regresję wydajności
  • [SPARK-34359] [SQL] [3.1] Dodaj starszą konfigurację, aby przywrócić schemat wyjściowy SHOW DATABASES
  • [SPARK-34331] [SQL] Przyspieszanie rozwiązywania kolumn metadanych DS w wersji 2
  • [SPARK-34318] [SQL] [3.1] Zestaw.colRegex powinien pracować z nazwami kolumn i kwalifikatorami zawierającymi nowe linie
  • [SPARK-34326] [CORE] [SQL] Poprawiono liczbę UTS dodaną na platformie SPARK-31793 w zależności od długości ścieżki tymczasowej
  • [SPARK-34319] [SQL] Rozpoznawanie zduplikowanych atrybutów flatMapCoGroupsInPandas/MapInPandas
  • [SPARK-34310] [CORE] [SQL] Zamienia mapę i spłaszcza na flatMap
  • [SPARK-34083] [SQL] [3.1] Używanie oryginalnych definicji TPCDS dla współlumsów char/varchar
  • [SPARK-34233] [SQL] [3.1] FIX NPE for char padding in binary comparison
  • [SPARK-34270] [SS] Łączenie statestoremetrics nie powinno zastąpić StateStoreCustomMetric
  • [SPARK-34144] [SQL] Wyjątek zgłaszany podczas próby zapisania wartości LocalDate i Instant w relacji JDBC
  • [SPARK-34273] [CORE] Nie wyrejestruj elementu BlockManager po zatrzymaniu elementu SparkContext
  • [SPARK-34262] [SQL] [3.1] Odśwież buforowane dane tabeli w wersji 1 w ALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE] [SQL] [MLLIB] Zamienia filtr i rozmiar na liczbę
  • [SPARK-34260] [SQL] Naprawianie błędu UnresolvedException podczas dwukrotnego tworzenia widoku tymczasowego
  • [SPARK-33867] [SQL] Wartości Instant i LocalDate nie są obsługiwane podczas generowania zapytań SQL
  • [SPARK-34193] [CORE] TorrentBroadcast block manager likwidacji poprawki wyścigu
  • [SPARK-34221] [WEBUI] Upewnij się, że etap nie powiedzie się na stronie interfejsu użytkownika, odpowiedni komunikat o błędzie może być wyświetlany poprawnie
  • [SPARK-34236] [SQL] Rozwiązaliśmy problem z zastąpieniem partycji statycznej w/null. Nie można przetłumaczyć wyrażenia na filtr źródłowy: null
  • [SPARK-34212] [SQL] Naprawianie niepoprawnego odczytu dziesiętnego z plików Parquet
  • [SPARK-34244] [SQL] Usuwanie wersji funkcji Scala regexp_extract_all
  • [SPARK-34235] [SS] Tworzenie pliku spark.sql.hive jako pakietu prywatnego
  • [SPARK-34232] [CORE] Zdarzenie Redact SparkListenerEnvironmentUpdate w dzienniku
  • [SPARK-34229] [SQL] Avro powinna odczytywać wartości dziesiętne ze schematem pliku
  • [SPARK-34223] [SQL] FIX NPE dla partycji statycznej z wartością null w insertIntoHadoopFsRelationCommand
  • [SPARK-34192] [SQL] Przenieś wypełnienie znaków na stronę zapisu i usuń sprawdzanie długości po stronie odczytu też
  • [SPARK-34203] [SQL] Konwertowanie null wartości partycji na __HIVE_DEFAULT_PARTITION__ w katalogu w wersji 1 In-Memory
  • [SPARK-33726] [SQL] Poprawka dotycząca zduplikowanych nazw pól podczas agregacji
  • [SPARK-34133] [AVRO] Uwzględnianie wielkości liter podczas dopasowywania pola Katalizator do Avro
  • [SPARK-34187] [SS] Użyj dostępnego zakresu przesunięcia uzyskanego podczas sondowania podczas sprawdzania poprawności przesunięcia
  • [SPARK-34052] [SQL] [3.1] zapisz tekst SQL dla widoku tymczasowego utworzonego przy użyciu polecenia "CACHE TABLE . AS SELECT ..."
  • [SPARK-34213] [SQL] Odśwież buforowane dane tabeli w wersji 1 w LOAD DATA
  • [SPARK-34191] [PYTHON] [SQL] Dodawanie wpisywania dla przeciążenia funkcji udf
  • [SPARK-34200] [SQL] Niejednoznaczne odwołanie do kolumny powinno uwzględniać dostępność atrybutów
  • [SPARK-33813] [SQL] [3.1] Rozwiązano problem polegający na tym, że źródło JDBC nie może traktować typów przestrzennych programu MS SQL Server
  • [SPARK-34178] [SQL] Kopiowanie tagów dla nowego węzła utworzonego przez multiInstanceRelation.newInstance
  • [SPARK-34005] [CORE] [3.1] Aktualizowanie metryk pamięci szczytowej dla każdego wykonawcy na końcu zadania
  • [SPARK-34115] [CORE] Sprawdź SPARK_TESTING jako leniwą val, aby uniknąć spowolnienia
  • [SPARK-34153] [SQL] [3.1] [3.0] Usuń nieużywane getRawTable() z HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] Impove preformace for char varchar padding and length check with StaticInvoke
  • [SPARK-34027] [SQL] [3.1] Odśwież pamięć podręczną w ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] Zamienia na java.io.File.toURLjava.io.File.toURI.toURL
  • [SPARK-34140] [SQL] [3.1] Move QueryCompilationErrors.scala to org/apache/spark/sql/errors
  • [SPARK-34080] [ML] [PYTHON] Dodawanie elementu UnivariateFeatureSelector
  • [SPARK-33790] [CORE] [3.1] Zmniejsz wywołanie rpc getFileStatus w singleFileEventLogFileReader
  • [SPARK-34118] [CORE] [SQL] [3.1] Zastępuje filtr i sprawdza, czy pustka istnieje, czy forall
  • [SPARK-34114] [SQL] nie powinien przycinać prawa do sprawdzania długości znaków po stronie odczytu i wypełnienia
  • [SPARK-34086] [SQL] [3.1] Funkcja RaiseError generuje zbyt dużo kodu i może zakończyć się niepowodzeniem podczas sprawdzania długości sprawdzania wartości char varchar
  • [SPARK-34075] [SQL] [CORE] Ukryte katalogi są wyświetlane na potrzeby wnioskowania partycji
  • [SPARK-34076] [SQL] Tabela SQLContext.dropTempTable kończy się niepowodzeniem, jeśli pamięć podręczna nie jest pusta
  • [SPARK-34084] [SQL] [3.1] Naprawianie automatycznego aktualizowania statystyk tabeli w ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] Cache HadoopDelegationTokenManager.isServiceEnabled wynik używany w narzędziu KafkaTokenUtil.needTokenUpdate
  • [SPARK-34069] [CORE] Zadania bariery zabijania powinny uwzględniać SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] Pobieranie partii shuffle powinno być w stanie wyłączyć po włączeniu
  • [SPARK-34059] [SQL] [CORE] [3.1] Użyj polecenia for/foreach, a nie mapuj, aby upewnić się, że wykonuje go chętnie
  • [SPARK-34002] [SQL] Naprawianie użycia kodera w funkcji ScalaUDF
  • [SPARK-34060] [SQL] [3.1] Naprawianie buforowania tabeli Programu Hive podczas aktualizowania statystyk według ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Naprawianie nieprawidłowej metryki rozlania pamięci podczas wykonywania agregacji
  • [SPARK-33591] [SQL] [3.1] Rozpoznawanie null wartości specyfikacji partycji
  • [SPARK-34055] [SQL] [3.1] Odśwież pamięć podręczną w ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL] [3.1] Funkcja ReplaceTable powinna unieważnić pamięć podręczną
  • [SPARK-34003] [SQL] Rozwiązywanie konfliktów reguł między paddingAndLengthCheckForCharVarchar i ResolveAggregateFunctions
  • [SPARK-33938] [SQL] [3.1] Optymalizowanie jak dowolne/wszystkie według likeSimplification
  • [SPARK-34021] [R] Naprawianie hiperlinków w dokumentacji aparatu SparkR na potrzeby przesyłania sieci CRAN
  • [SPARK-34011] [SQL] [3.1] [3.0] Odśwież pamięć podręczną w ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] Naprawiono błąd CodeGen metody MapObjects.doGenCode w języku Scala 2.13
  • [SPARK-33635] [SS] Dostosowywanie kolejności ewidencjonowania w narzędziu KafkaTokenUtil.needTokenUpdate w celu rozwiązania problemu regresji wydajności
  • [SPARK-33029] [CORE] [WEBUI] Napraw stronę funkcji wykonawczej interfejsu użytkownika niepoprawnie oznaczającą sterownik jako wykluczony
  • [SPARK-34015] [R] Naprawianie chronometrażu danych wejściowych w aplikacji gapply
  • [SPARK-34012] [SQL] Zachowaj spójność zachowania, gdy conf spark.sql.legacy.parser.havingWithoutGroupByAsWhere jest prawdziwy, korzystając z przewodnika po migracji
  • [SPARK-33844] [SQL] [3.1] Polecenie InsertIntoHiveDir powinno również sprawdzić nazwę kolumny
  • [SPARK-33935] [SQL] Naprawianie funkcji kosztu CBO
  • [SPARK-33100] [SQL] Ignoruj średnik wewnątrz komentarza w nawiasie w języku spark-sql
  • [SPARK-34000] [CORE] Naprawiono element stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
  • [SPARK-33992] [SQL] zastąpić transformUpWithNewOutput, aby dodać allowInvokingTransformsInAnalyzer
  • [SPARK-33894] [SQL] Zmienianie widoczności klas przypadków prywatnych w mllib, aby uniknąć błędów kompilacji środowiska uruchomieniowego w języku Scala 2.13
  • [SPARK-33950] [SQL] [3.1] [3.0] Odśwież pamięć podręczną w wersji 1 ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] Unieważnianie znaku/varchar w pliku spark.readStream.schema
  • [SPARK-33945] [SQL] [3.1] Obsługuje losowe inicjatory składające się z drzewa eksplorowania
  • [SPARK-33398] Naprawianie ładowania modeli drzewa przed platformą Spark 3.0
  • [SPARK-33963] [SQL] Statystyka tabeli w/o canonicalize HiveTableRelation
  • [SPARK-33906] [WEBUI] Naprawiono usterkę strony funkcji wykonawczej interfejsu użytkownika zablokowaną z powodu niezdefiniowanego szczytowego elementu PeakMemoryMetrics
  • [SPARK-33944] [SQL] Nieprawidłowe rejestrowanie kluczy magazynu w opcjach SharedState
  • [SPARK-33936] [SQL] [3.1] Dodawanie wersji po dodaniu interfejsów łącznika
  • [SPARK-33916] [CORE] Naprawianie przesunięcia rezerwowego magazynu i poprawianie pokrycia testowego kodera-dekodera kompresji
  • [SPARK-33899] [SQL] [3.1] Naprawianie błędu asercji w wersji 1 SHOW TABLES/VIEWS na spark_catalog
  • [SPARK-33901] [SQL] Naprawianie błędów wyświetlania znaków i varchar po listach DDLs
  • [SPARK-33897] [SQL] Nie można ustawić opcji "cross" w metodzie sprzężenia
  • [SPARK-33907] [SQL] [3.1] Czyścić tylko kolumny JsonToStructs, jeśli opcje analizowania są puste
  • [SPARK-33621][SPARK-33784] [SQL] [3.1] Dodawanie sposobu wstrzykiwania reguł ponownego zapisywania źródła danych
  • [SPARK-33900] [WEBUI] Pokaż poprawnie rozmiar odczytu/rekordy, gdy dostępny jest tylko parametr remotebytesread
  • [SPARK-33892] [SQL] Wyświetlanie wartości char/varchar w DESC i SHOW CREATE TABLE
  • [SPARK-33895] [SQL] Char i Varchar kończą się niepowodzeniem w metaoperacji thriftServer
  • [SPARK-33659] [SS] Dokumentowanie bieżącego zachowania interfejsu API DataStreamWriter.toTable
  • [SPARK-33893] [CORE] Wykluczanie menedżera bloków rezerwowych z funkcji wykonawczejList
  • [SPARK-33277] [PYSPARK] [SQL] Użyj elementu ContextAwareIterator, aby przestać korzystać po zakończeniu zadania
  • [SPARK-33889] [SQL] [3.1] Naprawianie serwera NPE z SHOW PARTITIONS tabel w wersji 2
  • [SPARK-33879] [SQL] Wartości Char Varchar kończą się niepowodzeniem w/ błędem dopasowania jako kolumny partycji
  • [SPARK-33877] [SQL] Dokumenty referencyjne SQL dla funkcji INSERT w/ listy kolumn
  • [SPARK-33876] [SQL] Dodawanie sprawdzania długości do odczytywania znaków/varchar z tabel w/ lokalizacji zewnętrznej
  • [SPARK-33846] [SQL] Dołączanie komentarzy do zagnieżdżonego schematu w StructType.toDDL
  • [SPARK-33860] [SQL] Make CatalystTypeConverters.convertToCatalyst dopasowuje specjalną wartość tablicy
  • [SPARK-33834] [SQL] Weryfikowanie KOLUMNY ALTER TABLE CHANGE przy użyciu znaków i Varchar
  • [SPARK-33853] [SQL] FUNKCJA EXPLAIN CODEGEN i BenchmarkQueryTest nie wyświetlają kodu podzapytania
  • [SPARK-33836] [SS] [PYTHON] Uwidaczniaj element DataStreamReader.table i DataStreamWriter.toTable
  • [SPARK-33829] [SQL] [3.1] Zmiana nazwy tabel w wersji 2 powinna ponownie utworzyć pamięć podręczną
  • [SPARK-33756] [SQL] Make BytesToBytesMap's MapIterator idempotentny
  • [SPARK-33850] [SQL] FUNKCJA EXPLAIN FORMATTED nie wyświetla planu dla podzapytania, jeśli włączono funkcję AQE
  • [SPARK-33841] [CORE] [3.1] Rozwiązano problem z zadaniami, które znikają sporadycznie z usługi SHS pod dużym obciążeniem
  • [SPARK-33593] [SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
  • [SPARK-26341] [WEBUI] Uwidacznianie metryk pamięci funkcji wykonawczej na poziomie etapu na karcie Etapy
  • [SPARK-33831] [Interfejs użytkownika] Aktualizacja do jetty 9.4.34
  • [SPARK-33822] [SQL] Używanie metody w metodzie CastSupport.cast HashJoin
  • [SPARK-33774] [Interfejs użytkownika] [CORE] Powrót do wzorca" zwraca błąd 500 w klastrze autonomicznym
  • [SPARK-26199][SPARK-31517] [R] Poprawka strategii obsługi ... nazwy w mutacji
  • [SPARK-33819] [CORE] [3.1] Element SingleFileEventLogFileReader/RollingEventLogFilesFileReader powinien mieć wartość package private
  • [SPARK-33697] [SQL] Funkcja RemoveRedundantProjects powinna wymagać domyślnie porządkowania kolumn
  • [SPARK-33752] [SQL] [3.1] Unikaj wielokrotnie dodawania średnika getSimpleMessage of AnalysisException
  • [SPARK-33788] [SQL] [3.1] [3.0] [2.4] Throw NoSuchPartitionsException from HiveExternalCatalog.dropPartitions()
  • [SPARK-33803] [SQL] Sortowanie właściwości tabeli według klucza w poleceniu DESCRIBE TABLE
  • [SPARK-33786] [SQL] Poziom magazynowania pamięci podręcznej powinien być przestrzegany, gdy nazwa tabeli zostanie zmieniona
  • [SPARK-33273] [SQL] Naprawianie stanu wyścigu w wykonaniu podzapytania
  • [SPARK-33653] [SQL] [3.1] DSv2: TABELA REFRESH powinna ponowniecacheć samą tabelę
  • [SPARK-33777] [SQL] Sortowanie danych wyjściowych w wersji 2 SHOW PARTITIONS
  • [SPARK-33733] [SQL] PullOutNondeterministic powinna sprawdzać i zbierać pole deterministyczne
  • [SPARK-33764] [SS] Konfigurowanie interwału konserwacji magazynu stanów jako konfiguracji SQL
  • [SPARK-33729] [SQL] Podczas odświeżania pamięci podręcznej platforma Spark nie powinna używać buforowanego planu podczas odzyskiwania danych
  • [SPARK-33742] [SQL] [3.1] Throw PartitionsAlreadyExistException from HiveExternalCatalog.createPartitions()
  • [SPARK-33706] [SQL] Wymagaj w pełni określonego identyfikatora partycji w partycjiExists()
  • [SPARK-33740] [SQL] hadoop configs in hive-site.xml can overrides pre-existing hadoop configs in hive-site.xml can overrides pre-existing hadoop ones
  • [SPARK-33692] [SQL] Widok powinien używać przechwyconego wykazu i przestrzeni nazw do wyszukiwania funkcji
  • [SPARK-33669] Nieprawidłowy komunikat o błędzie z monitora stanu aplikacji usługi YARN, gdy sc.stop w trybie klienta yarn
  • [SPARK-32110] [SQL] normalizacja specjalnych liczb zmiennoprzecinkowych w funkcji HyperLogLog++
  • [SPARK-33677] [SQL] Pomiń regułę LikeSimplification, jeśli wzorzec zawiera jakikolwiek element escapeChar
  • [SPARK-33693] [SQL] przestarzałe spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL] Unieważnianie nowych typów char/varchar w publicznych interfejsach API, które generują nieprawidłowe wyniki
  • [SPARK-32680] [SQL] Nie przetwarzaj wstępnie 2 CTAS z nierozwiązanym zapytaniem
  • [SPARK-33676] [SQL] Wymagaj dokładnego dopasowania specyfikacji partycji do schematu w wersji 2 ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] Sprawdź, czy dostawca partycji jest hive w wersji 1 SHOW TABLE EXTENDED
  • [SPARK-33663] [SQL] Anulowanie nie powinno być wywoływane w przypadku nieistniejących widoków tymczasowych
  • [SPARK-33667] [SQL] Uwzględnianie spark.sql.caseSensitive konfiguracji podczas rozpoznawania specyfikacji partycji w wersji 1 SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: DeleteFrom powinien odświeżyć pamięć podręczną

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 9.0.

Środowisko systemu

  • System operacyjny: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Usługa Delta Lake 1.0.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
Antergos Linux 2015.10 (rolling ISO) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 Cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekorator 5.0.6 distlib 0.3.2
dystrybucja informacji 0.23ubuntu1 aspekty — omówienie 1.0.0 filelock 3.0.12
Idna 2.10 ipykernel 5.3.4 Ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 Koale 1.8.1 matplotlib 3.4.2
Numpy 1.19.2 Pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Poduszkę 8.2.0 Pip 21.0.1 kreślenie 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
żądania 2.25.1 requests-unixsocket 0.2.0 Ponawianie 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
seaborn 0.11.1 setuptools 52.0.0 Sześć 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
Tornado 6.1 traitlety 5.0.5 nienadzorowane uaktualnienia 0.1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
Koła 0.36.2

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2021-07-28.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 Backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bitowe 4.0.4 bit64 4.0.5 blob 1.2.1
rozruch 1.3-28 Napar 1.0-6 Brio 1.1.0
Miotła 0.7.2 obiekt wywołujący 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 Kolorów 2.0-0 commonmark 1,7
— kompilator 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 Pastel 1.3.4 poświadczenia 1.3.0
Crosstalk 1.1.0.1 Curl 4.3 data.table 1.13.4
usługi Power BI 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
Szyfrowane 0.6.27 dplyr 1.0.2 DT 0.16
wielokropek 0.3.1 evaluate 0,14 fani 0.4.1
farver 2.0.3 szybka mapa 1.0.1 forcats 0.5.0
foreach 1.5.1 Zagranicznych 0.8-81 Forge 0.2.0
Fs 1.5.0 Przyszłości 1.21.0 Generyczne 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
Kleju 1.4.2 Gower 0.2.2 grafika 4.1.0
grDevices 4.1.0 Siatki 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 Haven 2.3.1
wysoki 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iteratory 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1,30
Etykietowania 0.4.2 Później 1.1.0.1 Kraty 0.20-44
Lawy 1.6.8.1 opóźnienie 0.2.2 cykl życia 0.2.0
nasłuchiwanie 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 MASSACHUSETTS 7.3-54 Matryca 1.3-4
zapamiętywanie 1.1.0 metody 4.1.0 mgcv 1.8-36
Mime 0,9 Metryki modelu 1.2.2.2 modeler 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
równolegle 1.22.0 Filar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 Pochwały 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Postęp 1.2.2 Obietnice 1.1.1 Proto 1.0.0
Ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 przepisy 0.1.15
Rewanżu 1.0.1 rewanż2 2.1.2 Piloty 2.2.0
reprex 0.3.0 zmień kształt2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions (rversions) 2.0.2 rvest 0.3.6 Skale 1.1.1
selektor 0.4-2 sessioninfo 1.1.1 Kształt 1.4.5
Błyszczące 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 Przestrzennej 7.3-11 Splajnów 4.1.0
sqldf 0.4-11 KWADRAT 2020.5 Statystyki 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
Przetrwanie 3.2-11 sys 3.4 tcltk 4.1.0
NauczanieDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 narzędzia 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 wąs 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 Yaml 2.2.1 Zip 2.1.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-klej 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Kolega 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofeina Kofeiny 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolektor 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
drzewa maven hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 2.0.0
org.apache.arrow strzałka-pamięć-rdzeń 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow wektor strzałki 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive podkładki hive 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Bluszcz 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc podkładki orc-shim 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet kodowanie parquet 1.10.1-databricks9
org.apache.parquet format parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-cieniowany 4.15
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-kontynuacja 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Podkładki 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark Nieużywane 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten trzydostępne dodatkowe 1.5.0
org.tukaani Xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52