Aktualizacje konserwacji środowiska Databricks Runtime

W tym artykule wymieniono aktualizacje konserwacji dla obsługiwanych wersji środowiska Databricks Runtime. Aby dodać aktualizację konserwacji do istniejącego klastra, uruchom ponownie klaster. Aby uzyskać informacje o aktualizacjach konserwacji w nieobsługiwanych wersjach środowiska Databricks Runtime, zobacz Aktualizacje konserwacji środowiska Databricks Runtime (zarchiwizowane).

Uwaga

Wydania są etapowe. Twoje konto usługi Azure Databricks może nie zostać zaktualizowane przez kilka dni po początkowej dacie wydania.

Wersje środowiska Databricks Runtime

Aktualizacje konserwacji według wydania:

• Databricks Runtime 15.0
• Databricks Runtime 14.3
• Databricks Runtime 14.2
• Databricks Runtime 14.1
• Databricks Runtime 13.3 LTS
• Databricks Runtime 12.2 LTS
• Databricks Runtime 11.3 LTS
• Databricks Runtime 10.4 LTS
• Databricks Runtime 9.1 LTS

Databricks Runtime 15.0

Zobacz Databricks Runtime 15.0.

• 3 kwietnia 2024 r.
  • (Zmiana zachowania) Aby zapewnić spójne zachowanie w różnych typach obliczeniowych, funkcje zdefiniowane przez użytkownika PySpark w udostępnionych klastrach są teraz zgodne z zachowaniem funkcji zdefiniowanych przez użytkownika w klastrach bez izolacji i przypisanych. Ta aktualizacja obejmuje następujące zmiany, które mogą spowodować przerwanie istniejącego kodu:
    • Funkcje zdefiniowane przez użytkownika z typem zwracanym string nie są już niejawnie konwertowane na string wartości innestring niż wartości. Wcześniej funkcje zdefiniowane przez użytkownika z zwracanym typem str obiektu zawijają wartość zwracaną str() za pomocą funkcji niezależnie od rzeczywistego typu danych zwracanej wartości.
    • Funkcje zdefiniowane przez użytkownika z typami timestamp zwracanymi nie są już niejawnie stosowane do konwersji za timestamp pomocą timezonepolecenia .
    • Konfiguracje klastra spark.databricks.sql.externalUDF.* Spark nie mają już zastosowania do funkcji zdefiniowanej przez użytkownika PySpark w udostępnionych klastrach.
    • Konfiguracja spark.databricks.safespark.externalUDF.plan.limit klastra Spark nie ma już wpływu na funkcje zdefiniowane przez użytkownika PySpark, usuwając ograniczenie publicznej wersji zapoznawczej 5 funkcji zdefiniowanych przez użytkownika na zapytanie dotyczące funkcji zdefiniowanych przez użytkownika PySpark.
    • Konfiguracja spark.databricks.safespark.sandbox.size.default.mib klastra Spark nie ma już zastosowania do funkcji zdefiniowanej przez użytkownika PySpark w udostępnionych klastrach. Zamiast tego jest używana dostępna pamięć w systemie. Aby ograniczyć pamięć funkcji zdefiniowanych przez użytkownika PySpark, należy użyć z spark.databricks.pyspark.udf.isolation.memoryLimit minimalną wartością 100m.
  • Typ TimestampNTZ danych jest teraz obsługiwany jako kolumna klastrowania z klastrowaniem płynnym. Zobacz Użyj płynnego klastrowania dla tabel typu Delta).
  • [SPARK-47218][SQL] XML: Ignoruj skomentowane tagi wierszy w tokenizatorze XML
  • [SPARK-46990][SQL] Naprawianie ładowania pustych plików Avro emitowanych przez centra zdarzeń
  • [SPARK-47033][SQL] Poprawka EXECUTE IMMEDIATE USING nie rozpoznaje nazw zmiennych sesji
  • [SPARK-47368][SQL] Usuń sprawdzanie konfiguracji inferTimestampNTZ w pliku ParquetRowConverter
  • [SPARK-47561][SQL] Rozwiązywanie problemów z kolejnością reguł analizatora dotyczących aliasu
  • [SPARK-47638][PS] [CONNECT] Pomiń walidację nazwy kolumny w programie PS
  • [BACKPORT] [[SPARK-46906]]https://issues.apache.org/jira/browse/SPARK-46906) [SS] Dodawanie sprawdzania zmiany operatora stanowego dla przesyłania strumieniowego
  • [SPARK-47569][SQL] Nie zezwalaj na porównywanie wariantu.
  • [SPARK-47241][SQL] Rozwiązywanie problemów z kolejnością reguł dla elementu ExtractGenerator
  • [SPARK-47218] [SQL] XML: Zmieniono polecenie SchemaOfXml, aby nie powiodło się w trybie DROPMALFORMED
  • [SPARK-47300][SQL] quoteIfNeeded identyfikator cudzysłowu rozpoczyna się od cyfr
  • [SPARK-47009][SQL] [Sortowanie] Włączanie obsługi tabel tworzenia na potrzeby sortowania
  • [SPARK-47322][PYTHON] [CONNECT] Upewnij się, że obsługa withColumnsRenamed duplikacji nazw kolumn jest spójna z withColumnRenamed
  • [SPARK-47544][PYTHON] Metoda konstruktora SparkSession jest niezgodna z funkcją IntelliSense kodu visual studio
  • [SPARK-47511][SQL] Canonicalize With expressions by re-assigning IDs
  • [SPARK-47385] Napraw kodery krotki za pomocą opcji wejściowych.
  • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika ujścia wsadowego foreach
  • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
  • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
  • [SPARK-47305][SQL] Napraw narzędzie PruneFilters, aby oznaczyć flagę isStreaming właściwości LocalRelation poprawnie, gdy plan ma zarówno partię, jak i przesyłanie strumieniowe
  • [SPARK-47380][CONNECT] Upewnij się, że po stronie serwera usługa SparkSession jest taka sama
  • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.3

Zobacz Databricks Runtime 14.3 LTS.

• 6 kwietnia 2024 r.
  • (Zmiana zachowania) Aby zapewnić spójne zachowanie w różnych typach obliczeniowych, funkcje zdefiniowane przez użytkownika PySpark w udostępnionych klastrach są teraz zgodne z zachowaniem funkcji zdefiniowanych przez użytkownika w klastrach bez izolacji i przypisanych. Ta aktualizacja obejmuje następujące zmiany, które mogą spowodować przerwanie istniejącego kodu:
    • Funkcje zdefiniowane przez użytkownika z typem zwracanym string nie są już niejawnie konwertowane na string wartości innestring niż wartości. Wcześniej funkcje zdefiniowane przez użytkownika z zwracanym typem str obiektu zawijają wartość zwracaną str() za pomocą funkcji niezależnie od rzeczywistego typu danych zwracanej wartości.
    • Funkcje zdefiniowane przez użytkownika z typami timestamp zwracanymi nie są już niejawnie stosowane do konwersji za timestamp pomocą timezonepolecenia .
    • Konfiguracje klastra spark.databricks.sql.externalUDF.* Spark nie mają już zastosowania do funkcji zdefiniowanej przez użytkownika PySpark w udostępnionych klastrach.
    • Konfiguracja spark.databricks.safespark.externalUDF.plan.limit klastra Spark nie ma już wpływu na funkcje zdefiniowane przez użytkownika PySpark, usuwając ograniczenie publicznej wersji zapoznawczej 5 funkcji zdefiniowanych przez użytkownika na zapytanie dotyczące funkcji zdefiniowanych przez użytkownika PySpark.
    • Konfiguracja spark.databricks.safespark.sandbox.size.default.mib klastra Spark nie ma już zastosowania do funkcji zdefiniowanej przez użytkownika PySpark w udostępnionych klastrach. Zamiast tego jest używana dostępna pamięć w systemie. Aby ograniczyć pamięć funkcji zdefiniowanych przez użytkownika PySpark, należy użyć z spark.databricks.pyspark.udf.isolation.memoryLimit minimalną wartością 100m.
  • Typ TimestampNTZ danych jest teraz obsługiwany jako kolumna klastrowania z klastrowaniem płynnym. Zobacz Użyj płynnego klastrowania dla tabel typu Delta).
  • [SPARK-47511][SQL] Canonicalize With expressions by re-assigning IDs
  • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i wyższych kolejności
  • [SPARK-46990][SQL] Naprawianie ładowania pustych plików Avro emitowanych przez centra zdarzeń
  • [SPARK-47638][PS] [CONNECT] Pomiń walidację nazwy kolumny w programie PS
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 3 stycznia 2024 r.
  • [SPARK-46933] Dodaj metryki czasu wykonywania zapytania do łączników, które używają identyfikatora JDBCRDD.
  • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
  • [SPARK-46954] XML: Zawijanie elementu InputStreamReader z funkcją BufferedReader.
  • [SPARK-46655] Pomiń przechwytywanie kontekstu zapytania w DataFrame metodach.
  • [SPARK-44815] Buforuj plik df.schema, aby uniknąć dodatkowego wywołania RPC.
  • [SPARK-46952] XML: Ogranicz rozmiar uszkodzonego rekordu.
  • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
  • [SPARK-46736] zachowaj puste pole komunikatu w łączniku protobuf.
  • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
  • [SPARK-46414] Użyj prependBaseUri do renderowania importów języka JavaScript.
  • [SPARK-46383] Zmniejsz użycie stert sterowników, zmniejszając żywotność programu TaskInfo.accumulables().
  • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
  • [SPARK-46954] XML: Optymalizowanie wyszukiwania indeksu schematu.
  • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
  • [SPARK-46644] Zmień dodawanie i scalanie w metryce SQLMetric, aby używać funkcji isZero.
  • [SPARK-46731] Zarządzanie wystąpieniem dostawcy magazynu stanów według źródła danych stanu — czytelnik.
  • [SPARK-46677] Rozwiązanie problemu dataframe["*"] .
  • [SPARK-46610] Tworzenie tabeli powinno zgłaszać wyjątek, jeśli nie ma wartości klucza w opcjach.
  • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera SizeBasedWindowFunction.
  • [SPARK-45433] Poprawiono wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym znacznikiem czasuFormat.
  • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu unii w usłudze Avro.
  • [SPARK-46227] Powrót do wersji 14.3.
  • [SPARK-46822] Należy szanować spark.sql.legacy.charVarcharAsString podczas rzutowania typu jdbc do typu katalizatora w jdbc.
  • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.2

Zobacz Databricks Runtime 14.2.

• 9 kwietnia 2024 r.
  • Brak
  • [SPARK-47309][SQL] [XML] Dodawanie testów jednostkowych wnioskowania schematu
  • [SPARK-46990][SQL] Naprawianie ładowania pustych plików Avro emitowanych przez centra zdarzeń
  • [SPARK-47638][PS] [CONNECT] Pomiń walidację nazwy kolumny w programie PS
  • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i wyższych kolejności
  • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 8 lutego 2024 r.
  • Zapytania zestawienia danych (CDF) dotyczące zmaterializowanych widoków wykazu aparatu Unity nie są obsługiwane, a próba uruchomienia zapytania CDF przy użyciu zmaterializowanego widoku wykazu aparatu Unity zwraca błąd. Tabele przesyłania strumieniowego wykazu aparatu Unity obsługują zapytania CDF w tabelach innychAPPLY CHANGES niż w środowisku Databricks Runtime 14.1 lub nowszym. Zapytania CDF nie są obsługiwane w przypadku tabel przesyłania strumieniowego wykazu aparatu Unity w środowisku Databricks Runtime 14.0 i starszych wersjach.
  • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu unii w usłudze Avro.
  • [SPARK-46822] Należy szanować spark.sql.legacy.charVarcharAsString podczas rzutowania typu jdbc do typu katalizatora w jdbc.
  • [SPARK-46952] XML: Ogranicz rozmiar uszkodzonego rekordu.
  • [SPARK-46644] Zmień dodawanie i scalanie w metryce SQLMetric, aby używać funkcji isZero.
  • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
  • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
  • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera SizeBasedWindowFunction.
  • [SPARK-46933] Dodaj metryki czasu wykonywania zapytania do łączników, które używają identyfikatora JDBCRDD.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 31 stycznia 2024 r.
  • [SPARK-46382] XML: Zaktualizuj dokument dla elementu ignoreSurroundingSpaces.
  • [SPARK-46382] XML: przechwyć wartości przeplatane między elementami.
  • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
  • Przywróć [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
  • [SPARK-46677] Rozwiązanie problemu dataframe["*"] .
  • [SPARK-46382] XML: Wartość domyślna ignoruj wartościSurroundingSpaces na true.
  • [SPARK-46633] Napraw czytnik Avro w celu obsługi bloków o zerowej długości.
  • [SPARK-45964] Usuń prywatne metody dostępu sql w pakiecie XML i JSON w pakiecie katalizatora.
  • [SPARK-46581] Aktualizuj komentarz na isZero w akumulacjęV2.
  • [SPARK-45912] Ulepszenie interfejsu API XSDToSchema: zmiana interfejsu API systemu plików HDFS na ułatwienia dostępu do magazynu w chmurze.
  • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
  • [SPARK-46660] ReattachExecute żąda aktualizacji aktywności elementu SessionHolder.
  • [SPARK-46610] Tworzenie tabeli powinno zgłaszać wyjątek, jeśli nie ma wartości klucza w opcjach.
  • [SPARK-46383] Zmniejsz użycie stert sterowników, zmniejszając żywotność programu TaskInfo.accumulables().
  • [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
  • [SPARK-46684] Napraw wartość CoGroup.applyInPandas/Arrow, aby prawidłowo przekazać argumenty.
  • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
  • [SPARK-45962] Usuń treatEmptyValuesAsNulls i użyj nullValue opcji zamiast tego w formacie XML.
  • [SPARK-46541] Napraw niejednoznaczne odwołanie do kolumny w sprzężeniu własnym.
  • [SPARK-46599] XML: Użyj typeCoercion.findTightestCommonType w celu sprawdzenia zgodności.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 17 stycznia 2024 r.
  • shuffle Węzeł planu wyjaśnień zwrócony przez zapytanie Photon jest aktualizowany w celu dodania causedBroadcastJoinBuildOOM=true flagi, gdy podczas mieszania, który jest częścią sprzężenia emisji, występuje błąd braku pamięci.
  • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
  • [SPARK-46261]DataFrame.withColumnsRenamed powinna zachować kolejność dykt/mapy.
  • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
  • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy nie znaleziono tabeli lub widoku.
  • [SPARK-46484] Ustaw funkcje pomocnicze, aby resolveOperators zachować identyfikator planu.
  • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
  • [SPARK-46609] Unikaj eksplozji wykładniczej w partitioningPreservingUnaryExecNode.
  • [SPARK-46446] Wyłącz podzapytania z skorelowanym przesunięciem, aby naprawić usterkę poprawności.
  • [SPARK-46152] XML: Dodano obsługę typu dziesiętnego w wnioskowaniu schematu XML.
  • [SPARK-46602] Propaguj allowExisting w tworzeniu widoku, gdy widok/tabela nie istnieje.
  • [SPARK-45814] Utwórz metodę ArrowConverters.createEmptyArrowBatch call close(), aby uniknąć przecieku pamięci.
  • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
  • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
  • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
  • [SPARK-46478] Przywróć spark-43049, aby użyć wyroczni varchar(255) dla ciągu.
  • [SPARK-46417] Nie kończy się niepowodzeniem podczas wywoływania elementu hive.getTable i throwException ma wartość false.
  • [SPARK-46153] XML: Dodaj obsługę atrybutu TimestampNTZType.
  • [BACKPORT] [[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) Naprawiono wektoryzowany parquet odczyt NPE z wartością domyślną byteArrayDecimalType.
  • [SPARK-46466] Wektoryzowany czytnik parquet nigdy nie powinien wykonywać rebase dla znacznika czasu ntz.
  • [SPARK-46260]DataFrame.withColumnsRenamed powinien przestrzegać porządku dyktowania.
  • [SPARK-46036] Usuwanie klasy error z funkcji raise_error.
  • [SPARK-46294] Wyczyść semantyka init a zero wartości.
  • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
  • [SPARK-46250] Deflake test_parity_listener.
  • [SPARK-46587] XML: Napraw konwersję dużej liczby całkowitej XSD.
  • [SPARK-46396] Wnioskowanie znacznika czasu nie powinno zgłaszać wyjątku.
  • [SPARK-46241] Napraw procedurę obsługi błędów, aby nie wchodziła w nieskończoną rekursję.
  • [SPARK-46355] XML: Zamknij inputStreamReader po zakończeniu odczytu.
  • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
  • [SPARK-46265] Asercji w addArtifact RPC sprawiają, że klient połączenia jest niezgodny ze starszymi klastrami.
  • [SPARK-46308] Zabraniaj cyklicznej obsługi błędów.
  • [SPARK-46337] Zachowaj CTESubstitution element PLAN_ID_TAG.
• 14 grudnia 2023 r.
  • [SPARK-46141] Zmień wartość domyślną spark.sql.legacy.ctePrecedencePolicy na POPRAWIONE.
  • [SPARK-45730] Załaduj ponownieX509TrustManagerSuite mniej łuszczące.
  • [SPARK-45852] Bezproblemowo radzić sobie z błędem rekursji podczas rejestrowania.
  • [SPARK-45808] Lepsza obsługa błędów dla wyjątków SQL.
  • [SPARK-45920] grupowanie według porządkowych powinno być idempotentne.
  • Przywróć strukturę "[SPARK-45649] Ujednolicenie struktury przygotowywania dla programu OffsetWindowFunctionFrame".
  • [SPARK-45733] Obsługa wielu zasad ponawiania prób.
  • [SPARK-45509] Rozwiązaliśmy problem z zachowaniem odwołania do kolumn df dla Połączenie platformy Spark.
  • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
  • [SPARK-45905] Najmniej typowy typ między typami dziesiętnym powinien najpierw zachować cyfry całkowite.
  • [SPARK-45136] Zwiększ obsługę narzędzia ClosureCleaner dzięki obsłudze ammonite.
  • [SPARK-46255] Obsługa typu złożonego —> konwersja ciągów.
  • [SPARK-45859] Utwórz obiekty UDF w ml.functions z opóźnieniem.
  • [SPARK-46028] Ustaw wartość accept input column (Zaakceptuj Column.__getitem__ kolumnę wejściową).
  • [SPARK-45798] Potwierdzenie identyfikatora sesji po stronie serwera.
  • [SPARK-45892] Walidacja planu optymalizatora refaktoryzacji w celu oddzielenia validateSchemaOutput elementów i validateExprIdUniqueness.
  • [SPARK-45844] Zaimplementuj bez uwzględniania wielkości liter dla kodu XML.
  • [SPARK-45770] Wprowadzenie planu DataFrameDropColumns dla elementu Dataframe.drop.
  • [SPARK-44790] XML: to_xml implementacji i powiązań dla języka Python, nawiązywania połączeń i języka SQL.
  • [SPARK-45851] Obsługa wielu zasad w kliencie scala.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 29 listopada 2023 r.
  • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
  • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
  • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
  • [SPARK-45852] Klient języka Python dla platformy Spark Połączenie teraz przechwytuje błędy rekursji podczas konwersji tekstu.
  • [SPARK-45808] Ulepszona obsługa błędów dla wyjątków SQL.
  • [SPARK-45920]GROUP BY porządkowy nie zastępuje porządkowych.
  • Przywróć [SPARK-45649].
  • [SPARK-45733] Dodano obsługę wielu zasad ponawiania prób.
  • [SPARK-45509] Naprawiono df zachowanie odwołania do kolumn dla platformy Spark Połączenie.
  • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz AggregateFunctions elementu w pliku CollectMetrics.
  • [SPARK-45905] Najmniej typowy typ między typami dziesiętnym zachowuje teraz cyfry całkowite jako pierwsze.
  • [SPARK-45136] Zwiększ możliwości dzięki obsłudze ClosureCleaner aplikacji Ammonite.
  • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
  • [SPARK-46028]Column.__getitem__ akceptuje kolumny wejściowe.
  • [SPARK-45798] Potwierdzenie identyfikatora sesji po stronie serwera.
  • [SPARK-45892] Walidacja planu optymalizatora refaktoryzacji w celu oddzielenia validateSchemaOutput elementów i validateExprIdUniqueness.
  • [SPARK-45844] Zaimplementuj bez uwzględniania wielkości liter dla kodu XML.
  • [SPARK-45770] Naprawiono rozdzielczość kolumn dla DataFrameDropColumns elementu .Dataframe.drop
  • [SPARK-44790] Dodano to_xml implementację i powiązania dla języków Python, Spark Połączenie i SQL.
  • [SPARK-45851] Dodano obsługę wielu zasad w kliencie Scala.
  • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.1

Zobacz Databricks Runtime 14.1.

• 9 kwietnia 2024 r.
  • Brak
  • [SPARK-47638][PS] [CONNECT] Pomiń walidację nazwy kolumny w programie PS
  • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
  • [SPARK-47309][SQL] [XML] Dodawanie testów jednostkowych wnioskowania schematu
  • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i wyższych kolejności
  • [SPARK-46990][SQL] Naprawianie ładowania pustych plików Avro emitowanych przez centra zdarzeń
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 8 lutego 2024 r.
  • Zapytania zestawienia danych (CDF) dotyczące zmaterializowanych widoków wykazu aparatu Unity nie są obsługiwane, a próba uruchomienia zapytania CDF przy użyciu zmaterializowanego widoku wykazu aparatu Unity zwraca błąd. Tabele przesyłania strumieniowego wykazu aparatu Unity obsługują zapytania CDF w tabelach innychAPPLY CHANGES niż w środowisku Databricks Runtime 14.1 lub nowszym. Zapytania CDF nie są obsługiwane w przypadku tabel przesyłania strumieniowego wykazu aparatu Unity w środowisku Databricks Runtime 14.0 i starszych wersjach.
  • [SPARK-46952] XML: Ogranicz rozmiar uszkodzonego rekordu.
  • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
  • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
  • [SPARK-46933] Dodaj metryki czasu wykonywania zapytania do łączników, które używają identyfikatora JDBCRDD.
  • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
  • [SPARK-45582] Upewnij się, że wystąpienie magazynu nie jest używane po wywołaniu zatwierdzenia w trybie wyjściowym agregacji przesyłania strumieniowego.
  • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu unii w usłudze Avro.
  • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera SizeBasedWindowFunction.
  • [SPARK-46396] Wnioskowanie znacznika czasu nie powinno zgłaszać wyjątku.
  • [SPARK-46822] Należy szanować spark.sql.legacy.charVarcharAsString podczas rzutowania typu jdbc do typu katalizatora w jdbc.
  • [SPARK-45957] Unikaj generowania planu wykonywania dla poleceń innych niż wykonywalne.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 31 stycznia 2024 r.
  • [SPARK-46684] Napraw wartość CoGroup.applyInPandas/Arrow, aby prawidłowo przekazać argumenty.
  • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
  • [SPARK-45498] Obserwowanie: ignoruj ukończenie zadania ze starych prób etapu.
  • [SPARK-46382] XML: Zaktualizuj dokument dla elementu ignoreSurroundingSpaces.
  • [SPARK-46383] Zmniejsz użycie stert sterowników, zmniejszając żywotność programu TaskInfo.accumulables().
  • [SPARK-46382] XML: Wartość domyślna ignoruj wartościSurroundingSpaces na true.
  • [SPARK-46677] Rozwiązanie problemu dataframe["*"] .
  • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
  • [SPARK-46633] Napraw czytnik Avro w celu obsługi bloków o zerowej długości.
  • [SPARK-45912] Ulepszenie interfejsu API XSDToSchema: zmiana interfejsu API systemu plików HDFS na ułatwienia dostępu do magazynu w chmurze.
  • [SPARK-46599] XML: Użyj typeCoercion.findTightestCommonType w celu sprawdzenia zgodności.
  • [SPARK-46382] XML: przechwyć wartości przeplatane między elementami.
  • [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
  • [SPARK-46610] Tworzenie tabeli powinno zgłaszać wyjątek, jeśli nie ma wartości klucza w opcjach.
  • [SPARK-45964] Usuń prywatne metody dostępu sql w pakiecie XML i JSON w pakiecie katalizatora.
  • Przywróć [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
  • [SPARK-45962] Usuń treatEmptyValuesAsNulls i użyj nullValue opcji zamiast tego w formacie XML.
  • [SPARK-46541] Napraw niejednoznaczne odwołanie do kolumny w sprzężeniu własnym.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 17 stycznia 2024 r.
  • shuffle Węzeł planu wyjaśnień zwrócony przez zapytanie Photon jest aktualizowany w celu dodania causedBroadcastJoinBuildOOM=true flagi, gdy podczas mieszania, który jest częścią sprzężenia emisji, występuje błąd braku pamięci.
  • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
  • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
  • [SPARK-46417] Nie kończy się niepowodzeniem podczas wywoływania elementu hive.getTable i throwException ma wartość false.
  • [SPARK-46484] Ustaw funkcje pomocnicze, aby resolveOperators zachować identyfikator planu.
  • [SPARK-46153] XML: Dodaj obsługę atrybutu TimestampNTZType.
  • [SPARK-46152] XML: Dodano obsługę typu dziesiętnego w wnioskowaniu schematu XML.
  • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy nie znaleziono tabeli lub widoku.
  • [SPARK-46478] Przywróć spark-43049, aby użyć wyroczni varchar(255) dla ciągu.
  • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
  • [SPARK-46337] Zachowaj CTESubstitution element PLAN_ID_TAG.
  • [SPARK-46466] Wektoryzowany czytnik parquet nigdy nie powinien wykonywać rebase dla znacznika czasu ntz.
  • [SPARK-46587] XML: Napraw konwersję dużej liczby całkowitej XSD.
  • [SPARK-45814] Utwórz metodę ArrowConverters.createEmptyArrowBatch call close(), aby uniknąć przecieku pamięci.
  • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
  • [SPARK-46602] Propaguj allowExisting w tworzeniu widoku, gdy widok/tabela nie istnieje.
  • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
  • [SPARK-46355] XML: Zamknij inputStreamReader po zakończeniu odczytu.
  • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
  • [SPARK-46261]DataFrame.withColumnsRenamed powinna zachować kolejność dykt/mapy.
  • [SPARK-46056] Naprawiono wektoryzowany parquet odczyt NPE z wartością domyślną byteArrayDecimalType.
  • [SPARK-46260]DataFrame.withColumnsRenamed powinien przestrzegać porządku dyktowania.
  • [SPARK-46250] Deflake test_parity_listener.
  • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
  • [SPARK-46609] Unikaj eksplozji wykładniczej w partitioningPreservingUnaryExecNode.
  • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
• 14 grudnia 2023 r.
  • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w operacjach getColumns pochodzących z klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako symbole wieloznaczne.
  • [SPARK-45509] Rozwiązaliśmy problem z zachowaniem odwołania do kolumn df dla Połączenie platformy Spark.
  • [SPARK-45844] Zaimplementuj bez uwzględniania wielkości liter dla kodu XML.
  • [SPARK-46141] Zmień wartość domyślną spark.sql.legacy.ctePrecedencePolicy na POPRAWIONE.
  • [SPARK-46028] Ustaw wartość accept input column (Zaakceptuj Column.__getitem__ kolumnę wejściową).
  • [SPARK-46255] Obsługa typu złożonego —> konwersja ciągów.
  • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
  • [SPARK-45433] Poprawiono wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym znacznikiem czasuFormat.
  • [SPARK-45316] Dodaj nowe parametry ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD i NewHadoopRDD.
  • [SPARK-45852] Bezproblemowo radzić sobie z błędem rekursji podczas rejestrowania.
  • [SPARK-45920] grupowanie według porządkowych powinno być idempotentne.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 29 listopada 2023 r.
  • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
  • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
  • Podczas pozyskiwania danych CSV przy użyciu automatycznego modułu ładującego lub tabel przesyłania strumieniowego duże pliki CSV są teraz podzielone i mogą być przetwarzane równolegle podczas wnioskowania schematu i przetwarzania danych.
  • [SPARK-45892] Walidacja planu optymalizatora refaktoryzacji w celu oddzielenia validateSchemaOutput elementów i validateExprIdUniqueness.
  • [SPARK-45620] Interfejsy API związane z funkcją UDF języka Python używają teraz camelCase.
  • [SPARK-44790] Dodano to_xml implementację i powiązania dla języków Python, Spark Połączenie i SQL.
  • [SPARK-45770] Naprawiono rozdzielczość kolumn dla DataFrameDropColumns elementu .Dataframe.drop
  • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
  • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
  • [SPARK-44784] Wykonane SBT testowania hermetyczne.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 10 listopada 2023 r.
  • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
  • [SPARK-45250] Dodano obsługę profilu zasobu zadania na poziomie etapu dla klastrów yarn po wyłączeniu dynamicznej alokacji.
  • [SPARK-44753] Dodano czytnik i moduł zapisywania ramek danych XML dla języka SQL PySpark.
  • [SPARK-45396] Dodano wpis dokumentu dla modułu PySpark.ml.connect .
  • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
  • [SPARK-45541] Dodano protokół SSLFactory.
  • [SPARK-45577] Naprawiono, UserDefinedPythonTableFunctionAnalyzeRunner aby przekazywać złożone wartości z nazwanych argumentów.
  • [SPARK-45562] Element "rowTag" jest wymaganą opcją.
  • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
  • [SPARK-43380] Naprawiono spowolnienie odczytu w usłudze Avro.
  • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
  • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
  • [SPARK-45386] Rozwiązano problem polegający na tym, że StorageLevel.NONE niepoprawnie zwracano wartość 0.
  • [SPARK-44219] Dodano testy sprawdzania poprawności poszczególnych reguł pod kątem ponownego zapisywania optymalizacji.
  • [SPARK-45543] Rozwiązano problem InferWindowGroupLimit polegający na tym, że przyczyną problemu było to, że inne funkcje okna nie miały tej samej ramki okna co funkcje podobne do rangi.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 27 września 2023 r.
  • [SPARK-44823] Zaktualizowano black do wersji 23.9.1 i usunięto błędne sprawdzanie.
  • [SPARK-45339] Narzędzie PySpark rejestruje teraz błędy ponawiania prób.
  • Przywróć [SPARK-42946] Zagnieżdżone poufne dane zagnieżdżone w ramach podstawień zmiennych.
  • [SPARK-44551] Edytowane komentarze do synchronizacji z systemem operacyjnym.
  • [SPARK-45360] Konstruktor sesji platformy Spark obsługuje inicjowanie z programu SPARK_REMOTE.
  • [SPARK-45279] Dołączone plan_id do wszystkich planów logicznych.
  • [SPARK-45425] Zamapowane TINYINT na ShortType .MsSqlServerDialect
  • [SPARK-45419] Usunięto wpis mapy wersji pliku większych wersji, aby uniknąć ponownego rocksdb tworzenia identyfikatorów plików sst.
  • [SPARK-45488] Dodano obsługę wartości w rowTag elemecie .
  • [SPARK-42205] Usunięto rejestrowanie w Task/Stage zdarzeniach uruchamiania Accumulables w JsonProtocol dziennikach zdarzeń.
  • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
  • [SPARK-45256]DurationWriter Kończy się niepowodzeniem podczas zapisywania większej liczby wartości niż początkowa pojemność.
  • [SPARK-43380] Rozwiązano Avro problemy z konwersją typów danych bez powodowania regresji wydajności.
  • [SPARK-45182] Dodano obsługę wycofywania etapu mapy mieszania, dzięki czemu wszystkie zadania etapu można ponowić, gdy dane wyjściowe etapu są nieokreślone.
  • [SPARK-45399] Dodano opcje XML przy użyciu polecenia newOption.
  • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 13.3 LTS

Zobacz Databricks Runtime 13.3 LTS.

• 9 kwietnia 2024 r.
  • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i wyższych kolejności
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 8 lutego 2024 r.
  • Zapytania zestawienia danych (CDF) dotyczące zmaterializowanych widoków wykazu aparatu Unity nie są obsługiwane, a próba uruchomienia zapytania CDF przy użyciu zmaterializowanego widoku wykazu aparatu Unity zwraca błąd. Tabele przesyłania strumieniowego wykazu aparatu Unity obsługują zapytania CDF w tabelach innychAPPLY CHANGES niż w środowisku Databricks Runtime 14.1 lub nowszym. Zapytania CDF nie są obsługiwane w przypadku tabel przesyłania strumieniowego wykazu aparatu Unity w środowisku Databricks Runtime 14.0 i starszych wersjach.
  • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
  • [SPARK-46933] Dodaj metryki czasu wykonywania zapytania do łączników, które używają identyfikatora JDBCRDD.
  • [SPARK-45582] Upewnij się, że wystąpienie magazynu nie jest używane po wywołaniu zatwierdzenia w trybie wyjściowym agregacji przesyłania strumieniowego.
  • [SPARK-46396] Wnioskowanie znacznika czasu nie powinno zgłaszać wyjątku.
  • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
  • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera SizeBasedWindowFunction.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 31 stycznia 2024 r.
  • [SPARK-46610] Tworzenie tabeli powinno zgłaszać wyjątek, jeśli nie ma wartości klucza w opcjach.
  • [SPARK-46383] Zmniejsz użycie stert sterowników, zmniejszając żywotność elementu TaskInfo.accumulables().
  • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
  • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
  • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 17 stycznia 2024 r.
  • shuffle Węzeł planu wyjaśnień zwrócony przez zapytanie Photon jest aktualizowany w celu dodania causedBroadcastJoinBuildOOM=true flagi, gdy podczas mieszania, który jest częścią sprzężenia emisji, występuje błąd braku pamięci.
  • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
  • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
  • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
  • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
  • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
  • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
  • [SPARK-46609] Unikaj eksplozji wykładniczej w partitioningPreservingUnaryExecNode.
  • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
  • [SPARK-46602] Propaguj allowExisting w tworzeniu widoku, gdy widok/tabela nie istnieje.
  • [SPARK-46249] Wymagaj blokady wystąpienia na potrzeby uzyskiwania metryk bazy danych RocksDB, aby zapobiec wyścigowi z operacjami w tle.
  • [SPARK-46417] Nie kończy się niepowodzeniem podczas wywoływania elementu hive.getTable i throwException ma wartość false.
  • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
  • [SPARK-46478] Przywróć spark-43049, aby użyć wyroczni varchar(255) dla ciągu.
  • [SPARK-46250] Deflake test_parity_listener.
  • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
  • [SPARK-46056] Naprawiono wektoryzowany parquet odczyt NPE z wartością domyślną byteArrayDecimalType.
  • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy nie znaleziono tabeli lub widoku.
  • [SPARK-46466] Wektoryzowany czytnik parquet nigdy nie powinien wykonywać rebase dla znacznika czasu ntz.
• 14 grudnia 2023 r.
  • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w operacjach getColumns pochodzących z klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako symbole wieloznaczne.
  • [SPARK-45920] grupowanie według porządkowych powinno być idempotentne.
  • [SPARK-44582] Pomiń iterator na SMJ, jeśli został oczyszczony.
  • [SPARK-45433] Poprawiono wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym znacznikiem czasuFormat.
  • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 29 listopada 2023 r.
  • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
  • Łącznik spark-snowflake został uaktualniony do wersji 2.12.0.
  • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
  • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
  • [SPARK-45892] Walidacja planu optymalizatora refaktoryzacji w celu oddzielenia validateSchemaOutput elementów i validateExprIdUniqueness.
  • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 10 listopada 2023 r.
  • Filtry partycji w zapytaniach przesyłania strumieniowego usługi Delta Lake są wypychane przed ograniczeniem szybkości w celu osiągnięcia lepszego wykorzystania.
  • Zmieniono zapytania źródła danych dotyczące tabel przesyłania strumieniowego wykazu aparatu Unity i zmaterializowanych widoków w celu wyświetlania komunikatów o błędach.
  • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
  • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
  • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
  • [SPARK-45541] Dodano SSLFactoryelement .
  • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
  • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
  • [SPARK-44219] Dodano dodatkowe walidacje poszczególnych reguł na potrzeby ponownego zapisywania optymalizacji.
  • [SPARK-45543] Rozwiązano problem InferWindowGroupLimit polegający na tym, że przyczyną problemu było to, że inne funkcje okna nie miały tej samej ramki okna co funkcje podobne do rangi.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 23 października 2023 r.
  • [SPARK-45256] Rozwiązano problem polegający na tym, że DurationWriter wystąpił błąd podczas zapisywania większej liczby wartości niż pojemność początkowa.
  • [SPARK-45419] Unikaj ponownego użycia rocksdb sst plików w innym rocksdb wystąpieniu, usuwając wpisy mapy wersji pliku większej wersji.
  • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
  • Różne poprawki.
• 13 października 2023 r.
  • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
  • Funkcja array_insert jest oparta na 1 dla indeksów dodatnich i ujemnych, podczas gdy wcześniej była oparta na 0 indeksach ujemnych. Teraz wstawia nowy element na końcu tablic wejściowych indeksu -1. Aby przywrócić poprzednie zachowanie, ustaw wartość spark.sql.legacy.negativeIndexInArrayInserttrue.
  • Rozwiązano problem polegający na braku ignorowania uszkodzonych plików, gdy ignoreCorruptFiles jest włączony podczas wnioskowania schematu CSV z funkcją automatycznego ładowania.
  • Przywróć [SPARK-42946].
  • [SPARK-42205] Zaktualizowano protokół JSON, aby usunąć rejestrowanie accumulables w zdarzeniach uruchamiania zadania lub etapu.
  • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
  • [SPARK-45316] Dodaj nowe parametry ignoreCorruptFiles i do HadoopRDD i NewHadoopRDDignoreMissingFiles .
  • [SPARK-44740] Stałe wartości metadanych artefaktów.
  • [SPARK-45360] Zainicjowano konfigurację konstruktora sesji platformy Spark z witryny SPARK_REMOTE.
  • [SPARK-44551] Edytowane komentarze do synchronizacji z systemem operacyjnym.
  • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia teraz flagi z uwzględnieniem wielkości liter podczas scalania schematu.
  • [SPARK-44658]ShuffleStatus.getMapStatus teraz zwraca None wartość zamiast Some(null).
  • [SPARK-44840] Na array_insert() podstawie wartości 1 dla indeksów ujemnych.
• 14 września 2023 r.
  • [SPARK-44873] Dodano obsługę funkcji alter view z kolumnami zagnieżdżonym w kliencie programu Hive.
  • [SPARK-44878] Wyłącz ścisły limit menedżera zapisu, RocksDB aby uniknąć wyjątku wstawiania w pamięci podręcznej.
• 30 sierpnia 2023 r.
  • Polecenie dbutils cp (dbutils.fs.cp) zostało zoptymalizowane pod kątem szybszego kopiowania. Dzięki temu ulepszeniu operacje kopiowania mogą potrwać do 100 mniej czasu, w zależności od rozmiaru pliku. Ta funkcja jest dostępna we wszystkich chmurach i systemach plików dostępnych w usłudze Databricks, w tym w przypadku woluminów wykazu aparatu Unity i instalacji systemu plików DBFS.
  • [SPARK-44455] Identyfikatory cudzysłowów z backticks w SHOW CREATE TABLE wyniku.
  • [SPARK-44763] Rozwiązano problem pokazujący ciąg jako podwójny w arytmetyce binarnej z interwałem.
  • [SPARK-44871] Naprawiono percentile_disc zachowanie.
  • [SPARK-44714] Łatwość ograniczania rozpoznawania LCA w przypadku zapytań.
  • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
  • [SPARK-44505] Dodano przesłonięć obsługę kolumnarów w obszarze Scan for DSv2 (Skanowanie pod kątem wersji DSv2).
  • [SPARK-44479] Naprawiono konwersję protobuf z pustego typu struktury.
  • [SPARK-44718] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
  • [SPARK-42941] Dodano obsługę StreamingQueryListener języka Python.
  • [SPARK-44558] Wyeksportuj poziom dziennika platformy Spark PySpark Połączenie.
  • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner wiersze wyjściowe, które mają wartość Null jako pierwszą wartość kolumny.
  • [SPARK-44643] Naprawiono Row.__repr__ , gdy pole jest pustym wierszem.
  • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 12.2 LTS

Zobacz Databricks Runtime 12.2 LTS.

• 9 kwietnia 2024 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 13 lutego 2024 r.
  • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
  • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 31 stycznia 2024 r.
  • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 25 grudnia 2023 r.
  • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
  • [SPARK-39440] Dodaj konfigurację, aby wyłączyć oś czasu zdarzenia.
  • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
  • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
  • [SPARK-46417] Nie kończy się niepowodzeniem podczas wywoływania elementu hive.getTable i throwException ma wartość false.
  • [SPARK-43067] Popraw lokalizację pliku zasobu klasy błędów w łączniku platformy Kafka.
  • [SPARK-46249] Wymagaj blokady wystąpienia na potrzeby uzyskiwania metryk bazy danych RocksDB, aby zapobiec wyścigowi z operacjami w tle.
  • [SPARK-46602] Propaguj allowExisting w tworzeniu widoku, gdy widok/tabela nie istnieje.
  • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
  • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy nie znaleziono tabeli lub widoku.
  • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
  • [SPARK-42852] Przywróć zmiany powiązane nazwaneLambdaVariable z RównoważnychExpressions.
• 14 grudnia 2023 r.
  • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w operacjach getColumns pochodzących z klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako symbole wieloznaczne.
  • [SPARK-44582] Pomiń iterator na SMJ, jeśli został oczyszczony.
  • [SPARK-45920] grupowanie według porządkowych powinno być idempotentne.
  • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 29 listopada 2023 r.
  • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
  • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
  • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach Stage i Task uruchamiania.
  • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
  • [SPARK-43718] Naprawiono nullability dla kluczy w USING sprzężeniach.
  • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
  • [SPARK-43973] Interfejs użytkownika przesyłania strumieniowego ze strukturą wyświetla teraz zapytania, które zakończyły się niepowodzeniem.
  • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 14 listopada 2023 r.
  • Filtry partycji w zapytaniach przesyłania strumieniowego usługi Delta Lake są wypychane przed ograniczeniem szybkości w celu osiągnięcia lepszego wykorzystania.
  • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
  • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
  • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
  • [SPARK-45541] Dodano SSLFactoryelement .
  • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
  • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 24 października 2023 r.
  • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
  • Różne poprawki.
• 13 października 2023 r.
  • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
  • [SPARK-42553] Upewnij się, że co najmniej jedna jednostka czasowa po interwale.
  • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia flagę wrażliwą na wielkość liter podczas scalania schematu.
  • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
  • [SPARK-45084]StateOperatorProgress aby użyć dokładnego, odpowiedniego numeru partycji mieszania.
• 12 września 2023 r.
  • [SPARK-44873] Dodano obsługę polecenia alter view z kolumnami zagnieżdżonym w kliencie Programu Hive.
  • [SPARK-44718] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
  • [SPARK-43799] Dodano opcję binarną deskryptora do interfejsu API PySpark Protobuf .
  • Różne poprawki.
• 30 sierpnia 2023 r.
  • [SPARK-44485] Zoptymalizowane pod kątem TreeNode.generateTreeString.
  • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
  • [11.3-13.0] [[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) Naprawiono percentile_disc zachowanie.
  • [SPARK-44714] Złagodzonych ograniczeń rozpoznawania LCA dotyczących zapytań.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 15 sierpnia 2023 r.
  • [SPARK-44504] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
  • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner wiersze wyjściowe, które mają Null jako pierwszą wartość kolumny.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 29 lipca 2023 r.
  • Rozwiązano problem polegający na tym, że dbutils.fs.ls() funkcja zwracana INVALID_PARAMETER_VALUE.LOCATION_OVERLAP po wywołaniu ścieżki lokalizacji magazynu, która zderzyła się z inną lokalizacją magazynu zewnętrznego lub zarządzanego.
  • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 24 lipca 2023 r.
  • [SPARK-44337] Rozwiązano problem polegający na tym, że dowolne pole ustawione na Any.getDefaultInstance błędy analizy powodowało błędy analizy.
  • [SPARK-44136] Rozwiązano problem polegający na tym, że StateManager funkcja wykonawcza została zmaterializowana zamiast sterownika w pliku FlatMapGroupsWithStateExec.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 23 czerwca 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 15 czerwca 2023 r.
  • Fotonized approx_count_distinct.
  • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
  • [SPARK-43779]ParseToDate teraz ładuje EvalMode się w głównym wątku.
  • [SPARK-43156][SPARK-43098] Rozszerzony test błędu liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 2 czerwca 2023 r.
  • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
  • Zwiększ wydajność aktualizacji przyrostowych za pomocą SHALLOW CLONE platform Iceberg i Parquet.
  • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
  • [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
  • [SPARK-43413][11.3-13.0] Naprawiono IN podzapytywanie ListQuery wartości null.
  • [SPARK-43522] Naprawiono tworzenie nazwy kolumny struktury z indeksem tablicy.
  • [SPARK-43541] Propagacja wszystkich Project tagów w rozpoznawaniu wyrażeń i brakujących kolumn.
  • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
  • [SPARK-43123] Wewnętrzne metadane pól nie wyciekają już do wykazów.
  • [SPARK-43340] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.
  • [SPARK-42444]DataFrame.drop teraz poprawnie obsługuje zduplikowane kolumny.
  • [SPARK-42937]PlanSubqueries teraz ustawia wartość InSubqueryExec#shouldBroadcast true.
  • [SPARK-43286] Zaktualizowano aes_encrypt tryb CBC w celu wygenerowania losowych telewizorów.
  • [SPARK-43378] Poprawnie zamknij obiekty strumienia w obiekcie deserializeFromChunkedBuffer.
• 17 maja 2023 r.
  • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane w celu wywłaszczania mniejszego rozmiaru partii i są ponownie obniżane w przypadku ponawiania prób zadania jako ostatecznej sieci bezpieczeństwa.
  • Jeśli plik Avro został odczytany tylko z failOnUnknownFields\ opcją lub z automatycznym modułem ładującym w failOnNewColumns\ trybie ewolucji schematu, kolumny z różnymi typami danych będą odczytywane jako null\ zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn\ tej opcji.
  • Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
  • • Poprawnie odczytuje i nie ratuje Integerjuż typów , Shorti Byte , jeśli podano jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
  • • Zapobiega odczytywaniu typów interwałów jako typów sygnatur daty lub godziny, aby uniknąć uszkodzenia dat.
  • • Zapobiega odczytywaniu Decimal typów z mniejszą dokładnością.
  • [SPARK-43172] Uwidacznia hosta i token z klienta spark connect.
  • [SPARK-43293]__qualified_access_only jest ignorowany w normalnych kolumnach.
  • [SPARK-43098] Naprawiono usterkę poprawności COUNT , gdy podzapytanie skalarne jest grupowane według klauzuli.
  • [SPARK-43085] Obsługa przypisywania kolumn DEFAULT dla nazw tabel wieloczęściowych.
  • [SPARK-43190]ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
  • [SPARK-43192] Usunięto weryfikację zestawu znaków agenta użytkownika.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 25 kwietnia 2023 r.
  • Jeśli plik Parquet został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny, które miały różne typy danych, będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
  • Automatycznie ładujący teraz poprawnie odczytuje i nie ratuje Integerjuż typów , Shorti Byte , jeśli podano jeden z tych typów danych. Plik Parquet sugeruje jeden z dwóch pozostałych typów. Gdy uratowana kolumna danych została wcześniej włączona, niezgodność typów danych spowoduje zapisanie kolumn, mimo że można je było odczytać.
  • [SPARK-43009] Sparametryzowane sql() ze Any stałymi
  • [SPARK-42406] Kończenie cyklicznych pól protobuf przez usunięcie pola
  • [SPARK-43038] Obsługa trybu CBC przez aes_encrypt()/aes_decrypt()
  • [SPARK-42971] Zmień na drukowanie workdir , jeśli appDirs ma wartość null, gdy proces roboczy obsługuje WorkDirCleanup zdarzenie
  • [SPARK-43018] Naprawiono usterkę dotyczącą poleceń INSERT z literałami znacznika czasu
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 11 kwietnia 2023 r.
  • Obsługa starszych formatów źródeł danych w poleceniu SYNC .
  • Rozwiązano problem w zachowaniu %autoreload w notesach spoza repozytorium.
  • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
  • [SPARK-42928] Synchronizuje resolvePersistentFunction .
  • [SPARK-42936] Rozwiązuje problem LCan, gdy klauzula może zostać rozwiązana bezpośrednio przez jego agregację podrzędną.
  • [SPARK-42967] Poprawki SparkListenerTaskStart.stageAttemptId po rozpoczęciu zadania po anulowaniu etapu.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 29 marca 2023 r.

  • Usługa Sql usługi Databricks obsługuje teraz określanie wartości domyślnych dla kolumn tabel usługi Delta Lake w czasie tworzenia tabeli lub później. Kolejne INSERTpolecenia , UPDATE, DELETEi MERGE mogą odwoływać się do wartości domyślnej dowolnej kolumny przy użyciu jawnego DEFAULT słowa kluczowego. Ponadto, jeśli jakiekolwiek INSERT przypisanie ma jawną listę mniej kolumn niż tabela docelowa, odpowiednie wartości domyślne kolumn są zastępowane dla pozostałych kolumn (lub NULL, jeśli nie określono wartości domyślnej).

    Na przykład:

    CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
    INSERT INTO t VALUES (0, DEFAULT);
    INSERT INTO t VALUES (1, DEFAULT);
    SELECT first, second FROM t;
    \> 0, 2023-03-28
    1, 2023-03-28z
    

  • Funkcja automatycznego ładowania inicjuje teraz co najmniej jedno synchroniczne oczyszczanie dziennika bazy danych RocksDB dla Trigger.AvailableNow strumieni w celu sprawdzenia, czy punkt kontrolny może być regularnie czyszczony w przypadku szybkich strumieni automatycznego modułu ładującego. Może to spowodować, że niektóre strumienie będą trwać dłużej przed ich zamknięciem, ale pozwoli to zaoszczędzić koszty magazynowania i poprawić środowisko automatycznego modułu ładującego w przyszłych uruchomieniach.

  • Teraz możesz zmodyfikować tabelę delty, aby dodać obsługę funkcji tabeli przy użyciu polecenia DeltaTable.addFeatureSupport(feature_name).

  • [SPARK-42794] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby uzyskać magazyn stanów bazy danych RocksDB w strumieniu struktury

  • [SPARK-42521] Dodawanie list NUL dla grup INSERTs z listami określonymi przez użytkownika o mniejszej liczbie kolumn niż tabela docelowa

  • [SPARK-42702][SPARK-42623] Obsługa zapytania sparametryzowanego w podzapytaniu i CTE

  • [SPARK-42668] Przechwyć wyjątek podczas próby zamknięcia skompresowanego strumienia w zatrzymaniu HDFSStateStoreProvider

  • [SPARK-42403] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null

• 8 marca 2023 r.
  • Komunikat o błędzie "Niepowodzenie inicjowania konfiguracji" został ulepszony w celu zapewnienia większego kontekstu dla klienta.
  • Istnieje zmiana terminologii dotycząca dodawania funkcji do tabeli delty przy użyciu właściwości tabeli. Preferowana składnia to teraz 'delta.feature.featureName'='supported' zamiast 'delta.feature.featureName'='enabled'. W celu zapewnienia zgodności z poprzednimi wersjami użycie 'delta.feature.featureName'='enabled' nadal działa i będzie nadal działać.
  • Począwszy od tej wersji, można utworzyć/zastąpić tabelę dodatkową właściwością delta.ignoreProtocolDefaults tabeli, aby zignorować konfiguracje platformy Spark związane z protokołem, w tym domyślne wersje czytnika i składników zapisywania oraz funkcje tabeli obsługiwane domyślnie.
  • [SPARK-42070] Zmień wartość domyślną argumentu funkcji Mask z -1 na NULL
  • [SPARK-41793] Niepoprawny wynik ramek okien zdefiniowanych przez klauzulę zakresu dla znaczących dziesiętnych
  • [SPARK-42484] Komunikat o błędzie NiebezpiecznyRowUtils jest lepszy
  • [SPARK-42516] Zawsze przechwyć konfigurację strefy czasowej sesji podczas tworzenia widoków
  • [SPARK-42635] Napraw wyrażenie TimestampAdd.
  • [SPARK-42622] Wyłącz podstawianie w wartościach
  • [SPARK-42534] Poprawka klauzuli LIMIT DB2Dialect
  • [SPARK-42121] Dodawanie wbudowanych funkcji wartości tabeli posexplode, posexplode_outer, json_tuple i stosu
  • [SPARK-42045] Tryb SQL ANSI: Funkcja Round/Bround powinna zwrócić błąd dotyczący przepełnienia małej/małej/znaczącej liczby całkowitej
  • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 11.3 LTS

Zobacz Databricks Runtime 11.3 LTS.

• 9 kwietnia 2024 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 13 lutego 2024 r.
  • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
  • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 31 stycznia 2024 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 25 grudnia 2023 r.
  • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
  • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
  • [SPARK-46602] Propaguj allowExisting w tworzeniu widoku, gdy widok/tabela nie istnieje.
  • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
  • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
  • [SPARK-39440] Dodaj konfigurację, aby wyłączyć oś czasu zdarzenia.
  • [SPARK-46249] Wymagaj blokady wystąpienia na potrzeby uzyskiwania metryk bazy danych RocksDB, aby zapobiec wyścigowi z operacjami w tle.
  • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
• 14 grudnia 2023 r.
  • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w operacjach getColumns pochodzących z klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako symbole wieloznaczne.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 29 listopada 2023 r.
  • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
  • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
  • [SPARK-43973] Interfejs użytkownika przesyłania strumieniowego ze strukturą wyświetla teraz zapytania, które zakończyły się niepowodzeniem.
  • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
  • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
  • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
  • [SPARK-43718] Naprawiono nullability dla kluczy w USING sprzężeniach.
  • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 14 listopada 2023 r.
  • Filtry partycji w zapytaniach przesyłania strumieniowego usługi Delta Lake są wypychane przed ograniczeniem szybkości w celu osiągnięcia lepszego wykorzystania.
  • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
  • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
  • Przywróć [SPARK-33861].
  • [SPARK-45541] Dodano SSLFactoryelement .
  • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
  • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
  • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
  • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 24 października 2023 r.
  • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
  • Różne poprawki.
• 13 października 2023 r.
  • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
  • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
  • [SPARK-45084]StateOperatorProgress aby użyć dokładnego, odpowiedniego numeru partycji mieszania.
  • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia teraz flagę wrażliwą na wielkość liter podczas scalania schematu.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 10 września 2023 r.
  • Różne poprawki.
• 30 sierpnia 2023 r.
  • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
  • [SPARK-44871][11.3-13.0] Naprawiono percentile_disc zachowanie.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 15 sierpnia 2023 r.
  • [SPARK-44485] Zoptymalizowane pod kątem TreeNode.generateTreeString.
  • [SPARK-44504] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
  • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner wiersze wyjściowe, które mają Null jako pierwszą wartość kolumny.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 27 lipca 2023 r.
  • Rozwiązano problem polegający na tym, że dbutils.fs.ls() funkcja zwracana INVALID_PARAMETER_VALUE.LOCATION_OVERLAP po wywołaniu ścieżki lokalizacji magazynu, która zderzyła się z inną lokalizacją magazynu zewnętrznego lub zarządzanego.
  • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 24 lipca 2023 r.
  • [SPARK-44136] Rozwiązano problem polegający na tym, że element StateManager mógł być zmaterializowany w funkcji wykonawczej zamiast sterownika w elemecie FlatMapGroupsWithStateExec.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 23 czerwca 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 15 czerwca 2023 r.
  • Fotonized approx_count_distinct.
  • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
  • [SPARK-43779]ParseToDate teraz ładuje EvalMode się w głównym wątku.
  • [SPARK-40862] Obsługa niegregowanych podzapytania w funkcji RewriteCorrelatedScalarSubquery
  • [SPARK-43156][SPARK-43098] Rozszerzony test błędów liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
  • [SPARK-43098] Naprawiono usterkę count poprawności, gdy podzapytywanie skalarne ma klauzulę grupowania według
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 2 czerwca 2023 r.
  • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
  • Zwiększ wydajność aktualizacji przyrostowych za pomocą SHALLOW CLONE platform Iceberg i Parquet.
  • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
  • [SPARK-43404]Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
  • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
  • [SPARK-43413][11.3-13.0] Naprawiono IN podzapytywanie ListQuery wartości null.
  • [SPARK-43340] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.

Databricks Runtime 10.4 LTS

Zobacz Databricks Runtime 10.4 LTS.

• 6 kwietnia 2024 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 13 lutego 2024 r.
  • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 31 stycznia 2024 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 25 grudnia 2023 r.
  • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
  • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
  • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
  • [SPARK-39440] Dodaj konfigurację, aby wyłączyć oś czasu zdarzenia.
  • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
• 14 grudnia 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 29 listopada 2023 r.
  • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
  • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
  • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
  • [SPARK-43718] Naprawiono nullability dla kluczy w USING sprzężeniach.
  • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
  • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
  • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 14 listopada 2023 r.
  • [SPARK-45541] Dodano SSLFactoryelement .
  • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
  • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
  • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
  • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
  • Przywróć [SPARK-33861].
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 24 października 2023 r.
  • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 13 października 2023 r.
  • [SPARK-45084]StateOperatorProgress aby użyć dokładnego, odpowiedniego numeru partycji mieszania.
  • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 10 września 2023 r.
  • Różne poprawki.
• 30 sierpnia 2023 r.
  • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 15 sierpnia 2023 r.
  • [SPARK-44504] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
  • [SPARK-43973] Interfejs użytkownika przesyłania strumieniowego ze strukturą jest teraz wyświetlany prawidłowo, gdy zapytania zakończyły się niepowodzeniem.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 23 czerwca 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 15 czerwca 2023 r.
  • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
  • [SPARK-43098] Naprawiono usterkę count poprawności, gdy podzapytywanie skalarne ma klauzulę grupowania według
  • [SPARK-40862] Obsługa niegregowanych podzapytania w funkcji RewriteCorrelatedScalarSubquery
  • [SPARK-43156][SPARK-43098] Rozszerzony test liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 2 czerwca 2023 r.
  • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
  • Rozwiązano problem z analizą danych uratowanych w formacie JSON, aby zapobiec .UnknownFieldException
  • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
  • [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
  • [SPARK-43413] Naprawiono IN wartość null podzapytania ListQuery .
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 17 maja 2023 r.
  • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane w celu wywłaszczania mniejszego rozmiaru partii i są ponownie obniżane w przypadku ponawiania prób zadania jako ostatecznej sieci bezpieczeństwa.
  • [SPARK-41520] Podziel AND_OR wzorzec drzewa na oddzielne AND i OR.
  • [SPARK-43190]ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 25 kwietnia 2023 r.
  • [SPARK-42928] Ustaw resolvePersistentFunction synchronizację.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 11 kwietnia 2023 r.
  • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
  • [SPARK-42937]PlanSubqueries teraz ustawia wartość InSubqueryExec#shouldBroadcast true.
  • [SPARK-42967] Naprawiono element SparkListenerTaskStart.stageAttemptId po uruchomieniu zadania po anulowaniu etapu.
• 29 marca 2023 r.
  • [SPARK-42668] Przechwyć wyjątek podczas próby zamknięcia skompresowanego strumienia w zatrzymaniu HDFSStateStoreProvider
  • [SPARK-42635] Napraw ...
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 14 marca 2023 r.
  • [SPARK-41162] Naprawianie anty-i półsprzężenia na potrzeby samodzielnego sprzężenia za pomocą agregacji
  • [SPARK-33206] Naprawianie obliczania wagi pamięci podręcznej indeksu shuffle dla małych plików indeksu
  • [SPARK-42484] Ulepszono komunikat o błędzie UnsafeRowUtils
  • Różne poprawki.
• 28 lutego 2023 r.
  • Obsługa wygenerowanej kolumny dla date_format rrrr-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
  • Użytkownicy mogą teraz odczytywać i zapisywać określone tabele delty wymagające czytnika w wersji 3 i składnika zapisywania w wersji 7 przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby zakończyć się pomyślnie, funkcje tabeli wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
  • Obsługa wygenerowanej kolumny dla date_format rrrr-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 16 lutego 2023 r.
  • [SPARK-30220] Włącz używanie funkcji Istnieje/W podzapytaniach poza węzłem Filtr
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 31 stycznia 2023 r.
  • Typy tabel tabel JDBC są teraz domyślnie zewnętrzne.
• 18 stycznia 2023 r.
  • Łącznik usługi Azure Synapse zwraca bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
  • [SPARK-38277] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
  • [SPARK-41199] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
  • [SPARK-41198] Naprawiono metryki w zapytaniu przesyłanym strumieniowo o źródle przesyłania strumieniowego CTE i DSv1.
  • [SPARK-41339] Zamknij i ponownie utwórz partię zapisu bazy danych RocksDB zamiast czyszczenia.
  • [SPARK-41732] Zastosuj oczyszczanie oparte na wzorcu drzewa dla reguły SessionWindowing.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 29 listopada 2022 r.
  • Użytkownicy mogą konfigurować zachowanie wiodących i końcowych białych znaków podczas zapisywania danych przy użyciu łącznika Redshift. Dodano następujące opcje do sterowania obsługą białych znaków:
    • csvignoreleadingwhitespace, gdy jest ustawiona wartość true, usuwa wiodące białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV wartość lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
    • csvignoretrailingwhitespace, w przypadku ustawienia na truewartość , usuwa końcowe białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona wartość CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
  • Rozwiązano problem z analizowaniem kodu JSON w narzędziu do automatycznego ładowania, gdy wszystkie kolumny były pozostawione jako ciągi (cloudFiles.inferColumnTypes nie zostały ustawione lub ustawione na false) i zawarte obiekty zagnieżdżone w formacie JSON.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 15 listopada 2022 r.
  • Uaktualniono wersję apache commons-text do wersji 1.10.0.
  • [SPARK-40646] Analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszone zachowanie, ustaw wartość spark.sql.json.enablePartialResultstrue. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie.
  • [SPARK-40292] Naprawianie nazw kolumn w arrays_zip funkcji, gdy tablice są przywoływane z zagnieżdżonych struktur
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 1 listopada 2022 r.
  • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale źródło danych zmian zostało wyłączone w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
  • Rozwiązano problem z funkcją automatycznego ładowania, który polegał na tym, że plik mógł być zduplikowany w tej samej mikrosadowej partii, gdy allowOverwrites jest włączony
  • [SPARK-40697] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
  • [SPARK-40596] Wypełnianie funkcji wykonawczejDecommission komunikatami w funkcji ExecutorDecommissionInfo
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 18 października 2022 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 5 października 2022 r.
  • [SPARK-40468] Napraw oczyszczanie kolumn w pliku CSV, gdy _corrupt_record jest zaznaczone.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 22 września 2022 r.
  • Użytkownicy mogą ustawić zestaw spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true), aby ponownie włączyć wbudowaną listę automatycznego modułu ładującego w usłudze ADLS Gen2. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale może doprowadzić do zwiększenia kosztów magazynowania dla klientów.
  • [SPARK-40315] Add hashCode() for Literal of ArrayBasedMapData
  • [SPARK-40213] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
  • [SPARK-40380] Napraw stałe składanie elementu InvokeLike, aby uniknąć niesererowalnego literału osadzonego w planie
  • [SPARK-38404] Ulepszanie rozpoznawania CTE, gdy zagnieżdżone CTE odwołuje się do zewnętrznego CTE
  • [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
  • [SPARK-39887] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
• 6 września 2022 r.
  • [SPARK-40235] Użyj blokady przerywanej zamiast zsynchronizowanej w pliku Executor.updateDependencies().
  • [SPARK-40218] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania.
  • [SPARK-39976] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie.
  • [SPARK-40053] Dodaj assume do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python.
  • [SPARK-35542] Poprawka: Moduł Bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po jego zapisaniu.
  • [SPARK-40079] Dodaj walidację danych wejściowych ImputerCols dla pustego przypadku wejściowego.
• 24 sierpnia 2022 r.
  • [SPARK-39983] Nie buforuj nieserializowane relacje emisji na sterowniku.
  • [SPARK-39775] Wyłącz sprawdzanie poprawności wartości domyślnych podczas analizowania schematów Avro.
  • [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
  • [SPARK-37643] jeśli parametr charVarcharAsString ma wartość true, w przypadku zapytania predykatu typu char należy pominąć regułę rpadding.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 9 sierpnia 2022 r.
  • [SPARK-39847] Napraw stan wyścigu w pliku RocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
  • [SPARK-39731] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyMMdd" przy użyciu zasad analizatora czasu POPRAWIONO
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 27 lipca 2022 r.
  • [SPARK-39625] Dodaj Dataset.as(StructType).
  • [SPARK-39689]Obsługa 2 znaków lineSep w źródle danych CSV.
  • [SPARK-39104] Element InMemoryRelation#isCachedColumnBuffersLoaded powinien być bezpieczny wątkowo.
  • [SPARK-39570] Tabela śródliniowa powinna zezwalać na wyrażenia z aliasem.
  • [SPARK-39702] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego elementu byteRawChannel.
  • [SPARK-39575] dodaj element ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer (Polecenie ByteBuffer#get in AvroDeserializer).
  • [SPARK-39476] Wyłącz optymalizację rzutowania odpakuj podczas rzutowania od długiego do liczby zmiennoprzecinkowej/ podwójnej lub z liczby całkowitej do liczby zmiennoprzecinkowej.
  • [SPARK-38868] Nie propaguj wyjątków z predykatu filtru podczas optymalizowania sprzężeń zewnętrznych.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 20 lipca 2022 r.
  • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
  • [SPARK-39355] Pojedyncza kolumna używa cudzysłowia do konstruowania atrybutu UnresolvedAttribute.
  • [SPARK-39548] Polecenie CreateView z zapytaniem klauzuli okna naciśnij nieprawidłową definicję okna nie znaleziono problemu.
  • [SPARK-39419] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null.
  • Wyłączono automatyczne ładowanie przy użyciu wbudowanych interfejsów API chmury na potrzeby wyświetlania listy katalogów na platformie Azure.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 5 lipca 2022 r.
  • [SPARK-39376] Ukryj zduplikowane kolumny w rozszerzeniu gwiazdki aliasu podzapytania z pliku NATURAL/USING JOIN
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 15 czerwca 2022 r.
  • [SPARK-39283] Naprawiono zakleszczenie między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator.
  • [SPARK-39285] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików.
  • [SPARK-34096] Zwiększ wydajność nth_value ignorować wartości null w oknie przesunięcia.
  • [SPARK-36718] Napraw zaewidencjonuj isExtractOnly element ZwińProjekt.
• 2 czerwca 2022 r.
  • [SPARK-39093] Unikaj błędu kompilacji kodu podczas dzielenia interwałów miesiąca lub interwałów dnia według całkowitej liczby.
  • [SPARK-38990] Unikaj wartości NullPointerException podczas oceniania formatu date_trunc/obcinania jako odwołania powiązanego.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 18 maja 2022 r.
  • Naprawia potencjalny wyciek pamięci wbudowanej w narzędziu automatycznego ładowania.
  • [SPARK-38918] Zagnieżdżone oczyszczanie kolumn powinno odfiltrować atrybuty, które nie należą do bieżącej relacji.
  • [SPARK-37593] Zmniejsz domyślny rozmiar strony przez LONG_ARRAY_OFFSET, jeśli są używane G1GC i ON_HEAP.
  • [SPARK-39084] Napraw df.rdd.isEmpty() przy użyciu elementu TaskContext, aby zatrzymać iterator po zakończeniu zadania.
  • [SPARK-32268] Dodaj kolumnęPruning w iniekcjiBloomFilter.
  • [SPARK-38974] Filtrowanie zarejestrowanych funkcji przy użyciu danej nazwy bazy danych w funkcjach listy.
  • [SPARK-38931] Utwórz katalog główny dfs dla elementu RocksDBFileManager z nieznaną liczbą kluczy w punkcie kontrolnym 1.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 19 kwietnia 2022 r.
  • Uaktualniono zestaw JAVA AWS SDK z wersji 1.11.655 do wersji 1.12.1899.
  • Rozwiązano problem polegający na tym, że biblioteki o zakresie notesu nie działały w zadaniach przesyłania strumieniowego wsadowego.
  • [SPARK-38616] Śledź tekst zapytania SQL w węźle TreeNode katalizatora
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 6 kwietnia 2022 r.
  • Następujące funkcje Spark SQL są teraz dostępne w tej wersji:
    • timestampadd() i dateadd(): Dodaj czas trwania w określonej lekcji do wyrażenia sygnatury czasowej.
    • timestampdiff() i datediff(): Oblicz różnicę czasu między wyrażeniami sygnatury dwukrotnej w określonej lekcji.
  • Parquet-MR został uaktualniony do wersji 1.12.2
  • Ulepszona obsługa kompleksowych schematów w plikach parquet
  • [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack.
  • [SPARK-38509][SPARK-38481] Cherry-pick trzy timestmapadd/diff zmiany.
  • [SPARK-38523] Poprawka odwołująca się do uszkodzonej kolumny rekordu z pliku CSV.
  • [SPARK-38237] Zezwalaj na ClusteredDistribution wymaganie pełnych kluczy klastrowania.
  • [SPARK-38437] Pobłażliwi serializacji daty/godziny ze źródła danych.
  • [SPARK-38180] Zezwalaj na bezpieczne rzutowanie w skorelowanych predykatach równości.
  • [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami.
  • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 9.1 LTS

Zobacz Databricks Runtime 9.1 LTS.

• 9 kwietnia 2024 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 13 lutego 2024 r.
  • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 31 stycznia 2024 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 25 grudnia 2023 r.
  • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
  • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
  • [SPARK-39440] Dodaj konfigurację, aby wyłączyć oś czasu zdarzenia.
  • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
• 14 grudnia 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 29 listopada 2023 r.
  • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
  • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
  • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
  • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 14 listopada 2023 r.
  • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
  • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
  • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
  • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
  • [SPARK-45541] Dodano SSLFactoryelement .
  • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 24 października 2023 r.
  • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 13 października 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 10 września 2023 r.
  • Różne poprawki.
• 30 sierpnia 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 15 sierpnia 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 23 czerwca 2023 r.
  • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 15 czerwca 2023 r.
  • [SPARK-43098] Napraw usterkę count poprawności, gdy podzapytywanie skalarne ma klauzulę grupowania według.
  • [SPARK-43156][SPARK-43098] Rozszerz test błędów liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
  • [SPARK-40862] Obsługa niegregowanych podzapytania w funkcji RewriteCorrelatedScalarSubquery.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 2 czerwca 2023 r.
  • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
  • Rozwiązano problem z analizą danych uratowanych w formacie JSON, aby zapobiec .UnknownFieldException
  • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
  • [SPARK-37520]startswith() Dodawanie funkcji i endswith() string
  • [SPARK-43413] Naprawiono IN wartość null podzapytania ListQuery .
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 17 maja 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 25 kwietnia 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 11 kwietnia 2023 r.
  • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
  • [SPARK-42967] Naprawiono element SparkListenerTaskStart.stageAttemptId po uruchomieniu zadania po anulowaniu etapu.
• 29 marca 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 14 marca 2023 r.
  • [SPARK-42484] Ulepszony komunikat o błędzie dla elementu UnsafeRowUtils.
  • Różne poprawki.
• 28 lutego 2023 r.
  • Użytkownicy mogą teraz odczytywać i zapisywać określone tabele delty wymagające czytnika w wersji 3 i składnika zapisywania w wersji 7 przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby zakończyć się pomyślnie, funkcje tabeli wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 16 lutego 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 31 stycznia 2023 r.
  • Typy tabel tabel JDBC są teraz domyślnie zewnętrzne.
• 18 stycznia 2023 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 29 listopada 2022 r.
  • Rozwiązano problem z analizowaniem kodu JSON w narzędziu do automatycznego ładowania, gdy wszystkie kolumny były pozostawione jako ciągi (cloudFiles.inferColumnTypes nie zostały ustawione lub ustawione na false) i zawarte obiekty zagnieżdżone w formacie JSON.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 15 listopada 2022 r.
  • Uaktualniono wersję apache commons-text do wersji 1.10.0.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
  • Różne poprawki.
• 1 listopada 2022 r.
  • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale źródło danych zmian zostało wyłączone w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
  • Rozwiązano problem z funkcją automatycznego ładowania, który polegał na tym, że plik mógł być zduplikowany w tej samej mikrosadowej partii, gdy allowOverwrites jest włączony
  • [SPARK-40596] Wypełnianie funkcji wykonawczejDecommission komunikatami w funkcji ExecutorDecommissionInfo
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 18 października 2022 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 5 października 2022 r.
  • Różne poprawki.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 22 września 2022 r.
  • Użytkownicy mogą ustawić właściwość spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć wbudowaną listę automatycznego modułu ładującego w usłudze ADLS Gen2. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale może doprowadzić do zwiększenia kosztów magazynowania dla klientów.
  • [SPARK-40315] Add hashCode() for Literal of ArrayBasedMapData
  • [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
  • [SPARK-39887] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
• 6 września 2022 r.
  • [SPARK-40235] Użyj blokady przerywanej zamiast zsynchronizowanej w funkcji Executor.updateDependencies()
  • [SPARK-35542] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
  • [SPARK-40079] Dodawanie walidacji danych inputCols imputera dla pustego przypadku wejściowego
• 24 sierpnia 2022 r.
  • [SPARK-39666] Użyj pliku UnsafeProjection.create, aby uwzględniać spark.sql.codegen.factoryMode element ExpressionEncoder
  • [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 9 sierpnia 2022 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 27 lipca 2022 r.
  • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
  • [SPARK-39689] Obsługa 2 znaków lineSep w źródle danych CSV
  • [SPARK-39575] Dodano ByteBuffer#rewind po w ByteBuffer#get pliku AvroDeserializer.
  • [SPARK-37392] Naprawiono błąd wydajności optymalizatora katalizatora.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 13 lipca 2022 r.
  • [SPARK-39419]ArraySort zgłasza wyjątek, gdy komparator zwraca wartość null.
  • Wyłączono automatyczne ładowanie przy użyciu wbudowanych interfejsów API chmury na potrzeby wyświetlania listy katalogów na platformie Azure.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 5 lipca 2022 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
  • Różne poprawki.
• 15 czerwca 2022 r.
  • [SPARK-39283] Naprawiono zakleszczenie między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator.
• 2 czerwca 2022 r.
  • [SPARK-34554] Zaimplementuj metodę copy() w pliku ColumnarMap.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 18 maja 2022 r.
  • Naprawiono potencjalny wyciek wbudowanej pamięci w narzędziu automatycznego ładowania.
  • Uaktualnij zestaw AWS SDK z wersji 1.11.655 do wersji 1.11.678.
  • [SPARK-38918] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
  • [SPARK-39084] Poprawka df.rdd.isEmpty() przy użyciu polecenia TaskContext w celu zatrzymania iteratora po zakończeniu zadania
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 19 kwietnia 2022 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
  • Różne poprawki.
• 6 kwietnia 2022 r.
  • [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 22 marca 2022 r.
  • Zmieniono bieżący katalog roboczy notesów w klastrach o wysokiej współbieżności z włączoną kontrolą dostępu do tabeli lub przekazywaniem poświadczeń do katalogu macierzystego użytkownika. Wcześniej usługa Active Directory miała wartość /databricks/driver.
  • [SPARK-38437] Pobłażliwą serializacji daty/godziny ze źródła danych
  • [SPARK-38180] Zezwalaj na bezpieczne rzutowanie w skorelowanych predykatach równości
  • [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
  • [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
• 14 marca 2022 r.
  • [SPARK-38236] Bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
  • [SPARK-34069] Przerywanie wątku zadania, jeśli właściwość SPARK_JOB_INTERRUPT_ON_CANCEL lokalna jest ustawiona na true.
• 23 lutego 2022 r.
  • [SPARK-37859] Tabele SQL utworzone za pomocą JDBC z platformą Spark 3.1 nie są czytelne dla platformy Spark 3.2.
• 8 lutego 2022 r.
  • [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 1 lutego 2022 r.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 26 stycznia 2022 r.
  • Rozwiązano problem polegający na tym, że współbieżne transakcje w tabelach delty mogły być zatwierdzane w kolejności nieserejserowalnej w pewnych rzadkich warunkach.
  • Rozwiązano problem polegający na OPTIMIZE tym, że polecenie mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
• 19 stycznia 2022 r.
  • Drobne poprawki i ulepszenia zabezpieczeń.
  • Aktualizacje zabezpieczeń systemu operacyjnego.
• 4 listopada 2021 r.
  • Rozwiązano problem, który mógł powodować niepowodzenie strumieni przesyłania strumieniowego ze strukturą z powodu błędu ArrayIndexOutOfBoundsException.
  • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z przykładem IOException java.io.IOException: No FileSystem for scheme lub który może spowodować, że sparkContext.hadoopConfiguration modyfikacje nie zostaną zastosowane w zapytaniach.
  • Program Apache Spark Połączenie or for Delta Sharing został uaktualniony do wersji 0.2.0.
• 20 października 2021 r.
  • Uaktualniono łącznik BigQuery z wersji 0.18.1 do 0.22.2. Spowoduje to dodanie obsługi typu BigNumeric.