Megosztás a következőn keresztül:

A Databricks Runtime karbantartási frissítései (archiválva)

  • Cikk

Ez az archivált lap a már nem támogatott Databricks Runtime-kiadásokhoz kiadott karbantartási frissítéseket sorolja fel. Ha karbantartási frissítést szeretne hozzáadni egy meglévő fürthöz, indítsa újra a fürtöt.

Fontos

Ez a dokumentáció ki lett állítva, és lehet, hogy nem frissül. Az ebben a tartalomban említett termékek, szolgáltatások vagy technológiák támogatásának megszűnése véget ért. Lásd a Databricks Runtime kibocsátási megjegyzéseinek verzióit és kompatibilitását.

Feljegyzés

Ez a cikk az Azure Databricks által nem használt kifejezésre , az engedélyezési listára mutató hivatkozásokat tartalmaz. Ha a kifejezés el lesz távolítva a szoftverből, a cikkből is eltávolítjuk.

Databricks Runtime-kiadások

Karbantartási frissítések kiadás szerint:

A Databricks Runtime támogatott verzióinak karbantartási frissítéseit a Databricks Runtime karbantartási frissítései között találja.

Databricks Runtime 15.0

Lásd: Databricks Runtime 15.0 (EoS).

  • 2024. május 30.
    • A (viselkedésváltozás) dbutils.widgets.getAll() mostantól támogatott a jegyzetfüzet összes widgetértékének lekéréséhez.
  • 2024. április 25.
    • [SPARK-47786] A SELECT DISTINCT () nem lehet SELECT DISTINCT struct() (korábbi viselkedésre való visszaállítás)
    • [SPARK-47802][SQL] Vissza () a jelentés struct() vissza a jelentés *
    • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
    • [SPARK-47722] Várjon, amíg a RocksDB háttérmunka befejeződik, mielőtt bezárul
    • [SPARK-47081][CONNECT] [KÖVETÉS] A folyamatkezelő használhatóságának javítása
    • [SPARK-47694][CONNECT] Az üzenet maximális méretének konfigurálása az ügyféloldalon
    • [SPARK-47669][SQL] [CONNECT] [PYTHON] Hozzáad Column.try_cast
    • [SPARK-47664][PYTHON] [CONNECT] [Cherry-pick-15.0] Ellenőrizze az oszlop nevét gyorsítótárazott sémával
    • [SPARK-47818][CONNECT] [Cherry-pick-15.0] Tervgyorsítótár bevezetése a SparkConnectPlannerben az elemzési kérések teljesítményének javítása érdekében
    • [SPARK-47704][SQL] A JSON-elemzés a "java.lang.ClassCastException" hibával meghiúsul, ha a spark.sql.json.enablePartialResults engedélyezve van
    • [SPARK-47755][CONNECT] A kimutatásnak sikertelennek kell lennie, ha a különböző értékek száma túl nagy
    • [SPARK-47713][SQL] [CONNECT] Öncsatlakozásos hiba kijavítása
    • [SPARK-47812][CONNECT] A SparkSession forEachBatch-feldolgozó támogatásának támogatása
    • [SPARK-47828][CONNECT] [PYTHON] DataFrameWriterV2.overwrite érvénytelen csomaggal meghiúsul
    • [SPARK-47862][PYTHON] [CONNECT] Proto-fájlok létrehozásának javítása
    • [SPARK-47800][SQL] Új azonosító metódus létrehozása a tableIdentifier-átalakításhoz
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 3.
    • (Viselkedésváltozás) A számítási típusok konzisztens viselkedésének biztosítása érdekében a megosztott fürtökön lévő PySpark UDF-ek mostantól megfelelnek az elkülönítés nélküli és a hozzárendelt fürtök UDF-jeinek viselkedésének. Ez a frissítés a következő módosításokat tartalmazza, amelyek megszakíthatják a meglévő kódot:
      • A visszatérési típussal rendelkező string UDF-ek többé nem konvertálják implicit módon a nem-értékeketstring értékekké string . Korábban a visszatérési str típusú UDF-ek a visszaadott érték tényleges adattípusától függetlenül függvénysel str() burkolták a visszatérési értéket.
      • A visszatérési típusokkal rendelkező timestamp UDF-ek többé nem alkalmazzák implicit módon a konvertálást timestamp a .timezone
      • A Spark-fürtkonfigurációk már nem vonatkoznak spark.databricks.sql.externalUDF.* a megosztott fürtök PySpark UDF-jeire.
      • A Spark-fürt konfigurációja spark.databricks.safespark.externalUDF.plan.limit már nem érinti a PySpark UDF-eket, így a PySpark UDF-ekhez lekérdezésenként 5UDF nyilvános előzetes verziós korlátozását szünteti meg.
      • A Spark-fürtkonfiguráció spark.databricks.safespark.sandbox.size.default.mib már nem vonatkozik a megosztott fürtöken lévő PySpark UDF-ekre. Ehelyett a rendszer rendelkezésre álló memóriát használ. A PySpark UDF-k memóriájának korlátozásához használja spark.databricks.pyspark.udf.isolation.memoryLimit a minimális értéket 100m.
    • Az TimestampNTZ adattípus mostantól folyékony fürtözést tartalmazó fürtözési oszlopként is támogatott. Lásd: Folyékony fürtözés használata Delta-táblákhoz.
    • [SPARK-47218][SQL] XML: Megjegyzésként megadott sorcímkék figyelmen kívül hagyása az XML-jogkivonat-jelölőben
    • [SPARK-46990][SQL] Az event-hubs által kibocsátott üres Avro-fájlok betöltésének javítása
    • [SPARK-47033][SQL] Az EXECUTE IMMEDIATE USING javítás nem ismeri fel a munkamenet-változók nevét
    • [SPARK-47368][SQL] InferTimestampNTZ konfigurációs ellenőrzés eltávolítása a ParquetRowConverterben
    • [SPARK-47561][SQL] Az elemzői szabályrendeletekkel kapcsolatos problémák elhárítása az aliassal kapcsolatban
    • [SPARK-47638][PS] [CONNECT] Oszlopnév-ellenőrzés kihagyása a PS-ben
    • [SPARK-46906][BACKPORT] [SS] Állapotalapú operátor változásának ellenőrzése a streameléshez
    • [SPARK-47569][SQL] Tiltsa le a variáns összehasonlítását.
    • [SPARK-47241][SQL] Az ExtractGenerator szabályrendeleti problémáinak megoldása
    • [SPARK-47218] [SQL] XML: A SchemaOfXml nem működik DROPMALFORMED módban
    • [SPARK-47300][SQL] quoteIfNeeded idézőjel azonosítója számjegyekkel kezdődik
    • [SPARK-47009][SQL] [Rendezés] Tábla létrehozása támogatásának engedélyezése rendezéshez
    • [SPARK-47322][PYTHON] [CONNECT] Az oszlopnevek duplikálásának kezelése konzisztenssé tétele withColumnsRenamedwithColumnRenamed
    • [SPARK-47544][PYTHON] A SparkSession Builder metódus nem kompatibilis a Visual Studio Code Intellisense használatával
    • [SPARK-47511][SQL] Canonicalize with expressions by re-assigning azonosítók
    • [SPARK-47385] Javítsa ki a kódolókat option bemenetekkel.
    • [SPARK-47200][SS] Hibaosztály a Foreach batch sink felhasználói függvényének hibája esetén
    • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
    • [SPARK-38708][SQL] A Hive Metastore-ügyfél frissítése a Hive 3.1 3.3-ra
    • [SPARK-47305][SQL] A PruneFilters javítása a LocalRelation isStreaming jelzőjének helyes címkézéséhez, ha a csomag köteget és streamet is tartalmaz
    • [SPARK-47380][CONNECT] Győződjön meg arról, hogy a kiszolgáló oldalán a SparkSession ugyanaz
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 14.0

Lásd: Databricks Runtime 14.0 (EoS).

  • 2024. február 8.
    • [SPARK-46396] Az időbélyeg-következtetés nem vethet ki kivételt.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • [SPARK-45182] Az ellenőrzőösszeg által meghatározott szülő-határozatlan fázis ismételt megkísérlése után hagyja figyelmen kívül a feladat befejezését a régi fázisból.
    • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
    • [SPARK-45957] Ne generáljon végrehajtási tervet nem végrehajtható parancsokhoz.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • [SPARK-46930] Az Avro union típusú mezőihez tartozó egyéni előtag támogatása.
    • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
    • [SPARK-45582] Győződjön meg arról, hogy a tárpéldány nem használható a véglegesítés kimeneti módú streamelési összesítésen belüli meghívása után.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • [SPARK-46541] Javítsa ki a nem egyértelmű oszlophivatkozást az önillesztés során.
    • [SPARK-46676] A dropDuplicatesWithinWatermark nem hiúsíthatja meg a terv canonicalizálását.
    • [SPARK-46769] Pontosítsa az időbélyeggel kapcsolatos sémakövetkeztetést.
    • [SPARK-45498] Követés: Figyelmen kívül hagyhatja a tevékenységek befejezését a régi fázisbeli kísérletekből.
    • Visszaállítás [SPARK-46769] Az időbélyeggel kapcsolatos sémakövetkeztetés finomítása.
    • [SPARK-46383] Az illesztőprogram halomhasználatának TaskInfo.accumulables()csökkentése a .
    • [SPARK-46633] Az Avro-olvasó javítása a nulla hosszúságú blokkok kezeléséhez.
    • [SPARK-46677] Javítsa ki a dataframe["*"] felbontást.
    • [SPARK-46684] Az argumentumok megfelelő átadásához javítsa ki a CoGroup.applyInPandas/Arrow elemet.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 17.
    • A shuffle Photon-lekérdezés által visszaadott magyarázó terv csomópontja frissül, hogy hozzáadja a causedBroadcastJoinBuildOOM=true jelzőt, ha memóriakimaradási hiba lép fel egy közvetítési illesztés részét képező shuffle során.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karakterekkel rendelkező sémákon, ha spark.sql.legacy.keepCommandOutputSchema igaz értékre van állítva.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-45814] A memóriaszivárgás elkerülése érdekében zárja be az ArrowConverters.createEmptyArrowBatch hívást.
    • [SPARK-46173] A trimAll hívás kihagyása a dátum elemzése során.
    • [SPARK-46484] A resolveOperators segédfüggvények megtartják a terv azonosítóját.
    • [SPARK-46466] A vektoros parquet-olvasónak soha nem szabad újrabázist végeznie az időbélyeg ntz-hez.
    • [SPARK-46056] Parquet vectorized read NPE javítása byteArrayDecimalType alapértelmezett értékkel.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-46478] Állítsa vissza a SPARK-43049-et az oracle varchar(255) sztringhez való használatához.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
    • [SPARK-46417] Ne hiúsuljon meg a hive.getTable hívásakor, és a throwException értéke hamis.
    • [SPARK-46261] DataFrame.withColumnsRenamed meg kell őriznie a diktálás/térképrendezést.
    • [SPARK-46370] Az oszlop alapértelmezett értékének módosítása után kijavítottuk a táblából való lekérdezéskor megjelenő hibát.
    • [SPARK-46609] Kerülje az exponenciális robbanást a PartitioningPreservingUnaryExecNode-ban.
    • [SPARK-46600] Megosztott kód áthelyezése az SqlConf és az SqlApiConf között az SqlApiConfHelperbe.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-46337] Őrizze meg CTESubstitution a PLAN_ID_TAG.
    • [SPARK-46602] allowExisting Propagálja a nézetlétrehozásban, ha a nézet/tábla nem létezik.
    • [SPARK-46260] DataFrame.withColumnsRenamed tiszteletben kell tartania a diktálás sorrendjét.
    • [SPARK-46145] A spark.catalog.listTables nem okoz kivételt, ha a tábla vagy a nézet nem található.
  • 2023. december 14.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó getColumns-műveletekben a szökött aláhúzásjelek helytelenül lettek kezelve, és helyettesítő karakterekként lettek értelmezve.
    • [SPARK-46255] Összetett típus támogatása –> sztringátalakítás.
    • [SPARK-46028] Fogadja el Column.__getitem__ a bemeneti oszlopot.
    • [SPARK-45920] a csoportosításnak sorszám szerint idempotensnek kell lennie.
    • [SPARK-45433] Javítsa ki a CSV/JSON-séma következtetését, ha az időbélyegek nem felelnek meg a megadott időbélyegformának.
    • [SPARK-45509] A Spark Connect df oszlophivatkozási viselkedésének javítása.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó műveletekben a kimenekült aláhúzásmagok getColumns helytelenül helyettesítő karakterekként lettek értelmezve.
    • Ha CSV-adatokat tölt be automatikus betöltő vagy streamelő táblák használatával, a nagy CSV-fájlok mostantól feloszthatók, és párhuzamosan is feldolgozhatók a sémakövetkeztetés és az adatfeldolgozás során.
    • A Spark-snowflake összekötő 2.12.0-ra frissül.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • Visszaállítás [SPARK-45592].
    • [SPARK-45892] Újrabontási optimalizálási terv érvényesítése a leválasztáshoz validateSchemaOutput és validateExprIdUniquenessa .
    • [SPARK-45592] Kijavítottuk az AQE helyességi problémáját a következővel InMemoryTableScanExec: .
    • [SPARK-45620] A Python UDF-hez kapcsolódó API-k mostantól camelCaset használnak.
    • [SPARK-44784] SBT-teszt hermetikus lett.
    • [SPARK-45770] Rögzített oszlopfelbontás a következővel DataFrameDropColumns Dataframe.drop: .
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 10.
    • Módosított adatcsatorna-lekérdezések a Unity Catalog streamelési tábláiban és materializált nézeteiben a hibaüzenetek megjelenítéséhez.
    • [SPARK-45545] SparkTransportConf SSLOptions a létrehozáskor örökli.
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction már nem meghiúsul, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-44219] További szabályonkénti érvényesítések hozzáadva az optimalizálási újraírásokhoz.
    • [SPARK-45543] Kijavítottunk egy hibát, amely InferWindowGroupLimit hibát eredményezett, ha a többi ablakfüggvény nem azonos az ablakkerettel, mint a rangsorolt függvények.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 23.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • [SPARK-45396] Hozzáadta a modulhoz tartozó PySpark.ml.connect dokumentumbejegyzést, és hozzáadta Evaluator a következőhöz __all__ ml.connect: .
    • [SPARK-45256] Kijavítottunk egy hibát, amely DurationWriter miatt nem sikerült több értéket írni, mint a kezdeti kapacitás.
    • [SPARK-45279] Minden logikai tervhez csatolva plan_id .
    • [SPARK-45250] A dinamikus lefoglalás kikapcsolásakor a yarnfürtök szakaszszintű tevékenységerőforrás-profiljának támogatása lett hozzáadva.
    • [SPARK-45182] A visszagördülő shuffle leképezési szakasz támogatása, így az összes szakaszfeladat újrapróbálható, ha a szakasz kimenete határozatlan.
    • [SPARK-45419] A nagyobb verziók fájlverzió-megfeleltetési bejegyzéseinek eltávolításával ne használja rocksdb sst újra a fájlokat egy másik rocksdb példányban.
    • [SPARK-45386] Kijavítottunk egy hibát, amely StorageLevel.NONE miatt a 0 helytelenül lett visszaadva.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 13.
    • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
    • A array_insert függvény 1-alapú a pozitív és negatív indexekhez, míg korábban a negatív indexek esetében 0-alapú volt. Most egy új elemet szúr be a -1 index bemeneti tömbjeinek végére. Az előző viselkedés visszaállításához állítsa be a következőt spark.sql.legacy.negativeIndexInArrayInsert true: .
    • Az Azure Databricks már nem hagyja figyelmen kívül a sérült fájlokat, ha egy CSV-séma az Automatikus betöltővel való következtetése engedélyezve ignoreCorruptFilesvan.
    • [SPARK-45227] Kijavítottunk egy finom szálbiztonsági problémát a CoarseGrainedExecutorBackend.
    • [SPARK-44658] ShuffleStatus.getMapStatus helyett a függvénynek kell visszatérnie None Some(null).
    • [SPARK-44910] Encoders.bean nem támogatja az általános típusú argumentumokkal rendelkező szuperosztályokat.
    • [SPARK-45346] A parquet-séma következtetése tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőket a séma egyesítésekor.
    • Visszaállítás [SPARK-42946].
    • [SPARK-42205] Frissítette a JSON protokollt, hogy eltávolítsa az Accumulables naplózását egy tevékenységben vagy szakaszindítási eseményben.
    • [SPARK-45360] A Spark-munkamenet-szerkesztő támogatja az inicializálást a következőből SPARK_REMOTE: .
    • [SPARK-45316] Adjon hozzá új paramétereket ignoreCorruptFiles/ignoreMissingFiles a és NewHadoopRDDa .HadoopRDD
    • [SPARK-44909] Ha nem érhető el, hagyja ki a fáklya forgalmazói naplóstreamelési kiszolgáló futtatását.
    • [SPARK-45084] StateOperatorProgress Mostantól pontos shuffle partíciószámot használ.
    • [SPARK-45371] Kijavítottuk a Spark Connect Scala-ügyfél árnyékolási problémáit.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • [SPARK-44840] Negatív indexekhez készítsen array_insert() 1-alapút.
    • [SPARK-44551] Szerkesztett megjegyzések az OSS-sel való szinkronizáláshoz.
    • [SPARK-45078] A ArrayInsert függvény explicit öntést végez, ha az elemtípus nem egyenlő a származtatott összetevőtípussal.
    • [SPARK-45339] A PySpark most naplózza az újrapróbálkozások hibáit.
    • [SPARK-45057] Ne szerezzen be olvasási zárolást, ha keepReadLock hamis.
    • [SPARK-44908] Kijavítottuk a kereszt-érvényesítő foldCol param funkcióit.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 13.1

Lásd: Databricks Runtime 13.1 (EoS).

  • 2023. november 29.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó műveletekben a kimenekült aláhúzásmagok getColumns helytelenül helyettesítő karakterekként lettek értelmezve.
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • [SPARK-43802] Kijavítottunk egy hibát, amely miatt a unhex és a unbase64-kifejezések kodenizálása meghiúsult.
    • [SPARK-43718] Kijavítottuk az illesztések kulcsainak nullhipotitását USING .
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • A Delta Lake streamelési lekérdezések partíciószűrői le lesznek küldve a sebességkorlátozás előtt a jobb kihasználtság érdekében.
    • Módosított adatcsatorna-lekérdezések a Unity Catalog streamelési tábláiban és materializált nézeteiben a hibaüzenetek megjelenítéséhez.
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45430] FramelessOffsetWindowFunction már nem meghiúsul, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45543] Kijavítottunk egy hibát, amely InferWindowGroupLimit akkor okozott problémát, ha a többi ablakfüggvény nem ugyanazzal az ablakkerettel rendelkezik, mint a rangszerű függvények.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-43799] Leíró bináris beállítás hozzáadva a PySpark Protobuf API-hoz.
    • Visszaállítás [SPARK-42946].
    • [SPARK-45346] A parquet-séma következtetése mostantól tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőt egy séma egyesítésekor.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 13.
    • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
    • A sérült fájlok már nem figyelmen kívül hagyása, ha ignoreCorruptFiles engedélyezve van a CSV-séma automatikus betöltővel való következtetése során.
    • [SPARK-44658] ShuffleStatus.getMapStatus a függvény ahelyett, None hogy a .-t Some(null)adja vissza.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • [SPARK-42205] Frissítette a JSON protokollt, hogy eltávolítsa az Accumulables naplózását egy tevékenységben vagy szakaszindítási eseményben.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 12.
    • [SPARK-44718] A ColumnVector memóriamód alapértelmezett konfigurációjának egyeztetése a konfiguráció értékével OffHeapMemoryMode .
    • SPARK-44878 Kikapcsolta az íráskezelő szigorú RocksDB korlátját, hogy elkerülje a beszúrási kivételt a gyorsítótárban.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • [SPARK-44871] Kijavítottuk a percentile_disc viselkedését.
    • [SPARK-44714] Az LCA-feloldás egyszerű korlátozása a lekérdezésekkel kapcsolatban.
    • [SPARK-44245] PySpark.sql.dataframe sample() A dokumentumtesztek mostantól csak szemléltető jellegűek.
    • [SPARK-44818] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • [SPARK-44485] Optimalizált TreeNode.generateTreeString.
    • [SPARK-44643] Ki lett javítva Row.__repr__ , ha a sor üres.
    • [SPARK-44504] A karbantartási feladat mostantól leállási hiba miatt törli a betöltött szolgáltatókat.
    • [SPARK-44479] Kijavítottuk protobuf az átalakítást üres szerkezettípusból.
    • [SPARK-44464] Az első oszlopértékként megadott Null kimeneti sorokhoz van javítvaapplyInPandasWithStatePythonRunner.
    • Egyéb javítások.
  • 2023. július 27.
    • Kijavítottunk egy hibát, amely dbutils.fs.ls() akkor lett visszaadva INVALID_PARAMETER_VALUE.LOCATION_OVERLAP , amikor olyan tárolási hely elérési útját kérték, amely ütközött más külső vagy felügyelt tárhellyel.
    • [SPARK-44199] CacheManager a továbbiakban nem frissíti feleslegesen.fileIndex
    • [SPARK-44448] Kijavítottuk a hibás találatokat a következőből DenseRankLimitIterator : és InferWindowGroupLimit.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 24.
    • Visszaállítás [SPARK-42323].
    • [SPARK-41848] Kijavítottuk a feladat túlütemezési problémáját.TaskResourceProfile
    • [SPARK-44136] Kijavítottunk egy hibát, amely StateManager miatt a rendszer a végrehajtóban materializálta a fájlt az illesztő FlatMapGroupsWithStateExechelyett.
    • [SPARK-44337] Kijavítottunk egy hibát, amely miatt bármely mező Any.getDefaultInstance elemzési hibákat okozott.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 27.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • Fotonizált approx_count_distinct.
    • A JSON-elemző failOnUnknownFields módban most már módban elveti a rekordot DROPMALFORMED , és közvetlenül FAILFAST módban meghiúsul.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • Az PubSubRecord attribútummező jSON-ként van tárolva a Scala-térkép sztringje helyett az egyszerűbb szerializálás és deszerializálás érdekében.
    • A EXPLAIN EXTENDED parancs most visszaadja a lekérdezés eredménygyorsítótár-jogosultságát.
    • Növelje a növekményes frissítések teljesítményét az Iceberg és a Parquet használatával SHALLOW CLONE .
    • [SPARK-43032] Python SQM hibajavítás.
    • [SPARK-43404]Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
    • [SPARK-43340] A hiányzó stack-trace mező kezelése az eseménynaplókban.
    • [SPARK-43527] Javítva catalog.listCatalogs a PySparkban.
    • [SPARK-43541] Propagálja az összes Project címkét a kifejezések és a hiányzó oszlopok feloldása során.
    • [SPARK-43300] NonFateSharingCache Burkoló a Guava Cache-hez.
    • [SPARK-43378] A streamobjektumok megfelelő bezárása a következőben: deserializeFromChunkedBuffer.
    • [SPARK-42852] Kapcsolódó módosítások visszaállítása NamedLambdaVariable innen EquivalentExpressions: .
    • [SPARK-43779] ParseToDate most betöltődik EvalMode a főszálban.
    • [SPARK-43413] A subquery ListQuery nullability javításaIN.
    • [SPARK-43889] Adja hozzá az oszlopnév ellenőrzéséhez __dir__() a hibalehetőséget jelző oszlopnevek kiszűréséhez.
    • [SPARK-43043] Az .updateMapOutput teljesítményének MapOutputTrackerjavítása
    • [SPARK-43522] Kijavítottuk a tömboszlop nevének tömbindexel való létrehozását.
    • [SPARK-43457] Augument felhasználói ügynök operációsrendszer-, Python- és Spark-verziókkal.
    • [SPARK-43286] Frissített aes_encrypt CBC mód véletlenszerű IV-k létrehozásához.
    • [SPARK-42851] Őrzés EquivalentExpressions.addExpr() a supportedExpression().
    • Visszaállítás [SPARK-43183].
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 12.2 LTS

Lásd: Databricks Runtime 12.2 LTS.

  • 2023. november 29.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó műveletekben a kimenekült aláhúzásmagok getColumns helytelenül helyettesítő karakterekként lettek értelmezve.
    • [SPARK-42205] Eltávolítottuk a naplózási elemeket, Stage és Task eseményeket indítunk el.
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • [SPARK-43718] Kijavítottuk az illesztések kulcsainak nullhipotitását USING .
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-43973] A strukturált streamelési felhasználói felület mostantól helyesen jeleníti meg a sikertelen lekérdezéseket.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • A Delta Lake streamelési lekérdezések partíciószűrői le lesznek küldve a sebességkorlátozás előtt a jobb kihasználtság érdekében.
    • [SPARK-45545] SparkTransportConf SSLOptions a létrehozáskor örökli.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction már nem meghiúsul, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Egyéb javítások.
  • 2023. október 13.
    • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
    • [SPARK-42553] Győződjön meg róla, hogy intervallum után legalább egy időegységet kell használnia.
    • [SPARK-45346] A parquet-séma következtetése tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőt a séma egyesítésekor.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • [SPARK-45084] StateOperatorProgress a pontos, megfelelő shuffle partíciószám használatához.
  • 2023. szeptember 12.
    • [SPARK-44873] A Hive-ügyfél beágyazott oszlopainak támogatása alter view hozzáadva.
    • [SPARK-44718] A ColumnVector memóriamód alapértelmezett konfigurációjának egyeztetése a konfiguráció értékével OffHeapMemoryMode .
    • [SPARK-43799] Leíró bináris beállítás hozzáadva a PySpark Protobuf API-hoz.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • [SPARK-44485] Optimalizált TreeNode.generateTreeString.
    • [SPARK-44818] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • [SPARK-44871][11.3-13.0] Rögzített percentile_disc viselkedés.
    • [SPARK-44714] Enyhített az LCA-feloldás korlátozása a lekérdezésekkel kapcsolatban.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • [SPARK-44504] A karbantartási feladat leállási hiba miatt törli a betöltött szolgáltatókat.
    • [SPARK-44464] Az első oszlopértékként megadott Null kimeneti sorokhoz van javítvaapplyInPandasWithStatePythonRunner.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 29.
    • Kijavítottunk egy hibát, amely dbutils.fs.ls() akkor lett visszaadva INVALID_PARAMETER_VALUE.LOCATION_OVERLAP , amikor olyan tárolási hely elérési útját kérték, amely ütközött más külső vagy felügyelt tárhellyel.
    • [SPARK-44199] CacheManager a továbbiakban nem frissíti feleslegesen.fileIndex
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 24.
    • [SPARK-44337] Kijavítottunk egy hibát, amely miatt bármely mező Any.getDefaultInstance elemzési hibákat okozott.
    • [SPARK-44136] Kijavítottunk egy hibát, amely StateManager miatt a rendszer a végrehajtóban materializálta a fájlt az illesztő FlatMapGroupsWithStateExechelyett.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • Fotonizált approx_count_distinct.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • [SPARK-43779] ParseToDate most betöltődik EvalMode a főszálban.
    • [SPARK-43156][SPARK-43098] Kiterjesztett skaláris subquery count hibateszt decorrelateInnerQuery kikapcsolva.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • Növelje a növekményes frissítések teljesítményét az Iceberg és a Parquet használatával SHALLOW CLONE .
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-43404] Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
    • [SPARK-43413][11.3-13.0] Kijavítottuk IN a subquery ListQuery nullability-t.
    • [SPARK-43522] Kijavítottuk a tömboszlop nevének tömbindexel való létrehozását.
    • [SPARK-43541] Propagálja az összes Project címkét a kifejezések és a hiányzó oszlopok feloldása során.
    • [SPARK-43527] Javítva catalog.listCatalogs a PySparkban.
    • [SPARK-43123] A belső mező metaadatai már nem szivárognak ki a katalógusokbe.
    • [SPARK-43340] Kijavítottuk a hiányzó verem nyomkövetési mezőjét az eseménynaplókban.
    • [SPARK-42444] DataFrame.drop mostantól megfelelően kezeli a duplikált oszlopokat.
    • [SPARK-42937] PlanSubqueries mostantól igaz értékre van állítódva InSubqueryExec#shouldBroadcast .
    • [SPARK-43286] Frissített aes_encrypt CBC mód véletlenszerű IV-k létrehozásához.
    • [SPARK-43378] A streamobjektumok megfelelő bezárása a következőben: deserializeFromChunkedBuffer.
  • 2023. május 17.
    • A parquet-vizsgálatok mostantól hatékonyak az OOM-ekkel szemben, amikor a köteg méretének dinamikus módosításával kivételesen strukturált fájlokat vizsgálnak. A fájl metaadatait a rendszer a köteg méretének előzetes csökkentése érdekében elemzi, és a feladat újrapróbálkozásakor ismét csökkenti végleges biztonsági hálóként.
    • Ha egy Avro-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns\ olvastak a failOnUnknownFields\ sémafejlődési módban, a különböző adattípusokkal rendelkező oszlopok ahelyett, hogy hibaüzenetet adnánaknull\, amely szerint a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn\ lehetőséget.
    • Az Automatikus betöltő mostantól a következőket végzi el.
      • Helyesen olvas, és már nem menti Integerazokat, Shortés Byte ha az egyik ilyen adattípus meg van adva, az Avro-fájl a másik két típus egyikét javasolja.
      • Megakadályozza az intervallumtípusok dátum- vagy időbélyeg-típusokként való olvasását, hogy elkerülje a sérült dátumok beolvasását.
      • Megakadályozza a kisebb pontosságú olvasási Decimal típusokat.
    • [SPARK-43172] A Spark Connect-ügyfél gazdagépét és jogkivonatát teszi elérhetővé.
    • [SPARK-43293] __qualified_access_only a rendszer a normál oszlopokban figyelmen kívül hagyja.
    • [SPARK-43098] Kijavítottuk a helyességi COUNT hibát, ha a skaláris alkérdezés záradék szerint van csoportosítva.
    • [SPARK-43085] Többrészes táblanevek oszlop-hozzárendelésének DEFAULT támogatása.
    • [SPARK-43190] ListQuery.childOutput most már konzisztens a másodlagos kimenettel.
    • [SPARK-43192] Eltávolítva a felhasználói ügynök karakterkészletének ellenőrzése.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 25.
    • Ha egy Parquet-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns olvastak a failOnUnknownFields sémafejlődési módban, a rendszer a különböző adattípusokkal rendelkező oszlopokat úgy olvassa fel, mint null ahelyett, hogy hibaüzenetet adna arról, hogy a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn lehetőséget.
    • Az Automatikus betöltő mostantól helyesen olvassa be az adatokat, és már nem menti Integerazokat, Shortés Byte ha ezek közül az adattípusok egyike meg van adva. A Parquet-fájl a másik két típus egyikét javasolja. Ha a mentett adatoszlop korábban engedélyezve lett, az adattípus eltérése az oszlopok mentését okozhatja annak ellenére, hogy olvashatók voltak.
    • [SPARK-43009] Állandókkal Any paraméterezve sql()
    • [SPARK-42406] A Protobuf rekurzív mezőinek leállása a mező elvetésével
    • [SPARK-43038] A CBC mód támogatása a következővel: aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Módosítsa a nyomtatásra workdir , ha appDirs null értékű a feldolgozói kezelő WorkDirCleanup eseménye
    • [SPARK-43018] Az INSERT-parancsok időbélyeg-literálokkal kapcsolatos hibájának javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 11.
    • Támogatja a régi adatforrásformátumokat a SYNC parancsban.
    • Kijavítottuk a tárházban kívüli jegyzetfüzetek %automatikus betöltési viselkedésével kapcsolatos hibát.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
    • [SPARK-42928] Szinkronizálva lesz resolvePersistentFunction .
    • [SPARK-42936] Kijavítja az LCan-hibát, ha a záradék közvetlenül a gyermekösszesítéssel oldható meg.
    • [SPARK-42967] Javítások SparkListenerTaskStart.stageAttemptId , amikor egy tevékenység a szakasz megszakítása után indul el.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. március 29.

    • A Databricks SQL mostantól támogatja a Delta Lake-táblák oszlopainak alapértelmezett értékeinek megadását akár a tábla létrehozásakor, akár utána. Az ezt követő INSERT, UPDATEés MERGE DELETEparancsok bármely oszlop alapértelmezett értékére hivatkozhatnak az explicit DEFAULT kulcsszó használatával. Ezenkívül ha egy INSERT hozzárendelésnek a céltáblánál kevesebb oszlopból álló explicit listája van, a megfelelő oszlop alapértelmezett értékeit a rendszer a fennmaradó oszlopokra cseréli (vagy NULL értéket, ha nincs megadva alapértelmezett érték).

      Példa:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Az Automatikus betöltő mostantól legalább egy szinkron RocksDB-naplókarbantartást Trigger.AvailableNow kezdeményez a streamekhez, hogy ellenőrizze, hogy az ellenőrzőpont rendszeresen megtisztítható-e a gyorsan futó automatikus betöltő streamekhez. Ez bizonyos streameket hosszabb ideig is igénybe vehet, mielőtt leállnának, de ezzel tárolási költségeket takaríthat meg, és javíthatja az automatikus betöltő felületét a későbbi futtatások során.

    • Most már módosíthatja a Delta-táblázatot, hogy támogatást adjon a táblafunkciókhoz a következő használatával DeltaTable.addFeatureSupport(feature_name): .

    • [SPARK-42794] Növelje a lockAcquireTimeoutM-eket 2 percre a RocksDB állapottárolójának a Structure Streamingben való beszerzéséhez

    • [SPARK-42521] NULL-ek hozzáadása INSERT-ekhez a céltáblánál kevesebb oszlopot tartalmazó, felhasználó által megadott listákkal

    • [SPARK-42702][SPARK-42623] Paraméteres lekérdezés támogatása az alkérésben és a CTE-ben

    • [SPARK-42668] Kivétel észlelése a tömörített stream HDFSStateStoreProvider leállítása közben

    • [SPARK-42403] A JsonProtocolnak null JSON-sztringeket kell kezelnie

  • 2023. március 8.
    • A "Konfiguráció inicializálásának sikertelensége" hibaüzenetet javítottuk, hogy több kontextust biztosítsunk az ügyfél számára.
    • Terminológiamódosítás történik a funkciók Delta-táblához való hozzáadásához a táblatulajdonság használatával. Az előnyben részesített szintaxis most már 'delta.feature.featureName'='supported' 'delta.feature.featureName'='enabled'nem a . A visszamenőleges kompatibilitás érdekében a használat 'delta.feature.featureName'='enabled' továbbra is működik, és továbbra is működni fog.
    • Ettől a kiadástól kezdve létrehozhat/lecserélhet egy táblát egy további táblatulajdonságra delta.ignoreProtocolDefaults , hogy figyelmen kívül hagyja a protokollhoz kapcsolódó Spark-konfigurációkat, beleértve az alapértelmezett olvasó- és íróverziókat, valamint az alapértelmezés szerint támogatott táblázatfunkciókat.
    • [SPARK-42070] A Maszk függvény argumentumának alapértelmezett értékének módosítása -1 értékről NULL értékre
    • [SPARK-41793] Nem megfelelő eredmény a jelentős tizedesjegyek tartomány-záradéka által definiált ablakkeretekhez
    • [SPARK-42484] A UnsafeRowUtils jobb hibaüzenete
    • [SPARK-42516] A munkamenet időzóna-konfigurációjának rögzítése a nézetek létrehozásakor
    • [SPARK-42635] Javítsa ki a TimestampAdd kifejezést.
    • [SPARK-42622] Az értékek helyettesítésének kikapcsolása
    • [SPARK-42534] Db2Dialect Limit záradék javítása
    • [SPARK-42121] Beépített táblaértékű posexplode, posexplode_outer, json_tuple és stack függvények hozzáadása
    • [SPARK-42045] ANSI SQL mód: A Kerek/Bround hibát ad vissza apró/kis/jelentős egész szám túlcsordulás esetén
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 11.3 LTS

Lásd: Databricks Runtime 11.3 LTS.

  • 2023. november 29.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó műveletekben a kimenekült aláhúzásmagok getColumns helytelenül helyettesítő karakterekként lettek értelmezve.
    • [SPARK-43973] A strukturált streamelési felhasználói felület mostantól helyesen jeleníti meg a sikertelen lekérdezéseket.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-43718] Kijavítottuk az illesztések kulcsainak nullhipotitását USING .
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • A Delta Lake streamelési lekérdezések partíciószűrői le lesznek küldve a sebességkorlátozás előtt a jobb kihasználtság érdekében.
    • [SPARK-42205] A szakasz- és tevékenységindítási eseményekben eltávolított naplózási elemek.
    • [SPARK-45545] SparkTransportConf SSLOptions a létrehozáskor örökli.
    • Visszaállítás [SPARK-33861].
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45430] FramelessOffsetWindowFunction már nem meghiúsul, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Egyéb javítások.
  • 2023. október 13.
    • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • [SPARK-45084] StateOperatorProgress a pontos, megfelelő shuffle partíciószám használatához.
    • [SPARK-45346] A parquet-séma következtetése mostantól tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőt egy séma egyesítésekor.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 10.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • [SPARK-44818] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • [SPARK-44871][11.3-13.0] Rögzített percentile_disc viselkedés.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • [SPARK-44485] Optimalizált TreeNode.generateTreeString.
    • [SPARK-44504] A karbantartási feladat leállási hiba miatt törli a betöltött szolgáltatókat.
    • [SPARK-44464] Az első oszlopértékként megadott Null kimeneti sorokhoz van javítvaapplyInPandasWithStatePythonRunner.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 27.
    • Kijavítottunk egy hibát, amely dbutils.fs.ls() akkor lett visszaadva INVALID_PARAMETER_VALUE.LOCATION_OVERLAP , amikor olyan tárolási hely elérési útját kérték, amely ütközött más külső vagy felügyelt tárhellyel.
    • [SPARK-44199] CacheManager a továbbiakban nem frissíti feleslegesen.fileIndex
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 24.
    • [SPARK-44136] Kijavítottunk egy hibát, amely miatt a StateManager a FlatMapGroupsWithStateExec illesztőprogram helyett a végrehajtóban materializálható.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • Fotonizált approx_count_distinct.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • [SPARK-43779] ParseToDate most betöltődik EvalMode a főszálban.
    • [SPARK-40862] Nem aggregált albejegyzések támogatása a RewriteCorrelatedScalarSubquery szolgáltatásban
    • [SPARK-43156][SPARK-43098] Kiterjesztett skaláris subquery count bug test with decorrelateInnerQuery off.
    • [SPARK-43098] Kijavítottuk a helyességi DARAB hibát, ha a skaláris alkérdezés tartalmaz egy csoportosítási záradékot
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • Növelje a növekményes frissítések teljesítményét az Iceberg és a Parquet használatával SHALLOW CLONE .
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-43404]Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
    • [SPARK-43527] Javítva catalog.listCatalogs a PySparkban.
    • [SPARK-43413][11.3-13.0] Kijavítottuk IN a subquery ListQuery nullability-t.
    • [SPARK-43340] Kijavítottuk a hiányzó verem nyomkövetési mezőjét az eseménynaplókban.

Databricks Runtime 10.4 LTS

Lásd: Databricks Runtime 10.4 LTS.

  • 2023. november 29.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-43718] Kijavítottuk az illesztések kulcsainak nullhipotitását USING .
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-42205] A szakasz- és tevékenységindítási eseményekben eltávolított naplózási elemek.
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45545] SparkTransportConf SSLOptions a létrehozáskor örökli.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • Visszaállítás [SPARK-33861].
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 13.
    • [SPARK-45084] StateOperatorProgress a pontos, megfelelő shuffle partíciószám használatához.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 10.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • [SPARK-44818] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • [SPARK-44504] A karbantartási feladat leállási hiba miatt törli a betöltött szolgáltatókat.
    • [SPARK-43973] A strukturált streamelési felhasználói felület most már helyesen jelenik meg a sikertelen lekérdezésekben.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • [SPARK-43098] Kijavítottuk a helyességi DARAB hibát, ha a skaláris alkérdezés tartalmaz egy csoportosítási záradékot
    • [SPARK-40862] Nem aggregált albejegyzések támogatása a RewriteCorrelatedScalarSubquery szolgáltatásban
    • [SPARK-43156][SPARK-43098] Kiterjesztett skaláris subquery count test with decorrelateInnerQuery off.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • Kijavítottunk egy hibát a JSON által mentett adatelemzés során a megelőzés UnknownFieldExceptionérdekében.
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-43404] Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
    • [SPARK-43413] Kijavítottuk IN az alkérdezés ListQuery nullképességét.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. május 17.
    • A parquet-vizsgálatok mostantól hatékonyak az OOM-ekkel szemben, amikor a köteg méretének dinamikus módosításával kivételesen strukturált fájlokat vizsgálnak. A fájl metaadatait a rendszer a köteg méretének előzetes csökkentése érdekében elemzi, és a feladat újrapróbálkozásakor ismét csökkenti végleges biztonsági hálóként.
    • [SPARK-41520] Faminta felosztása AND_OR a szétválasztandó AND és ORa .
    • [SPARK-43190] ListQuery.childOutput most már konzisztens a másodlagos kimenettel.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 25.
    • [SPARK-42928] Szinkronizálás.resolvePersistentFunction
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 11.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
    • [SPARK-42937] PlanSubqueries mostantól igaz értékre van állítódva InSubqueryExec#shouldBroadcast .
    • [SPARK-42967] A SparkListenerTaskStart.stageAttemptId kijavítása, ha egy tevékenység a szakasz megszakítása után indul el.
  • 2023. március 29.
    • [SPARK-42668] Kivétel észlelése a tömörített stream HDFSStateStoreProvider leállítása közben
    • [SPARK-42635] Javítsa ki a ...
    • Az operációs rendszer biztonsági frissítései.
  • 2023. március 14.
    • [SPARK-41162] Anti- és semi-join javítása az összesítésekkel való önbeillesztéshez
    • [SPARK-33206] Az indexgyorsítótár súlyának kiszámítása kis indexfájlok esetében
    • [SPARK-42484] Javítottuk a UnsafeRowUtils hibaüzenetet
    • Egyéb javítások.
  • 2023. február 28.
    • Támogatja a yyyy-MM-dd date_format által létrehozott oszlopot. Ez a módosítás támogatja a yyyy-MM-dd partíciómetszetét date_format generált oszlopokban.
    • A felhasználók mostantól a Databricks Runtime 9.1 LTS-es vagy újabb verziójával olvashatnak és írhatnak bizonyos Delta-táblákat, amelyekhez az Olvasó 3. és a 7. íróverzió szükséges. A sikeresség érdekében a táblák protokolljában felsorolt táblafunkciókat a Databricks Runtime jelenlegi verziójának kell támogatnia.
    • Támogatja a yyyy-MM-dd date_format által létrehozott oszlopot. Ez a módosítás támogatja a yyyy-MM-dd partíciómetszetét date_format generált oszlopokban.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. február 16.
    • [SPARK-30220] A Szűrőcsomóponton kívüli Létező/In al lekérdezések használatának engedélyezése
    • Az operációs rendszer biztonsági frissítései.
  • 2023. január 31.
    • A JDBC-táblák táblázattípusai alapértelmezés szerint KÜLSŐek.
  • 2023. január 18.
    • Az Azure Synapse-összekötő leíróbb hibaüzenetet ad vissza, ha egy oszlopnév érvénytelen karaktereket, például szóközöket vagy pontosvesszőket tartalmaz. Ilyen esetekben a következő üzenet jelenik meg: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Írási köteg törlése a RocksDB állapottároló véglegesítése után
    • [SPARK-41199] Metrikaproblémák kijavítása A DSv1 streamforrás és a DSv2 streamforrás együttes használata esetén
    • [SPARK-41198] Metrikák javítása cTE- és DSv1-streamforrással rendelkező streamelési lekérdezésekben
    • [SPARK-41339] Zárja be és hozza létre újra a RocksDB írási köteget a törlés helyett
    • [SPARK-41732] Famintás alapú metszés alkalmazása a SessionWindowing szabályhoz
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 29.
    • A felhasználók konfigurálhatják a kezdő és záró szóközök viselkedését, amikor adatokat írnak a Redshift-összekötővel. A szabad terület kezelésének szabályozásához a következő lehetőségek lettek hozzáadva:
      • csvignoreleadingwhitespace, ha be truevan állítva, eltávolítja a kezdő szóközt az értékekből az írások során, amikor tempformat a be van állítva CSV vagy CSV GZIP. A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
      • csvignoretrailingwhitespacebeállítás esetén eltávolítja a truezáró szóközt az értékekből az írások során, ha tempformat a beállítás CSV értéke vagy CSV GZIPértéke . A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
    • Kijavítottunk egy hibát az automatikus betöltő JSON-elemzésével kapcsolatban, amikor az összes oszlop sztringként maradt (cloudFiles.inferColumnTypes nincs beállítva vagy beállítva false) és a JSON beágyazott objektumokat tartalmazott.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 15.
    • Az Apache commons-text frissítése 1.10.0-ra.
    • [SPARK-40646] A szerkezetek, térképek és tömbök JSON-elemzése kijavítva, így ha egy rekord egy része nem egyezik a sémával, a rekord többi része továbbra is helyesen elemezhető a null értékek visszaadása helyett. A továbbfejlesztett viselkedésre való bejelentkezéshez állítsa be spark.sql.json.enablePartialResults a következőt true: . A jelölő alapértelmezés szerint ki van kapcsolva az eredeti viselkedés megőrzése érdekében.
    • [SPARK-40292] Oszlopnevek javítása a függvényben arrays_zip , ha a tömbök beágyazott szerkezetekből vannak hivatkozva
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 1.
    • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla felhasználó által definiált oszlopot tartalmazott _change_type, de az adatcsatorna módosítása ki lett kapcsolva a táblán, akkor az oszlopban lévő adatok futáskor MERGEhelytelenül töltődnek ki NULL értékekkel.
    • Kijavítottunk egy hibát az automatikus betöltővel kapcsolatban, amely miatt egy fájl duplikálható ugyanabban a mikrokötegben, ha allowOverwrites engedélyezve van
    • [SPARK-40697] Írásvédett karakterpárna hozzáadása külső adatfájlok lefedéséhez
    • [SPARK-40596] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 18.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 5.
    • [SPARK-40468] Az oszlopmetszet kijavítása a CSV-ben, ha _corrupt_record ki van választva.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. szeptember 22.
    • A felhasználók a spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) beállításával újra engedélyezhetik az Automatikus betöltő beépített listáját az ADLS Gen2-en. A beépített lista korábban teljesítményproblémák miatt ki lett kapcsolva, de az ügyfelek számára megnövekedett tárolási költségekhez vezethetett.
    • [SPARK-40315] HashCode() hozzáadása a ArrayBasedMapData literálhoz
    • [SPARK-40213] AsCII-értékek konvertálásának támogatása latin-1 karakter esetén
    • [SPARK-40380] Az InvokeLike konstans összecsukásának javítása a tervbe beágyazott nem szerializálható literálok elkerülése érdekében
    • [SPARK-38404] A CTE felbontásának javítása, ha egy beágyazott CTE külső CTE-ra hivatkozik
    • [SPARK-40089] Néhány decimális típus rendezésének javítása
    • [SPARK-39887] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
  • 2022. szeptember 6.
    • [SPARK-40235] Megszakítható zárolás használata szinkronizált helyett a Executor.updateDependencies() alkalmazásban
    • [SPARK-40218] A CSOPORTOSÍTÁSI CSOPORTOKnak meg kell őriznie a csoportosítási oszlopokat
    • [SPARK-39976] A ArrayIntersectnek helyesen kell kezelnie a null értéket a bal oldali kifejezésben
    • [SPARK-40053] Hozzáadás assume a Python futtatókörnyezetet igénylő dinamikus megszakítási esetekhez
    • [SPARK-35542] Javítás: A splitsArray, inputCols és outputCols paraméterekkel rendelkező több oszlophoz létrehozott gyűjtő nem tölthető be a mentés után
    • [SPARK-40079] Imputer inputCols-ellenőrzés hozzáadása üres bemeneti esethez
  • 2022. augusztus 24.
    • [SPARK-39983] Ne gyorsítótárazza a nemializált szórási kapcsolatokat az illesztőprogramon
    • [SPARK-39775] Alapértelmezett értékek érvényesítésének letiltása az Avro-sémák elemzésekor
    • [SPARK-39962] Vetítés alkalmazása üres csoportattribútumok esetén
    • [SPARK-37643] ha a charVarcharAsString értéke igaz, a karakter adattípus-predikátum-lekérdezés esetében kihagyja az rpadding szabályt
    • Az operációs rendszer biztonsági frissítései.
  • 2022. augusztus 9.
    • [SPARK-39847] A RocksDBLoader.loadLibrary() versenyállapotának javítása, ha a hívó szál megszakad
    • [SPARK-39731] Kijavítottuk a CSV- és JSON-adatforrásokban a dátumok "yyyyyMMdd" formátumban történő elemzésekor a JAVÍTOTT időelemző házirenddel kapcsolatos problémát
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 27.
    • [SPARK-39625] Dataset.as(StructType) hozzáadása
    • [SPARK-39689]Két karakter támogatása lineSep a CSV-adatforrásban
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded kell szálbiztos
    • [SPARK-39570] A beágyazott táblázatnak engedélyeznie kell az aliassal rendelkező kifejezéseket
    • [SPARK-39702] A TransportCipher$EncryptedMessage memóriaterhelésének csökkentése megosztott byteRawChannel használatával
    • [SPARK-39575] Add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39476] Tiltsa le a unwrap cast optimalizálást hosszúról lebegőpontosra/ dupla vagy egész számból lebegőpontosra történő öntéskor
    • [SPARK-38868] A külső illesztések optimalizálása során ne propagálja a szűrők predikátumából származó kivételeket
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 20.
    • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
    • [SPARK-39355] Az egyetlen oszlop idézve hozza létre az UnresolvedAttribute függvényt
    • [SPARK-39548] A CreateView parancs ablak-záradék lekérdezéssel nem található ablakdefinícióval kapcsolatos probléma
    • [SPARK-39419] A ArraySort javítása kivétel kivetéséhez, ha az összehasonlító null értéket ad vissza
    • Kikapcsolta az Automatikus betöltő beépített felhőalapú API-k használatát az Azure címtárlistáihoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 5.
    • [SPARK-39376] Duplikált oszlopok elrejtése az alquery alias csillagbővítésében a NATURAL/USING JOIN elemből
    • Az operációs rendszer biztonsági frissítései.
  • 2022. június 15.
    • [SPARK-39283] A TaskMemoryManager és a UnsafeExternalSorter.SpillableIterator közötti holtpont javítása
    • [SPARK-39285] A Spark nem ellenőrizheti a mezőneveket fájlok olvasásakor
    • [SPARK-34096] Jobb teljesítmény nth_value null értékek figyelmen kívül hagyása eltolásos ablakban
    • [SPARK-36718] A CollapseProject beadásának isExtractOnly javítása
  • 2022. június 2.
    • [SPARK-39093] Ne használjon kódösszeállítási hibát, ha az évenkénti vagy a napi időintervallumokat elválasztja egy integráltól
    • [SPARK-38990] A NullPointerException elkerülése date_trunc/trunc formátum kötött hivatkozásként való kiértékelésekor
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 18.
    • Kijavít egy lehetséges beépített memóriaszivárgást az Automatikus betöltőben.
    • [SPARK-38918] A beágyazott oszlopmetszetnek kiszűrnie kell azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz
    • [SPARK-37593] Az alapértelmezett oldalméret csökkentése LONG_ARRAY_OFFSET G1GC és ON_HEAP használata esetén
    • [SPARK-39084] A df.rdd.isEmpty() javítása a TaskContext használatával az iterátor leállításához a tevékenység befejezésekor
    • [SPARK-32268] ColumnPruning hozzáadása az injectBloomFilterben
    • [SPARK-38974] Regisztrált függvények szűrése adott adatbázisnévvel a listafüggvényekben
    • [SPARK-38931] Gyökér dfs könyvtár létrehozása a RocksDBFileManagerhez ismeretlen számú kulccsal az 1. ellenőrzőponton
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 19.
    • A Java AWS SDK az 1.11.655-ös verzióról 1.12.1899-re frissült.
    • Kijavítottunk egy hibát, amely miatt a jegyzetfüzet-hatókörű kódtárak nem működnek kötegelt streamelési feladatokban.
    • [SPARK-38616] SQL-lekérdezés szövegének nyomon követése a Catalyst TreeNode-ban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 6.
    • Ezzel a kiadással a következő Spark SQL-függvények érhetők el:
      • timestampadd() és dateadd(): Adjon hozzá egy időtartamot egy adott egységben egy időbélyeg-kifejezéshez.
      • timestampdiff() és datediff(): Kiszámítja a két időbélyeg-kifejezés közötti időkülönbséget egy adott egységben.
    • A Parquet-MR 1.12.2-re lett frissítve
    • Továbbfejlesztett támogatás a parquet-fájlok átfogó sémáihoz
    • [SPARK-38631] Java-alapú implementációt használ az Utils.unpack kicsomagolásának feloldásához
    • [SPARK-38509][SPARK-38481] Cherry-pick három timestmapadd/diff változás.
    • [SPARK-38523] A CSV sérült rekordoszlopára hivatkozó javítás
    • [SPARK-38237] Teljes ClusteredDistribution fürtözési kulcsok megkövetelése
    • [SPARK-38437] A datetime elenyenes szerializálása az adatforrásból
    • [SPARK-38180] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban
    • [SPARK-38155] Eltérő aggregátumok kizárása oldalirányú al lekérdezésekben nem támogatott predikátumokkal
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 9.1 LTS

Lásd: Databricks Runtime 9.1 LTS.

  • 2023. november 29.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • [SPARK-45545] SparkTransportConf SSLOptions a létrehozáskor örökli.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-42205] A szakasz- és tevékenységindítási eseményekben eltávolított naplózási elemek.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 13.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 10.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • [SPARK-43098] Kijavítottuk a helyességi DARAB hibát, ha a skaláris alkérdezés tartalmaz egy csoportosítási záradékot
    • [SPARK-43156][SPARK-43098] A skaláris részqueryk számának tesztelésének decorrelateInnerQuery kiterjesztése kikapcsolva.
    • [SPARK-40862] Nem aggregált albejegyzések támogatása a RewriteCorrelatedScalarSubquery szolgáltatásban
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • Kijavítottunk egy hibát a JSON által mentett adatelemzés során a megelőzés UnknownFieldExceptionérdekében.
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-37520] A és endswith() a sztringfüggvények startswith() hozzáadása
    • [SPARK-43413] Kijavítottuk IN az alkérdezés ListQuery nullképességét.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. május 17.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 25.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 11.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
    • [SPARK-42967] A SparkListenerTaskStart.stageAttemptId kijavítása, ha egy tevékenység a szakasz megszakítása után indul el.
  • 2023. március 29.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. március 14.
    • [SPARK-42484] Továbbfejlesztett hibaüzenet a következőhöz UnsafeRowUtils: .
    • Egyéb javítások.
  • 2023. február 28.
    • A felhasználók mostantól a Databricks Runtime 9.1 LTS-es vagy újabb verziójával olvashatnak és írhatnak bizonyos Delta-táblákat, amelyekhez az Olvasó 3. és a 7. íróverzió szükséges. A sikeresség érdekében a táblák protokolljában felsorolt táblafunkciókat a Databricks Runtime jelenlegi verziójának kell támogatnia.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. február 16.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. január 31.
    • A JDBC-táblák táblázattípusai alapértelmezés szerint KÜLSŐek.
  • 2023. január 18.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 29.
    • Kijavítottunk egy hibát az automatikus betöltő JSON-elemzésével kapcsolatban, amikor az összes oszlop sztringként maradt (cloudFiles.inferColumnTypes nincs beállítva vagy beállítva false) és a JSON beágyazott objektumokat tartalmazott.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 15.
    • Az Apache commons-text frissítése 1.10.0-ra.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb javítások.
  • 2022. november 1.
    • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla felhasználó által definiált oszlopot tartalmazott _change_type, de az adatcsatorna módosítása ki lett kapcsolva a táblán, akkor az oszlopban lévő adatok futáskor MERGEhelytelenül töltődnek ki NULL értékekkel.
    • Kijavítottunk egy hibát az automatikus betöltővel kapcsolatban, amely miatt egy fájl duplikálható ugyanabban a mikrokötegben, ha allowOverwrites engedélyezve van
    • [SPARK-40596] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 18.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 5.
    • Egyéb javítások.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. szeptember 22.
    • A felhasználók a spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") beállítással újra engedélyezhetik az ADLS Gen2 automatikus betöltőjének beépített listáját. A beépített lista korábban teljesítményproblémák miatt ki lett kapcsolva, de az ügyfelek számára megnövekedett tárolási költségekhez vezethetett.
    • [SPARK-40315] HashCode() hozzáadása a ArrayBasedMapData literálhoz
    • [SPARK-40089] Néhány decimális típus rendezésének javítása
    • [SPARK-39887] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
  • 2022. szeptember 6.
    • [SPARK-40235] Megszakítható zárolás használata szinkronizált helyett a Executor.updateDependencies() alkalmazásban
    • [SPARK-35542] Javítás: A splitsArray, inputCols és outputCols paraméterekkel rendelkező több oszlophoz létrehozott gyűjtő nem tölthető be a mentés után
    • [SPARK-40079] Imputer inputCols-ellenőrzés hozzáadása üres bemeneti esethez
  • 2022. augusztus 24.
    • [SPARK-39666] A UnsafeProjection.create használata a ExpressionEncoderben való tisztelethez spark.sql.codegen.factoryMode
    • [SPARK-39962] Vetítés alkalmazása üres csoportattribútumok esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2022. augusztus 9.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 27.
    • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
    • [SPARK-39689] Két karakter lineSep támogatása a CSV-adatforrásban
    • [SPARK-39575] ByteBuffer#get Utána hozzáadva ByteBuffer#rewind a következőbeAvroDeserializer: .
    • [SPARK-37392] Kijavítottuk a katalizátor-optimalizáló teljesítményhibát.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 13.
    • [SPARK-39419] ArraySort kivételt eredményez, ha az összehasonlító null értéket ad vissza.
    • Kikapcsolta az Automatikus betöltő beépített felhőalapú API-k használatát az Azure címtárlistáihoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 5.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb javítások.
  • 2022. június 15.
    • [SPARK-39283] Javítsa ki a holtpontot a kettő között és UnsafeExternalSorter.SpillableIteratorközöttTaskMemoryManager.
  • 2022. június 2.
    • [SPARK-34554] Implementálja a metódust a copy() következőben ColumnarMap: .
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 18.
    • Kijavítottunk egy lehetséges beépített memóriaszivárgást az Automatikus betöltőben.
    • Frissítse az AWS SDK 1.11.655-ös verzióját 1.11.678-ra.
    • [SPARK-38918] A beágyazott oszlopmetszetnek kiszűrnie kell azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz
    • [SPARK-39084] Javítás df.rdd.isEmpty() az iterátor feladatvégzésére való TaskContext leállításával
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 19.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb javítások.
  • 2022. április 6.
    • [SPARK-38631] Java-alapú implementációt használ az Utils.unpack kicsomagolásának feloldásához
    • Az operációs rendszer biztonsági frissítései.
  • 2022. március 22.
    • Módosította a jegyzetfüzetek aktuális munkakönyvtárát a magas egyidejűségi fürtökön, és a táblahozzáférés-vezérlés vagy a hitelesítő adatok átengedése engedélyezve van a felhasználó kezdőlapján. Korábban az active directory volt /databricks/driver.
    • [SPARK-38437] A datetime elenyenes szerializálása az adatforrásból
    • [SPARK-38180] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban
    • [SPARK-38155] Eltérő aggregátumok kizárása oldalirányú al lekérdezésekben nem támogatott predikátumokkal
    • [SPARK-27442] Eltávolított egy jelölőnégyzetet, amikor adatokat olvas vagy ír egy parkettán.
  • 2022. március 14.
    • [SPARK-38236] A create/alter táblában megadott abszolút fájlelérési útvonalak relatívként lesznek kezelve
    • [SPARK-34069] Megszakíthatja a tevékenységszálat, ha a helyi tulajdonság SPARK_JOB_INTERRUPT_ON_CANCEL értéke igaz.
  • 2022. február 23.
    • [SPARK-37859] A Spark 3.2-vel JDBC-vel létrehozott SQL-táblák nem olvashatók.
  • 2022. február 8.
    • [SPARK-27442] Eltávolított egy jelölőnégyzetet, amikor adatokat olvas vagy ír egy parkettán.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. február 1.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. január 26.
    • Kijavítottunk egy hibát, amely miatt a Delta-táblák egyidejű tranzakciói bizonyos ritka feltételek mellett nem szerializálható sorrendben véglegesíthetők.
    • Kijavítottunk egy hibát, amely miatt a OPTIMIZE parancs meghiúsulhatott, amikor az ANSI SQL-dialektus engedélyezve lett.
  • 2022. január 19.
    • Kisebb javítások és biztonsági fejlesztések.
    • Az operációs rendszer biztonsági frissítései.
  • 2021. november 4.
    • Kijavítottunk egy hibát, amely miatt a strukturált streamek meghiúsulhattak egy ArrayIndexOutOfBoundsException.
    • Kijavítottunk egy olyan versenyfeltételt, amely egy IOException-hez hasonló java.io.IOException: No FileSystem for scheme lekérdezési hibát okozhat, vagy amely miatt a módosítások sparkContext.hadoopConfiguration nem lépnek érvénybe a lekérdezésekben.
    • Az Apache Spark Connector for Delta Sharing 0.2.0-ra lett frissítve.
  • 2021. október 20.
    • A BigQuery-összekötő 0.18.1-ről 0.22.2-re frissült. Ez támogatja a BigNumeric típust.

Databricks Runtime 13.0 (EoS)

Lásd: Databricks Runtime 13.0 (EoS).

  • 2023. október 13.

    • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
    • [SPARK-42553][SQL] Győződjön meg róla, hogy intervallum után legalább egy időegységet kell használnia.
    • [SPARK-45178] A burkoló használata helyett egy köteg futtatására Trigger.AvailableNow való visszalépés nem támogatott forrásokkal.
    • [SPARK-44658][CORE] ShuffleStatus.getMapStatus a függvény ahelyett, None hogy a .-t Some(null)adja vissza.
    • [SPARK-42205][CORE] Távolítsa el az Accumulables naplózását a Tevékenység/Szakasz kezdési eseményekben a következőben JsonProtocol: .
    • Az operációs rendszer biztonsági frissítései.

  • 2023. szeptember 12.

    • [SPARK-44485][SQL] Optimalizálás TreeNode.generateTreeString.
    • [SPARK-44718][SQL] A ColumnVector memóriamód alapértelmezett konfigurációjának egyeztetése a konfiguráció értékével OffHeapMemoryMode .
    • Egyéb hibajavítások.

  • 2023. augusztus 30.

    • [SPARK-44818][Backport] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • [SPARK-44714] Az LCA-feloldás egyszerű korlátozása a lekérdezésekkel kapcsolatban.
    • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() A doctests mostantól csak szemléltető jellegű.
    • [SPARK-44871][11.3-13.0] [SQL] Rögzített percentile_disc viselkedés.
    • Az operációs rendszer biztonsági frissítései.

  • 2023. augusztus 15.

    • [SPARK-44643][SQL] [PYTHON] Javítás Row.__repr__ , ha a sor üres.
    • [SPARK-44504][Backport] A karbantartási feladat leállási hiba miatt törli a betöltött szolgáltatókat.
    • [SPARK-44479][CONNECT] [PYTHON] Kijavítottuk protobuf az átalakítást üres szerkezettípusból.
    • [SPARK-44464][SS] Az első oszlopértékként megadott Null kimeneti sorokhoz van javítvaapplyInPandasWithStatePythonRunner.
    • Egyéb hibajavítások.

  • 2023. július 29.

    • Kijavítottunk egy hibát, amely dbutils.fs.ls() akkor lett visszaadva INVALID_PARAMETER_VALUE.LOCATION_OVERLAP , amikor egy olyan tárolási hely elérési útját kérték, amely ütközött más külső vagy felügyelt tárhellyel.
    • [SPARK-44199] CacheManager a továbbiakban nem frissíti feleslegesen.fileIndex
    • Az operációs rendszer biztonsági frissítései.

  • 2023. július 24.

    • [SPARK-44337][PROTOBUF] Kijavítottunk egy hibát, amely miatt bármely mező Any.getDefaultInstance elemzési hibákat okozott.
    • [SPARK-44136] [SS] Kijavítottunk egy hibát, amely StateManager miatt a rendszer a végrehajtóban valósult meg az illesztő helyett.FlatMapGroupsWithStateExec
    • Visszaállítás [SPARK-42323][SQL] Rendeljen hozzá nevet _LEGACY_ERROR_TEMP_2332.
    • Az operációs rendszer biztonsági frissítései.

  • 2023. június 23.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. június 15.

    • Fotonizált approx_count_distinct.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • [SPARK-43156][SPARK-43098][SQL] Skaláris subquery count bug test kiterjesztése a decorrelateInnerQuery letiltva
    • [SPARK-43779][SQL] ParseToDate most betöltődik EvalMode a főszálban.
    • [SPARK-42937][SQL] PlanSubqueries igaz értékre kell állítani InSubqueryExec#shouldBroadcast
    • Az operációs rendszer biztonsági frissítései.

  • 2023. június 2.

    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • A növekményes frissítés teljesítményének javítása Iceberg és Parquet használatával SHALLOW CLONE .
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-43404][Backport] Az azonosítók eltérésének elkerülése érdekében hagyja ki az sst-fájl újbóli újrafelhasználását a RocksDB-állapottároló ugyanazon verziójához.
    • [SPARK-43340][CORE] Kijavítottuk a hiányzó verem nyomkövetési mezőjét az eseménynaplókban.
    • [SPARK-43300][CORE] NonFateSharingCache Burkoló a Guava Cache-hez.
    • [SPARK-43378][CORE] A streamobjektumok megfelelő bezárása a következőben: deserializeFromChunkedBuffer.
    • [SPARK-16484][SQL] Használjon 8 bites regisztereket a DataSketches-eknek való ábrázoláshoz.
    • [SPARK-43522][SQL] Kijavítottuk a tömboszlop nevének tömbindexel való létrehozását.
    • [SPARK-43413][11.3-13.0] [SQL] Kijavítottuk IN az alkérdezés ListQuery nullképességét.
    • [SPARK-43043][CORE] Jobb MapOutputTracker.updateMapOutput teljesítmény.
    • [SPARK-16484][SQL] A DataSketches HllSketch támogatása hozzáadva.
    • [SPARK-43123][SQL] A belső mező metaadatai már nem szivárognak ki a katalógusokbe.
    • [SPARK-42851][SQL] Őrzés EquivalentExpressions.addExpr() a supportedExpression().
    • [SPARK-43336][SQL] Az időzónák közötti Timestamp öntéshez időzónára TimestampNTZ van szükség.
    • [SPARK-43286][SQL] Frissített aes_encrypt CBC mód véletlenszerű IV-k létrehozásához.
    • [SPARK-42852][SQL] A kapcsolódó módosítások visszaállítása NamedLambdaVariable innen: EquivalentExpressions.
    • [SPARK-43541][SQL] Propagálja az összes Project címkét a kifejezések és a hiányzó oszlopok feloldása során.
    • [SPARK-43527][PYTHON] Javítva catalog.listCatalogs a PySparkban.
    • Az operációs rendszer biztonsági frissítései.

  • 2023. május 31.

    • A Unity Katalógusban regisztrált Delta-táblák alapértelmezett optimalizált írási támogatása kibővült CTAS a particionált táblákra vonatkozó utasításokra és INSERT műveletekre. Ez a viselkedés az SQL-raktárak alapértelmezett értékéhez igazodik. Lásd: Optimalizált írások a Delta Lake-hez az Azure Databricksben.

  • 2023. május 17.

    • Kijavítottunk egy regressziót, ahol _metadata.file_path helytelenül _metadata.file_name formázott sztringeket ad vissza. Most például egy szóközökkel rendelkező elérési út jelenik meg s3://test-bucket/some%20directory/some%20data.csv helyettünk s3://test-bucket/some directory/some data.csv.
    • A parquet-vizsgálatok mostantól hatékonyak az OOM-ekkel szemben, amikor a köteg méretének dinamikus módosításával kivételesen strukturált fájlokat vizsgálnak. A fájl metaadatait a rendszer a köteg méretének előzetes csökkentése érdekében elemzi, és a feladat újrapróbálkozásakor ismét csökkenti végleges biztonsági hálóként.
      • Ha egy Avro-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns\ olvastak a failOnUnknownFields\ sémafejlődési módban, a különböző adattípusokkal rendelkező oszlopok ahelyett, hogy hibaüzenetet adnánaknull\, amely szerint a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn\ lehetőséget.
    • Az Automatikus betöltő mostantól a következőket végzi el.
      • Helyesen olvas, és már nem menti a típusokatInteger, ShortByte ha az egyik adattípus meg van adva, de az Avro-fájl a másik két típus egyikét javasolja.
      • Megakadályozza az intervallumtípusok dátumként vagy időbélyegként való olvasását, hogy elkerülje a sérült dátumok beolvasását.
      • Megakadályozza a kisebb pontosságú olvasási Decimal típusokat.
    • [SPARK-43172] [CONNECT] A Spark Connect-ügyfél gazdagépét és jogkivonatát teszi elérhetővé.
    • [SPARK-43293][SQL] __qualified_access_only a rendszer a normál oszlopokban figyelmen kívül hagyja.
    • [SPARK-43098][SQL] Kijavítottuk a helyességi COUNT hibát, ha a skaláris alkérdezés záradék szerint van csoportosítva.
    • [SPARK-43085][SQL] Többrészes táblanevek oszlop-hozzárendelésének DEFAULT támogatása.
    • [SPARK-43190][SQL] ListQuery.childOutput most már konzisztens a másodlagos kimenettel.
    • [SPARK-43192] [CONNECT] Eltávolítva a felhasználói ügynök karakterkészletének ellenőrzése.

  • 2023. április 25.

    • Módosíthatja a Delta-táblázatokat, hogy támogatást adjon a Delta-tábla funkcióhoz a következő használatával DeltaTable.addFeatureSupport(feature_name): .
    • A SYNC parancs mostantól támogatja az örökölt adatforrás-formátumokat.
    • Kijavítottunk egy hibát, amely miatt a Python-formázó használata más parancsok futtatása előtt egy Python-jegyzetfüzetben azt okozhatta, hogy a jegyzetfüzet elérési útja hiányzik sys.path.
    • Az Azure Databricks mostantól támogatja a Delta-táblák oszlopainak alapértelmezett értékeinek megadását. INSERT, UPDATE, DELETEés MERGE a parancsok hivatkozhatnak az oszlopok alapértelmezett értékére az explicit DEFAULT kulcsszó használatával. A INSERT céltáblánál kevesebb oszlopot tartalmazó explicit listával rendelkező parancsok esetében a megfelelő oszlop alapértelmezett értékeit a rendszer a többi oszlopra cseréli (vagy NULL ha nincs megadva alapértelmezett érték).

  • Kijavítottunk egy hibát, amely miatt a webes terminál nem használható egyes felhasználók fájljainak /Workspace eléréséhez.

    • Ha egy Parquet-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns olvastak a failOnUnknownFields sémafejlődési módban, a rendszer a különböző adattípusokkal rendelkező oszlopokat úgy olvassa fel, mint null ahelyett, hogy hibaüzenetet adna arról, hogy a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn lehetőséget.
    • Az Automatikus betöltő mostantól helyesen olvassa be a típusokat, Shortés már nem menti a típusokatInteger, Byte ha ezek közül az adattípusok egyike meg van adva. A Parquet-fájl a másik két típus egyikét javasolja. Ha a mentett adatoszlop korábban engedélyezve lett, az adattípus eltérése az oszlopok mentését okozhatja annak ellenére, hogy olvashatók voltak.
    • Kijavítottunk egy hibát, amely miatt az Automatikus betöltő séma fejlődése végtelen feladathurokba léphet, amikor egy új oszlopot észlel a beágyazott JSON-objektum sémájában.
    • [SPARK-42794][SS] Növelje a lockAcquireTimeoutM-eket 2 percre a RocksDB állapottárolójának a Structure Streamingben való beszerzéséhez.
    • [SPARK-39221][SQL] A bizalmas adatok helyes újrakontálása a kiszolgálói feladat/szakaszlap takarékosságához.
    • [SPARK-42971][CORE] Módosítsa a nyomtatást workdir , ha appDirs null értékű, amikor a feldolgozó kezeli WorkDirCleanup az eseményt.
    • [SPARK-42936][SQL] Kijavíthatja az LCA-hibát, ha a feltétel közvetlenül a gyermekösszesítéssel oldható meg.
    • [SPARK-43018][SQL] Kijavíthatja az INSERT időbélyeg-literálokkal rendelkező parancsok hibáját.
    • Visszaállítás [SPARK-42754][SQL][UI] A visszamenőleges kompatibilitási probléma kijavítása beágyazott SQL-futtatásban.
    • Visszaállítás [SPARK-41498] Metaadatok propagálása az Unionon keresztül.
    • [SPARK-43038][SQL] A CBC mód támogatása a következővel aes_encrypt()/aes_decrypt(): .
    • [SPARK-42928][SQL] Szinkronizálás.resolvePersistentFunction
    • [SPARK-42521][SQL] Adjon hozzá NULL értékeket INSERT a céltáblánál kevesebb oszlopot tartalmazó, felhasználó által megadott listákhoz.
    • [SPARK-41391][SQL] A kimeneti oszlop neve groupBy.agg(count_distinct) helytelen volt.
    • [SPARK-42548][SQL] Hozzáadás ReferenceAllColumns az újraírási attribútumok kihagyásához.
    • [SPARK-42423][SQL] Adja hozzá a metaadatoszlop fájlblokk kezdetét és hosszát.
    • [SPARK-42796][SQL] Az oszlopok elérésének TimestampNTZ támogatása a következőben CachedBatch: .
    • [SPARK-42266][PYTHON] Távolítsa el a szülőkönyvtárat shell.py futtassa az IPython használatakor.
    • [SPARK-43011][SQL] array_insert 0 indextel kell meghiúsulnia.
    • [SPARK-41874][CONNECT] [PYTHON] Támogatás SameSemantics a Spark Connectben.
    • [SPARK-42702][SPARK-42623][SQL] A paraméteres lekérdezés támogatása a subqueryben és a CTE-ben.
    • [SPARK-42967][CORE] Javítás SparkListenerTaskStart.stageAttemptId , ha egy tevékenység a szakasz megszakítása után indul el.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 12.1 (EoS)

Lásd: Databricks Runtime 12.1 (EoS).

  • 2023. június 23.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. június 15.

    • Fotonizált approx_count_distinct.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • [SPARK-43779][SQL] ParseToDate most betöltődik EvalMode a főszálban.
    • [SPARK-43156][SPARK-43098][SQL] Skaláris subquery count bug test kiterjesztése a decorrelateInnerQuery letiltva
    • Az operációs rendszer biztonsági frissítései.

  • 2023. június 2.

    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • A növekményes frissítés teljesítményének javítása Iceberg és Parquet használatával SHALLOW CLONE .
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-43404][Backport] Az azonosítók eltérésének elkerülése érdekében hagyja ki az sst-fájl újbóli újrafelhasználását a RocksDB-állapottároló ugyanazon verziójához.
    • [SPARK-43413][11.3-13.0] [SQL] Kijavítottuk IN az alkérdezés ListQuery nullképességét.
    • [SPARK-43522][SQL] Kijavítottuk a tömboszlop nevének tömbindexel való létrehozását.
    • [SPARK-42444][PYTHON] DataFrame.drop mostantól megfelelően kezeli a duplikált oszlopokat.
    • [SPARK-43541][SQL] Propagálja az összes Project címkét a kifejezések és a hiányzó oszlopok feloldása során.
    • [SPARK-43340][CORE] Kijavítottuk a hiányzó verem nyomkövetési mezőjét az eseménynaplókban.
    • [SPARK-42937][SQL] PlanSubqueries mostantól igaz értékre van állítódva InSubqueryExec#shouldBroadcast .
    • [SPARK-43527][PYTHON] Javítva catalog.listCatalogs a PySparkban.
    • [SPARK-43378][CORE] A streamobjektumok megfelelő bezárása a következőben: deserializeFromChunkedBuffer.

  • 2023. május 17.

    • A parquet-vizsgálatok mostantól hatékonyak az OOM-ekkel szemben, amikor a köteg méretének dinamikus módosításával kivételesen strukturált fájlokat vizsgálnak. A fájl metaadatait a rendszer a köteg méretének előzetes csökkentése érdekében elemzi, és a feladat újrapróbálkozásakor ismét csökkenti végleges biztonsági hálóként.
    • Ha egy Avro-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns\ olvastak a failOnUnknownFields\ sémafejlődési módban, a különböző adattípusokkal rendelkező oszlopok ahelyett, hogy hibaüzenetet adnánaknull\, amely szerint a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn\ lehetőséget.
    • Az Automatikus betöltő mostantól a következőket végzi el.
      • Helyesen olvas, és már nem menti a típusokatInteger, ShortByte ha az egyik adattípus meg van adva, de az Avro-fájl a másik két típus egyikét javasolja.
      • Megakadályozza az intervallumtípusok dátumként vagy időbélyegként való olvasását, hogy elkerülje a sérült dátumok beolvasását.
      • Megakadályozza a kisebb pontosságú olvasási Decimal típusokat.
    • [SPARK-43098][SQL] Kijavítottuk a helyességi COUNT hibát, ha a skaláris alkérdezés záradék szerint van csoportosítva.
    • [SPARK-43190][SQL] ListQuery.childOutput most már konzisztens a másodlagos kimenettel.
    • Az operációs rendszer biztonsági frissítései.

  • 2023. április 25.

    • Ha egy Parquet-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns olvastak a failOnUnknownFields sémafejlődési módban, a rendszer a különböző adattípusokkal rendelkező oszlopokat úgy olvassa fel, mint null ahelyett, hogy hibaüzenetet adna arról, hogy a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn lehetőséget.
    • Az Automatikus betöltő mostantól helyesen olvassa be a típusokat, Shortés már nem menti a típusokatInteger, Byte ha ezek közül az adattípusok egyike meg van adva. A Parquet-fájl a másik két típus egyikét javasolja. Ha a mentett adatoszlop korábban engedélyezve lett, az adattípus eltérése az oszlopok mentését okozhatja annak ellenére, hogy olvashatók voltak.
    • [SPARK-43009][SQL] Állandókkal Any paraméterezvesql().
    • [SPARK-42971][CORE] Módosítsa a nyomtatást workdir , ha appDirs null értékű, amikor a feldolgozó kezeli WorkDirCleanup az eseményt.
    • Az operációs rendszer biztonsági frissítései.

  • 2023. április 11., kedd

    • Az örökölt adatforrásformátumok támogatása a SYNC parancsban.
    • Kijavít egy hibát az adattáron kívüli jegyzetfüzetek %autoreload viselkedésében.
    • Kijavítottunk egy hibát, amely miatt az Automatikus betöltő séma fejlődése végtelen feladathurokba léphet, amikor egy új oszlopot észlel a beágyazott JSON-objektum sémájában.
    • [SPARK-42928][SQL] Szinkronizálva lesz resolvePersistentFunction .
    • [SPARK-42967][CORE] Kijavítja SparkListenerTaskStart.stageAttemptId , ha egy tevékenység a szakasz megszakítása után indul el.
    • Az operációs rendszer biztonsági frissítései.

  • 2023. március 29.

    • Az Automatikus betöltő mostantól aktivál legalább egy szinkron RocksDB-naplót a streamek megtisztításához Trigger.AvailableNow , hogy az ellenőrzőpont rendszeresen megtisztítható legyen a gyorsan futó automatikus betöltő streamekhez. Ez bizonyos streameket hosszabb ideig is igénybe vehet, mielőtt leállnának, de tárolási költségeket takaríthat meg, és javíthatja az automatikus betöltő élményt a későbbi futtatások során.
    • Most már módosíthatja a Delta-táblázatot, hogy támogatást adjon a táblafunkciókhoz a következő használatával DeltaTable.addFeatureSupport(feature_name): .
    • [SPARK-42702][SPARK-42623][SQL] Paraméteres lekérdezés támogatása az alkérésben és a CTE-ben
    • [SPARK-41162][SQL] Anti- és semi-join javítása az összesítésekkel való önbeillesztéshez
    • [SPARK-42403][CORE] A JsonProtocolnak null JSON-sztringeket kell kezelnie
    • [SPARK-42668][SS] Kivétel észlelése a tömörített stream HDFSStateStoreProvider megszakítása közben
    • [SPARK-42794][SS] Növelje a lockAcquireTimeoutM-eket 2 percre a RocksDB állapottárolójának a Structure Streamingben való beszerzéséhez

  • 2023. március 14.

    • Terminológiamódosítás történik a funkciók Delta-táblához való hozzáadásához a táblatulajdonság használatával. Az előnyben részesített szintaxis most már 'delta.feature.featureName'='supported' 'delta.feature.featureName'='enabled'nem a . A visszamenőleges kompatibilitás érdekében a használat 'delta.feature.featureName'='enabled' továbbra is működik, és továbbra is működni fog.
    • [SPARK-42622][CORE] Helyettesítés letiltása értékekben
    • [SPARK-42534][SQL] Db2Dialect Limit záradék javítása
    • [SPARK-42635][SQL] Javítsa ki a TimestampAdd kifejezést.
    • [SPARK-42516][SQL] A munkamenet időzóna-konfigurációjának rögzítése a nézetek létrehozásakor
    • [SPARK-42484] [SQL] A UnsafeRowUtils jobb hibaüzenete
    • [SPARK-41793][SQL] Helytelen eredmény a nagy tizedesjegyek tartomány záradéka által definiált ablakkeretek esetében
    • Az operációs rendszer biztonsági frissítései.

  • 2023. február 24.

    • Mostantól használhatja a lekérdezési összevonásban támogatott adatforrásokhoz (PostgreSQL, MySQL, Synapse, Snowflake, userportdatabaseRedshift, SQL Server) való csatlakozáshoz használható egyesített lehetőségekethost (, , , ) . password Vegye figyelembe, hogy port nem kötelező, és ha nincs megadva, az adatforrások alapértelmezett portszámát használja.

    Példa a PostgreSQL-kapcsolat konfigurációjára

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Példa a Snowflake kapcsolat konfigurációjára

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PYTHON] Kerülje a pyspark.pandas naplózási konfigurációjának feltörését
    • [SPARK-42346][SQL] Eltérő aggregátumok újraírása a részbefés után
    • [SPARK-41990][SQL] V1-ről FieldReference.column V2-re való szűrőkonvertálás helyett apply
    • Visszaállítás [SPARK-41848][CORE] A TaskResourceProfile-val túlütemezett tevékenységek javítása
    • [SPARK-42162] MultiCommutativeOp-kifejezés bevezetése memóriaoptimalizálásként a vesszővel rendelkező kifejezések nagy fajainak canonicalizálásához
    • Az operációs rendszer biztonsági frissítései.

  • 2023. február 16.

    • A SYNC parancs támogatja az újra létrehozott Hive Metastore-táblák szinkronizálását. Ha egy HMS-táblát korábban a Unity Catalogba helyezett, majd elvetett és újra létrehozott, a következő újraszinkronizálás nem TABLE_ALREADY_EXISTS állapotkód dobása, hanem működni fog.
    • [SPARK-41219][SQL] Az IntegralDivide decimális(1; 0) használatával jelöli a 0-t
    • [SPARK-36173][CORE] Cpu-szám lekérésének támogatása a TaskContextben
    • [SPARK-41848][CORE] Feladat túlütemezésének javítása a TaskResourceProfile használatával
    • [SPARK-42286][SQL] Visszalépés az előző codegen-kódútvonalra az összetett kiff és a CAST használatával

  • 2023. január 31.

    • Egy meghatározott hellyel rendelkező séma létrehozásához a felhasználónak most már SELECT és MODIFY jogosultsággal kell rendelkeznie a BÁRMELY FÁJLban.
    • [SPARK-41581][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_1230
    • [SPARK-41996][SQL] [SS] A kafka-teszt javítása az elveszett partíciók ellenőrzéséhez a lassú Kafka-műveletek figyelembe vételével
    • [SPARK-41580][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2137
    • [SPARK-41666][PYTHON] Paraméteres SQL támogatása a következő szerint: sql()
    • [SPARK-41579][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_1249
    • [SPARK-41573][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2136
    • [SPARK-41574][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2009
    • [SPARK-41049][Nyomon követés] A ConvertToLocalRelation kódszinkronizálási regressziójának javítása
    • [SPARK-41576][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2051
    • [SPARK-41572][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2149
    • [SPARK-41575][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2054
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 12.0 (EoS)

Lásd: Databricks Runtime 12.0 (EoS).

  • 2023. június 15.

    • Fotonizált approx_count_distinct.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • [SPARK-43156][SPARK-43098][SQL] Skaláris subquery count bug test kiterjesztése a decorrelateInnerQuery letiltva
    • [SPARK-43779][SQL] ParseToDate most betöltődik EvalMode a főszálban.
    • Az operációs rendszer biztonsági frissítései.

  • 2023. június 2.

    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • A növekményes frissítés teljesítményének javítása Iceberg és Parquet használatával SHALLOW CLONE .
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-42444][PYTHON] DataFrame.drop mostantól megfelelően kezeli a duplikált oszlopokat.
    • [SPARK-43404][Backport] Az azonosítók eltérésének elkerülése érdekében hagyja ki az sst-fájl újbóli újrafelhasználását a RocksDB-állapottároló ugyanazon verziójához.
    • [SPARK-43413][11.3-13.0] [SQL] Kijavítottuk IN az alkérdezés ListQuery nullképességét.
    • [SPARK-43527][PYTHON] Javítva catalog.listCatalogs a PySparkban.
    • [SPARK-43522][SQL] Kijavítottuk a tömboszlop nevének tömbindexel való létrehozását.
    • [SPARK-43541][SQL] Propagálja az összes Project címkét a kifejezések és a hiányzó oszlopok feloldása során.
    • [SPARK-43340][CORE] Kijavítottuk a hiányzó verem nyomkövetési mezőjét az eseménynaplókban.
    • [SPARK-42937][SQL] PlanSubqueries értéke InSubqueryExec#shouldBroadcast igaz.

  • 2023. május 17.

    • A parquet-vizsgálatok mostantól hatékonyak az OOM-ekkel szemben, amikor a köteg méretének dinamikus módosításával kivételesen strukturált fájlokat vizsgálnak. A fájl metaadatait a rendszer a köteg méretének előzetes csökkentése érdekében elemzi, és a feladat újrapróbálkozásakor ismét csökkenti végleges biztonsági hálóként.
    • Ha egy Avro-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns\ olvastak a failOnUnknownFields\ sémafejlődési módban, a különböző adattípusokkal rendelkező oszlopok ahelyett, hogy hibaüzenetet adnánaknull\, amely szerint a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn\ lehetőséget.
    • Az Automatikus betöltő mostantól a következőket végzi el.
      • Helyesen olvas, és már nem menti a típusokatInteger, ShortByte ha az egyik adattípus meg van adva, de az Avro-fájl a másik két típus egyikét javasolja.
      • Megakadályozza az intervallumtípusok dátumként vagy időbélyegként való olvasását, hogy elkerülje a sérült dátumok beolvasását.
      • Megakadályozza a kisebb pontosságú olvasási Decimal típusokat.
    • [SPARK-43172] [CONNECT] A Spark Connect-ügyfél gazdagépét és jogkivonatát teszi elérhetővé.
    • [SPARK-41520][SQL] Faminta felosztása AND_OR a szétválasztandó AND és ORa .
    • [SPARK-43098][SQL] Kijavítottuk a helyességi COUNT hibát, ha a skaláris alkérdezés záradék szerint van csoportosítva.
    • [SPARK-43190][SQL] ListQuery.childOutput most már konzisztens a másodlagos kimenettel.
    • Az operációs rendszer biztonsági frissítései.

  • 2023. április 25.

    • Ha egy Parquet-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns olvastak a failOnUnknownFields sémafejlődési módban, a rendszer a különböző adattípusokkal rendelkező oszlopokat úgy olvassa fel, mint null ahelyett, hogy hibaüzenetet adna arról, hogy a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn lehetőséget.
    • Az Automatikus betöltő mostantól helyesen olvassa be a típusokat, Shortés már nem menti a típusokatInteger, Byte ha ezek közül az adattípusok egyike meg van adva. A Parquet-fájl a másik két típus egyikét javasolja. Ha a mentett adatoszlop korábban engedélyezve lett, az adattípus eltérése az oszlopok mentését okozhatja annak ellenére, hogy olvashatók voltak.
    • [SPARK-42971][CORE] Módosítsa a nyomtatásra workdir , ha appDirs null értékű a feldolgozói kezelő WorkDirCleanup eseménye
    • Az operációs rendszer biztonsági frissítései.

  • 2023. április 11., kedd

    • Az örökölt adatforrásformátumok támogatása a parancsban SYNC .
    • Kijavít egy hibát a(z) %autoreload viselkedésben az adattáron kívüli jegyzetfüzetekben.
    • Kijavítottunk egy hibát, amely miatt az Automatikus betöltő séma fejlődése végtelen feladathurokba léphet, amikor egy új oszlopot észlel a beágyazott JSON-objektum sémájában.
    • [SPARK-42928][SQL] Szinkronizálva lesz resolvePersistentFunction .
    • [SPARK-42967][CORE] Kijavítja SparkListenerTaskStart.stageAttemptId , ha egy tevékenység a szakasz megszakítása után indul el.
    • Az operációs rendszer biztonsági frissítései.

  • 2023. március 29.

    • [SPARK-42794][SS] Növelje a lockAcquireTimeoutM-eket 2 percre a RocksDB állapottárolójának a Structure Streamingben való beszerzéséhez
    • [SPARK-41162][SQL] Anti- és semi-join javítása az összesítésekkel való önbeillesztéshez
    • [SPARK-42403][CORE] A JsonProtocolnak null JSON-sztringeket kell kezelnie
    • [SPARK-42668][SS] Kivétel észlelése a tömörített stream HDFSStateStoreProvider megszakítása közben
    • Egyéb hibajavítások.

  • 2023. március 14.

    • [SPARK-42534][SQL] Db2Dialect Limit záradék javítása
    • [SPARK-42622][CORE] Helyettesítés letiltása értékekben
    • [SPARK-41793][SQL] Helytelen eredmény a nagy tizedesjegyek tartomány záradéka által definiált ablakkeretek esetében
    • [SPARK-42484] [SQL] A UnsafeRowUtils jobb hibaüzenete
    • [SPARK-42635][SQL] Javítsa ki a TimestampAdd kifejezést.
    • [SPARK-42516][SQL] A munkamenet időzóna-konfigurációjának rögzítése a nézetek létrehozásakor
    • Az operációs rendszer biztonsági frissítései.

  • 2023. február 24.

    • A lekérdezési összevonás szabványosított kapcsolati beállításai

      Mostantól használhatja a lekérdezési összevonásban támogatott adatforrásokhoz (PostgreSQL, MySQL, Synapse, Snowflake, userportdatabaseRedshift, SQL Server) való csatlakozáshoz használható egyesített lehetőségekethost (, , , ) . password Vegye figyelembe, hogy port nem kötelező, és ha nincs megadva, minden adatforráshoz az alapértelmezett portszámot fogja használni.

      Példa a PostgreSQL-kapcsolat konfigurációjára

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Példa a Snowflake kapcsolat konfigurációjára

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Visszaállítás [SPARK-41848][CORE] A TaskResourceProfile-val túlütemezett tevékenységek javítása

    • [SPARK-42162] MultiCommutativeOp-kifejezés bevezetése memóriaoptimalizálásként a vesszővel rendelkező kifejezések nagy fajainak canonicalizálásához

    • [SPARK-41990][SQL] V1-ről FieldReference.column V2-re való szűrőkonvertálás helyett apply

    • [SPARK-42346][SQL] Eltérő aggregátumok újraírása a részbefés után

    • Az operációs rendszer biztonsági frissítései.

  • 2023. február 16.

    • A felhasználók mostantól a Databricks Runtime 9.1-es vagy újabb verziójával olvashatnak és írhatnak bizonyos Delta-táblákat, amelyekhez az Olvasó 3- és a 7-es íróverzió szükséges. A sikeresség érdekében a táblák protokolljában felsorolt táblafunkciókat a Databricks Runtime jelenlegi verziójának kell támogatnia.
    • A SYNC parancs támogatja az újra létrehozott Hive Metastore-táblák szinkronizálását. Ha egy HMS-táblát korábban a Unity Catalogba helyezett, majd elvetett és újra létrehozott, a következő újraszinkronizálás nem TABLE_ALREADY_EXISTS állapotkód dobása, hanem működni fog.
    • [SPARK-36173][CORE] Cpu-szám lekérésének támogatása a TaskContextben
    • [SPARK-42286][SQL] Visszalépés az előző codegen-kódútvonalra az összetett kiff és a CAST használatával
    • [SPARK-41848][CORE] Feladat túlütemezésének javítása a TaskResourceProfile használatával
    • [SPARK-41219][SQL] Az IntegralDivide decimális(1; 0) használatával jelöli a 0-t

  • 2023. január 25.

    • [SPARK-41660][SQL] Csak akkor propagálja a metaadatoszlopokat, ha használják őket
    • [SPARK-41379][SS] [PYTHON] Klónozott spark-munkamenet biztosítása a DataFrame-ben a ForeachBatch fogadó felhasználói függvényében a PySparkban
    • [SPARK-41669][SQL] Korai metszés a canCollapseExpressions-ban
    • Az operációs rendszer biztonsági frissítései.

  • 2023. január 18.

    • REFRESH FUNCTION Az SQL-parancs mostantól támogatja az SQL-függvényeket és az SQL Table-függvényeket. A parancs például egy másik SQL-munkamenetben frissített állandó SQL-függvény frissítésére használható.
    • A Java Database Connectivity (JDBC) v1 adatforrás mostantól támogatja a LIMIT záradék leküldését a lekérdezések teljesítményének javítása érdekében. Ez a funkció alapértelmezés szerint engedélyezve van, és a beállítással spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled falseletiltható.
    • Az örökölt tábla ACL-fürtökben a JVM-osztályokra hivatkozó függvények létrehozása most már megköveteli a MODIFY_CLASSPATH jogosultságot.
    • A Java Database Connectivity (JDBC) v1 adatforrás mostantól támogatja a LIMIT záradék leküldését a lekérdezések teljesítményének javítása érdekében. Ez a funkció alapértelmezés szerint engedélyezve van, és letiltható a spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled beállítás hamis értékre állításával.
    • Az Azure Synapse-összekötő mostantól leíróbb hibaüzenetet ad vissza, ha egy oszlopnév érvénytelen karaktereket, például szóközöket vagy pontosvesszőket tartalmaz. Ilyen esetekben a következő üzenet jelenik meg: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • A Spark strukturált streamelése mostantól a formátum ("deltasharing") használatával működik forrásként egy deltamegosztási táblán.
    • [SPARK-38277][SS] Írási köteg törlése a RocksDB állapottároló véglegesítése után
    • [SPARK-41733][SQL] [SS] Famintás alapú metszés alkalmazása a ResolveWindowTime szabályhoz
    • [SPARK-39591][SS] Aszinkron folyamatkövetés
    • [SPARK-41339][SQL] Zárja be és hozza létre újra a RocksDB írási köteget a törlés helyett
    • [SPARK-41198][SS] Metrikák javítása cTE- és DSv1-streamforrással rendelkező streamelési lekérdezésekben
    • [SPARK-41539][SQL] A LogikaiRDD logikai tervében szereplő kimenet statisztikáinak és kényszereinek újraképe
    • [SPARK-41732][SQL] [SS] Famintás alapú metszés alkalmazása a SessionWindowing szabályhoz
    • [SPARK-41862][SQL] Az Orc-olvasó ALAPÉRTELMEZETT értékeivel kapcsolatos hiba javítása
    • [SPARK-41199][SS] Metrikaproblémák kijavítása A DSv1 streamforrás és a DSv2 streamforrás együttes használata esetén
    • [SPARK-41261][PYTHON] [SS] Kijavítottuk az applyInPandasWithState hibát, ha a csoportosítási kulcsok oszlopai nem a legkorábbi sorrendbe vannak helyezve
    • Az operációs rendszer biztonsági frissítései.

  • 2023. május 17.

    • A parquet-vizsgálatok mostantól hatékonyak az OOM-ekkel szemben, amikor a köteg méretének dinamikus módosításával kivételesen strukturált fájlokat vizsgálnak. A fájl metaadatait a rendszer a köteg méretének előzetes csökkentése érdekében elemzi, és a feladat újrapróbálkozásakor ismét csökkenti végleges biztonsági hálóként.
    • Kijavítottunk egy regressziót, amely miatt az Azure Databricks-feladatok megmaradtak, miután a fürt inicializálása során nem sikerült csatlakozni a metaadattárhoz.
    • [SPARK-41520][SQL] Faminta felosztása AND_OR a szétválasztandó AND és ORa .
    • [SPARK-43190][SQL] ListQuery.childOutput most már konzisztens a másodlagos kimenettel.
    • Az operációs rendszer biztonsági frissítései.

  • 2023. április 25.

    • Ha egy Parquet-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns olvastak a failOnUnknownFields sémafejlődési módban, a rendszer a különböző adattípusokkal rendelkező oszlopokat úgy olvassa fel, mint null ahelyett, hogy hibaüzenetet adna arról, hogy a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn lehetőséget.
    • Az Automatikus betöltő mostantól helyesen olvassa be a típusokat, Shortés már nem menti a típusokatInteger, Byte ha ezek közül az adattípusok egyike meg van adva. A Parquet-fájl a másik két típus egyikét javasolja. Ha a mentett adatoszlop korábban engedélyezve lett, az adattípus eltérése az oszlopok mentését okozhatja annak ellenére, hogy olvashatók voltak.
    • [SPARK-42937][SQL] PlanSubqueries mostantól igaz értékre van állítódva InSubqueryExec#shouldBroadcast .
    • Az operációs rendszer biztonsági frissítései.

  • 2023. április 11., kedd

    • Az örökölt adatforrásformátumok támogatása a SYNC parancsban.
    • Kijavít egy hibát a(z) %autoreload viselkedésben az adattáron kívüli jegyzetfüzetekben.
    • Kijavítottunk egy hibát, amely miatt az Automatikus betöltő séma fejlődése végtelen feladathurokba léphet, amikor egy új oszlopot észlel a beágyazott JSON-objektum sémájában.
    • [SPARK-42928][SQL] A resolvePersistentFunction szinkronizálása.
    • [SPARK-42967][CORE] A SparkListenerTaskStart.stageAttemptId javítása, ha egy tevékenység a szakasz megszakítása után indul el.

  • 2023. március 29.

    • [SPARK-42794][SS] Növelje a lockAcquireTimeoutM-eket 2 percre a RocksDB állapottárolójának a Structure Streamingben való beszerzéséhez
    • [SPARK-42403][CORE] A JsonProtocolnak null JSON-sztringeket kell kezelnie
    • [SPARK-42668][SS] Kivétel észlelése a tömörített stream HDFSStateStoreProvider megszakítása közben
    • Az operációs rendszer biztonsági frissítései.

  • 2023. március 14.

    • [SPARK-42635][SQL] Javítsa ki a TimestampAdd kifejezést.
    • [SPARK-41793][SQL] Helytelen eredmény a nagy tizedesjegyek tartomány záradéka által definiált ablakkeretek esetében
    • [SPARK-42484] [SQL] A UnsafeRowUtils jobb hibaüzenete
    • [SPARK-42534][SQL] Db2Dialect Limit záradék javítása
    • [SPARK-41162][SQL] Anti- és semi-join javítása az összesítésekkel való önbeillesztéshez
    • [SPARK-42516][SQL] A munkamenet időzóna-konfigurációjának rögzítése a nézetek létrehozásakor
    • Egyéb hibajavítások.

  • 2023. február 28.

    • A lekérdezési összevonás szabványosított kapcsolati beállításai

      Mostantól használhatja a lekérdezési összevonásban támogatott adatforrásokhoz (PostgreSQL, MySQL, Synapse, Snowflake, userportdatabaseRedshift, SQL Server) való csatlakozáshoz használható egyesített lehetőségekethost (, , , ) . password Vegye figyelembe, hogy port nem kötelező, és ha nincs megadva, az adatforrások alapértelmezett portszámát használja.

      Példa a PostgreSQL-kapcsolat konfigurációjára

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Példa a Snowflake kapcsolat konfigurációjára

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] Visszalépés az előző codegen-kódútvonalra az összetett kiff és a CAST használatával

    • [SPARK-41989][PYTHON] Kerülje a pyspark.pandas naplózási konfigurációjának feltörését

    • [SPARK-42346][SQL] Eltérő aggregátumok újraírása a részbefés után

    • [SPARK-41360][CORE] Kerülje a BlockManager újbóli regisztrációt, ha a végrehajtó elveszett

    • [SPARK-42162] MultiCommutativeOp-kifejezés bevezetése memóriaoptimalizálásként a vesszővel rendelkező kifejezések nagy fajainak canonicalizálásához

    • [SPARK-41990][SQL] V1-ről FieldReference.column V2-re való szűrőkonvertálás helyett apply

    • Az operációs rendszer biztonsági frissítései.

  • 2023. február 16.

    • A felhasználók mostantól a Databricks Runtime 9.1-es vagy újabb verziójával olvashatnak és írhatnak bizonyos Delta-táblákat, amelyekhez az Olvasó 3- és a 7-es íróverzió szükséges. A sikeresség érdekében a táblák protokolljában felsorolt táblafunkciókat a Databricks Runtime jelenlegi verziójának kell támogatnia.
    • A SYNC parancs támogatja az újra létrehozott Hive Metastore-táblák szinkronizálását. Ha egy HMS-táblát korábban a Unity Catalogba helyezett, majd elvetett és újra létrehozott, a következő újraszinkronizálás nem TABLE_ALREADY_EXISTS állapotkód dobása, hanem működni fog.
    • [SPARK-41219][SQL] Az IntegralDivide decimális(1; 0) használatával jelöli a 0-t
    • [SPARK-40382][SQL] Különböző aggregátumkifejezések csoportosítása szemantikailag egyenértékű gyermekek szerint a RewriteDistinctAggregates
    • Az operációs rendszer biztonsági frissítései.

  • 2023. január 25.

    • [SPARK-41379][SS] [PYTHON] Klónozott spark-munkamenet biztosítása a DataFrame-ben a ForeachBatch fogadó felhasználói függvényében a PySparkban
    • [SPARK-41660][SQL] Csak akkor propagálja a metaadatoszlopokat, ha használják őket
    • [SPARK-41669][SQL] Korai metszés a canCollapseExpressions-ban
    • Egyéb hibajavítások.

  • 2023. január 18.

    • REFRESH FUNCTION Az SQL-parancs mostantól támogatja az SQL-függvényeket és az SQL Table-függvényeket. A parancs például egy másik SQL-munkamenetben frissített állandó SQL-függvény frissítésére használható.
    • A Java Database Connectivity (JDBC) v1 adatforrás mostantól támogatja a LIMIT záradék leküldését a lekérdezések teljesítményének javítása érdekében. Ez a funkció alapértelmezés szerint engedélyezve van, és a beállítással spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled falseletiltható.
    • A Java Database Connectivity (JDBC) v1 adatforrás mostantól támogatja a LIMIT záradék leküldését a lekérdezések teljesítményének javítása érdekében. Ez a funkció alapértelmezés szerint engedélyezve van, és letiltható a spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled beállítás hamis értékre állításával.
    • Az Azure Synapse-összekötő mostantól leíróbb hibaüzenetet ad vissza, ha egy oszlopnév érvénytelen karaktereket, például szóközöket vagy pontosvesszőket tartalmaz. Ilyen esetekben a következő üzenet jelenik meg: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Metrikák javítása cTE- és DSv1-streamforrással rendelkező streamelési lekérdezésekben
    • [SPARK-41862][SQL] Az Orc-olvasó ALAPÉRTELMEZETT értékeivel kapcsolatos hiba javítása
    • [SPARK-41539][SQL] A LogikaiRDD logikai tervében szereplő kimenet statisztikáinak és kényszereinek újraképe
    • [SPARK-39591][SS] Aszinkron folyamatkövetés
    • [SPARK-41199][SS] Metrikaproblémák kijavítása A DSv1 streamforrás és a DSv2 streamforrás együttes használata esetén
    • [SPARK-41261][PYTHON] [SS] Kijavítottuk az applyInPandasWithState hibát, ha a csoportosítási kulcsok oszlopai nem a legkorábbi sorrendbe vannak helyezve
    • [SPARK-41339][SQL] Zárja be és hozza létre újra a RocksDB írási köteget a törlés helyett
    • [SPARK-41732][SQL] [SS] Famintás alapú metszés alkalmazása a SessionWindowing szabályhoz
    • [SPARK-38277][SS] Írási köteg törlése a RocksDB állapottároló véglegesítése után
    • Az operációs rendszer biztonsági frissítései.

  • 2022. november 29.

    • A felhasználók konfigurálhatják a kezdő és záró szóközök viselkedését, amikor adatokat írnak a Redshift-összekötővel. A térközkezelés szabályozásához a következő lehetőségek lettek hozzáadva:
      • csvignoreleadingwhitespace, ha be truevan állítva , eltávolítja a kezdő szóközt az értékekből az írások során, amikor tempformat a be van állítva CSV vagy CSV GZIP. A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
      • csvignoretrailingwhitespace, ha be van trueállítva , eltávolítja a záró szóközt az értékekből az írások során, amikor tempformat az értékre CSV van állítva vagy CSV GZIP. A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
    • Kijavítottunk egy JSON-elemzési hibát az Automatikus betöltőben, amikor az összes oszlop sztringként maradt (cloudFiles.inferColumnTypes nincs beállítva vagy beállítva false) és a JSON beágyazott objektumokat tartalmazott.
    • Frissítse snowflake-jdbc a függőséget a 3.13.22-es verzióra.
    • A JDBC-táblák táblázattípusai alapértelmezés szerint KÜLSŐek.
    • [SPARK-40906][SQL] Mode a térképre való beszúrás előtt másolnia kell a kulcsokat
    • Az operációs rendszer biztonsági frissítései.

  • 2022. november 15.

    • A tábla ACL-jei és a megosztott UC-fürtök mostantól engedélyezik a Dataset.toJSON metódust a Pythonból.
    • [SPARK-40646] A szerkezetek, térképek és tömbök JSON-elemzése kijavítva, így ha egy rekord egy része nem egyezik a sémával, a rekord többi része továbbra is helyesen elemezhető a null értékek visszaadása helyett. A továbbfejlesztett viselkedéskészletre spark.sql.json.enablePartialResults truevaló bejelentkezéshez. A jelölő alapértelmezés szerint le van tiltva az eredeti viselkedés megőrzése érdekében
    • [SPARK-40903][SQL] Ne rendezze újra a decimális hozzáadást a canonicalizáláshoz, ha az adattípus módosul
    • [SPARK-40618][SQL] Hiba kijavítása a MergeScalarSubqueries szabályban beágyazott al lekérdezésekkel hivatkozáskövetés használatával
    • [SPARK-40697][SQL] Írásvédett karakterpárna hozzáadása külső adatfájlok lefedéséhez
    • Az operációs rendszer biztonsági frissítései.

  • 2022. november 1.

    • A Unity Catalog strukturált streamelése mostantól támogatja az ideiglenes hozzáférési jogkivonatok frissítését. A Unity Catalog használatával futó streamelési számítási feladatok vagy feladatfürtök a kezdeti jogkivonat lejárata után már nem hiúsulnak meg.
    • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla felhasználó által definiált oszlopot tartalmazott _change_type, de az adatcsatornák módosítása le lett tiltva a táblában, akkor az oszlopban lévő adatok futáskor MERGEhelytelenül töltődnek ki NULL értékekkel.
    • Kijavítottunk egy hibát, amely MERGE miatt a forrásból származó pontosan 99 oszlop futtatása és használata a feltételben java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowa következőt eredményezhette: .
    • Kijavítottunk egy hibát az automatikus betöltővel kapcsolatban, amely miatt egy fájl duplikálható ugyanabban a mikrokötegben, ha allowOverwrites engedélyezve van.
    • Az Apache commons-text frissítése 1.10.0-ra.
    • [SPARK-38881][DSTREAMS] [KINESIS] [PYSPARK] A CloudWatch MetricsLevel Config támogatása hozzáadva
    • [SPARK-40596][CORE] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
    • [SPARK-40670][SS] [PYTHON] NPE javítása az applyInPandasWithState alkalmazásban, ha a bemeneti séma "nem null értékű" oszlop(ok)
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 11.2 (EoS)

Lásd: Databricks Runtime 11.2 (EoS).

  • 2023. február 28.
    • [SPARK-42286][SQL] Visszalépés az előző codegen-kódútvonalra az összetett kiff és a CAST használatával
    • [SPARK-42346][SQL] Eltérő aggregátumok újraírása a részbefés után
    • Az operációs rendszer biztonsági frissítései.
  • 2023. február 16.
    • A felhasználók mostantól a Databricks Runtime 9.1-es vagy újabb verziójával olvashatnak és írhatnak bizonyos Delta-táblákat, amelyekhez az Olvasó 3- és a 7-es íróverzió szükséges. A sikeresség érdekében a táblák protokolljában felsorolt táblafunkciókat a Databricks Runtime jelenlegi verziójának kell támogatnia.
    • A SYNC parancs támogatja az újra létrehozott Hive Metastore-táblák szinkronizálását. Ha egy HMS-táblát korábban a Unity Catalogba helyezett, majd elvetett és újra létrehozott, a következő újraszinkronizálás nem TABLE_ALREADY_EXISTS állapotkód dobása, hanem működni fog.
    • [SPARK-41219][SQL] Az IntegralDivide decimális(1; 0) használatával jelöli a 0-t
    • Az operációs rendszer biztonsági frissítései.
  • 2023. január 31.
    • A JDBC-táblák táblázattípusai alapértelmezés szerint KÜLSŐek.
    • [SPARK-41379][SS] [PYTHON] Klónozott spark-munkamenet biztosítása a DataFrame-ben a ForeachBatch fogadó felhasználói függvényében a PySparkban
  • 2023. január 18.
    • Az Azure Synapse-összekötő mostantól leíróbb hibaüzenetet ad vissza, ha egy oszlopnév érvénytelen karaktereket, például szóközöket vagy pontosvesszőket tartalmaz. Ilyen esetekben a következő üzenet jelenik meg: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Metrikák javítása cTE- és DSv1-streamforrással rendelkező streamelési lekérdezésekben
    • [SPARK-41862][SQL] Az Orc-olvasó ALAPÉRTELMEZETT értékeivel kapcsolatos hiba javítása
    • [SPARK-41539][SQL] A LogikaiRDD logikai tervében szereplő kimenet statisztikáinak és kényszereinek újraképe
    • [SPARK-41199][SS] Metrikaproblémák kijavítása A DSv1 streamforrás és a DSv2 streamforrás együttes használata esetén
    • [SPARK-41339][SQL] Zárja be és hozza létre újra a RocksDB írási köteget a törlés helyett
    • [SPARK-41732][SQL] [SS] Famintás alapú metszés alkalmazása a SessionWindowing szabályhoz
    • [SPARK-38277][SS] Írási köteg törlése a RocksDB állapottároló véglegesítése után
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 29.
    • A felhasználók konfigurálhatják a kezdő és záró szóközök viselkedését, amikor adatokat írnak a Redshift-összekötővel. A térközkezelés szabályozásához a következő lehetőségek lettek hozzáadva:
      • csvignoreleadingwhitespace, ha be truevan állítva , eltávolítja a kezdő szóközt az értékekből az írások során, amikor tempformat a be van állítva CSV vagy CSV GZIP. A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
      • csvignoretrailingwhitespace, ha be van trueállítva , eltávolítja a záró szóközt az értékekből az írások során, amikor tempformat az értékre CSV van állítva vagy CSV GZIP. A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
    • Kijavítottunk egy JSON-elemzési hibát az Automatikus betöltőben, amikor az összes oszlop sztringként maradt (cloudFiles.inferColumnTypes nincs beállítva vagy beállítva false) és a JSON beágyazott objektumokat tartalmazott.
    • [SPARK-40906][SQL] Mode a térképre való beszúrás előtt másolnia kell a kulcsokat
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 15.
    • [SPARK-40646] A szerkezetek, térképek és tömbök JSON-elemzése kijavítva, így ha egy rekord egy része nem egyezik a sémával, a rekord többi része továbbra is helyesen elemezhető a null értékek visszaadása helyett. A továbbfejlesztett viselkedésre való bejelentkezéshez állítsa be spark.sql.json.enablePartialResults a következőt true: . A jelölő alapértelmezés szerint le van tiltva az eredeti viselkedés megőrzése érdekében
    • [SPARK-40618][SQL] Hiba kijavítása a MergeScalarSubqueries szabályban beágyazott al lekérdezésekkel hivatkozáskövetés használatával
    • [SPARK-40697][SQL] Írásvédett karakterpárna hozzáadása külső adatfájlok lefedéséhez
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 1.
    • Az Apache commons-text frissítése 1.10.0-ra.
    • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla felhasználó által definiált oszlopot tartalmazott _change_type, de az adatcsatornák módosítása le lett tiltva a táblában, akkor az oszlopban lévő adatok futáskor MERGEhelytelenül töltődnek ki NULL értékekkel.
    • Kijavítottunk egy hibát, amely MERGE miatt a forrásból származó pontosan 99 oszlop futtatása és használata a feltételben java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowa következőt eredményezhette: .
    • Kijavítottunk egy hibát az automatikus betöltővel kapcsolatban, amely miatt egy fájl duplikálható ugyanabban a mikrokötegben, ha allowOverwrites engedélyezve van
    • [SPARK-40596][CORE] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 19.
    • Kijavítottunk egy hibát, amely miatt a COPY INTO használata ideiglenes hitelesítő adatokkal volt engedélyezve a Unity Catalog-kompatibilis fürtökön/ -raktárakon.
    • [SPARK-40213][SQL] AsCII-értékek konvertálásának támogatása latin-1 karakter esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 5.
    • A felhasználók beállíthatják a spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") értéket az ADLS Gen2 automatikus betöltő natív listájának újbóli engedélyezéséhez. A natív lista korábban teljesítményproblémák miatt ki lett kapcsolva, de az ügyfelek tárolási költségeinek növekedéséhez vezethetett. Ez a módosítás a DBR 10.4 és 9.1 verzióra lett bevezetve az előző karbantartási frissítésben.
    • [SPARK-40315][SQL] Az URL-kódolás/dekódolás támogatása beépített függvényként, valamint az URL-hez kapcsolódó függvények rendezettsége
    • [SPARK-40156][SQL]url_decode() ha a visszaadott hibaosztály
    • [SPARK-40169] Ne nyomja le a Parquet-szűrőket, és ne hivatkozzon az adatsémára
    • [SPARK-40460][SS] Streamelési metrikák javítása a kiválasztáskor _metadata
    • [SPARK-40468][SQL] Oszlopmetszés javítása CSV-ben _corrupt_record kijelölésekor
    • [SPARK-40055][SQL] listCatalogs is vissza spark_catalog akkor is, ha spark_catalog implementáció alapértelmezettSessionCatalog
    • Az operációs rendszer biztonsági frissítései.
  • 2022. szeptember 22.
    • [SPARK-40315][SQL] HashCode() hozzáadása a ArrayBasedMapData literálhoz
    • [SPARK-40389][SQL] A tizedesjelek nem képezhetők integráltípusokként, ha a leadás túlcsordulhat
    • [SPARK-40380][SQL] Az InvokeLike konstans összecsukásának javítása a tervbe beágyazott nem szerializálható literálok elkerülése érdekében
    • [SPARK-40066][SQL] [NYOMON KÖVETÉS] Ellenőrizze, hogy az ElementAt feloldva van-e a dataType lekérése előtt
    • [SPARK-40109][SQL] Új SQL-függvény: get()
    • [SPARK-40066][SQL] ANSI mód: mindig null értéket ad vissza a térképoszlophoz való érvénytelen hozzáféréskor
    • [SPARK-40089][SQL] Néhány decimális típus rendezésének javítása
    • [SPARK-39887][SQL] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
    • [SPARK-40152][SQL] A split_part codegen fordítási problémájának megoldása
    • [SPARK-40235][CORE] Megszakítható zárolás használata szinkronizált helyett a Executor.updateDependencies() alkalmazásban
    • [SPARK-40212][SQL] A SparkSQL castPartValue nem kezeli megfelelően a bájtot, a rövidet vagy a lebegőpontost
    • [SPARK-40218][SQL] A CSOPORTOSÍTÁSI CSOPORTOKnak meg kell őriznie a csoportosítási oszlopokat
    • [SPARK-35542][ML] Javítás: Több oszlophoz létrehozott gyűjtőgyűjtő paraméterekkel
    • [SPARK-40079] Imputer inputCols-ellenőrzés hozzáadása üres bemeneti esethez
    • [SPARK-39912]SPARK-39828[SQL] CatalogImpl finomítása

Databricks Runtime 11.1 (EoS)

Lásd: Databricks Runtime 11.1 (EoS).

  • 2023. január 31.

    • [SPARK-41379][SS] [PYTHON] Klónozott spark-munkamenet biztosítása a DataFrame-ben a ForeachBatch fogadó felhasználói függvényében a PySparkban
    • Egyéb hibajavítások.

  • 2023. január 18.

    • Az Azure Synapse-összekötő mostantól leíróbb hibaüzenetet ad vissza, ha egy oszlopnév érvénytelen karaktereket, például szóközöket vagy pontosvesszőket tartalmaz. Ilyen esetekben a következő üzenet jelenik meg: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Metrikák javítása cTE- és DSv1-streamforrással rendelkező streamelési lekérdezésekben
    • [SPARK-41862][SQL] Az Orc-olvasó ALAPÉRTELMEZETT értékeivel kapcsolatos hiba javítása
    • [SPARK-41199][SS] Metrikaproblémák kijavítása A DSv1 streamforrás és a DSv2 streamforrás együttes használata esetén
    • [SPARK-41339][SQL] Zárja be és hozza létre újra a RocksDB írási köteget a törlés helyett
    • [SPARK-41732][SQL] [SS] Famintás alapú metszés alkalmazása a SessionWindowing szabályhoz
    • [SPARK-38277][SS] Írási köteg törlése a RocksDB állapottároló véglegesítése után
    • Az operációs rendszer biztonsági frissítései.

  • 2022. november 29.

    • A felhasználók konfigurálhatják a kezdő és záró szóközök viselkedését, amikor adatokat írnak a Redshift-összekötővel. A térközkezelés szabályozásához a következő lehetőségek lettek hozzáadva:
      • csvignoreleadingwhitespace, ha be truevan állítva , eltávolítja a kezdő szóközt az értékekből az írások során, amikor tempformat a be van állítva CSV vagy CSV GZIP. A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
      • csvignoretrailingwhitespace, ha be van trueállítva , eltávolítja a záró szóközt az értékekből az írások során, amikor tempformat az értékre CSV van állítva vagy CSV GZIP. A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
    • Kijavítottunk egy JSON-elemzési hibát az Automatikus betöltőben, amikor az összes oszlop sztringként maradt (cloudFiles.inferColumnTypes nincs beállítva vagy beállítva false) és a JSON beágyazott objektumokat tartalmazott.
    • [SPARK-39650][SS] Helytelen értékséma javítása a streamelési deduplikációban a visszamenőleges kompatibilitással
    • Az operációs rendszer biztonsági frissítései.

  • 2022. november 15.

    • [SPARK-40646] A szerkezetek, térképek és tömbök JSON-elemzése ki lett javítva, így ha egy rekord egy része nem egyezik a sémával, a többi rekord továbbra is megfelelően elemezhető a null értékek visszaadása helyett. A továbbfejlesztett viselkedésre való bejelentkezéshez állítsa be spark.sql.json.enablePartialResults a következőt true: . A jelölő alapértelmezés szerint le van tiltva az eredeti viselkedés megőrzése érdekében
    • Az operációs rendszer biztonsági frissítései.

  • 2022. november 1.

    • Az Apache commons-text frissítése 1.10.0-ra.
    • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla felhasználó által definiált oszlopot tartalmazott _change_type, de az adatcsatornák módosítása le lett tiltva a táblában, akkor az oszlopban lévő adatok futáskor MERGEhelytelenül töltődnek ki NULL értékekkel.
    • Kijavítottunk egy hibát, amely MERGE miatt a forrásból származó pontosan 99 oszlop futtatása és használata a feltételben java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowa következőt eredményezhette: .
    • Kijavítottunk egy hibát az automatikus betöltővel kapcsolatban, amely miatt egy fájl duplikálható ugyanabban a mikrokötegben, ha allowOverwrites engedélyezve van
    • [SPARK-40697][SQL] Írásvédett karakterpárna hozzáadása külső adatfájlok lefedéséhez
    • [SPARK-40596][CORE] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
    • Az operációs rendszer biztonsági frissítései.

  • 2022. október 18.

    • Kijavítottunk egy hibát, amely miatt a COPY INTO használata ideiglenes hitelesítő adatokkal volt engedélyezve a Unity Catalog-kompatibilis fürtökön/ -raktárakon.
    • [SPARK-40213][SQL] AsCII-értékek konvertálásának támogatása latin-1 karakter esetén
    • Az operációs rendszer biztonsági frissítései.

  • 2022. október 5., szerda

    • A felhasználók beállíthatják a spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") értéket az ADLS Gen2 automatikus betöltő natív listájának újbóli engedélyezéséhez. A natív lista korábban teljesítményproblémák miatt ki lett kapcsolva, de az ügyfelek tárolási költségeinek növekedéséhez vezethetett. Ez a módosítás a DBR 10.4 és 9.1 verzióra lett bevezetve az előző karbantartási frissítésben.
    • [SPARK-40169] Ne nyomja le a Parquet-szűrőket, és ne hivatkozzon az adatsémára
    • [SPARK-40460][SS] Streamelési metrikák javítása a kiválasztáskor _metadata
    • [SPARK-40468][SQL] Oszlopmetszés javítása CSV-ben _corrupt_record kijelölésekor
    • [SPARK-40055][SQL] listCatalogs is vissza spark_catalog akkor is, ha spark_catalog implementáció alapértelmezettSessionCatalog
    • Az operációs rendszer biztonsági frissítései.

  • 2022. szeptember 22.

    • [SPARK-40315][SQL] HashCode() hozzáadása a ArrayBasedMapData literálhoz
    • [SPARK-40380][SQL] Az InvokeLike konstans összecsukásának javítása a tervbe beágyazott nem szerializálható literálok elkerülése érdekében
    • [SPARK-40089][SQL] Néhány decimális típus rendezésének javítása
    • [SPARK-39887][SQL] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
    • [SPARK-40152][SQL] A split_part codegen fordítási problémájának megoldása

  • 2022. szeptember 6.

    • Frissítettük az engedélymodellt a Táblaelérési vezérlőkben (Table ACL-ek), hogy csak a MÓDOSÍTÁS engedély szükséges a tábla séma- vagy táblatulajdonságainak ALTER TABLE-sel történő módosításához. Korábban ezek a műveletek megkövetelik, hogy egy felhasználó birtokolja a táblát. A tulajdonjog továbbra is szükséges a táblák engedélyeinek megadásához, tulajdonosának módosításához, helyének módosításához vagy átnevezéséhez. Ez a módosítás konzisztensebbé teszi a table ACL-ek engedélyezési modelljét a Unity Katalógussal.
    • [SPARK-40235][CORE] Megszakítható zárolás használata szinkronizált helyett a Executor.updateDependencies() alkalmazásban
    • [SPARK-40212][SQL] A SparkSQL castPartValue nem kezeli megfelelően a bájtot, a rövidet vagy a lebegőpontost
    • [SPARK-40218][SQL] A CSOPORTOSÍTÁSI CSOPORTOKnak meg kell őriznie a csoportosítási oszlopokat
    • [SPARK-39976][SQL] A ArrayIntersectnek helyesen kell kezelnie a null értéket a bal oldali kifejezésben
    • [SPARK-40053][CORE] [SQL] [TESZTEK] Hozzáadás assume a Python futtatókörnyezetet igénylő dinamikus megszakítási esetekhez
    • [SPARK-35542][CORE] [ML] Javítás: A splitsArray, inputCols és outputCols paraméterekkel rendelkező több oszlophoz létrehozott gyűjtő nem tölthető be a mentés után
    • [SPARK-40079][CORE] Imputer inputCols-ellenőrzés hozzáadása üres bemeneti esethez

  • 2022. augusztus 24.

    • A megosztások, szolgáltatók és címzettek mostantól támogatják az SQL-parancsokat a tulajdonosok, megjegyzések és átnevezések módosításához
    • [SPARK-39983][CORE] [SQL] Ne gyorsítótárazza a nemializált szórási kapcsolatokat az illesztőprogramon
    • [SPARK-39912][SPARK-39828][SQL] CatalogImpl finomítása
    • [SPARK-39775][CORE] [AVRO] Alapértelmezett értékek érvényesítésének letiltása az Avro-sémák elemzésekor
    • [SPARK-39806] Kijavítottuk a METAADAT-struktúra összeomlását a particionált táblákon elérő lekérdezésekkel kapcsolatos problémát
    • [SPARK-39867][SQL] A globális korlát nem örökölheti az OrderPreservingUnaryNode-t
    • [SPARK-39962][PYTHON] [SQL] Vetítés alkalmazása üres csoportattribútumok esetén
    • [SPARK-39839][SQL] Null változó hosszúságú decimális speciális esetének kezelése nem nulla eltolássalAndSize az UnsafeRow szerkezeti integritási ellenőrzése során
    • [SPARK-39713][SQL] ANSI mód: javaslat hozzáadása try_element_at INVALID_ARRAY_INDEX hiba esetén való használatára
    • [SPARK-39847][SS] A RocksDBLoader.loadLibrary() versenyállapotának javítása, ha a hívószál megszakad
    • [SPARK-39731][SQL] Kijavítottuk a CSV- és JSON-adatforrásokban a dátumok "yyyyyMMdd" formátumban történő elemzésekor a JAVÍTOTT időelemző házirenddel kapcsolatos problémát
    • Az operációs rendszer biztonsági frissítései.

  • 2022. augusztus 10.

    • Táblázathozzáférés-vezérléssel rendelkező Delta-táblák esetében a séma automatikus fejlődése DML-utasításokon keresztül, például INSERT és MERGE mostantól minden olyan felhasználó számára elérhető, aki rendelkezik MODIFY ilyen táblákra vonatkozó engedélyekkel. Emellett a sémafejlődés végrehajtásához szükséges engedélyek mostantól más OWNER MODIFY parancsokkal COPY INTO való konzisztenciát eredményeznek. Ezek a módosítások konzisztensebbé teszik a tábla ACL biztonsági modelljét a Unity Catalog biztonsági modelljével, valamint más műveletekkel, például egy tábla cseréjével.
    • [SPARK-39889] Az osztás hibaüzenetének javítása 0-tal
    • [SPARK-39795] [SQL] Új SQL-függvény: try_to_timestamp
    • [SPARK-39749] AnSI módban mindig használjon egyszerű sztring-ábrázolást a tizedesjelek sztringként való megjelenítéséhez
    • [SPARK-39625] Df.as átnevezése df.to
    • [SPARK-39787] [SQL] Hibaosztály használata a to_timestamp függvény elemzési hibájában
    • [SPARK-39625] [SQL] Dataset.as(StructType) hozzáadása
    • [SPARK-39689] Két karakter lineSep támogatása a CSV-adatforrásban
    • [SPARK-39579] [SQL] [PYTHON] [R] ListFunctions/getFunction/functionExists kompatibilissé tétele 3 rétegbeli névtérrel
    • [SPARK-39702] [CORE] A TransportCipher$EncryptedMessage memóriaterhelésének csökkentése megosztott byteRawChannel használatával
    • [SPARK-39575] [AVRO] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39265] [SQL] Teszthiba kijavítása SPARK_ANSI_SQL_MODE engedélyezésekor
    • [SPARK-39441] [SQL] Deduplikátumrelációk felgyorsítása
    • [SPARK-39497] [SQL] A hiányzó térképkulcs-oszlop elemzési kivételének javítása
    • [SPARK-39476] [SQL] Tiltsa le a unwrap cast optimalizálást hosszúról lebegőpontosra/ dupla vagy egész számból lebegőpontosra történő öntéskor
    • [SPARK-39434] [SQL] Futtatókörnyezeti hiba lekérdezési környezetének megadása, ha a tömbindex nem határolt

Databricks Runtime 11.0 (EoS)

Lásd: Databricks Runtime 11.0 (EoS).

  • 2022. november 29.
    • A felhasználók konfigurálhatják a kezdő és záró szóközök viselkedését, amikor adatokat írnak a Redshift-összekötővel. A térközkezelés szabályozásához a következő lehetőségek lettek hozzáadva:
      • csvignoreleadingwhitespace, ha be truevan állítva , eltávolítja a kezdő szóközt az értékekből az írások során, amikor tempformat a be van állítva CSV vagy CSV GZIP. A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
      • csvignoretrailingwhitespace, ha be van trueállítva , eltávolítja a záró szóközt az értékekből az írások során, amikor tempformat az értékre CSV van állítva vagy CSV GZIP. A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
    • Kijavítottunk egy JSON-elemzési hibát az Automatikus betöltőben, amikor az összes oszlop sztringként maradt (cloudFiles.inferColumnTypes nincs beállítva vagy beállítva false) és a JSON beágyazott objektumokat tartalmazott.
    • [SPARK-39650][SS] Helytelen értékséma javítása a streamelési deduplikációban a visszamenőleges kompatibilitással
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 15.
    • [SPARK-40646] A szerkezetek, térképek és tömbök JSON-elemzése kijavítva, így ha egy rekord egy része nem egyezik a sémával, a rekord többi része továbbra is helyesen elemezhető a null értékek visszaadása helyett. A továbbfejlesztett viselkedésre való bejelentkezéshez állítsa be spark.sql.json.enablePartialResults a következőt true: . A jelölő alapértelmezés szerint le van tiltva az eredeti viselkedés megőrzése érdekében.
  • 2022. november 1.
    • Az Apache commons-text frissítése 1.10.0-ra.
    • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla felhasználó által definiált oszlopot tartalmazott _change_type, de az adatcsatornák módosítása le lett tiltva a táblában, akkor az oszlopban lévő adatok futáskor MERGEhelytelenül töltődnek ki NULL értékekkel.
    • Kijavítottunk egy hibát az automatikus betöltővel kapcsolatban, amely miatt egy fájl duplikálható ugyanabban a mikrokötegben, ha allowOverwrites engedélyezve van
    • [SPARK-40697][SQL] Írásvédett karakterpárna hozzáadása külső adatfájlok lefedéséhez
    • [SPARK-40596][CORE] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 18.
    • [SPARK-40213][SQL] AsCII-értékek konvertálásának támogatása latin-1 karakter esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 5.
    • A felhasználók beállíthatják a spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") értéket az ADLS Gen2 automatikus betöltő natív listájának újbóli engedélyezéséhez. A natív lista korábban teljesítményproblémák miatt ki lett kapcsolva, de az ügyfelek tárolási költségeinek növekedéséhez vezethetett. Ez a módosítás a DBR 10.4 és 9.1 verzióra lett bevezetve az előző karbantartási frissítésben.
    • [SPARK-40169] Ne nyomja le a Parquet-szűrőket, és ne hivatkozzon az adatsémára
    • [SPARK-40460][SS] Streamelési metrikák javítása a kiválasztáskor _metadata
    • [SPARK-40468][SQL] Oszlopmetszés javítása CSV-ben _corrupt_record kijelölésekor
    • Az operációs rendszer biztonsági frissítései.
  • 2022. szeptember 22.
    • [SPARK-40315][SQL] HashCode() hozzáadása a ArrayBasedMapData literálhoz
    • [SPARK-40380][SQL] Az InvokeLike konstans összecsukásának javítása a tervbe beágyazott nem szerializálható literálok elkerülése érdekében
    • [SPARK-40089][SQL] Néhány decimális típus rendezésének javítása
    • [SPARK-39887][SQL] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
    • [SPARK-40152][SQL] A split_part codegen fordítási problémájának megoldása
  • 2022. szeptember 6.
    • [SPARK-40235][CORE] Megszakítható zárolás használata szinkronizált helyett a Executor.updateDependencies() alkalmazásban
    • [SPARK-40212][SQL] A SparkSQL castPartValue nem kezeli megfelelően a bájtot, a rövidet vagy a lebegőpontost
    • [SPARK-40218][SQL] A CSOPORTOSÍTÁSI CSOPORTOKnak meg kell őriznie a csoportosítási oszlopokat
    • [SPARK-39976][SQL] A ArrayIntersectnek helyesen kell kezelnie a null értéket a bal oldali kifejezésben
    • [SPARK-40053][CORE] [SQL] [TESZTEK] Hozzáadás assume a Python futtatókörnyezetet igénylő dinamikus megszakítási esetekhez
    • [SPARK-35542][CORE] [ML] Javítás: A splitsArray, inputCols és outputCols paraméterekkel rendelkező több oszlophoz létrehozott gyűjtő nem tölthető be a mentés után
    • [SPARK-40079][CORE] Imputer inputCols-ellenőrzés hozzáadása üres bemeneti esethez
  • 2022. augusztus 24.
    • [SPARK-39983][CORE] [SQL] Ne gyorsítótárazza a nemializált szórási kapcsolatokat az illesztőprogramon
    • [SPARK-39775][CORE] [AVRO] Alapértelmezett értékek érvényesítésének letiltása az Avro-sémák elemzésekor
    • [SPARK-39806] Kijavítottuk a METAADAT-struktúra összeomlását a particionált táblákon elérő lekérdezésekkel kapcsolatos problémát
    • [SPARK-39867][SQL] A globális korlát nem örökölheti az OrderPreservingUnaryNode-t
    • [SPARK-39962][PYTHON] [SQL] Vetítés alkalmazása üres csoportattribútumok esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2022. augusztus 9.
    • [SPARK-39713][SQL] ANSI mód: javaslat hozzáadása try_element_at INVALID_ARRAY_INDEX hiba esetén való használatára
    • [SPARK-39847] A RocksDBLoader.loadLibrary() versenyállapotának javítása, ha a hívószál megszakad
    • [SPARK-39731][SQL] Kijavítottuk a CSV- és JSON-adatforrásokban a dátumok "yyyyyMMdd" formátumban történő elemzésekor a JAVÍTOTT időelemző házirenddel kapcsolatos problémát
    • [SPARK-39889] Az osztás hibaüzenetének javítása 0-tal
    • [SPARK-39795][SQL] Új SQL-függvény: try_to_timestamp
    • [SPARK-39749] AnSI módban mindig használjon egyszerű sztring-ábrázolást a tizedesjelek sztringként való megjelenítéséhez
    • [SPARK-39625][SQL] Dataset.to(StructType) hozzáadása
    • [SPARK-39787][SQL] Hibaosztály használata a to_timestamp függvény elemzési hibájában
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 27.
    • [SPARK-39689]Két karakter lineSep támogatása a CSV-adatforrásban
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded kell szálbiztos
    • [SPARK-39702][CORE] A TransportCipher$EncryptedMessage memóriaterhelésének csökkentése megosztott byteRawChannel használatával
    • [SPARK-39575][AVRO] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39497][SQL] A hiányzó térképkulcs-oszlop elemzési kivételének javítása
    • [SPARK-39441][SQL] Deduplikátumrelációk felgyorsítása
    • [SPARK-39476][SQL] Tiltsa le a unwrap cast optimalizálást hosszúról lebegőpontosra/ dupla vagy egész számból lebegőpontosra történő öntéskor
    • [SPARK-39434][SQL] Futtatókörnyezeti hiba lekérdezési környezetének megadása, ha a tömbindex nem határolt
    • [SPARK-39570][SQL] A beágyazott táblázatnak engedélyeznie kell az aliassal rendelkező kifejezéseket
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 13.
    • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
    • Kijavítottunk egy hibát a cloud_files_state TVF-hez, ha nem DBFS-útvonalakon fut.
    • Letiltotta az automatikus betöltő natív felhő API-k használatát az Azure címtárlistáihoz.
    • [SPARK-38796][SQL] A to_number és try_to_number függvények frissítése a pozitív számokkal rendelkező pr-függvények engedélyezéséhez
    • [SPARK-39272][SQL] A lekérdezési környezet kezdőpozíciójának növelése 1-sel
    • [SPARK-39419][SQL] A ArraySort javítása kivétel kivetéséhez, ha az összehasonlító null értéket ad vissza
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 5.
    • Hibaosztályok egy tartományának hibaüzeneteinek javítása.
    • [SPARK-39451][SQL] Az integrálok kiosztási időközeinek támogatása ANSI módban
    • [SPARK-39361] Ne használja a Log4J2 kiterjesztett konverziós mintáját az alapértelmezett naplózási konfigurációkban
    • [SPARK-39354][SQL] Győződjön meg arról, hogy akkor is megjelenik Table or view not found dataTypeMismatchError , ha egy adott időponthoz Filter kapcsolódik
    • [SPARK-38675][CORE] Verseny javítása a BlockInfoManager zárolásának feloldása során
    • [SPARK-39392][SQL] ANSI-hibaüzenetek pontosítása try_* függvénytippekhez
    • [SPARK-39214][SQL] [3.3] A CAST-hez kapcsolódó hibák javítása
    • [SPARK-37939][SQL] Hibaosztályok használata a tulajdonságok elemzési hibáiban
    • [SPARK-39085][SQL] A hibaüzenet INCONSISTENT_BEHAVIOR_CROSS_VERSION áthelyezése a error-classes.json
    • [SPARK-39376][SQL] Duplikált oszlopok elrejtése az alquery alias csillagbővítésében a NATURAL/USING JOIN elemből
    • [SPARK-39283][CORE] A TaskMemoryManager és a UnsafeExternalSorter.SpillableIterator közötti holtpont javítása
    • [SPARK-39285][SQL] A Spark nem ellenőrizheti a mezőneveket fájlok olvasásakor
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 10.5 (EoS)

Lásd: Databricks Runtime 10.5 (EoS).

  • 2022. november 1.
    • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla felhasználó által definiált oszlopot tartalmazott _change_type, de az adatcsatornák módosítása le lett tiltva a táblában, akkor az oszlopban lévő adatok futáskor MERGEhelytelenül töltődnek ki NULL értékekkel.
    • [SPARK-40697][SQL] Írásvédett karakterpárna hozzáadása külső adatfájlok lefedéséhez
    • [SPARK-40596][CORE] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 18.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 5.
    • A felhasználók beállíthatják a spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") értéket az ADLS Gen2 automatikus betöltő natív listájának újbóli engedélyezéséhez. A natív lista korábban teljesítményproblémák miatt ki lett kapcsolva, de az ügyfelek tárolási költségeinek növekedéséhez vezethetett. Ez a módosítás a DBR 10.4 és 9.1 verzióra lett bevezetve az előző karbantartási frissítésben.
    • A reload4j 1.2.19-re lett frissítve a biztonsági rések javítása érdekében.
    • [SPARK-40460][SS] Streamelési metrikák javítása a kiválasztáskor _metadata
    • [SPARK-40468][SQL] Oszlopmetszés javítása CSV-ben _corrupt_record kijelölésekor
    • Az operációs rendszer biztonsági frissítései.
  • 2022. szeptember 22.
    • [SPARK-40315][SQL] HashCode() hozzáadása a ArrayBasedMapData literálhoz
    • [SPARK-40213][SQL] AsCII-értékek konvertálásának támogatása latin-1 karakter esetén
    • [SPARK-40380][SQL] Az InvokeLike konstans összecsukásának javítása a tervbe beágyazott nem szerializálható literálok elkerülése érdekében
    • [SPARK-38404][SQL] A CTE felbontásának javítása, ha egy beágyazott CTE külső CTE-ra hivatkozik
    • [SPARK-40089][SQL] Néhány decimális típus rendezésének javítása
    • [SPARK-39887][SQL] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
    • Az operációs rendszer biztonsági frissítései.
  • 2022. szeptember 6.
    • [SPARK-40235][CORE] Megszakítható zárolás használata szinkronizált helyett a Executor.updateDependencies() alkalmazásban
    • [SPARK-39976][SQL] A ArrayIntersectnek helyesen kell kezelnie a null értéket a bal oldali kifejezésben
    • [SPARK-40053][CORE] [SQL] [TESZTEK] Hozzáadás assume a Python futtatókörnyezetet igénylő dinamikus megszakítási esetekhez
    • [SPARK-35542][CORE] [ML] Javítás: A splitsArray, inputCols és outputCols paraméterekkel rendelkező több oszlophoz létrehozott gyűjtő nem tölthető be a mentés után
    • [SPARK-40079][CORE] Imputer inputCols-ellenőrzés hozzáadása üres bemeneti esethez
  • 2022. augusztus 24.
    • [SPARK-39983][CORE] [SQL] Ne gyorsítótárazza a nemializált szórási kapcsolatokat az illesztőprogramon
    • [SPARK-39775][CORE] [AVRO] Alapértelmezett értékek érvényesítésének letiltása az Avro-sémák elemzésekor
    • [SPARK-39806] Kijavítottuk a METAADAT-struktúra összeomlását a particionált táblákon elérő lekérdezésekkel kapcsolatos problémát
    • [SPARK-39962][PYTHON] [SQL] Vetítés alkalmazása üres csoportattribútumok esetén
    • [SPARK-37643][SQL] ha a charVarcharAsString értéke igaz, akkor a karakter adattípus-predikátum lekérdezésének ki kell hagynia az rpadding szabályt
    • Az operációs rendszer biztonsági frissítései.
  • 2022. augusztus 9.
    • [SPARK-39847] A RocksDBLoader.loadLibrary() versenyállapotának javítása, ha a hívószál megszakad
    • [SPARK-39731][SQL] Kijavítottuk a CSV- és JSON-adatforrásokban a dátumok "yyyyyMMdd" formátumban történő elemzésekor a JAVÍTOTT időelemző házirenddel kapcsolatos problémát
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 27.
    • [SPARK-39625][SQL] Dataset.as(StructType) hozzáadása
    • [SPARK-39689]Két karakter lineSep támogatása a CSV-adatforrásban
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded kell szálbiztos
    • [SPARK-39570][SQL] A beágyazott táblázatnak engedélyeznie kell az aliassal rendelkező kifejezéseket
    • [SPARK-39702][CORE] A TransportCipher$EncryptedMessage memóriaterhelésének csökkentése megosztott byteRawChannel használatával
    • [SPARK-39575][AVRO] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39476][SQL] Tiltsa le a unwrap cast optimalizálást hosszúról lebegőpontosra/ dupla vagy egész számból lebegőpontosra történő öntéskor
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 13.
    • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
    • [SPARK-39355][SQL] Az egyetlen oszlop idézve hozza létre az UnresolvedAttribute függvényt
    • [SPARK-39548][SQL] A CreateView parancs ablak-záradék lekérdezéssel hibás ablakdefiníciót talált, és nem található probléma
    • [SPARK-39419][SQL] A ArraySort javítása kivétel kivetéséhez, ha az összehasonlító null értéket ad vissza
    • Letiltotta az automatikus betöltő natív felhő API-k használatát az Azure címtárlistáihoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 5.
    • [SPARK-39376][SQL] Duplikált oszlopok elrejtése az alquery alias csillagbővítésében a NATURAL/USING JOIN elemből
    • Az operációs rendszer biztonsági frissítései.
  • 2022. június 15.
    • [SPARK-39283][CORE] A TaskMemoryManager és a UnsafeExternalSorter.SpillableIterator közötti holtpont javítása
    • [SPARK-39285][SQL] A Spark nem ellenőrizheti a mezőneveket fájlok olvasásakor
    • [SPARK-34096][SQL] Jobb teljesítmény nth_value null értékek figyelmen kívül hagyása eltolásos ablakban
    • [SPARK-36718][SQL] [FOLYTATÁS] A CollapseProject beadásának isExtractOnly javítása
  • 2022. június 2.
    • [SPARK-39166][SQL] Futtatókörnyezeti hibakeresési környezet megadása bináris aritmetika esetén, ha a WSCG ki van kapcsolva
    • [SPARK-39093][SQL] Ne használjon kódösszeállítási hibát, ha az évenkénti vagy a napi időintervallumokat elválasztja egy integráltól
    • [SPARK-38990][SQL] A NullPointerException elkerülése date_trunc/trunc formátum kötött hivatkozásként való kiértékelésekor
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 18.
    • Kijavít egy lehetséges natív memóriaszivárgást az Automatikus betöltőben.
    • [SPARK-38868][SQL] A külső illesztések optimalizálása során ne propagálja a szűrők predikátumából származó kivételeket
    • [SPARK-38796][SQL] Az to_number és try_to_number SQL-függvények implementálása egy új specifikációnak megfelelően
    • [SPARK-38918][SQL] A beágyazott oszlopmetszetnek kiszűrnie kell azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz
    • [SPARK-38929][SQL] A leadott hibák hibaüzeneteinek javítása az ANSI-ben
    • [SPARK-38926][SQL] Kimeneti típusok a hibaüzenetekben SQL-stílusban
    • [SPARK-39084][PYSPARK] A df.rdd.isEmpty() javítása a TaskContext használatával az iterátor leállításához a tevékenység befejezésekor
    • [SPARK-32268][SQL] ColumnPruning hozzáadása az injectBloomFilterben
    • [SPARK-38908][SQL] Lekérdezési környezet megadása futásidejű hiba esetén a karakterláncról a számra/dátumra/időbélyegre/logikai értékre történő osztáskor
    • [SPARK-39046][SQL] Üres környezeti sztring visszaadására, ha a TreeNode.origin helytelenül van beállítva
    • [SPARK-38974][SQL] Regisztrált függvények szűrése adott adatbázisnévvel a listafüggvényekben
    • [SPARK-38762][SQL] Lekérdezési környezet megadása decimális túlcsordulási hibák esetén
    • [SPARK-38931][SS] Gyökér dfs-könyvtár létrehozása a RocksDBFileManagerhez ismeretlen számú kulcssal az 1. ellenőrzőponton
    • [SPARK-38992][CORE] Kerülje a bash -c használatát a ShellBasedGroupsMappingProviderben
    • [SPARK-38716][SQL] Lekérdezési környezet megadása a térképkulcsban nem létezik hiba
    • [SPARK-38889][SQL] Logikai oszlopszűrők fordítása az MSSQL-adatforrás bittípusának használatához
    • [SPARK-38698][SQL] Lekérdezési környezet megadása futtatókörnyezetben a Divide/Div/Reminder/Pmod hiba esetén
    • [SPARK-38823][SQL] Összecsukhatóvá tétele NewInstance az összesítési puffer sérülésével kapcsolatos probléma megoldásához
    • [SPARK-38809][SS] Null értékek kihagyásának implementálása stream-stream illesztések szimmetrikus kivonatos implementációjában
    • [SPARK-38676][SQL] SQL-lekérdezési környezet megadása futásidejű hibaüzenetben: Hozzáadás/kivonás/szorzás
    • [SPARK-38677][PYSPARK] A Python MonitorThreadnak holtpontot kell észlelnie az I/O blokkolása miatt
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 10.3 (EoS)

Lásd: Databricks Runtime 10.3 (EoS).

  • 2022. július 27.
    • [SPARK-39689]Két karakter lineSep támogatása a CSV-adatforrásban
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded kell szálbiztos
    • [SPARK-39702][CORE] A TransportCipher$EncryptedMessage memóriaterhelésének csökkentése megosztott byteRawChannel használatával
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 20.
    • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
    • [SPARK-39476][SQL] Tiltsa le a unwrap cast optimalizálást hosszúról lebegőpontosra/ dupla vagy egész számból lebegőpontosra történő öntéskor
    • [SPARK-39548][SQL] A CreateView parancs ablak-záradék lekérdezéssel hibás ablakdefiníciót talált, és nem található probléma
    • [SPARK-39419][SQL] A ArraySort javítása kivétel kivetéséhez, ha az összehasonlító null értéket ad vissza
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 5.
    • [SPARK-39376][SQL] Duplikált oszlopok elrejtése az alquery alias csillagbővítésében a NATURAL/USING JOIN elemből
    • Az operációs rendszer biztonsági frissítései.
  • 2022. június 15.
    • [SPARK-39283][CORE] A TaskMemoryManager és a UnsafeExternalSorter.SpillableIterator közötti holtpont javítása
    • [SPARK-39285][SQL] A Spark nem ellenőrizheti a mezőneveket fájlok olvasásakor
    • [SPARK-34096][SQL] Jobb teljesítmény nth_value null értékek figyelmen kívül hagyása eltolásos ablakban
    • [SPARK-36718][SQL] [FOLYTATÁS] A CollapseProject beadásának isExtractOnly javítása
  • 2022. június 2.
    • [SPARK-38990][SQL] A NullPointerException elkerülése date_trunc/trunc formátum kötött hivatkozásként való kiértékelésekor
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 18.
    • Kijavít egy lehetséges natív memóriaszivárgást az Automatikus betöltőben.
    • [SPARK-38918][SQL] A beágyazott oszlopmetszetnek kiszűrnie kell azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz
    • [SPARK-37593][CORE] Az alapértelmezett oldalméret csökkentése LONG_ARRAY_OFFSET G1GC és ON_HEAP használata esetén
    • [SPARK-39084][PYSPARK] A df.rdd.isEmpty() javítása a TaskContext használatával az iterátor leállításához a tevékenység befejezésekor
    • [SPARK-32268][SQL] ColumnPruning hozzáadása az injectBloomFilterben
    • [SPARK-38974][SQL] Regisztrált függvények szűrése adott adatbázisnévvel a listafüggvényekben
    • [SPARK-38889][SQL] Logikai oszlopszűrők fordítása az MSSQL-adatforrás bittípusának használatához
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 4.
    • A Java AWS SDK az 1.11.655-ös verzióról 1.12.1899-re frissült.
  • 2022. április 19.
    • [SPARK-38616][SQL] SQL-lekérdezés szövegének nyomon követése a Catalyst TreeNode-ban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 6.
    • [SPARK-38631][CORE] Java-alapú implementációt használ az Utils.unpack kicsomagolásának feloldásához
    • Az operációs rendszer biztonsági frissítései.
  • 2022. március 22.
    • Módosította a jegyzetfüzetek aktuális munkakönyvtárát a magas egyidejűségi fürtökön, és a táblahozzáférés-vezérlés vagy a hitelesítő adatok átengedése engedélyezve van a felhasználó kezdőlapján. Korábban a munkakönyvtár volt /databricks/driver.
    • [SPARK-38437][SQL] A datetime elenyenes szerializálása az adatforrásból
    • [SPARK-38180][SQL] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban
    • [SPARK-38155][SQL] Eltérő aggregátumok kizárása oldalirányú al lekérdezésekben nem támogatott predikátumokkal
    • [SPARK-38325][SQL] ANSI mód: elkerülheti a lehetséges futásidejű hibát a HashJoin.extractKeyExprAt()
  • 2022. március 14.
    • Továbbfejlesztett tranzakcióütközés-észlelés üres tranzakciókhoz a Delta Lake-ben.
    • [SPARK-38185][SQL] Helytelen adatok javítása, ha az összesítő függvény üres
    • [SPARK-38318][SQL] regresszió adathalmaznézet cseréjekor
    • [SPARK-38236][SQL] A create/alter táblában megadott abszolút fájlelérési útvonalak relatívként lesznek kezelve
    • [SPARK-35937][SQL] A dátummező időbélyegből való kinyerésének ANSI módban kell működnie
    • [SPARK-34069][SQL] Az akadálymentesítési feladatoknak tiszteletben kell tartaniuk SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Tároló hozzárendelésének engedélyezése a TimestampNTZ és a Date/Timestamp között
  • 2022. február 23.
    • [SPARK-27442][SQL] Mezőnév eltávolítása adatok parquetben való olvasása/írása során

Databricks Runtime 10.2 (EoS)

Lásd: Databricks Runtime 10.2 (EoS).

  • 2022. június 15.
    • [SPARK-39283][CORE] A TaskMemoryManager és a UnsafeExternalSorter.SpillableIterator közötti holtpont javítása
    • [SPARK-39285][SQL] A Spark nem ellenőrizheti a mezőneveket fájlok olvasásakor
    • [SPARK-34096][SQL] Jobb teljesítmény nth_value null értékek figyelmen kívül hagyása eltolásos ablakban
  • 2022. június 2.
    • [SPARK-38918][SQL] A beágyazott oszlopmetszetnek kiszűrnie kell azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz
    • [SPARK-38990][SQL] A NullPointerException elkerülése date_trunc/trunc formátum kötött hivatkozásként való kiértékelésekor
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 18.
    • Kijavít egy lehetséges natív memóriaszivárgást az Automatikus betöltőben.
    • [SPARK-39084][PYSPARK] A df.rdd.isEmpty() javítása a TaskContext használatával az iterátor leállításához a tevékenység befejezésekor
    • [SPARK-38889][SQL] Logikai oszlopszűrők fordítása az MSSQL-adatforrás bittípusának használatához
    • [SPARK-38931][SS] Gyökér dfs-könyvtár létrehozása a RocksDBFileManagerhez ismeretlen számú kulcssal az 1. ellenőrzőponton
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 4.
    • A Java AWS SDK az 1.11.655-ös verzióról 1.12.1899-re frissült.
  • 2022. április 19.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb hibajavítások.
  • 2022. április 6.
    • [SPARK-38631][CORE] Java-alapú implementációt használ az Utils.unpack kicsomagolásának feloldásához
    • Az operációs rendszer biztonsági frissítései.
  • 2022. március 22.
    • Módosította a jegyzetfüzetek aktuális munkakönyvtárát a magas egyidejűségi fürtökön, és a táblahozzáférés-vezérlés vagy a hitelesítő adatok átengedése engedélyezve van a felhasználó kezdőlapján. Korábban a munkakönyvtár volt /databricks/driver.
    • [SPARK-38437][SQL] A datetime elenyenes szerializálása az adatforrásból
    • [SPARK-38180][SQL] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban
    • [SPARK-38155][SQL] Eltérő aggregátumok kizárása oldalirányú al lekérdezésekben nem támogatott predikátumokkal
    • [SPARK-38325][SQL] ANSI mód: elkerülheti a lehetséges futásidejű hibát a HashJoin.extractKeyExprAt()
  • 2022. március 14.
    • Továbbfejlesztett tranzakcióütközés-észlelés üres tranzakciókhoz a Delta Lake-ben.
    • [SPARK-38185][SQL] Helytelen adatok javítása, ha az összesítő függvény üres
    • [SPARK-38318][SQL] regresszió adathalmaznézet cseréjekor
    • [SPARK-38236][SQL] A create/alter táblában megadott abszolút fájlelérési útvonalak relatívként lesznek kezelve
    • [SPARK-35937][SQL] A dátummező időbélyegből való kinyerésének ANSI módban kell működnie
    • [SPARK-34069][SQL] Az akadálymentesítési feladatoknak tiszteletben kell tartaniuk SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Tároló hozzárendelésének engedélyezése a TimestampNTZ és a Date/Timestamp között
  • 2022. február 23.
    • [SPARK-37577][SQL] A ClassCastException javítása: A ArrayType nem adható át a StructType-ba a metszés létrehozásához
  • 2022. február 8.
    • [SPARK-27442][SQL] Az adatok parquetben való olvasása/írása során távolítsa el a jelölőnégyzet nevét.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. február 1.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. január 26.
    • Kijavítottunk egy hibát, amely miatt a Delta-táblák egyidejű tranzakciói bizonyos ritka feltételek mellett nem szerializálható sorrendben véglegesíthetők.
    • Kijavítottunk egy hibát, amely miatt az OPTIMIZE parancs meghiúsulhatott, amikor az ANSI SQL-dialektus engedélyezve volt.
  • 2022. január 19.
    • Bevezettük az ideiglenes hitelesítő adatok beillesztését a forrásadatok betöltéséhez sql-ANY_FILE-engedélyek megkövetelése nélkül
    • Hibajavítások és biztonsági fejlesztések.
  • 2021. december 20.
    • Kijavítottunk egy ritka hibát a Parquet oszlopindex-alapú szűréssel.

Databricks Runtime 10.1 (EoS)

Lásd: Databricks Runtime 10.1 (EoS).

  • 2022. június 15.
    • [SPARK-39283][CORE] A TaskMemoryManager és a UnsafeExternalSorter.SpillableIterator közötti holtpont javítása
    • [SPARK-39285][SQL] A Spark nem ellenőrizheti a mezőneveket fájlok olvasásakor
    • [SPARK-34096][SQL] Jobb teljesítmény nth_value null értékek figyelmen kívül hagyása eltolásos ablakban
  • 2022. június 2.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 18.
    • Kijavít egy lehetséges natív memóriaszivárgást az Automatikus betöltőben.
    • [SPARK-39084][PYSPARK] A df.rdd.isEmpty() javítása a TaskContext használatával az iterátor leállításához a tevékenység befejezésekor
    • [SPARK-38889][SQL] Logikai oszlopszűrők fordítása az MSSQL-adatforrás bittípusának használatához
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 19.
    • [SPARK-37270][SQL] A CaseWhen-ágakba összecsukható leküldés javítása, ha az elseValue üres
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 6.
    • [SPARK-38631][CORE] Java-alapú implementációt használ az Utils.unpack kicsomagolásának feloldásához
    • Az operációs rendszer biztonsági frissítései.
  • 2022. március 22.
    • [SPARK-38437][SQL] A datetime elenyenes szerializálása az adatforrásból
    • [SPARK-38180][SQL] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban
    • [SPARK-38155][SQL] Eltérő aggregátumok kizárása oldalirányú al lekérdezésekben nem támogatott predikátumokkal
    • [SPARK-38325][SQL] ANSI mód: elkerülheti a lehetséges futásidejű hibát a HashJoin.extractKeyExprAt()
  • 2022. március 14.
    • Továbbfejlesztett tranzakcióütközés-észlelés üres tranzakciókhoz a Delta Lake-ben.
    • [SPARK-38185][SQL] Helytelen adatok javítása, ha az összesítő függvény üres
    • [SPARK-38318][SQL] regresszió adathalmaznézet cseréjekor
    • [SPARK-38236][SQL] A create/alter táblában megadott abszolút fájlelérési útvonalak relatívként lesznek kezelve
    • [SPARK-35937][SQL] A dátummező időbélyegből való kinyerésének ANSI módban kell működnie
    • [SPARK-34069][SQL] Az akadálymentesítési feladatoknak tiszteletben kell tartaniuk SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Tároló hozzárendelésének engedélyezése a TimestampNTZ és a Date/Timestamp között
  • 2022. február 23.
    • [SPARK-37577][SQL] A ClassCastException javítása: A ArrayType nem adható át a StructType-ba a metszés létrehozásához
  • 2022. február 8.
    • [SPARK-27442][SQL] Az adatok parquetben való olvasása/írása során távolítsa el a jelölőnégyzet nevét.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. február 1.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. január 26.
    • Kijavítottunk egy hibát, amely miatt a Delta-táblák egyidejű tranzakciói bizonyos ritka feltételek mellett nem szerializálható sorrendben véglegesíthetők.
    • Kijavítottunk egy hibát, amely miatt az OPTIMIZE parancs meghiúsulhatott, amikor az ANSI SQL-dialektus engedélyezve volt.
  • 2022. január 19.
    • Bevezettük az ideiglenes hitelesítő adatok beillesztését a forrásadatok betöltéséhez sql-ANY_FILE-engedélyek megkövetelése nélkül
    • Kijavítottunk egy memóriakihasznált hibát, amely miatt a lekérdezési eredmények gyorsítótárazása bizonyos feltételek mellett történik.
    • Kijavítottunk egy hibát, amely miatt USE DATABASE a felhasználó az aktuális katalógust nem alapértelmezett katalógusra kapcsolta.
    • Hibajavítások és biztonsági fejlesztések.
    • Az operációs rendszer biztonsági frissítései.
  • 2021. december 20.
    • Kijavítottunk egy ritka hibát a Parquet oszlopindex-alapú szűréssel.

Databricks Runtime 10.0 (EoS)

Lásd: Databricks Runtime 10.0 (EoS).

  • 2022. április 19.
    • [SPARK-37270][SQL] A CaseWhen-ágakba összecsukható leküldés javítása, ha az elseValue üres
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 6.
    • [SPARK-38631][CORE] Java-alapú implementációt használ az Utils.unpack kicsomagolásának feloldásához
    • Az operációs rendszer biztonsági frissítései.
  • 2022. március 22.
    • [SPARK-38437][SQL] A datetime elenyenes szerializálása az adatforrásból
    • [SPARK-38180][SQL] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban
    • [SPARK-38155][SQL] Eltérő aggregátumok kizárása oldalirányú al lekérdezésekben nem támogatott predikátumokkal
    • [SPARK-38325][SQL] ANSI mód: elkerülheti a lehetséges futásidejű hibát a HashJoin.extractKeyExprAt()
  • 2022. március 14.
    • Továbbfejlesztett tranzakcióütközés-észlelés üres tranzakciókhoz a Delta Lake-ben.
    • [SPARK-38185][SQL] Helytelen adatok javítása, ha az összesítő függvény üres
    • [SPARK-38318][SQL] regresszió adathalmaznézet cseréjekor
    • [SPARK-38236][SQL] A create/alter táblában megadott abszolút fájlelérési útvonalak relatívként lesznek kezelve
    • [SPARK-35937][SQL] A dátummező időbélyegből való kinyerésének ANSI módban kell működnie
    • [SPARK-34069][SQL] Az akadálymentesítési feladatoknak tiszteletben kell tartaniuk SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Tároló hozzárendelésének engedélyezése a TimestampNTZ és a Date/Timestamp között
  • 2022. február 23.
    • [SPARK-37577][SQL] A ClassCastException javítása: A ArrayType nem adható át a StructType-ba a metszés létrehozásához
  • 2022. február 8.
    • [SPARK-27442][SQL] Az adatok parquetben való olvasása/írása során távolítsa el a jelölőnégyzet nevét.
    • [SPARK-36905][SQL] A hive-nézetek olvasásának javítása explicit oszlopnevek nélkül
    • [SPARK-37859][SQL] Kijavítottuk a hibát, amely miatt a Spark 3.1-zel JDBC-vel létrehozott SQL-táblák nem olvashatók a 3.2-vel
    • Az operációs rendszer biztonsági frissítései.
  • 2022. február 1.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. január 26.
    • Kijavítottunk egy hibát, amely miatt a Delta-táblák egyidejű tranzakciói bizonyos ritka feltételek mellett nem szerializálható sorrendben véglegesíthetők.
    • Kijavítottunk egy hibát, amely miatt az OPTIMIZE parancs meghiúsulhatott, amikor az ANSI SQL-dialektus engedélyezve volt.
  • 2022. január 19.
    • Hibajavítások és biztonsági fejlesztések.
    • Az operációs rendszer biztonsági frissítései.
  • 2021. december 20.
    • Kijavítottunk egy ritka hibát a Parquet oszlopindex-alapú szűréssel.
  • 2021. november 9.
    • További konfigurációs jelzőket vezetett be az ANSI-viselkedések részletes szabályozásához.
  • 2021. november 4.
    • Kijavítottunk egy hibát, amely miatt a strukturált streamek meghiúsulhattak egy ArrayIndexOutOfBoundsException használatával
    • Kijavítottunk egy olyan versenyfeltételt, amely egy IOException-hez hasonló java.io.IOException: No FileSystem for scheme lekérdezési hibát okozhat, vagy amely miatt a módosítások sparkContext.hadoopConfiguration nem lépnek érvénybe a lekérdezésekben.
    • Az Apache Spark Connector for Delta Sharing 0.2.0-ra lett frissítve.
  • 2021. november 30.
    • Kijavítottuk azt a hibát, amely miatt az időbélyeg-elemzés érvénytelennek minősült egy kettőspont nélküli időzónás sztring esetében.
    • Kijavítottunk egy memóriakihasznált hibát, amely miatt a lekérdezési eredmények gyorsítótárazása bizonyos feltételek mellett történik.
    • Kijavítottunk egy hibát, amely miatt USE DATABASE a felhasználó az aktuális katalógust nem alapértelmezett katalógusra kapcsolta.

Databricks Runtime 9.0 (EoS)

Lásd: Databricks Runtime 9.0 (EoS).

  • 2022. február 8.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. február 1.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. január 26.
    • Kijavítottunk egy hibát, amely miatt az OPTIMIZE parancs meghiúsulhatott, amikor az ANSI SQL-dialektus engedélyezve volt.
  • 2022. január 19.
    • Hibajavítások és biztonsági fejlesztések.
    • Az operációs rendszer biztonsági frissítései.
  • 2021. november 4.
    • Kijavítottunk egy hibát, amely miatt a strukturált streamek meghiúsulhattak egy ArrayIndexOutOfBoundsException használatával
    • Kijavítottunk egy olyan versenyfeltételt, amely egy IOException-hez hasonló java.io.IOException: No FileSystem for scheme lekérdezési hibát okozhat, vagy amely miatt a módosítások sparkContext.hadoopConfiguration nem lépnek érvénybe a lekérdezésekben.
    • Az Apache Spark Connector for Delta Sharing 0.2.0-ra lett frissítve.
  • 2021. szeptember 22.
    • Kijavítottunk egy hibát az öntött Spark-tömbben null-sztringgel
  • 2021. szeptember 15.
    • Kijavítottunk egy olyan versenyfeltételt, amely lekérdezési hibát okozhatott egy IOException(például java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • 2021. szeptember 8.
    • A sémanév (databaseName.schemaName.tableName formátum) támogatása az Azure Synapse Connector céltáblájának neveként.
    • A hozzáadott geometriai és földrajzi JDBC-típusok támogatják a Spark SQL-t.
    • [SPARK-33527][SQL] Kiterjesztette a dekódolás funkcióját, hogy összhangban legyen az általános adatbázisokkal.
    • [SPARK-36532][CORE] [3.1] Kijavítottuk a holtpontot CoarseGrainedExecutorBackend.onDisconnected a végrehajtó leállásának elkerülése executorsconnected érdekében.
  • 2021. augusztus 25.
    • Az SQL Server illesztőprogram-kódtára 9.2.1.jre8-ra lett frissítve.
    • A Snowflake-összekötő 2.9.0-ra lett frissítve.
    • Kijavítottuk az AutoML-kísérlet lap legjobb próbaverziós jegyzetfüzetére mutató hibás hivatkozást.

Databricks Runtime 8.4 (EoS)

Lásd: Databricks Runtime 8.4 (EoS).

  • 2022. január 19.
    • Az operációs rendszer biztonsági frissítései.
  • 2021. november 4.
    • Kijavítottunk egy hibát, amely miatt a strukturált streamek meghiúsulhattak egy ArrayIndexOutOfBoundsException használatával
    • Kijavítottunk egy olyan versenyfeltételt, amely egy IOException-hez hasonló java.io.IOException: No FileSystem for scheme lekérdezési hibát okozhat, vagy amely miatt a módosítások sparkContext.hadoopConfiguration nem lépnek érvénybe a lekérdezésekben.
    • Az Apache Spark Connector for Delta Sharing 0.2.0-ra lett frissítve.
  • 2021. szeptember 22.
    • A Spark JDBC-illesztő frissítése 2.6.19.1030-ra történt
    • [SPARK-36734][SQL] OrC frissítése 1.5.1-re
  • 2021. szeptember 15.
    • Kijavítottunk egy olyan versenyfeltételt, amely lekérdezési hibát okozhatott egy IOException(például java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Az operációs rendszer biztonsági frissítései.
  • 2021. szeptember 8.
    • [SPARK-36532][CORE] [3.1] Kijavítottuk a holtpontot CoarseGrainedExecutorBackend.onDisconnected a végrehajtó leállásának elkerülése executorsconnected érdekében.
  • 2021. augusztus 25.
    • Az SQL Server illesztőprogram-kódtára 9.2.1.jre8-ra lett frissítve.
    • A Snowflake-összekötő 2.9.0-ra lett frissítve.
    • Kijavít egy hibát a hitelesítő adatok átengedésében, amelyet az új Parquet-előletöltés optimalizálása okozott, ahol előfordulhat, hogy a felhasználó átengedési hitelesítő adatai nem találhatók a fájlelérés során.
  • 2021. augusztus 11.
    • Kijavítottunk egy Olyan RocksDB-kompatibilitási problémát, amely megakadályozza a régebbi Databricks Runtime 8.4-et. Ez kijavítja az automatikus betöltő COPY INTOés az állapotalapú streamelési alkalmazások kompatibilitását.
    • Kijavítottunk egy hibát, amikor az Automatikus betöltő használatával csV-fájlokat olvasunk a nem egyező fejlécfájlokkal. Ha az oszlopnevek nem egyeznek, az oszlop null értékekkel lesz kitöltve. Most, ha egy séma van megadva, feltételezi, hogy a séma ugyanaz, és csak akkor menti az oszlopeltéréseket, ha a mentett adatoszlopok engedélyezve vannak.
    • Hozzáad egy új, az Azure Synapse-összekötőbe hívott externalDataSource lehetőséget, amely eltávolítja a CONTROL PolyBase-olvasási adatbázis engedélykövetelményét.
  • 2021. július 29.
    • [SPARK-36034][BUILD] Dátum/idő újrabázisa leküldéses szűrőkben a Parquetbe
    • [SPARK-36163][BUILD] A megfelelő JDBC-tulajdonságok propagálása a JDBC-összekötő szolgáltatójában, és beállítás hozzáadása connectionProvider

Databricks Runtime 8.3 (EoS)

Lásd: Databricks Runtime 8.3 (EoS).

  • 2022. január 19.
    • Az operációs rendszer biztonsági frissítései.
  • 2021. november 4.
    • Kijavítottunk egy hibát, amely miatt a strukturált streamek meghiúsulhattak egy ArrayIndexOutOfBoundsException használatával
    • Kijavítottunk egy olyan versenyfeltételt, amely egy IOException-hez hasonló java.io.IOException: No FileSystem for scheme lekérdezési hibát okozhat, vagy amely miatt a módosítások sparkContext.hadoopConfiguration nem lépnek érvénybe a lekérdezésekben.
  • 2021. szeptember 22.
    • A Spark JDBC-illesztő frissítése 2.6.19.1030-ra történt
  • 2021. szeptember 15.
    • Kijavítottunk egy olyan versenyfeltételt, amely lekérdezési hibát okozhatott egy IOException(például java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Az operációs rendszer biztonsági frissítései.
  • 2021. szeptember 8.
    • [SPARK-35700][SQL] [WARMFIX] A char/varchar orc tábla olvasása külső rendszerek létrehozásakor és írásakor.
    • [SPARK-36532][CORE] [3.1] Kijavítottuk a holtpontot CoarseGrainedExecutorBackend.onDisconnected a végrehajtó leállásának elkerülése executorsconnected érdekében.
  • 2021. augusztus 25.
    • Az SQL Server illesztőprogram-kódtára 9.2.1.jre8-ra lett frissítve.
    • A Snowflake-összekötő 2.9.0-ra lett frissítve.
    • Kijavít egy hibát a hitelesítő adatok átengedésében, amelyet az új Parquet-előletöltés optimalizálása okozott, ahol előfordulhat, hogy a felhasználó átengedési hitelesítő adatai nem találhatók a fájlelérés során.
  • 2021. augusztus 11.
    • Kijavítottunk egy hibát, amikor az Automatikus betöltő használatával csV-fájlokat olvasunk a nem egyező fejlécfájlokkal. Ha az oszlopnevek nem egyeznek, az oszlop null értékekkel lesz kitöltve. Most, ha egy séma van megadva, feltételezi, hogy a séma ugyanaz, és csak akkor menti az oszlopeltéréseket, ha a mentett adatoszlopok engedélyezve vannak.
  • 2021. július 29.
    • A Databricks Snowflake Spark-összekötő frissítése a 2.9.0-spark-3.1-re
    • [SPARK-36034][BUILD] Dátum/idő újrabázisa leküldéses szűrőkben a Parquetbe
    • [SPARK-36163][BUILD] A megfelelő JDBC-tulajdonságok propagálása a JDBC-összekötő szolgáltatójában, és beállítás hozzáadása connectionProvider
  • 2021. július 14.
    • Kijavítottunk egy hibát az oszlopnevek pontokkal való használatakor az Azure Synapse-összekötőben.
    • A Synapse Connector bevezetett database.schema.table formátuma.
    • Támogatás hozzáadva a formátum céltáblaként való megadásához databaseName.schemaName.tableName ahelyett, hogy csak vagy tableNamecsak schemaName.tableName .
  • 2021. június 15.
    • Kijavítottunk egy NoSuchElementException hibát a Delta Lake által optimalizált írásokban, amelyek nagy mennyiségű adat írása és végrehajtói veszteségek esetén fordulhatnak elő
    • SQLCREATE GROUP, DROP GROUP, , ALTER GROUPSHOW GROUPSés SHOW USERS parancsokat ad hozzá. További részletekért lásd a biztonsági utasításokat és a megjelenítési utasításokat.

Databricks Runtime 8.2 (EoS)

Lásd: Databricks Runtime 8.2 (EoS).

  • 2021. szeptember 22.

    • Az operációs rendszer biztonsági frissítései.

  • 2021. szeptember 15.

    • Kijavítottunk egy olyan versenyfeltételt, amely lekérdezési hibát okozhatott egy IOException(például java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 2021. szeptember 8.

    • [SPARK-35700][SQL] [WARMFIX] A char/varchar orc tábla olvasása külső rendszerek létrehozásakor és írásakor.
    • [SPARK-36532][CORE] [3.1] Kijavítottuk a holtpontot CoarseGrainedExecutorBackend.onDisconnected a végrehajtó leállásának elkerülése executorsconnected érdekében.

  • 2021. augusztus 25.

    • A Snowflake-összekötő 2.9.0-ra lett frissítve.

  • 2021. augusztus 11.

    • [SPARK-36034][SQL] A dátumidő újrabázisa leküldéses szűrőkben a parquetbe.

  • 2021. július 29.

    • A Databricks Snowflake Spark-összekötő frissítése a 2.9.0-spark-3.1-re
    • [SPARK-36163][BUILD] A megfelelő JDBC-tulajdonságok propagálása a JDBC-összekötő szolgáltatójában, és beállítás hozzáadása connectionProvider

  • 2021. július 14.

    • Kijavítottunk egy hibát az oszlopnevek pontokkal való használatakor az Azure Synapse-összekötőben.
    • A Synapse Connector bevezetett database.schema.table formátuma.
    • Támogatás hozzáadva a formátum céltáblaként való megadásához databaseName.schemaName.tableName ahelyett, hogy csak vagy tableNamecsak schemaName.tableName .
    • Kijavítottunk egy hibát, amely megakadályozza, hogy a felhasználók a Delta-táblákkal a régebbi elérhető verziókra utaznak.

  • 2021. június 15.

    • Kijavít egy NoSuchElementException hibát a Delta Lake által optimalizált írásokban, amelyek nagy mennyiségű adat írása és végrehajtói veszteségek esetén fordulhatnak elő

  • 2021. május 26.

    • A Python biztonsági résének (CVE-2021-3177) javítása érdekében biztonsági javítással frissítettük a Pythont.

  • 2021. április 30.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-35227][BUILD] Spark-csomagok feloldójának frissítése a SparkSubmitben
    • [SPARK-34245][CORE] Győződjön meg arról, hogy a főkiszolgáló eltávolítja azokat a végrehajtókat, amelyek nem küldték el a kész állapotot
    • Kijavítottunk egy OOM-hibát, amikor az automatikus betöltő strukturált streamelési folyamatmetrikákat jelent.

Databricks Runtime 8.1 (EoS)

Lásd: Databricks Runtime 8.1 (EoS).

  • 2021. szeptember 22.

    • Az operációs rendszer biztonsági frissítései.

  • 2021. szeptember 15.

    • Kijavítottunk egy olyan versenyfeltételt, amely lekérdezési hibát okozhatott egy IOException(például java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 2021. szeptember 8.

    • [SPARK-35700][SQL] [WARMFIX] A char/varchar orc tábla olvasása külső rendszerek létrehozásakor és írásakor.
    • [SPARK-36532][CORE] [3.1] Kijavítottuk a holtpontot CoarseGrainedExecutorBackend.onDisconnected a végrehajtó leállásának elkerülése executorsconnected érdekében.

  • 2021. augusztus 25.

    • A Snowflake-összekötő 2.9.0-ra lett frissítve.

  • 2021. augusztus 11.

    • [SPARK-36034][SQL] A dátumidő újrabázisa leküldéses szűrőkben a parquetbe.

  • 2021. július 29.

    • A Databricks Snowflake Spark-összekötő frissítése a 2.9.0-spark-3.1-re
    • [SPARK-36163][BUILD] A megfelelő JDBC-tulajdonságok propagálása a JDBC-összekötő szolgáltatójában, és beállítás hozzáadása connectionProvider

  • 2021. július 14.

    • Kijavítottunk egy hibát az oszlopnevek pontokkal való használatakor az Azure Synapse-összekötőben.
    • Kijavítottunk egy hibát, amely megakadályozza, hogy a felhasználók a Delta-táblákkal a régebbi elérhető verziókra utaznak.

  • 2021. június 15.

    • Kijavít egy NoSuchElementException hibát a Delta Lake által optimalizált írásokban, amelyek nagy mennyiségű adat írása és végrehajtói veszteségek esetén fordulhatnak elő

  • 2021. május 26.

    • A Python biztonsági résének (CVE-2021-3177) javítása érdekében biztonsági javítással frissítettük a Pythont.

  • 2021. április 30.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-35227][BUILD] Spark-csomagok feloldójának frissítése a SparkSubmitben
    • Kijavítottunk egy OOM-hibát, amikor az automatikus betöltő strukturált streamelési folyamatmetrikákat jelent.

  • 2021. április 27.

    • [SPARK-34245][CORE] Győződjön meg arról, hogy a főkiszolgáló eltávolítja azokat a végrehajtókat, amelyek nem küldték el a kész állapotot
    • [SPARK-34856][SQL] ANSI mód: Összetett típusok sztringtípusként való leadása engedélyezése
    • [SPARK-35014] Javítsa ki a PhysicalAggregation mintát, hogy ne írja újra az összehajtható kifejezéseket
    • [SPARK-34769][SQL] AnsiTypeCoercion: a TypeCollection között a legszűkebb átalakítható típust adja vissza
    • [SPARK-34614][SQL] ANSI mód: A sztring logikai értékre történő kiírása kivételt eredményez az elemzési hiba esetén
    • [SPARK-33794][SQL] ANSI mód: A NextDay kifejezés javítása a futtatókörnyezet IllegalArgumentException parancsának megadásához, ha érvénytelen bemenetet kap a következő területen:

Databricks Runtime 8.0 (EoS)

Lásd: Databricks Runtime 8.0 (EoS).

  • 2021. szeptember 15.

    • Kijavítottunk egy olyan versenyfeltételt, amely lekérdezési hibát okozhatott egy IOException(például java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 2021. augusztus 25.

    • A Snowflake-összekötő 2.9.0-ra lett frissítve.

  • 2021. augusztus 11.

    • [SPARK-36034][SQL] A dátumidő újrabázisa leküldéses szűrőkben a parquetbe.

  • 2021. július 29.

    • [SPARK-36163][BUILD] A megfelelő JDBC-tulajdonságok propagálása a JDBC-összekötő szolgáltatójában, és beállítás hozzáadása connectionProvider

  • 2021. július 14.

    • Kijavítottunk egy hibát az oszlopnevek pontokkal való használatakor az Azure Synapse-összekötőben.
    • Kijavítottunk egy hibát, amely megakadályozza, hogy a felhasználók a Delta-táblákkal a régebbi elérhető verziókra utaznak.

  • 2021. május 26.

    • A Python biztonsági résének (CVE-2021-3177) javítása érdekében biztonsági javítással frissítettük a Pythont.

  • 2021. április 30.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-35227][BUILD] Spark-csomagok feloldójának frissítése a SparkSubmitben
    • [SPARK-34245][CORE] Győződjön meg arról, hogy a főkiszolgáló eltávolítja azokat a végrehajtókat, amelyek nem küldték el a kész állapotot

  • 2021. március 24.

    • [SPARK-34681][SQL] Kijavítottuk a teljes külső elfojtott kivonatillesztés hibáját, ha a bal oldalt nem egyenlő feltétellel építik
    • [SPARK-34534] BlockIds-sorrend javítása a FetchShuffleBlocks használata blokkok lekéréséhez
    • [SPARK-34613][SQL] A fix nézet nem rögzíti a letiltási tipp konfigurációjának rögzítését

  • 2021. március 9., kedd

    • [SPARK-34543][SQL] A konfiguráció tiszteletben tartása a spark.sql.caseSensitive partíciós specifikáció feloldása közben az 1-ben SET LOCATION
    • [SPARK-34392][SQL] A ZoneOffset +h:mm támogatása a DateTimeUtilsben. getZoneId
    • [Felhasználói felület] A Spark DAG-vizualizáció href hivatkozásának javítása
    • [SPARK-34436][SQL] A DPP támogatja a LIKE ANY/ALL kifejezést

Databricks Runtime 7.6 (EoS)

Lásd: Databricks Runtime 7.6 (EoS).

  • 2021. augusztus 11.
    • [SPARK-36034][SQL] A dátumidő újrabázisa leküldéses szűrőkben a parquetbe.
  • 2021. július 29.
    • [SPARK-32998][BUILD] Az alapértelmezett távoli adattárak felülbírálása csak belső adattárakkal
  • 2021. július 14.
    • Kijavítottunk egy hibát, amely megakadályozza, hogy a felhasználók a Delta-táblákkal a régebbi elérhető verziókra utaznak.
  • 2021. május 26.
    • A Python biztonsági résének (CVE-2021-3177) javítása érdekében biztonsági javítással frissítettük a Pythont.
  • 2021. április 30.
    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-35227][BUILD] Spark-csomagok feloldójának frissítése a SparkSubmitben
    • [SPARK-34245][CORE] Győződjön meg arról, hogy a főkiszolgáló eltávolítja azokat a végrehajtókat, amelyek nem küldték el a kész állapotot
  • 2021. március 24.
    • [SPARK-34768][SQL] Az univocity alapértelmezett bemeneti pufferméretének tiszteletben tartása
    • [SPARK-34534] BlockIds-sorrend javítása a FetchShuffleBlocks használata blokkok lekéréséhez
  • 2021. március 9.
    • (csak Azure) Kijavítottunk egy automatikus betöltő hibát, amely NullPointerException hibát okozhat a Databricks Runtime 7.6-os használatakor a Databricks Runtime 7.2-ben létrehozott régi automatikus betöltő stream futtatásához
    • [Felhasználói felület] A Spark DAG-vizualizáció href hivatkozásának javítása
    • Az ismeretlen levélcsomópont SparkPlan kezelése nem megfelelően történik a SizeInBytesOnlyStatsSparkPlanVisitor alkalmazásban
    • A következő kimeneti sémájának visszaállítása: SHOW DATABASES
    • [Delta] [8.0, 7.6] Kijavítottuk a fájlméret automatikus finomhangolási logikáját érintő számítási hibát
    • Delta-táblafájlok elavultságának letiltása a lemezgyorsítótárban
    • [SQL] A helyes dinamikus metszési buildkulcs használata, ha a tartományillesztési tipp jelen van
    • Karaktertípus támogatásának letiltása nem SQL-kód elérési útján
    • Az NPE elkerülése a DataFrameReader.schema alkalmazásban
    • Az NPE javítása, ha az EventGridClient-válasz nem tartalmaz entitást
    • Beolvasott streamhibák kijavítása az Azure Auto Loaderben
    • [SQL] Ha az AOS engedélyezve van, ne hozzon létre shuffle partíciószám-tanácsot
  • 2021. február 24.
    • Frissítette a Spark BigQuery-összekötőt a 0.18-ra, amely különböző hibajavításokat és a Arrow és Avro iterátorok támogatását mutatja be.
    • Kijavítottunk egy hibát, amely miatt a Spark helytelen eredményeket adott vissza, ha a Parquet-fájl tizedes pontossága és mérete eltér a Spark-sémától.
    • Kijavítottuk a térbeli adattípusokat tartalmazó Microsoft SQL Server-táblák olvasási hibáit a Spark SQL geometriai és földrajzi JDBC-típusainak támogatásával.
    • Új konfigurációt spark.databricks.hive.metastore.init.reloadFunctions.enabledvezetett be. Ez a konfiguráció szabályozza a Beépített Hive-inicializálást. Ha igaz értékre van állítva, az Azure Databricks újra betölti az összes függvényt az összes olyan adatbázisból, amelybe a felhasználók be vannak állítva FunctionRegistry. Ez az alapértelmezett viselkedés a Hive Metastore-ban. Ha hamis értékre van állítva, az Azure Databricks letiltja ezt a folyamatot az optimalizáláshoz.
    • [SPARK-34212] Kijavítottuk a tizedesadatok Parquet-fájlokból való beolvasásával kapcsolatos problémákat.
    • [SPARK-34260][SQL] Kijavíthatja az UnresolvedException hibát, amikor kétszer hoz létre ideiglenes nézetet.

Databricks Runtime 7.5 (EoS)

Lásd: Databricks Runtime 7.5 (EoS).

  • 2021. május 26.
    • A Python biztonsági résének (CVE-2021-3177) javítása érdekében biztonsági javítással frissítettük a Pythont.
  • 2021. április 30.
    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-35227][BUILD] Spark-csomagok feloldójának frissítése a SparkSubmitben
    • [SPARK-34245][CORE] Győződjön meg arról, hogy a főkiszolgáló eltávolítja azokat a végrehajtókat, amelyek nem küldték el a kész állapotot
  • 2021. március 24.
    • [SPARK-34768][SQL] Az univocity alapértelmezett bemeneti pufferméretének tiszteletben tartása
    • [SPARK-34534] BlockIds-sorrend javítása a FetchShuffleBlocks használata blokkok lekéréséhez
  • 2021. március 9.
    • (csak Azure) Kijavítottunk egy automatikus betöltő hibát, amely NullPointerException hibát okozhat a Databricks Runtime 7.5-ös használatakor a Databricks Runtime 7.2-ben létrehozott régi automatikus betöltő stream futtatásához.
    • [Felhasználói felület] A Spark DAG-vizualizáció href hivatkozásának javítása
    • Az ismeretlen levélcsomópont SparkPlan kezelése nem megfelelően történik a SizeInBytesOnlyStatsSparkPlanVisitor alkalmazásban
    • A következő kimeneti sémájának visszaállítása: SHOW DATABASES
    • Delta-táblafájlok elavultságának letiltása a lemezgyorsítótárban
    • [SQL] A helyes dinamikus metszési buildkulcs használata, ha a tartományillesztési tipp jelen van
    • Karaktertípus támogatásának letiltása nem SQL-kód elérési útján
    • Az NPE elkerülése a DataFrameReader.schema alkalmazásban
    • Az NPE javítása, ha az EventGridClient-válasz nem tartalmaz entitást
    • Beolvasott streamhibák kijavítása az Azure Auto Loaderben
  • 2021. február 24.
    • Frissítette a Spark BigQuery-összekötőt a 0.18-ra, amely különböző hibajavításokat és a Arrow és Avro iterátorok támogatását mutatja be.
    • Kijavítottunk egy hibát, amely miatt a Spark helytelen eredményeket adott vissza, ha a Parquet-fájl tizedes pontossága és mérete eltér a Spark-sémától.
    • Kijavítottuk a térbeli adattípusokat tartalmazó Microsoft SQL Server-táblák olvasási hibáit a Spark SQL geometriai és földrajzi JDBC-típusainak támogatásával.
    • Új konfigurációt spark.databricks.hive.metastore.init.reloadFunctions.enabledvezetett be. Ez a konfiguráció szabályozza a Beépített Hive-inicializálást. Ha igaz értékre van állítva, az Azure Databricks újra betölti az összes függvényt az összes olyan adatbázisból, amelybe a felhasználók be vannak állítva FunctionRegistry. Ez az alapértelmezett viselkedés a Hive Metastore-ban. Ha hamis értékre van állítva, az Azure Databricks letiltja ezt a folyamatot az optimalizáláshoz.
    • [SPARK-34212] Kijavítottuk a tizedesadatok Parquet-fájlokból való beolvasásával kapcsolatos problémákat.
    • [SPARK-34260][SQL] Kijavíthatja az UnresolvedException hibát, amikor kétszer hoz létre ideiglenes nézetet.
  • 2021. február 4.
    • Kijavítottunk egy regressziót, amely megakadályozza egy olyan lekérdezés növekményes végrehajtását, amely globális korlátot állít be, például SELECT * FROM table LIMIT nrows. A regressziót az ODBC/JDBC-n keresztül lekérdezéseket futtató felhasználók tapasztalták, és engedélyezve volt a nyíl szerializálása.
    • Bevezettük az írási idő ellenőrzését a Hive-ügyfélnek, hogy megakadályozzák a Metaadatok sérülését a Hive metaadattárában a Delta-táblákhoz.
    • Kijavítottunk egy regressziót, amely miatt a DBFS FUSE nem indult el, amikor a fürtkörnyezet változókonfigurációi érvénytelen bash szintaxist tartalmaznak.
  • 2021. január 20.
    • Kijavítottunk egy regressziót a 2021. január 12-i karbantartási kiadásban, amely helytelen AnalysisException hibát okozhat, és azt mondja, hogy az oszlop nem egyértelmű egy öncsatlakozásban. Ez a regresszió akkor fordul elő, ha egy felhasználó egy DataFrame-et a származtatott DataFrame-jével (úgynevezett öncsatlakozással) csatlakoztat a következő feltételekkel:
      • Ez a két DataFrame közös oszlopokkal rendelkezik, de az önillesztés kimenete nem rendelkezik közös oszlopokkal. Például: df.join(df.select($"col" as "new_col"), cond)
      • A származtatott DataFrame kizár néhány oszlopot a kiválasztás, a groupBy vagy az ablak használatával.
      • Az illesztési feltétel vagy a következő átalakítás az összekapcsolt adatkeret után a nem gyakori oszlopokra vonatkozik. Például: df.join(df.drop("a"), df("a") === 1)
  • 2021. január 12.
    • Frissítse az Azure Storage SDK-t a 2.3.8-ról a 2.3.9-re.
    • [SPARK-33593][SQL] A vektorolvasó helytelen adatokat kapott bináris partícióértékkel
    • [SPARK-33480]Az [SQL] frissíti a karakter/varchar tábla beszúrási hosszának ellenőrzésére vonatkozó hibaüzenetet

Databricks Runtime 7.3 LTS (EoS)

Lásd: Databricks Runtime 7.3 LTS (EoS).

  • 2023. szeptember 10.

    • Egyéb hibajavítások.

  • 2023. augusztus 30.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. augusztus 15.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. június 23.

    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • Az operációs rendszer biztonsági frissítései.

  • 2023. június 15.

    • [SPARK-43413][SQL] A subquery ListQuery nullability javításaIN.
    • Az operációs rendszer biztonsági frissítései.

  • 2023. június 2.

    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.

  • 2023. május 17.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. április 25.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. április 11., kedd

    • [SPARK-42967][CORE] A SparkListenerTaskStart.stageAttemptId javítása, ha egy tevékenység a szakasz megszakítása után indul el.
    • Egyéb hibajavítások.

  • 2023. március 29.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. március 14.

    • Egyéb hibajavítások.

  • 2023. február 28.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. február 16.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. január 31.

    • A JDBC-táblák táblázattípusai alapértelmezés szerint KÜLSŐek.

  • 2023. január 18.

    • Az operációs rendszer biztonsági frissítései.

  • 2022. november 29.

    • Egyéb hibajavítások.

  • 2022. november 15.

    • Az Apache commons-text frissítése 1.10.0-ra.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb hibajavítások.

  • 2022. november 1.

    • [SPARK-38542][SQL] A UnsafeHashedRelation szerializálja a numKeys out értékét

  • 2022. október 18.

    • Az operációs rendszer biztonsági frissítései.

  • 2022. október 5., szerda

    • Egyéb hibajavítások.
    • Az operációs rendszer biztonsági frissítései.

  • 2022. szeptember 22.

    • [SPARK-40089][SQL] Néhány decimális típus rendezésének javítása

  • 2022. szeptember 6.

    • [SPARK-35542][CORE] [ML] Javítás: A splitsArray, inputCols és outputCols paraméterekkel rendelkező több oszlophoz létrehozott gyűjtő nem tölthető be a mentés után
    • [SPARK-40079][CORE] Imputer inputCols-ellenőrzés hozzáadása üres bemeneti esethez

  • 2022. augusztus 24.

    • [SPARK-39962][PYTHON] [SQL] Vetítés alkalmazása üres csoportattribútumok esetén
    • Az operációs rendszer biztonsági frissítései.

  • 2022. augusztus 9., kedd

    • Az operációs rendszer biztonsági frissítései.

  • 2022. július 27.

    • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb hibajavítások.

  • 2022. július 13.

    • [SPARK-32680][SQL] Ne dolgozza fel a V2 CTAS-t megoldatlan lekérdezéssel
    • Letiltotta az automatikus betöltő natív felhő API-k használatát az Azure címtárlistáihoz.
    • Az operációs rendszer biztonsági frissítései.

  • 2022. július 5.

    • Az operációs rendszer biztonsági frissítései.
    • Egyéb hibajavítások.

  • 2022. június 2.

    • [SPARK-38918][SQL] A beágyazott oszlopmetszetnek kiszűrnie kell azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz
    • Az operációs rendszer biztonsági frissítései.

  • 2022. május 18.

    • Frissítse az AWS SDK 1.11.655-ös verzióját 1.11.678-ra.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb hibajavítások.

  • 2022. április 19.

    • Az operációs rendszer biztonsági frissítései.
    • Egyéb hibajavítások.

  • 2022. április 6.

    • Az operációs rendszer biztonsági frissítései.
    • Egyéb hibajavítások.

  • 2022. március 14.

    • Sebezhető osztályok eltávolítása a log4j 1.2.17 jar-ból
    • Egyéb hibajavítások.

  • 2022. február 23.

    • [SPARK-37859][SQL] Metaadatok keresése a séma-összehasonlítás során

  • 2022. február 8.

    • Frissítse az Ubuntu JDK-t 1.8.0.312-re.
    • Az operációs rendszer biztonsági frissítései.

  • 2022. február 1., kedd

    • Az operációs rendszer biztonsági frissítései.

  • 2022. január 26.

    • Kijavítottunk egy hibát, amely miatt az OPTIMIZE parancs meghiúsulhatott, amikor az ANSI SQL-dialektus engedélyezve volt.

  • 2022. január 19.

    • A Conda alapértelmezett csatornája el lett távolítva a 7,3 ML LTS-ből
    • Az operációs rendszer biztonsági frissítései.

  • 2021. december 7.

    • Az operációs rendszer biztonsági frissítései.

  • 2021. november 4.

    • Kijavítottunk egy hibát, amely miatt a strukturált streamek meghiúsulhattak egy ArrayIndexOutOfBoundsException használatával
    • Kijavítottunk egy olyan versenyfeltételt, amely egy IOException-hez hasonló java.io.IOException: No FileSystem for scheme lekérdezési hibát okozhat, vagy amely miatt a módosítások sparkContext.hadoopConfiguration nem lépnek érvénybe a lekérdezésekben.

  • 2021. szeptember 15.

    • Kijavítottunk egy olyan versenyfeltételt, amely lekérdezési hibát okozhatott egy IOException(például java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Az operációs rendszer biztonsági frissítései.

  • 2021. szeptember 8.

    • [SPARK-35700][SQL] [WARMFIX] A char/varchar orc tábla olvasása külső rendszerek létrehozásakor és írásakor.
    • [SPARK-36532][CORE] [3.1] Kijavítottuk a holtpontot CoarseGrainedExecutorBackend.onDisconnected a végrehajtó leállásának elkerülése executorsconnected érdekében.

  • 2021. augusztus 25.

    • A Snowflake-összekötő 2.9.0-ra lett frissítve.

  • 2021. július 29.

    • [SPARK-36034][BUILD] Dátum/idő újrabázisa leküldéses szűrőkben a Parquetbe
    • [SPARK-34508][BUILD] Kihagyás HiveExternalCatalogVersionsSuite , ha a hálózat leállt

  • 2021. július 14.

    • Az Azure Synapse-összekötő bevezetett database.schema.table formátuma.
    • Támogatás hozzáadva a formátum céltáblaként való megadásához databaseName.schemaName.tableName ahelyett, hogy csak vagy tableNamecsak schemaName.tableName .
    • Kijavítottunk egy hibát, amely megakadályozza, hogy a felhasználók a Delta-táblákkal a régebbi elérhető verziókra utaznak.

  • 2021. június 15.

    • Kijavít egy NoSuchElementException hibát a Delta Lake által optimalizált írásokban, amelyek nagy mennyiségű adat írása és végrehajtói veszteségek esetén fordulhatnak elő
    • A Python biztonsági résének (CVE-2021-3177) javítása érdekében biztonsági javítással frissítettük a Pythont.

  • 2021. április 30.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-35227][BUILD] Spark-csomagok feloldójának frissítése a SparkSubmitben
    • [SPARK-34245][CORE] Győződjön meg arról, hogy a főkiszolgáló eltávolítja azokat a végrehajtókat, amelyek nem küldték el a kész állapotot
    • [SPARK-35045][SQL] Belső beállítás hozzáadása a bemeneti puffer meghívásos vezérléséhez

  • 2021. március 24.

    • [SPARK-34768][SQL] Az univocity alapértelmezett bemeneti pufferméretének tiszteletben tartása
    • [SPARK-34534] BlockIds-sorrend javítása a FetchShuffleBlocks használata blokkok lekéréséhez
    • [SPARK-33118][SQL] A CREATE ideiglenes tábla helyével meghiúsul

  • 2021. március 9., kedd

    • Az Azure Data Lake Storage Gen2 frissített Azure Blob fájlrendszer-illesztőprogramja alapértelmezés szerint engedélyezve van. Több stabilitási fejlesztést is eredményez.
    • Elérésiút-elválasztó javítása Windows rendszeren databricks-connect get-jar-dir
    • [Felhasználói felület] A Spark DAG-vizualizáció href hivatkozásának javítása
    • [DBCONNECT] Támogatás hozzáadása a FlatMapCoGroupsInPandashoz a Databricks Connect 7.3-ban
    • A következő kimeneti sémájának visszaállítása: SHOW DATABASES
    • [SQL] A helyes dinamikus metszési buildkulcs használata, ha a tartományillesztési tipp jelen van
    • Delta-táblafájlok elavultságának letiltása a lemezgyorsítótárban
    • [SQL] Ha az AOS engedélyezve van, ne hozzon létre shuffle partíciószám-tanácsot

  • 2021. február 24.

    • Frissítette a Spark BigQuery-összekötőt a 0.18-ra, amely különböző hibajavításokat és a Arrow és Avro iterátorok támogatását mutatja be.
    • Kijavítottunk egy hibát, amely miatt a Spark helytelen eredményeket adott vissza, ha a Parquet-fájl tizedes pontossága és mérete eltér a Spark-sémától.
    • Kijavítottuk a térbeli adattípusokat tartalmazó Microsoft SQL Server-táblák olvasási hibáit a Spark SQL geometriai és földrajzi JDBC-típusainak támogatásával.
    • Új konfigurációt spark.databricks.hive.metastore.init.reloadFunctions.enabledvezetett be. Ez a konfiguráció szabályozza a Beépített Hive-inicializálást. Ha igaz értékre van állítva, az Azure Databricks újra betölti az összes függvényt az összes olyan adatbázisból, amelybe a felhasználók be vannak állítva FunctionRegistry. Ez az alapértelmezett viselkedés a Hive Metastore-ban. Ha hamis értékre van állítva, az Azure Databricks letiltja ezt a folyamatot az optimalizáláshoz.
    • [SPARK-34212] Kijavítottuk a tizedesadatok Parquet-fájlokból való beolvasásával kapcsolatos problémákat.
    • [SPARK-33579][Felhasználói felület] A végrehajtó üres lapjának javítása proxy mögött.
    • [SPARK-20044][Felhasználói felület] Támogatja a Spark felhasználói felületét az előtér-fordított proxy mögött egy elérésiút-előtag használatával.
    • [SPARK-33277][PYSPARK] [SQL] A Tevékenység befejezése után a ContextAwareIterator használatával leállítja a használatot.

  • 2021. február 4.

    • Kijavítottunk egy regressziót, amely megakadályozza egy olyan lekérdezés növekményes végrehajtását, amely globális korlátot állít be, például SELECT * FROM table LIMIT nrows. A regressziót az ODBC/JDBC-n keresztül lekérdezéseket futtató felhasználók tapasztalták, és engedélyezve volt a nyíl szerializálása.
    • Kijavítottunk egy regressziót, amely miatt a DBFS FUSE nem indult el, amikor a fürtkörnyezet változókonfigurációi érvénytelen bash szintaxist tartalmaznak.

  • 2021. január 20.

    • Kijavítottunk egy regressziót a 2021. január 12-i karbantartási kiadásban, amely helytelen AnalysisException hibát okozhat, és azt mondja, hogy az oszlop nem egyértelmű egy öncsatlakozásban. Ez a regresszió akkor fordul elő, ha egy felhasználó egy DataFrame-et a származtatott DataFrame-jével (úgynevezett öncsatlakozással) csatlakoztat a következő feltételekkel:
      • Ez a két DataFrame közös oszlopokkal rendelkezik, de az önillesztés kimenete nem rendelkezik közös oszlopokkal. Például: df.join(df.select($"col" as "new_col"), cond)
      • A származtatott DataFrame kizár néhány oszlopot a kiválasztás, a groupBy vagy az ablak használatával.
      • Az illesztési feltétel vagy a következő átalakítás az összekapcsolt adatkeret után a nem gyakori oszlopokra vonatkozik. Például: df.join(df.drop("a"), df("a") === 1)

  • 2021. január 12

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-33593][SQL] A vektorolvasó helytelen adatokat kapott bináris partícióértékkel
    • [SPARK-33677][SQL] A LikeSimplification szabály kihagyása, ha a minta tartalmaz escapeChar értéket
    • [SPARK-33592][ML] [PYTHON] A Pyspark ML Validator params in estimatorParamMaps is lost after saving and reloading
    • [SPARK-33071][SPARK-33536] [SQL] A DetectAmbiguousSelfJoin megszakításának elkerülése érdekében ne módosítsa a LogicalPlan dataset_id az illesztés() során

  • 2020. december 8., kedd

    • [SPARK-33587][CORE] A végrehajtó megölése beágyazott végzetes hibákon
    • [SPARK-27421][SQL] A java.lang.String int oszlop és értékosztály szűrőjének javítása partícióoszlop metszésekor
    • [SPARK-33316][SQL] A támogatási felhasználó null értékű Avro-sémát adott meg a nem null értékű katalizátorsémához az Avro írásában
    • A Databricks Connect használatával indított Spark-feladatok határozatlan ideig lefagyhatnak a végrehajtói verem nyomkövetésével Executor$TaskRunner.$anonfun$copySessionState
    • Az operációs rendszer biztonsági frissítései.

  • 2020. december 1., kedd

    • [SPARK-33404][SQL] [3.0] Helytelen eredmények javítása a kifejezésben date_trunc
    • [SPARK-33339][PYTHON] A Pyspark-alkalmazás nem kivételhiba miatt lefagy
    • [SPARK-33183][SQL] [GYORSJAVÍTÁS] Az optimalizálási szabály megszüntetésesorok javítása és egy fizikai szabály hozzáadása a redundáns rendezések eltávolításához
    • [SPARK-33371][PYTHON] [3.0] A Python 3.9 setup.py és tesztjeinek frissítése
    • [SPARK-33391][SQL] element_at a CreateArray nem tart tiszteletben egy alapú indexet.
    • [SPARK-33306][SQL] Időzónára van szükség a dátum sztringre történő leadásakor
    • [SPARK-33260][SQL] A SortExec helytelen eredményeinek javítása, ha a sortOrder stream

  • 2020. november 5.

    • Javítsa ki az ABFS és a WASB zárolását a UserGroupInformation.getCurrentUser().
    • Kijavítottunk egy végtelen hurokhibát, amikor az Avro-olvasó felolvassa a MAGIC bájtokat.
    • A USAGE jogosultság támogatásának hozzáadása.
    • Teljesítménybeli fejlesztések a táblahozzáférés-vezérlés jogosultság-ellenőrzéséhez.

  • 2020. október 13.

    • Az operációs rendszer biztonsági frissítései.
    • A DBFS-ből a /dbfs/ címen található FUSE-csatlakoztatással olvashat és írhat, ha magas egyidejűségi hitelesítőadat-átengedés engedélyezett fürtön van. A normál csatlakoztatások támogatottak, de az átmenő hitelesítő adatokat igénylő csatlakoztatások még nem támogatottak.
    • [SPARK-32999][SQL] A Utils.getSimpleName használatával elkerülheti a hibásan formázott osztály nevét a TreeNode-ban
    • [SPARK-32585][SQL] Scala-számbavétel támogatása a ScalaReflection szolgáltatásban
    • Kijavítottuk az érvénytelen XML-karaktereket tartalmazó listakönyvtárakat a FUSE-csatlakoztatásban
    • A FUSE-csatlakoztatás már nem használja a ListMultipartUploads szolgáltatást

  • 2020. szeptember 29.

    • [SPARK-32718][SQL] Az intervallumegységek szükségtelen kulcsszavainak eltávolítása
    • [SPARK-32635][SQL] Összecsukható propagálás javítása
    • Új konfiguráció spark.shuffle.io.decoder.consolidateThresholdhozzáadása . Állítsa be a konfigurációs értéket úgy, hogy Long.MAX_VALUE kihagyja a netty FrameBuffers összesítését, ami megakadályozza java.lang.IndexOutOfBoundsException a sarokeseteket.

  • 2023. április 25.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. április 11., kedd

    • Egyéb hibajavítások.

  • 2023. március 29.

    • Egyéb hibajavítások.

  • 2023. március 14.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. február 28.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. február 16.

    • Az operációs rendszer biztonsági frissítései.

  • 2023. január 31.

    • Egyéb hibajavítások.

  • 2023. január 18.

    • Az operációs rendszer biztonsági frissítései.

  • 2022. november 29.

    • Az operációs rendszer biztonsági frissítései.

  • 2022. november 15.

    • Az operációs rendszer biztonsági frissítései.
    • Egyéb hibajavítások.

  • 2022. november 1.

    • Az operációs rendszer biztonsági frissítései.

  • 2022. október 18.

    • Az operációs rendszer biztonsági frissítései.
    • 2022. október 5.
      • Az operációs rendszer biztonsági frissítései.
    • 2022. augusztus 24.
      • Az operációs rendszer biztonsági frissítései.
    • 2022. augusztus 9.
      • Az operációs rendszer biztonsági frissítései.
    • 2022. július 27.
      • Az operációs rendszer biztonsági frissítései.
    • 2022. július 5.
      • Az operációs rendszer biztonsági frissítései.
    • 2022. június 2.
      • Az operációs rendszer biztonsági frissítései.
    • 2022. május 18.
      • Az operációs rendszer biztonsági frissítései.
    • 2022. április 19.
      • Az operációs rendszer biztonsági frissítései.
      • Egyéb hibajavítások.
    • 2022. április 6.
      • Az operációs rendszer biztonsági frissítései.
      • Egyéb hibajavítások.
    • 2022. március 14.
      • Egyéb hibajavítások.
    • 2022. február 23.
      • Egyéb hibajavítások.
    • 2022. február 8.
      • Frissítse az Ubuntu JDK-t 1.8.0.312-re.
      • Az operációs rendszer biztonsági frissítései.
    • 2022. február 1.
      • Az operációs rendszer biztonsági frissítései.
    • 2022. január 19.
      • Az operációs rendszer biztonsági frissítései.
    • 2021. szeptember 22.
      • Az operációs rendszer biztonsági frissítései.
    • 2021. április 30.
      • Az operációs rendszer biztonsági frissítései.
      • [SPARK-35227][BUILD] Spark-csomagok feloldójának frissítése a SparkSubmitben
    • 2021. január 12.
      • Az operációs rendszer biztonsági frissítései.
    • 2020. december 8.
      • [SPARK-27421][SQL] A java.lang.String int oszlop és értékosztály szűrőjének javítása partícióoszlop metszésekor
      • Az operációs rendszer biztonsági frissítései.
    • 2020. december 1., kedd
    • [SPARK-33260][SQL] A SortExec helytelen eredményeinek javítása, ha a sortOrder stream
    • 2020. november 3.
      • Frissített Java-verzió az 1.8.0_252-es verzióról 1.8.0_265-re.
      • Az ABFS és a WASB zárolásának javítása a UserGroupInformation.getCurrentUser() vonatkozásában
    • 2020. október 13.
      • Az operációs rendszer biztonsági frissítései.

A Databricks Runtime 6.4 kiterjesztett támogatása (EoS)

Lásd: Databricks Runtime 6.4 (EoS) és Databricks Runtime 6.4 Kiterjesztett támogatás (EoS).

  • 2022. július 5.

    • Az operációs rendszer biztonsági frissítései.
    • Egyéb hibajavítások.

  • 2022. június 2.

    • Az operációs rendszer biztonsági frissítései.

  • 2022. május 18.

    • Az operációs rendszer biztonsági frissítései.

  • 2022. április 19.

    • Az operációs rendszer biztonsági frissítései.
    • Egyéb hibajavítások.

  • 2022. április 6.

    • Az operációs rendszer biztonsági frissítései.
    • Egyéb hibajavítások.

  • 2022. március 14.

    • Sebezhető osztályok eltávolítása a log4j 1.2.17 jar-ból
    • Egyéb hibajavítások.

  • 2022. február 23.

    • Egyéb hibajavítások.

  • 2022. február 8.

    • Frissítse az Ubuntu JDK-t 1.8.0.312-re.
    • Az operációs rendszer biztonsági frissítései.

  • 2022. február 1., kedd

    • Az operációs rendszer biztonsági frissítései.

  • 2022. január 26.

    • Kijavítottunk egy hibát, amely miatt az OPTIMIZE parancs meghiúsulhatott, amikor az ANSI SQL-dialektus engedélyezve volt.

  • 2022. január 19.

    • Az operációs rendszer biztonsági frissítései.

  • 2021. december 8.

    • Az operációs rendszer biztonsági frissítései.

  • 2021. szeptember 22.

    • Az operációs rendszer biztonsági frissítései.

  • 2021. június 15.

    • [SPARK-35576][SQL] A bizalmas adatok újrakonfigurálása a Beállítás parancs eredményében

  • 2021. június 7.

    • Adjon hozzá egy új, vesszővel tagolt sztringkonfigurációt spark.sql.maven.additionalRemoteRepositoriesaz opcionális további távoli maven-tükörhez. Az érték alapértelmezés szerint a következő.https://maven-central.storage-download.googleapis.com/maven2/

  • 2021. április 30.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-35227][BUILD] Spark-csomagok feloldójának frissítése a SparkSubmitben

  • 2021. március 9., kedd

    • Port HADOOP-17215 az Azure Blob Fájlrendszer illesztőprogramjához (feltételes felülírás támogatása).
    • Elérésiút-elválasztó javítása Windows rendszeren databricks-connect get-jar-dir
    • Támogatott a Hive metaadattár 2.3.5-ös, 2.3.6-os és 2.3.7-ös verziója
    • A "totalResultsCollected" nyíl helytelenül jelentve a kiömlés után

  • 2021. február 24.

    • Új konfigurációt spark.databricks.hive.metastore.init.reloadFunctions.enabledvezetett be. Ez a konfiguráció szabályozza a Beépített Hive-inicializálást. Ha igaz értékre van állítva, az Azure Databricks újra betölti az összes függvényt az összes olyan adatbázisból, amelybe a felhasználók be vannak állítva FunctionRegistry. Ez az alapértelmezett viselkedés a Hive Metastore-ban. Ha hamis értékre van állítva, az Azure Databricks letiltja ezt a folyamatot az optimalizáláshoz.

  • 2021. február 4.

    • Kijavítottunk egy regressziót, amely megakadályozza egy olyan lekérdezés növekményes végrehajtását, amely globális korlátot állít be, például SELECT * FROM table LIMIT nrows. A regressziót az ODBC/JDBC-n keresztül lekérdezéseket futtató felhasználók tapasztalták, és engedélyezve volt a nyíl szerializálása.
    • Kijavítottunk egy regressziót, amely miatt a DBFS FUSE nem indult el, amikor a fürtkörnyezet változókonfigurációi érvénytelen bash szintaxist tartalmaznak.

  • 2021. január 12

    • Az operációs rendszer biztonsági frissítései.

  • 2020. december 8., kedd

    • [SPARK-27421][SQL] A java.lang.String int oszlop és értékosztály szűrőjének javítása partícióoszlop metszésekor
    • [SPARK-33183][SQL] Az optimalizálási szabály megszüntetésesorok javítása és egy fizikai szabály hozzáadása a redundáns rendezések eltávolításához
    • [Runtime 6.4 ML GPU] Korábban az NCCL helytelen verzióját (2.7.8-1+cuda11.1) telepítettük. Ez a kiadás a CUDA 10.0-val kompatibilis 2.4.8-1+cuda10.0 verzióra javítja ki.
    • Az operációs rendszer biztonsági frissítései.

  • 2020. december 1., kedd

    • [SPARK-33260][SQL] A SortExec helytelen eredményeinek javítása, ha a sortOrder stream
    • [SPARK-32635][SQL] Összecsukható propagálás javítása

  • 2020. november 3.

    • Frissített Java-verzió az 1.8.0_252-es verzióról 1.8.0_265-re.
    • Az ABFS és a WASB zárolásának javítása a UserGroupInformation.getCurrentUser() vonatkozásában
    • Javítsa ki az Avro-olvasó végtelen hurokhibáját a MAGIC bájtok olvasása közben.

  • 2020. október 13.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-32999][SQL] [2.4] Használja az Utils.getSimpleName parancsot, hogy elkerülje a hibásan formázott osztálynevet a TreeNode-ban
    • Kijavítottuk az érvénytelen XML-karaktereket tartalmazó listakönyvtárakat a FUSE-csatlakoztatásban
    • A FUSE-csatlakoztatás már nem használja a ListMultipartUploads szolgáltatást

  • 2020. szeptember 24.

    • Kijavítottunk egy korábbi korlátozást, amely miatt a standard fürtre vonatkozó átengedés továbbra is korlátozta a fájlrendszer-implementáció felhasználó általi használatát. Mostantól a felhasználók korlátozás nélkül hozzáférhetnek a helyi fájlrendszerekhez.
    • Az operációs rendszer biztonsági frissítései.

  • 2020. szeptember 8., kedd

    • Létrehoztunk egy új paramétert az Azure Synapse Analyticshez. maxbinlength Ez a paraméter a BinaryType oszlopok oszlophosszának szabályozására szolgál, és lefordítva.VARBINARY(maxbinlength) A beállítás a következővel .option("maxbinlength", n)állítható be: 0 < n <= 8000.
    • Frissítse az Azure Storage SDK-t a 8.6.4-re, és engedélyezze a TCP életben tartását a WASB-illesztőprogram által létesített kapcsolatokon

  • 2020. augusztus 25.

    • Kijavítottuk a nem egyértelmű attribútumfeloldást az önegyesítés során

  • 2020. augusztus 18.

    • [SPARK-32431][SQL] Ismétlődő beágyazott oszlopok ellenőrzése beépített adatforrásokból származó olvasásban
    • Kijavítottunk egy versenyfeltételt az AQS-összekötőben a Trigger.Once használatakor.

  • 2020. augusztus 11.

    • [SPARK-28676][CORE] A ContextCleaner túlzott naplózásának elkerülése

  • 2020. augusztus 3.

    • Most már használhatja az LDA transzformációs függvényt egy átengedhető fürtön.
    • Az operációs rendszer biztonsági frissítései.

  • 2020. július 7.

    • Frissített Java-verzió az 1.8.0_232-es verzióról 1.8.0_252-re.

  • 2020. április 21.

    • [SPARK-31312][SQL] Gyorsítótárosztálypéldány a HiveFunctionWrapper UDF-példányához

  • 2020. április 7.

    • A Pandas udf nem a PyArrow 0.15.0-s és újabb verzióival kapcsolatos probléma megoldásához hozzáadtunk egy környezeti változót (ARROW_PRE_0_15_IPC_FORMAT=1) a PyArrow ezen verzióinak támogatásához. Tekintse meg a [SPARK-29367] utasításait.

  • 2020. március 10.

    • Az optimalizált automatikus skálázás mostantól alapértelmezés szerint a biztonsági csomag interaktív fürtöinél használatos.
    • A Databricks Runtime-ban található Snowflake-összekötő (spark-snowflake_2.11) a 2.5.9-es verzióra frissül. snowflake-jdbc verziószáma a 3.12.0-s verzióra frissül.

Databricks Runtime 5.5 LTS (EoS)

Lásd: Databricks Runtime 5.5 LTS (EoS) és Databricks Runtime 5.5 Extended Support (EoS).

  • 2021. december 8.

    • Az operációs rendszer biztonsági frissítései.

  • 2021. szeptember 22.

    • Az operációs rendszer biztonsági frissítései.

  • 2021. augusztus 25.

    • Az 5.5 ML kiterjesztett támogatási kiadásban a korábban frissített Python-csomagokat visszaminősítette, hogy jobb paritást biztosítson az 5,5 ML LTS-sel (most elavult). A két verzió közötti frissített különbségekről lásd: [_]/release-notes/runtime/5.5xml.md).

  • 2021. június 15.

    • [SPARK-35576][SQL] A bizalmas adatok újrakonfigurálása a Beállítás parancs eredményében

  • 2021. június 7.

    • Adjon hozzá egy új, vesszővel tagolt sztringkonfigurációt spark.sql.maven.additionalRemoteRepositoriesaz opcionális további távoli maven-tükörhez. Az érték alapértelmezés szerint a következő.https://maven-central.storage-download.googleapis.com/maven2/

  • 2021. április 30.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-35227][BUILD] Spark-csomagok feloldójának frissítése a SparkSubmitben

  • 2021. március 9., kedd

    • Port HADOOP-17215 az Azure Blob Fájlrendszer illesztőprogramjához (feltételes felülírás támogatása).

  • 2021. február 24.

    • Új konfigurációt spark.databricks.hive.metastore.init.reloadFunctions.enabledvezetett be. Ez a konfiguráció szabályozza a Beépített Hive-inicializálást. Ha igaz értékre van állítva, az Azure Databricks újra betölti az összes függvényt az összes olyan adatbázisból, amelybe a felhasználók be vannak állítva FunctionRegistry. Ez az alapértelmezett viselkedés a Hive Metastore-ban. Ha hamis értékre van állítva, az Azure Databricks letiltja ezt a folyamatot az optimalizáláshoz.

  • 2021. január 12

    • Az operációs rendszer biztonsági frissítései.
    • A(z) [HADOOP-17130] javítása.

  • 2020. december 8., kedd

    • [SPARK-27421][SQL] A java.lang.String int oszlop és értékosztály szűrőjének javítása partícióoszlop metszésekor
    • Az operációs rendszer biztonsági frissítései.

  • 2020. december 1., kedd

    • [SPARK-33260][SQL] A SortExec helytelen eredményeinek javítása, ha a sortOrder stream
    • [SPARK-32635][SQL] Összecsukható propagálás javítása

  • 2020. október 29.

    • Frissített Java-verzió az 1.8.0_252-es verzióról 1.8.0_265-re.
    • Az ABFS és a WASB zárolásának javítása a UserGroupInformation.getCurrentUser() vonatkozásában
    • Javítsa ki az Avro-olvasó végtelen hurokhibáját a MAGIC bájtok olvasása közben.

  • 2020. október 13.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-32999][SQL] [2.4] Használja az Utils.getSimpleName parancsot, hogy elkerülje a hibásan formázott osztálynevet a TreeNode-ban

  • 2020. szeptember 24.

    • Az operációs rendszer biztonsági frissítései.

  • 2020. szeptember 8., kedd

    • Létrehoztunk egy új paramétert az Azure Synapse Analyticshez. maxbinlength Ez a paraméter a BinaryType oszlopok oszlophosszának szabályozására szolgál, és lefordítva.VARBINARY(maxbinlength) A beállítás a következővel .option("maxbinlength", n)állítható be: 0 < n <= 8000.

  • 2020. augusztus 18.

    • [SPARK-32431][SQL] Ismétlődő beágyazott oszlopok ellenőrzése beépített adatforrásokból származó olvasásban
    • Kijavítottunk egy versenyfeltételt az AQS-összekötőben a Trigger.Once használatakor.

  • 2020. augusztus 11.

    • [SPARK-28676][CORE] A ContextCleaner túlzott naplózásának elkerülése

  • 2020. augusztus 3.

    • Operációs rendszer biztonsági frissítései

  • 2020. július 7.

    • Frissített Java-verzió az 1.8.0_232-es verzióról 1.8.0_252-re.

  • 2020. április 21.

    • [SPARK-31312][SQL] Gyorsítótárosztálypéldány a HiveFunctionWrapper UDF-példányához

  • 2020. április 7.

    • A Pandas udf nem a PyArrow 0.15.0-s és újabb verzióival kapcsolatos probléma megoldásához hozzáadtunk egy környezeti változót (ARROW_PRE_0_15_IPC_FORMAT=1) a PyArrow ezen verzióinak támogatásához. Tekintse meg a [SPARK-29367] utasításait.

  • 2020. március 25.

    • A Databricks Runtime-ban található Snowflake-összekötő (spark-snowflake_2.11) a 2.5.9-es verzióra frissül. snowflake-jdbc verziószáma a 3.12.0-s verzióra frissül.

  • 2020. március 10.

    • A feladat kimenetére, például az stdout számára kibocsátott naplókimenetre 20 MB-os méretkorlát vonatkozik. Ha a teljes kimenet nagyobb méretű, a futtatás megszakad, és sikertelenként lesz megjelölve. Ennek a korlátnak a elkerülése érdekében megakadályozhatja, hogy az stdout visszakerüljön az illesztőprogramból a spark.databricks.driver.disableScalaOutput Spark konfigurációjának truebeállításával. Alapértelmezés szerint a jelző értéke .false A jelölő vezérli a Scala JAR-feladatok és Scala-jegyzetfüzetek cellakimenetét. Ha a jelző engedélyezve van, a Spark nem ad vissza feladatvégrehajtási eredményeket az ügyfélnek. A jelölő nincs hatással a fürt naplófájljaiban írt adatokra. Ennek a jelzőnek a beállítása csak a JAR-feladatokhoz használt automatizált fürtök esetében ajánlott, mert az letiltja a jegyzetfüzetek eredményeit.

  • 2020. február 18.

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 kivételt kell eredményeznie
    • Az ADLS Gen2 hitelesítő adatainak átengedése teljesítménycsökkenést okoz a szál helyi kezelésének helytelen kezelése miatt, ha az ADLS-ügyfél előkezelése engedélyezve van. Ez a kiadás letiltja az ADLS Gen2 előkezelését, ha a hitelesítő adatok átengedése engedélyezve van, amíg nincs megfelelő javítás.

  • 2020. január 28.

    • [SPARK-30447][SQL] Állandó propagálás nullabilitási problémája.

  • 2020. január 14.

    • Frissített Java-verzió az 1.8.0_222-ről az 1.8.0_232-es verzióra.

  • 2019. november 19.

    • [SPARK-29743] Az [SQL] mintának igaz értékre kell állítania a needCopyResult értéket, ha a gyermek needCopyResult értéke igaz
    • Az R-verzió nem szándékosan lett frissítve a 3.6.1-es verzióra a 3.6.0-ról. Visszaminősítettük a 3.6.0-ra.

  • 2019. november 5.

    • Frissített Java-verzió az 1.8.0_212-ről 1.8.0_222-re.

  • 2019. október 23.

    • [SPARK-29244][CORE] A szabad oldal újbóli felszabadításának megakadályozása a BytesToBytesMap-ban

  • 2019. október 8., kedd

    • Kiszolgálóoldali módosítások, amelyek lehetővé teszik a Simba Apache Spark ODBC-illesztő újracsatlakozását és folytatását a kapcsolati hiba után az eredmények lekérése során (a Simba Apache Spark ODBC-illesztőprogram 2.6.10-es verziójára van szükség).
    • Kijavítottunk egy hibát, amely hatással volt a parancs tábla ACL-kompatibilis fürtökkel való használatára Optimize .
    • Kijavítottunk egy hibát, amely pyspark.ml miatt a kódtárak meghiúsultak, mert a Scala UDF tiltott hibát észlelt a tábla ACL-jén és a hitelesítő adatok átengedésében engedélyezett fürtökön.
    • Engedélyezett SerDe és SerDeUtil metódusok hitelesítő adatok átengedéséhez.
    • Kijavítottuk a NullPointerException hibát a WASB-ügyfél hibakódjának ellenőrzésekor.

  • 2019. szeptember 24.

    • Jobb stabilitása Parquet író.
    • Kijavítottuk azt a problémát, amely miatt a Thrift-lekérdezés a végrehajtás megkezdése előtt megszakadt, előfordulhat, hogy a STARTED állapotban elakadt.

  • 2019. szeptember 10.

    • Szálbiztos iterátor hozzáadása a BytesToBytesMap-hoz
    • [SPARK-27992][SPARK-28881]A Python csatlakozásának engedélyezése kapcsolati szállal a hibák propagálásához
    • Kijavítottunk egy hibát, amely bizonyos globális összesítési lekérdezéseket érintett.
    • Továbbfejlesztett hitelesítő adatok újbóli használata.
    • [SPARK-27330][SS] támogatási feladat megszakítása a foreach-íróban
    • [SPARK-28642]Hitelesítő adatok elrejtése a CREATE TABLE megjelenítése alkalmazásban
    • [SPARK-28699][SQL] A ShuffleExchangeExec radix rendezési funkciójának letiltása újraparticionálási esetben

  • 2019. augusztus 27.

    • [SPARK-20906][SQL] Felhasználó által megadott séma engedélyezése az API-to_avro sémaregisztrációs adatbázissal
    • [SPARK-27838][SQL] A támogatási felhasználó nem null értékű avro sémát adott meg null értékű katalizátorsémához null rekord nélkül
    • Javulás a Delta Lake időutazásán
    • Kijavítottunk egy bizonyos transform kifejezést érintő hibát
    • Támogatja a szórási változókat, ha a folyamatelkülönítés engedélyezve van

  • 2019. augusztus 13.

    • A deltastreamelési forrásnak ellenőriznie kell egy tábla legújabb protokollját
    • [SPARK-28260]ZÁRT állapot hozzáadása a ExecutionState-hez
    • [SPARK-28489][SS] Kijavítottuk azt a hibát, amely miatt a KafkaOffsetRangeCalculator.getRanges elvetheti az eltolódásokat

  • 2019. július 30.

    • [SPARK-28015][SQL] Ellenőrizze, hogy a stringToDate() az yyyy és az y-[m]m formátumok teljes bemenetét használja-e
    • [SPARK-28308][CORE] A CalendarInterval sub-second részt az elemzés előtt ki kell párnázni
    • [SPARK-27485]A EnsureRequirements.reordernek elegánsan kell kezelnie az ismétlődő kifejezéseket
    • [SPARK-28355][CORE] [PYTHON] A Spark conf használata olyan küszöbértékhez, amelyen az UDF a szórással tömörítve van

A Databricks Light 2.4 kiterjesztett támogatása

Lásd: Databricks Light 2.4 (EoS) és Databricks Light 2.4 Kiterjesztett támogatás (EoS).

Databricks Runtime 7.4 (EoS)

Lásd: Databricks Runtime 7.4 (EoS).

  • 2021. április 30.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-35227][BUILD] Spark-csomagok feloldójának frissítése a SparkSubmitben
    • [SPARK-34245][CORE] Győződjön meg arról, hogy a főkiszolgáló eltávolítja azokat a végrehajtókat, amelyek nem küldték el a kész állapotot
    • [SPARK-35045][SQL] Belső beállítás hozzáadása a bemeneti puffer univocitásban való szabályozásához és a CSV bemeneti puffer méretének konfigurálásához

  • 2021. március 24.

    • [SPARK-34768][SQL] Az univocity alapértelmezett bemeneti pufferméretének tiszteletben tartása
    • [SPARK-34534] BlockIds-sorrend javítása a FetchShuffleBlocks használata blokkok lekéréséhez

  • 2021. március 9., kedd

    • Az Azure Data Lake Storage Gen2 frissített Azure Blob fájlrendszer-illesztőprogramja alapértelmezés szerint engedélyezve van. Több stabilitási fejlesztést is eredményez.
    • [ES-67926] [Felhasználói felület] A Spark DAG-vizualizáció href hivatkozásának javítása
    • [ES-65064] A következő kimeneti sémájának visszaállítása: SHOW DATABASES
    • [SC-70522] [SQL] A helyes dinamikus metszési buildkulcs használata, ha a tartományillesztési tipp jelen van
    • [SC-35081] Delta-táblafájlok elavultságának letiltása a lemezgyorsítótárban
    • [SC-70640] Az NPE javítása, ha az EventGridClient-válasz nem tartalmaz entitást
    • [SC-70220] [SQL] Ha az AOS engedélyezve van, ne hozzon létre shuffle partíciószám-tanácsot

  • 2021. február 24.

    • Frissítette a Spark BigQuery-összekötőt a 0.18-ra, amely különböző hibajavításokat és a Arrow és Avro iterátorok támogatását mutatja be.
    • Kijavítottunk egy hibát, amely miatt a Spark helytelen eredményeket adott vissza, ha a Parquet-fájl tizedes pontossága és mérete eltér a Spark-sémától.
    • Kijavítottuk a térbeli adattípusokat tartalmazó Microsoft SQL Server-táblák olvasási hibáit a Spark SQL geometriai és földrajzi JDBC-típusainak támogatásával.
    • Új konfigurációt spark.databricks.hive.metastore.init.reloadFunctions.enabledvezetett be. Ez a konfiguráció szabályozza a Beépített Hive-inicializálást. Ha igaz értékre van állítva, az Azure Databricks újra betölti az összes függvényt az összes olyan adatbázisból, amelybe a felhasználók be vannak állítva FunctionRegistry. Ez az alapértelmezett viselkedés a Hive Metastore-ban. Ha hamis értékre van állítva, az Azure Databricks letiltja ezt a folyamatot az optimalizáláshoz.
    • [SPARK-34212] Kijavítottuk a tizedesadatok Parquet-fájlokból való beolvasásával kapcsolatos problémákat.
    • [SPARK-33579][Felhasználói felület] A végrehajtó üres lapjának javítása proxy mögött.
    • [SPARK-20044][Felhasználói felület] Támogatja a Spark felhasználói felületét az előtér-fordított proxy mögött egy elérésiút-előtag használatával.
    • [SPARK-33277][PYSPARK] [SQL] A Tevékenység befejezése után a ContextAwareIterator használatával leállítja a használatot.

  • 2021. február 4.

    • Kijavítottunk egy regressziót, amely megakadályozza egy olyan lekérdezés növekményes végrehajtását, amely globális korlátot állít be, például SELECT * FROM table LIMIT nrows. A regressziót az ODBC/JDBC-n keresztül lekérdezéseket futtató felhasználók tapasztalták, és engedélyezve volt a nyíl szerializálása.
    • Kijavítottunk egy regressziót, amely miatt a DBFS FUSE nem indult el, amikor a fürtkörnyezet változókonfigurációi érvénytelen bash szintaxist tartalmaznak.

  • 2021. január 20.

    • Kijavítottunk egy regressziót a 2021. január 12-i karbantartási kiadásban, amely helytelen AnalysisException hibát okozhat, és azt mondja, hogy az oszlop nem egyértelmű egy öncsatlakozásban. Ez a regresszió akkor fordul elő, ha egy felhasználó egy DataFrame-et a származtatott DataFrame-jével (úgynevezett öncsatlakozással) csatlakoztat a következő feltételekkel:
      • Ez a két DataFrame közös oszlopokkal rendelkezik, de az önillesztés kimenete nem rendelkezik közös oszlopokkal. Például: df.join(df.select($"col" as "new_col"), cond)
      • A származtatott DataFrame kizár néhány oszlopot a kiválasztás, a groupBy vagy az ablak használatával.
      • Az illesztési feltétel vagy a következő átalakítás az összekapcsolt adatkeret után a nem gyakori oszlopokra vonatkozik. Például: df.join(df.drop("a"), df("a") === 1)

  • 2021. január 12

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-33593][SQL] A vektorolvasó helytelen adatokat kapott bináris partícióértékkel
    • [SPARK-33677][SQL] A LikeSimplification szabály kihagyása, ha a minta tartalmaz escapeChar értéket
    • [SPARK-33071][SPARK-33536] [SQL] A DetectAmbiguousSelfJoin megszakításának elkerülése érdekében ne módosítsa a LogicalPlan dataset_id az illesztés() során

  • 2020. december 8., kedd

    • [SPARK-33587][CORE] A végrehajtó megölése beágyazott végzetes hibákon
    • [SPARK-27421][SQL] A java.lang.String int oszlop és értékosztály szűrőjének javítása partícióoszlop metszésekor
    • [SPARK-33316][SQL] A támogatási felhasználó null értékű Avro-sémát adott meg a nem null értékű katalizátorsémához az Avro írásában
    • Az operációs rendszer biztonsági frissítései.

  • 2020. december 1., kedd

    • [SPARK-33404][SQL] [3.0] Helytelen eredmények javítása a kifejezésben date_trunc
    • [SPARK-33339][PYTHON] A Pyspark-alkalmazás nem kivételhiba miatt lefagy
    • [SPARK-33183][SQL] [GYORSJAVÍTÁS] Az optimalizálási szabály megszüntetésesorok javítása és egy fizikai szabály hozzáadása a redundáns rendezések eltávolításához
    • [SPARK-33371][PYTHON] [3.0] A Python 3.9 setup.py és tesztjeinek frissítése
    • [SPARK-33391][SQL] element_at a CreateArray nem tart tiszteletben egy alapú indexet.
    • [SPARK-33306][SQL] Időzónára van szükség a dátum sztringre történő leadásakor
    • [SPARK-33260][SQL] A SortExec helytelen eredményeinek javítása, ha a sortOrder stream
    • [SPARK-33272][SQL] a QueryPlan.transformUpWithNewOutput attribútumleképezésének metszete

Databricks Runtime 7.2 (EoS)

Lásd: Databricks Runtime 7.2 (EoS).

  • 2021. február 4.

    • Kijavítottunk egy regressziót, amely megakadályozza egy olyan lekérdezés növekményes végrehajtását, amely globális korlátot állít be, például SELECT * FROM table LIMIT nrows. A regressziót az ODBC/JDBC-n keresztül lekérdezéseket futtató felhasználók tapasztalták, és engedélyezve volt a nyíl szerializálása.
    • Kijavítottunk egy regressziót, amely miatt a DBFS FUSE nem indult el, amikor a fürtkörnyezet változókonfigurációi érvénytelen bash szintaxist tartalmaznak.

  • 2021. január 20.

    • Kijavítottunk egy regressziót a 2021. január 12-i karbantartási kiadásban, amely helytelen AnalysisException hibát okozhat, és azt mondja, hogy az oszlop nem egyértelmű egy öncsatlakozásban. Ez a regresszió akkor fordul elő, ha egy felhasználó egy DataFrame-et a származtatott DataFrame-jével (úgynevezett öncsatlakozással) csatlakoztat a következő feltételekkel:
      • Ez a két DataFrame közös oszlopokkal rendelkezik, de az önillesztés kimenete nem rendelkezik közös oszlopokkal. Például: df.join(df.select($"col" as "new_col"), cond)
      • A származtatott DataFrame kizár néhány oszlopot a kiválasztás, a groupBy vagy az ablak használatával.
      • Az illesztési feltétel vagy a következő átalakítás az összekapcsolt adatkeret után a nem gyakori oszlopokra vonatkozik. Például: df.join(df.drop("a"), df("a") === 1)

  • 2021. január 12

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-33593][SQL] A vektorolvasó helytelen adatokat kapott bináris partícióértékkel
    • [SPARK-33677][SQL] A LikeSimplification szabály kihagyása, ha a minta tartalmaz escapeChar értéket
    • [SPARK-33071][SPARK-33536] [SQL] A DetectAmbiguousSelfJoin megszakításának elkerülése érdekében ne módosítsa a LogicalPlan dataset_id az illesztés() során

  • 2020. december 8., kedd

    • [SPARK-27421][SQL] A java.lang.String int oszlop és értékosztály szűrőjének javítása partícióoszlop metszésekor
    • [SPARK-33404][SQL] Helytelen találatok javítása a kifejezésben date_trunc
    • [SPARK-33339][PYTHON] A Pyspark-alkalmazás nem kivételhiba miatt lefagy
    • [SPARK-33183][SQL] Az optimalizálási szabály megszüntetésesorok javítása és egy fizikai szabály hozzáadása a redundáns rendezések eltávolításához
    • [SPARK-33391][SQL] element_at a CreateArray nem tart tiszteletben egy alapú indexet.
    • Az operációs rendszer biztonsági frissítései.

  • 2020. december 1., kedd

    • [SPARK-33306][SQL] Időzónára van szükség a dátum sztringre történő leadásakor
    • [SPARK-33260][SQL] A SortExec helytelen eredményeinek javítása, ha a sortOrder stream

  • 2020. november 3.

    • Frissített Java-verzió az 1.8.0_252-es verzióról 1.8.0_265-re.
    • Az ABFS és a WASB zárolásának javítása a UserGroupInformation.getCurrentUser() vonatkozásában
    • Javítsa ki az Avro-olvasó végtelen hurokhibáját a MAGIC bájtok olvasása közben.

  • 2020. október 13.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-32999][SQL] A Utils.getSimpleName használatával elkerülheti a hibásan formázott osztály nevét a TreeNode-ban
    • Kijavítottuk az érvénytelen XML-karaktereket tartalmazó listakönyvtárakat a FUSE-csatlakoztatásban
    • A FUSE-csatlakoztatás már nem használja a ListMultipartUploads szolgáltatást

  • 2020. szeptember 29.

    • [SPARK-28863][SQL] [WARMFIX] A Mároptimizált verzió bevezetése a V1FallbackWriters újraanalízisének megakadályozása érdekében
    • [SPARK-32635][SQL] Összecsukható propagálás javítása
    • Új konfiguráció spark.shuffle.io.decoder.consolidateThresholdhozzáadása . Állítsa be a konfigurációs értéket úgy, hogy Long.MAX_VALUE kihagyja a netty FrameBuffers összesítését, ami megakadályozza java.lang.IndexOutOfBoundsException a sarokeseteket.

  • 2020. szeptember 24.

    • [SPARK-32764][SQL] A -0.0 értéknek 0,0-nak kell lennie
    • [SPARK-32753][SQL] Csak címkék másolása a csomópontra címkék nélkül a tervek átalakításakor
    • [SPARK-32659][SQL] A beszúrt dinamikus partíciók nem atomi típusú metszésével kapcsolatos adatprobléma megoldása
    • Az operációs rendszer biztonsági frissítései.

  • 2020. szeptember 8., kedd

    • Létrehoztunk egy új paramétert az Azure Synapse Analyticshez. maxbinlength Ez a paraméter a BinaryType oszlopok oszlophosszának szabályozására szolgál, és lefordítva.VARBINARY(maxbinlength) A beállítás a következővel .option("maxbinlength", n)állítható be: 0 < n <= 8000.

Databricks Runtime 7.1 (EoS)

Lásd: Databricks Runtime 7.1 (EoS).

  • 2021. február 4.

    • Kijavítottunk egy regressziót, amely miatt a DBFS FUSE nem indult el, amikor a fürtkörnyezet változókonfigurációi érvénytelen bash szintaxist tartalmaznak.

  • 2021. január 20.

    • Kijavítottunk egy regressziót a 2021. január 12-i karbantartási kiadásban, amely helytelen AnalysisException hibát okozhat, és azt mondja, hogy az oszlop nem egyértelmű egy öncsatlakozásban. Ez a regresszió akkor fordul elő, ha egy felhasználó egy DataFrame-et a származtatott DataFrame-jével (úgynevezett öncsatlakozással) csatlakoztat a következő feltételekkel:
      • Ez a két DataFrame közös oszlopokkal rendelkezik, de az önillesztés kimenete nem rendelkezik közös oszlopokkal. Például: df.join(df.select($"col" as "new_col"), cond)
      • A származtatott DataFrame kizár néhány oszlopot a kiválasztás, a groupBy vagy az ablak használatával.
      • Az illesztési feltétel vagy a következő átalakítás az összekapcsolt adatkeret után a nem gyakori oszlopokra vonatkozik. Például: df.join(df.drop("a"), df("a") === 1)

  • 2021. január 12

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-33593][SQL] A vektorolvasó helytelen adatokat kapott bináris partícióértékkel
    • [SPARK-33677][SQL] A LikeSimplification szabály kihagyása, ha a minta tartalmaz escapeChar értéket
    • [SPARK-33071][SPARK-33536] [SQL] A DetectAmbiguousSelfJoin megszakításának elkerülése érdekében ne módosítsa a LogicalPlan dataset_id az illesztés() során

  • 2020. december 8., kedd

    • [SPARK-27421][SQL] A java.lang.String int oszlop és értékosztály szűrőjének javítása partícióoszlop metszésekor
    • A Databricks Connect használatával indított Spark-feladatok határozatlan ideig lefagyhatnak a végrehajtói verem nyomkövetésével Executor$TaskRunner.$anonfun$copySessionState
    • Az operációs rendszer biztonsági frissítései.

  • 2020. december 1., kedd

    • [SPARK-33404][SQL] [3.0] Helytelen eredmények javítása a kifejezésben date_trunc
    • [SPARK-33339][PYTHON] A Pyspark-alkalmazás nem kivételhiba miatt lefagy
    • [SPARK-33183][SQL] [GYORSJAVÍTÁS] Az optimalizálási szabály megszüntetésesorok javítása és egy fizikai szabály hozzáadása a redundáns rendezések eltávolításához
    • [SPARK-33371][PYTHON] [3.0] A Python 3.9 setup.py és tesztjeinek frissítése
    • [SPARK-33391][SQL] element_at a CreateArray nem tart tiszteletben egy alapú indexet.
    • [SPARK-33306][SQL] Időzónára van szükség a dátum sztringre történő leadásakor

  • 2020. november 3.

    • Frissített Java-verzió az 1.8.0_252-es verzióról 1.8.0_265-re.
    • Az ABFS és a WASB zárolásának javítása a UserGroupInformation.getCurrentUser() vonatkozásában
    • Javítsa ki az Avro-olvasó végtelen hurokhibáját a MAGIC bájtok olvasása közben.

  • 2020. október 13.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-32999][SQL] A Utils.getSimpleName használatával elkerülheti a hibásan formázott osztály nevét a TreeNode-ban
    • Kijavítottuk az érvénytelen XML-karaktereket tartalmazó listakönyvtárakat a FUSE-csatlakoztatásban
    • A FUSE-csatlakoztatás már nem használja a ListMultipartUploads szolgáltatást

  • 2020. szeptember 29.

    • [SPARK-28863][SQL] [WARMFIX] A Mároptimizált verzió bevezetése a V1FallbackWriters újraanalízisének megakadályozása érdekében
    • [SPARK-32635][SQL] Összecsukható propagálás javítása
    • Új konfiguráció spark.shuffle.io.decoder.consolidateThresholdhozzáadása . Állítsa be a konfigurációs értéket úgy, hogy Long.MAX_VALUE kihagyja a netty FrameBuffers összesítését, ami megakadályozza java.lang.IndexOutOfBoundsException a sarokeseteket.

  • 2020. szeptember 24.

    • [SPARK-32764][SQL] A -0.0 értéknek 0,0-nak kell lennie
    • [SPARK-32753][SQL] Csak címkék másolása a csomópontra címkék nélkül a tervek átalakításakor
    • [SPARK-32659][SQL] A beszúrt dinamikus partíciók nem atomi típusú metszésével kapcsolatos adatprobléma megoldása
    • Az operációs rendszer biztonsági frissítései.

  • 2020. szeptember 8., kedd

    • Létrehoztunk egy új paramétert az Azure Synapse Analyticshez. maxbinlength Ez a paraméter a BinaryType oszlopok oszlophosszának szabályozására szolgál, és lefordítva.VARBINARY(maxbinlength) A beállítás a következővel .option("maxbinlength", n)állítható be: 0 < n <= 8000.

  • 2020. augusztus 25.

    • [SPARK-32159][SQL] A két és a Aggregator[Array[_], _, _]UnresolvedMapObjects
    • [SPARK-32559][SQL] Kijavítottuk a vágási logikát, UTF8String.toInt/toLongamely nem megfelelően kezelte az ASCII-karaktereket
    • [SPARK-32543][R] Használat eltávolítása arrow::as_tibble a SparkR-ben
    • [SPARK-32091][CORE] Időtúllépési hiba figyelmen kívül hagyása az elveszett végrehajtó blokkainak eltávolításakor
    • Kijavítottunk egy hibát, amely az Azure Synapse-összekötőt érintette MSI-hitelesítő adatokkal
    • Kijavítottuk a nem egyértelmű attribútumfeloldást az önegyesítés során

  • 2020. augusztus 18.

    • [SPARK-32594][SQL] A Hive-táblákba beszúrt dátumok szerializálásának javítása
    • [SPARK-32237][SQL] Tipp feloldása a CTE-ben
    • [SPARK-32431][SQL] Ismétlődő beágyazott oszlopok ellenőrzése beépített adatforrásokból származó olvasásban
    • [SPARK-32467][Felhasználói felület] Az URL-cím kétszeri kódolásának elkerülése https-átirányításon
    • Kijavítottunk egy versenyfeltételt az AQS-összekötőben a Trigger.Once használatakor.

  • 2020. augusztus 11.

    • [SPARK-32280][SPARK-32372][SQL] A ResolveReferences.dedupRight csak az ütközési terv elődcsomópontjaihoz tartozó attribútumokat írja át
    • [SPARK-32234][SQL] A Spark SQL-parancsok sikertelenek az ORC-táblák kiválasztásakor

  • 2020. augusztus 3.

    • Most már használhatja az LDA transzformációs függvényt egy átengedhető fürtön.

Databricks Runtime 7.0 (EoS)

Lásd: Databricks Runtime 7.0 (EoS).

  • 2021. február 4.

    • Kijavítottunk egy regressziót, amely miatt a DBFS FUSE nem indult el, amikor a fürtkörnyezet változókonfigurációi érvénytelen bash szintaxist tartalmaznak.

  • 2021. január 20.

    • Kijavítottunk egy regressziót a 2021. január 12-i karbantartási kiadásban, amely helytelen AnalysisException hibát okozhat, és azt mondja, hogy az oszlop nem egyértelmű egy öncsatlakozásban. Ez a regresszió akkor fordul elő, ha egy felhasználó egy DataFrame-et a származtatott DataFrame-jével (úgynevezett öncsatlakozással) csatlakoztat a következő feltételekkel:
      • Ez a két DataFrame közös oszlopokkal rendelkezik, de az önillesztés kimenete nem rendelkezik közös oszlopokkal. Például: df.join(df.select($"col" as "new_col"), cond)
      • A származtatott DataFrame kizár néhány oszlopot a kiválasztás, a groupBy vagy az ablak használatával.
      • Az illesztési feltétel vagy a következő átalakítás az összekapcsolt adatkeret után a nem gyakori oszlopokra vonatkozik. Például: df.join(df.drop("a"), df("a") === 1)

  • 2021. január 12

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-33593][SQL] A vektorolvasó helytelen adatokat kapott bináris partícióértékkel
    • [SPARK-33677][SQL] A LikeSimplification szabály kihagyása, ha a minta tartalmaz escapeChar értéket
    • [SPARK-33071][SPARK-33536] [SQL] A DetectAmbiguousSelfJoin megszakításának elkerülése érdekében ne módosítsa a LogicalPlan dataset_id az illesztés() során

  • 2020. december 8., kedd

    • [SPARK-27421][SQL] A java.lang.String int oszlop és értékosztály szűrőjének javítása partícióoszlop metszésekor
    • [SPARK-33404][SQL] Helytelen találatok javítása a kifejezésben date_trunc
    • [SPARK-33339][PYTHON] A Pyspark-alkalmazás nem kivételhiba miatt lefagy
    • [SPARK-33183][SQL] Az optimalizálási szabály megszüntetésesorok javítása és egy fizikai szabály hozzáadása a redundáns rendezések eltávolításához
    • [SPARK-33391][SQL] element_at a CreateArray nem tart tiszteletben egy alapú indexet.
    • Az operációs rendszer biztonsági frissítései.

  • 2020. december 1., kedd

    • [SPARK-33306][SQL] Időzónára van szükség a dátum sztringre történő leadásakor

  • 2020. november 3.

    • Frissített Java-verzió az 1.8.0_252-es verzióról 1.8.0_265-re.
    • Az ABFS és a WASB zárolásának javítása a UserGroupInformation.getCurrentUser() vonatkozásában
    • Javítsa ki az Avro-olvasó végtelen hurokhibáját a MAGIC bájtok olvasása közben.

  • 2020. október 13.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-32999][SQL] A Utils.getSimpleName használatával elkerülheti a hibásan formázott osztály nevét a TreeNode-ban
    • Kijavítottuk az érvénytelen XML-karaktereket tartalmazó listakönyvtárakat a FUSE-csatlakoztatásban
    • A FUSE-csatlakoztatás már nem használja a ListMultipartUploads szolgáltatást

  • 2020. szeptember 29.

    • [SPARK-28863][SQL] [WARMFIX] A Mároptimizált verzió bevezetése a V1FallbackWriters újraanalízisének megakadályozása érdekében
    • [SPARK-32635][SQL] Összecsukható propagálás javítása
    • Új konfiguráció spark.shuffle.io.decoder.consolidateThresholdhozzáadása . Állítsa be a konfigurációs értéket úgy, hogy Long.MAX_VALUE kihagyja a netty FrameBuffers összesítését, ami megakadályozza java.lang.IndexOutOfBoundsException a sarokeseteket.

  • 2020. szeptember 24.

    • [SPARK-32764][SQL] A -0.0 értéknek 0,0-nak kell lennie
    • [SPARK-32753][SQL] Csak címkék másolása a csomópontra címkék nélkül a tervek átalakításakor
    • [SPARK-32659][SQL] A beszúrt dinamikus partíciók nem atomi típusú metszésével kapcsolatos adatprobléma megoldása
    • Az operációs rendszer biztonsági frissítései.

  • 2020. szeptember 8., kedd

    • Létrehoztunk egy új paramétert az Azure Synapse Analyticshez. maxbinlength Ez a paraméter a BinaryType oszlopok oszlophosszának szabályozására szolgál, és lefordítva.VARBINARY(maxbinlength) A beállítás a következővel .option("maxbinlength", n)állítható be: 0 < n <= 8000.

  • 2020. augusztus 25.

    • [SPARK-32159][SQL] A két és a Aggregator[Array[_], _, _]UnresolvedMapObjects
    • [SPARK-32559][SQL] Kijavítottuk a vágási logikát, UTF8String.toInt/toLongamely nem megfelelően kezelte az ASCII-karaktereket
    • [SPARK-32543][R] Használat eltávolítása arrow::as_tibble a SparkR-ben
    • [SPARK-32091][CORE] Időtúllépési hiba figyelmen kívül hagyása az elveszett végrehajtó blokkainak eltávolításakor
    • Kijavítottunk egy hibát, amely az Azure Synapse-összekötőt érintette MSI-hitelesítő adatokkal
    • Kijavítottuk a nem egyértelmű attribútumfeloldást az önegyesítés során

  • 2020. augusztus 18.

    • [SPARK-32594][SQL] A Hive-táblákba beszúrt dátumok szerializálásának javítása
    • [SPARK-32237][SQL] Tipp feloldása a CTE-ben
    • [SPARK-32431][SQL] Ismétlődő beágyazott oszlopok ellenőrzése beépített adatforrásokból származó olvasásban
    • [SPARK-32467][Felhasználói felület] Az URL-cím kétszeri kódolásának elkerülése https-átirányításon
    • Kijavítottunk egy versenyfeltételt az AQS-összekötőben a Trigger.Once használatakor.

  • 2020. augusztus 11.

    • [SPARK-32280][SPARK-32372][SQL] A ResolveReferences.dedupRight csak az ütközési terv elődcsomópontjaihoz tartozó attribútumokat írja át
    • [SPARK-32234][SQL] A Spark SQL-parancsok sikertelenek az ORC-táblák kiválasztásakor
    • Most már használhatja az LDA transzformációs függvényt egy átengedhető fürtön.

Databricks Runtime 6.6 (EoS)

Lásd: Databricks Runtime 6.6 (EoS).

  • 2020. december 1., kedd

    • [SPARK-33260][SQL] A SortExec helytelen eredményeinek javítása, ha a sortOrder stream
    • [SPARK-32635][SQL] Összecsukható propagálás javítása

  • 2020. november 3.

    • Frissített Java-verzió az 1.8.0_252-es verzióról 1.8.0_265-re.
    • Az ABFS és a WASB zárolásának javítása a UserGroupInformation.getCurrentUser() vonatkozásában
    • Javítsa ki az Avro-olvasó végtelen hurokhibáját a MAGIC bájtok olvasása közben.

  • 2020. október 13.

    • Az operációs rendszer biztonsági frissítései.
    • [SPARK-32999][SQL] [2.4] Használja az Utils.getSimpleName parancsot, hogy elkerülje a hibásan formázott osztálynevet a TreeNode-ban
    • Kijavítottuk az érvénytelen XML-karaktereket tartalmazó listakönyvtárakat a FUSE-csatlakoztatásban
    • A FUSE-csatlakoztatás már nem használja a ListMultipartUploads szolgáltatást

  • 2020. szeptember 24.

    • Az operációs rendszer biztonsági frissítései.

  • 2020. szeptember 8., kedd

    • Létrehoztunk egy új paramétert az Azure Synapse Analyticshez. maxbinlength Ez a paraméter a BinaryType oszlopok oszlophosszának szabályozására szolgál, és lefordítva.VARBINARY(maxbinlength) A beállítás a következővel .option("maxbinlength", n)állítható be: 0 < n <= 8000.
    • Frissítse az Azure Storage SDK-t a 8.6.4-re, és engedélyezze a TCP életben tartását a WASB-illesztőprogram által létesített kapcsolatokon

  • 2020. augusztus 25.

    • Kijavítottuk a nem egyértelmű attribútumfeloldást az önegyesítés során

  • 2020. augusztus 18.

    • [SPARK-32431][SQL] Ismétlődő beágyazott oszlopok ellenőrzése beépített adatforrásokból származó olvasásban
    • Kijavítottunk egy versenyfeltételt az AQS-összekötőben a Trigger.Once használatakor.

  • 2020. augusztus 11.

    • [SPARK-28676][CORE] A ContextCleaner túlzott naplózásának elkerülése
    • [SPARK-31967][Felhasználói felület] Visszalépés a vis.js 4.21.0-ra a feladatok felhasználói felületének betöltési idejének regressziója javításához

  • 2020. augusztus 3.

    • Most már használhatja az LDA transzformációs függvényt egy átengedhető fürtön.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 6.5 (EoS)

Lásd: Databricks Runtime 6.5 (EoS).

  • 2020. szeptember 24.
    • Kijavítottunk egy korábbi korlátozást, amely miatt a standard fürtre vonatkozó átengedés továbbra is korlátozta a fájlrendszer-implementáció felhasználó általi használatát. Mostantól a felhasználók korlátozás nélkül hozzáférhetnek a helyi fájlrendszerekhez.
    • Az operációs rendszer biztonsági frissítései.
  • 2020. szeptember 8.
    • Létrehoztunk egy új paramétert az Azure Synapse Analyticshez. maxbinlength Ez a paraméter a BinaryType oszlopok oszlophosszának szabályozására szolgál, és lefordítva.VARBINARY(maxbinlength) A beállítás a következővel .option("maxbinlength", n)állítható be: 0 < n <= 8000.
    • Frissítse az Azure Storage SDK-t a 8.6.4-re, és engedélyezze a TCP életben tartását a WASB-illesztőprogram által létesített kapcsolatokon
  • 2020. augusztus 25.
    • Kijavítottuk a nem egyértelmű attribútumfeloldást az önegyesítés során
  • 2020. augusztus 18.
    • [SPARK-32431][SQL] Ismétlődő beágyazott oszlopok ellenőrzése beépített adatforrásokból származó olvasásban
    • Kijavítottunk egy versenyfeltételt az AQS-összekötőben a Trigger.Once használatakor.
  • 2020. augusztus 11.
    • [SPARK-28676][CORE] A ContextCleaner túlzott naplózásának elkerülése
  • 2020. augusztus 3.
    • Most már használhatja az LDA transzformációs függvényt egy átengedhető fürtön.
    • Az operációs rendszer biztonsági frissítései.
  • 2020. július 7.
    • Frissített Java-verzió az 1.8.0_242-es verzióról 1.8.0_252-re.
  • 2020. április 21.
    • [SPARK-31312][SQL] Gyorsítótárosztálypéldány a HiveFunctionWrapper UDF-példányához

Databricks Runtime 6.3 (EoS)

Lásd: Databricks Runtime 6.3 (EoS).

  • 2020. július 7.
    • Frissített Java-verzió az 1.8.0_232-es verzióról 1.8.0_252-re.
  • 2020. április 21.
    • [SPARK-31312][SQL] Gyorsítótárosztálypéldány a HiveFunctionWrapper UDF-példányához
  • 2020. április 7.
    • A Pandas udf nem a PyArrow 0.15.0-s és újabb verzióival kapcsolatos probléma megoldásához hozzáadtunk egy környezeti változót (ARROW_PRE_0_15_IPC_FORMAT=1) a PyArrow ezen verzióinak támogatásához. Tekintse meg a [SPARK-29367] utasításait.
  • 2020. március 10.
    • A Databricks Runtime-ban található Snowflake-összekötő (spark-snowflake_2.11) a 2.5.9-es verzióra frissül. snowflake-jdbc verziószáma a 3.12.0-s verzióra frissül.
  • 2020. február 18.
    • Az ADLS Gen2 hitelesítő adatainak átengedése teljesítménycsökkenést okoz a szál helyi kezelésének helytelen kezelése miatt, ha az ADLS-ügyfél előkezelése engedélyezve van. Ez a kiadás letiltja az ADLS Gen2 előkezelését, ha a hitelesítő adatok átengedése engedélyezve van, amíg nincs megfelelő javítás.
  • 2020. február 11.
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 kivételt kell eredményeznie
    • [SPARK-30447][SQL] Állandó propagálás nullbilitási problémája
    • [SPARK-28152][SQL] Régi conf hozzáadása régi MsSqlServerDialect numerikus leképezéshez
    • Engedélyezte a felülírás függvényt, hogy az MLModels kibővítse az MLWriter függvényt.

Databricks Runtime 6.2 (EoS)

Lásd: Databricks Runtime 6.2 (EoS).

  • 2020. április 21.
    • [SPARK-31312][SQL] Gyorsítótárosztálypéldány a HiveFunctionWrapper UDF-példányához
  • 2020. április 7.
    • A Pandas udf nem a PyArrow 0.15.0-s és újabb verzióival kapcsolatos probléma megoldásához hozzáadtunk egy környezeti változót (ARROW_PRE_0_15_IPC_FORMAT=1) a PyArrow ezen verzióinak támogatásához. Tekintse meg a [SPARK-29367] utasításait.
  • 2020. március 25.
    • A feladat kimenetére, például az stdout számára kibocsátott naplókimenetre 20 MB-os méretkorlát vonatkozik. Ha a teljes kimenet nagyobb méretű, a futtatás megszakad, és sikertelenként lesz megjelölve. Ennek a korlátnak a elkerülése érdekében megakadályozhatja, hogy az stdout visszakerüljön az illesztőprogramból a spark.databricks.driver.disableScalaOutput Spark konfigurációjának truebeállításával. Alapértelmezés szerint a jelző értéke .false A jelölő vezérli a Scala JAR-feladatok és Scala-jegyzetfüzetek cellakimenetét. Ha a jelző engedélyezve van, a Spark nem ad vissza feladatvégrehajtási eredményeket az ügyfélnek. A jelölő nincs hatással a fürt naplófájljaiban írt adatokra. Ennek a jelzőnek a beállítása csak a JAR-feladatokhoz használt automatizált fürtök esetében ajánlott, mert az letiltja a jegyzetfüzetek eredményeit.
  • 2020. március 10.
    • A Databricks Runtime-ban található Snowflake-összekötő (spark-snowflake_2.11) a 2.5.9-es verzióra frissül. snowflake-jdbc verziószáma a 3.12.0-s verzióra frissül.
  • 2020. február 18.
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 kivételt kell eredményeznie
    • Az ADLS Gen2 hitelesítő adatainak átengedése teljesítménycsökkenést okoz a szál helyi kezelésének helytelen kezelése miatt, ha az ADLS-ügyfél előkezelése engedélyezve van. Ez a kiadás letiltja az ADLS Gen2 előkezelését, ha a hitelesítő adatok átengedése engedélyezve van, amíg nincs megfelelő javítás.
  • 2020. január 28.
    • Az engedélyezett gépi tanulási modellírók felülírási függvénye a hitelesítő adatok átengedéséhez engedélyezett fürtök esetében, így a modellmentés felülírási módot használhat a hitelesítő adatok átengedéses fürtökön.
    • [SPARK-30447][SQL] Állandó propagálás nullabilitási problémája.
    • [SPARK-28152][SQL] Adjon hozzá egy örökölt conf-t a régi MsSqlServerDialect numerikus leképezéshez.
  • 2020. január 14.
    • Frissített Java-verzió az 1.8.0_222-ről az 1.8.0_232-es verzióra.
  • 2019. december 10.
    • [SPARK-29904][SQL] Időbélyegek elemzése mikroszekundumos pontosságban JSON/CSV-adatforrások szerint.

Databricks Runtime 6.1 (EoS)

Lásd: Databricks Runtime 6.1 (EoS).

  • 2020. április 7.
    • A Pandas udf nem a PyArrow 0.15.0-s és újabb verzióival kapcsolatos probléma megoldásához hozzáadtunk egy környezeti változót (ARROW_PRE_0_15_IPC_FORMAT=1) a PyArrow ezen verzióinak támogatásához. Tekintse meg a [SPARK-29367] utasításait.
  • 2020. március 25.
    • A feladat kimenetére, például az stdout számára kibocsátott naplókimenetre 20 MB-os méretkorlát vonatkozik. Ha a teljes kimenet nagyobb méretű, a futtatás megszakad, és sikertelenként lesz megjelölve. Ennek a korlátnak a elkerülése érdekében megakadályozhatja, hogy az stdout visszakerüljön az illesztőprogramból a spark.databricks.driver.disableScalaOutput Spark konfigurációjának truebeállításával. Alapértelmezés szerint a jelző értéke .false A jelölő vezérli a Scala JAR-feladatok és Scala-jegyzetfüzetek cellakimenetét. Ha a jelző engedélyezve van, a Spark nem ad vissza feladatvégrehajtási eredményeket az ügyfélnek. A jelölő nincs hatással a fürt naplófájljaiban írt adatokra. Ennek a jelzőnek a beállítása csak a JAR-feladatokhoz használt automatizált fürtök esetében ajánlott, mert az letiltja a jegyzetfüzetek eredményeit.
  • 2020. március 10.
    • A Databricks Runtime-ban található Snowflake-összekötő (spark-snowflake_2.11) a 2.5.9-es verzióra frissül. snowflake-jdbc verziószáma a 3.12.0-s verzióra frissül.
  • 2020. február 18.
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 kivételt kell eredményeznie
    • Az ADLS Gen2 hitelesítő adatainak átengedése teljesítménycsökkenést okoz a szál helyi kezelésének helytelen kezelése miatt, ha az ADLS-ügyfél előkezelése engedélyezve van. Ez a kiadás letiltja az ADLS Gen2 előkezelését, ha a hitelesítő adatok átengedése engedélyezve van, amíg nincs megfelelő javítás.
  • 2020. január 28.
    • [SPARK-30447][SQL] Állandó propagálás nullabilitási problémája.
    • [SPARK-28152][SQL] Adjon hozzá egy örökölt conf-t a régi MsSqlServerDialect numerikus leképezéshez.
  • 2020. január 14.
    • Frissített Java-verzió az 1.8.0_222-ről az 1.8.0_232-es verzióra.
  • 2019. november 7.
  • 2019. november 5.
    • Kijavítottunk egy hibát a DBFS FUSE-ban a csatlakozási pontok elérési útjának // kezeléséhez.
    • [SPARK-29081] A SzerializationUtils.clone meghívásainak lecserélése a tulajdonságokon gyorsabb implementációra
    • [SPARK-29244][CORE] A szabad oldal újbóli felszabadításának megakadályozása a BytesToBytesMap-ban
    • (6.1 ML) Az MKL 2019.4-es verziója véletlenül lett telepítve. Az Anaconda Distribution 2019.03-nak megfelelő MKL 2019.3-ra csökkentjük.

Databricks Runtime 6.0 (EoS)

Lásd: Databricks Runtime 6.0 (EoS).

  • 2020. március 25.
    • A feladat kimenetére, például az stdout számára kibocsátott naplókimenetre 20 MB-os méretkorlát vonatkozik. Ha a teljes kimenet nagyobb méretű, a futtatás megszakad, és sikertelenként lesz megjelölve. Ennek a korlátnak a elkerülése érdekében megakadályozhatja, hogy az stdout visszakerüljön az illesztőprogramból a spark.databricks.driver.disableScalaOutput Spark konfigurációjának truebeállításával. Alapértelmezés szerint a jelző értéke .false A jelölő vezérli a Scala JAR-feladatok és Scala-jegyzetfüzetek cellakimenetét. Ha a jelző engedélyezve van, a Spark nem ad vissza feladatvégrehajtási eredményeket az ügyfélnek. A jelölő nincs hatással a fürt naplófájljaiban írt adatokra. Ennek a jelzőnek a beállítása csak a JAR-feladatokhoz használt automatizált fürtök esetében ajánlott, mert az letiltja a jegyzetfüzetek eredményeit.
  • 2020. február 18.
    • Az ADLS Gen2 hitelesítő adatainak átengedése teljesítménycsökkenést okoz a szál helyi kezelésének helytelen kezelése miatt, ha az ADLS-ügyfél előkezelése engedélyezve van. Ez a kiadás letiltja az ADLS Gen2 előkezelését, ha a hitelesítő adatok átengedése engedélyezve van, amíg nincs megfelelő javítás.
  • 2020. február 11.
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 kivételt kell eredményeznie
  • 2020. január 28.
    • [SPARK-30447][SQL] Állandó propagálás nullabilitási problémája.
    • [SPARK-28152][SQL] Adjon hozzá egy örökölt conf-t a régi MsSqlServerDialect numerikus leképezéshez.
  • 2020. január 14.
    • Frissített Java-verzió az 1.8.0_222-ről az 1.8.0_232-es verzióra.
  • 2019. november 19.
    • [SPARK-29743] Az [SQL] mintának igaz értékre kell állítania a needCopyResult értéket, ha a gyermek needCopyResult értéke igaz
  • 2019. november 5.
    • dbutils.tensorboard.start() Mostantól támogatja a TensorBoard 2.0-t (ha manuálisan van telepítve).
    • Kijavítottunk egy hibát a DBFS FUSE-ban a csatlakozási pontok elérési útjának // kezeléséhez.
    • [SPARK-29081]A SzerializationUtils.clone meghívásainak lecserélése a tulajdonságokon gyorsabb implementációra
  • 2019. október 23.
    • [SPARK-29244][CORE] A szabad oldal újbóli felszabadításának megakadályozása a BytesToBytesMap-ban
  • 2019. október 8.
    • Kiszolgálóoldali módosítások, amelyek lehetővé teszik a Simba Apache Spark ODBC-illesztő újracsatlakozását és folytatását a kapcsolati hiba után az eredmények lekérése során (a Simba Apache Spark ODBC-illesztőprogram 2.6.10-es verziójára van szükség).
    • Kijavítottunk egy hibát, amely hatással volt a parancs tábla ACL-kompatibilis fürtökkel való használatára Optimize .
    • Kijavítottunk egy hibát, amely pyspark.ml miatt a kódtárak meghiúsultak, mert a Scala UDF tiltott hibát észlelt a tábla ACL-jén és a hitelesítő adatok átengedésében engedélyezett fürtökön.
    • Engedélyezett SerDe/SerDeUtil metódusok hitelesítő adatok átengedéséhez.
    • Kijavítottuk a NullPointerException hibát a WASB-ügyfél hibakódjának ellenőrzésekor.
    • Kijavítottuk azt a hibát, amely miatt a felhasználói hitelesítő adatok nem lettek továbbítva az általuk dbutils.notebook.run()létrehozott feladatokra.

Databricks Runtime 5.4 ML (EoS)

Lásd: Databricks Runtime 5.4 for ML (EoS).

  • 2019. június 18.
    • Az MLflow aktív futtatások jobb kezelése a Hyperopt-integrációban
    • Továbbfejlesztett üzenetek a Hyperoptban
    • Frissített csomag Marchkdown 3.1-ről 3.1.1-re

Databricks Runtime 5.4 (EoS)

Lásd: Databricks Runtime 5.4 (EoS).

  • 2019. november 19.
    • [SPARK-29743] Az [SQL] mintának igaz értékre kell állítania a needCopyResult értéket, ha a gyermek needCopyResult értéke igaz
  • 2019. október 8.
    • Kiszolgálóoldali módosítások, amelyek lehetővé teszik, hogy a Simba Apache Spark ODBC-illesztő újracsatlakozhasson, és az eredmények lekérése során kapcsolathiba után folytassa a műveletet (a Simba Apache Spark ODBC-illesztőprogram 2.6.10-es verzióra való frissítését igényli).
    • Kijavítottuk a NullPointerException hibát a WASB-ügyfél hibakódjának ellenőrzésekor.
  • 2019. szeptember 10.
    • Szálbiztos iterátor hozzáadása a BytesToBytesMap-hoz
    • Kijavítottunk egy hibát, amely bizonyos globális összesítési lekérdezéseket érintett.
    • [SPARK-27330][SS] támogatási feladat megszakítása a foreach-íróban
    • [SPARK-28642]Hitelesítő adatok elrejtése a CREATE TABLE megjelenítése alkalmazásban
    • [SPARK-28699][SQL] A ShuffleExchangeExec radix rendezési funkciójának letiltása újraparticionálási esetben
    • [SPARK-28699][CORE] A határozatlan fázis megszakításához használt sarokeset javítása
  • 2019. augusztus 27.
    • Kijavítottunk egy bizonyos transform kifejezéseket érintő hibát
  • 2019. augusztus 13.
    • A deltastreamelési forrásnak ellenőriznie kell egy tábla legújabb protokollját
    • [SPARK-28489][SS] Kijavítottuk azt a hibát, amely miatt a KafkaOffsetRangeCalculator.getRanges elvetheti az eltolódásokat
  • 2019. július 30.
    • [SPARK-28015][SQL] Ellenőrizze, hogy a stringToDate() az yyyy és az y-[m]m formátumok teljes bemenetét használja-e
    • [SPARK-28308][CORE] A CalendarInterval sub-second részt az elemzés előtt ki kell párnázni
    • [SPARK-27485]A EnsureRequirements.reordernek elegánsan kell kezelnie az ismétlődő kifejezéseket
  • 2019. július 2.
    • Frissített snappy-java 1.1.7.1-ről 1.1.7.3-ra.
  • 2019. június 18.
    • Az MLflow aktív futtatások jobb kezelése az MLlib-integrációban
    • Továbbfejlesztett Databricks Advisor-üzenet a lemez gyorsítótárazásával kapcsolatban
    • Kijavítottunk egy hibát, amely a magasabb rendű függvények használatát érinti
    • Kijavítottunk egy hibát, amely hatással van a Delta metaadat-lekérdezéseire

Databricks Runtime 5.3 (EoS)

Lásd: Databricks Runtime 5.3 (EoS).

  • 2019. november 7.
    • [SPARK-29743]Az [SQL] mintának igaz értékre kell állítania a needCopyResult értéket, ha a gyermek needCopyResult értéke igaz
  • 2019. október 8.
    • Kiszolgálóoldali módosítások, amelyek lehetővé teszik, hogy a Simba Apache Spark ODBC-illesztő újracsatlakozhasson, és az eredmények lekérése során kapcsolathiba után folytassa a műveletet (a Simba Apache Spark ODBC-illesztőprogram 2.6.10-es verzióra való frissítését igényli).
    • Kijavítottuk a NullPointerException hibát a WASB-ügyfél hibakódjának ellenőrzésekor.
  • 2019. szeptember 10.
    • Szálbiztos iterátor hozzáadása a BytesToBytesMap-hoz
    • Kijavítottunk egy hibát, amely bizonyos globális összesítési lekérdezéseket érintett.
    • [SPARK-27330][SS] támogatási feladat megszakítása a foreach-íróban
    • [SPARK-28642]Hitelesítő adatok elrejtése a CREATE TABLE megjelenítése alkalmazásban
    • [SPARK-28699][SQL] A ShuffleExchangeExec radix rendezési funkciójának letiltása újraparticionálási esetben
    • [SPARK-28699][CORE] A határozatlan fázis megszakításához használt sarokeset javítása
  • 2019. augusztus 27.
    • Kijavítottunk egy bizonyos transform kifejezéseket érintő hibát
  • 2019. augusztus 13.
    • A deltastreamelési forrásnak ellenőriznie kell egy tábla legújabb protokollját
    • [SPARK-28489][SS] Kijavítottuk azt a hibát, amely miatt a KafkaOffsetRangeCalculator.getRanges elvetheti az eltolódásokat
  • 2019. július 30.
    • [SPARK-28015][SQL] Ellenőrizze, hogy a stringToDate() az yyyy és az y-[m]m formátumok teljes bemenetét használja-e
    • [SPARK-28308][CORE] A CalendarInterval sub-second részt az elemzés előtt ki kell párnázni
    • [SPARK-27485]A EnsureRequirements.reordernek elegánsan kell kezelnie az ismétlődő kifejezéseket
  • 2019. június 18.
    • Továbbfejlesztett Databricks Advisor-üzenet a lemez gyorsítótárazásával kapcsolatban
    • Kijavítottunk egy hibát, amely a magasabb rendű függvények használatát érinti
    • Kijavítottunk egy hibát, amely hatással van a Delta metaadat-lekérdezéseire
  • 2019. május 28.
    • A Delta stabilitásának javítása
    • Az IOExceptions tolerálása Delta LAST_CHECKPOINT fájl olvasásakor
      • Helyreállítás hozzáadva a sikertelen kódtár-telepítéshez
  • 2019. május 7.
    • Port HADOOP-15778 (ABFS: Az ügyféloldali szabályozás javítása olvasáshoz) az Azure Data Lake Storage Gen2-összekötőre
    • Port HADOOP-16040 (ABFS: Hibajavítás a tolerateOobAppends konfigurációjához) az Azure Data Lake Storage Gen2-összekötőhöz
    • Kijavítottunk egy, a tábla ACL-eket érintő hibát
    • Kijavítottunk egy versenyfeltételt a Delta-napló ellenőrzőösszegfájljának betöltésekor
    • Kijavítottuk a Delta ütközésészlelési logikáját, hogy a "beszúrás + felülírás" nem azonosítható tiszta "hozzáfűzési" műveletként
    • Győződjön meg arról, hogy a lemez gyorsítótárazása nincs letiltva, ha a tábla ACL-ek engedélyezve vannak
    • [SPARK-27494] [SS] A null kulcsok/értékek nem működnek a Kafka 2-ben
    • [SPARK-27446] [R] Meglévő spark conf használata, ha elérhető.
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] A Spark-rendszerkép-adatforrás meghiúsul, ha illegális képeket tapasztal
    • [SPARK-27160] [SQL] Decimális típus javítása orc szűrők létrehozásakor
    • [SPARK-27338] [CORE] Holtpont javítása a UnsafeExternalSorter és a TaskMemoryManager között

Databricks Runtime 5.2 (EoS)

Lásd: Databricks Runtime 5.2 (EoS).

  • 2019. szeptember 10.
    • Szálbiztos iterátor hozzáadása a BytesToBytesMap-hoz
    • Kijavítottunk egy hibát, amely bizonyos globális összesítési lekérdezéseket érintett.
    • [SPARK-27330][SS] támogatási feladat megszakítása a foreach-íróban
    • [SPARK-28642]Hitelesítő adatok elrejtése a CREATE TABLE megjelenítése alkalmazásban
    • [SPARK-28699][SQL] A ShuffleExchangeExec radix rendezési funkciójának letiltása újraparticionálási esetben
    • [SPARK-28699][CORE] A határozatlan fázis megszakításához használt sarokeset javítása
  • 2019. augusztus 27.
    • Kijavítottunk egy bizonyos transform kifejezéseket érintő hibát
  • 2019. augusztus 13.
    • A deltastreamelési forrásnak ellenőriznie kell egy tábla legújabb protokollját
    • [SPARK-28489][SS] Kijavítottuk azt a hibát, amely miatt a KafkaOffsetRangeCalculator.getRanges elvetheti az eltolódásokat
  • 2019. július 30.
    • [SPARK-28015][SQL] Ellenőrizze, hogy a stringToDate() az yyyy és az y-[m]m formátumok teljes bemenetét használja-e
    • [SPARK-28308][CORE] A CalendarInterval sub-second részt az elemzés előtt ki kell párnázni
    • [SPARK-27485]A EnsureRequirements.reordernek elegánsan kell kezelnie az ismétlődő kifejezéseket
  • 2019. július 2.
    • Az IOExceptions tolerálása Delta LAST_CHECKPOINT fájl olvasásakor
  • 2019. június 18.
    • Továbbfejlesztett Databricks Advisor-üzenet a lemezgyorsítótár használatával kapcsolatban
    • Kijavítottunk egy hibát, amely a magasabb rendű függvények használatát érinti
    • Kijavítottunk egy hibát, amely hatással van a Delta metaadat-lekérdezéseire
  • 2019. május 28.
    • Helyreállítás hozzáadva a sikertelen kódtár-telepítéshez
  • 2019. május 7.
    • Port HADOOP-15778 (ABFS: Az ügyféloldali szabályozás javítása olvasáshoz) az Azure Data Lake Storage Gen2-összekötőre
    • Port HADOOP-16040 (ABFS: Hibajavítás a tolerateOobAppends konfigurációjához) az Azure Data Lake Storage Gen2-összekötőhöz
    • Kijavítottunk egy versenyfeltételt a Delta-napló ellenőrzőösszegfájljának betöltésekor
    • Kijavítottuk a Delta ütközésészlelési logikáját, hogy a "beszúrás + felülírás" nem azonosítható tiszta "hozzáfűzési" műveletként
    • Győződjön meg arról, hogy a lemez gyorsítótárazása nincs letiltva, ha a tábla ACL-ek engedélyezve vannak
    • [SPARK-27494] [SS] A null kulcsok/értékek nem működnek a Kafka 2-ben
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] A Spark-rendszerkép-adatforrás meghiúsul, ha illegális képeket tapasztal
    • [SPARK-27160] [SQL] Decimális típus javítása orc szűrők létrehozásakor
    • [SPARK-27338] [CORE] Holtpont javítása a UnsafeExternalSorter és a TaskMemoryManager között
  • 2019. március 26.
    • Ne ágyazza be a platformfüggő eltolásokat szó szerint a teljes fázisban létrehozott kódba
    • [SPARK-26665][CORE] Kijavítottunk egy hibát, amely miatt a BlockTransferService.fetchBlockSync örökre lefagyhat.
    • [SPARK-27134][SQL] array_distinct függvény nem működik megfelelően tömbtömböt tartalmazó oszlopokkal.
    • [SPARK-24669][SQL] A TÁBLÁK érvénytelenítése DROP DATABASE CASCADE esetén.
    • [SPARK-26572][SQL] az összesített kodekgens eredmény kiértékelését javította.
    • Kijavítottunk egy hibát, amely bizonyos PythonUDF-eket érintett.
  • 2019. február 26.
    • [SPARK-26864][SQL] Előfordulhat, hogy a lekérdezés helytelen eredményt ad vissza, ha a Python udf bal oldali illesztés feltételként van használva.
    • [SPARK-26887][PYTHON] Hozzon létre közvetlenül datetime.date értéket a datetime64 helyett köztes adatként.
    • Kijavítottunk egy, a JDBC/ODBC-kiszolgálót érintő hibát.
    • Kijavítottunk egy, a PySparkot érintő hibát.
    • Zárja ki a rejtett fájlokat a HadoopRDD létrehozásakor.
    • Kijavítottunk egy hibát a Delta-ban, amely szerializálási problémákat okozott.
  • 2019. február 12.
    • Kijavítottunk egy hibát, amely a Delta azure ADLS Gen2 csatlakoztatási pontokkal való használatát érinti.
    • Kijavítottunk egy hibát, amely miatt a Spark alacsony szintű hálózati protokollja megszakadt, amikor nagy méretű RPC-hibaüzeneteket küld, és engedélyezve van a titkosítás (ha spark.network.crypto.enabled igaz értékre van állítva).
  • 2019. január 30.
    • Kijavítottuk a StackOverflowErrort, amikor ferde illesztési tippet helyezünk a gyorsítótárazott relációra.
    • Kijavítottuk az SQL Cache gyorsítótárazott RDD-jének és fizikai tervének inkonzisztenciaét, ami helytelen eredményt eredményezett.
    • [SPARK-26706][SQL] A ByteType javítása illegalNumericPrecedence .
    • [SPARK-26709][SQL] Az OptimizeMetadataOnlyQuery nem kezeli megfelelően az üres rekordokat.
    • A CSV-/JSON-adatforrásoknak kerülnie kell az elérési utakat a séma következtetésekor.
    • Rögzített kényszerkövetkeztetés az Ablak operátoron.
    • Kijavítottunk egy hibát, amely hatással volt a tojástárak telepítésére olyan fürtök esetében, amelyeknél engedélyezve van a tábla ACL-je.

Databricks Runtime 5.1 (EoS)

Lásd: Databricks Runtime 5.1 (EoS).

  • 2019. augusztus 13.
    • A deltastreamelési forrásnak ellenőriznie kell egy tábla legújabb protokollját
    • [SPARK-28489][SS] Kijavítottuk azt a hibát, amely miatt a KafkaOffsetRangeCalculator.getRanges elvetheti az eltolódásokat
  • 2019. július 30.
    • [SPARK-28015][SQL] Ellenőrizze, hogy a stringToDate() az yyyy és az y-[m]m formátumok teljes bemenetét használja-e
    • [SPARK-28308][CORE] A CalendarInterval sub-second részt az elemzés előtt ki kell párnázni
    • [SPARK-27485]A EnsureRequirements.reordernek elegánsan kell kezelnie az ismétlődő kifejezéseket
  • 2019. július 2.
    • Az IOExceptions tolerálása Delta LAST_CHECKPOINT fájl olvasásakor
  • 2019. június 18.
    • Kijavítottunk egy hibát, amely a magasabb rendű függvények használatát érinti
    • Kijavítottunk egy hibát, amely hatással van a Delta metaadat-lekérdezéseire
  • 2019. május 28.
    • Helyreállítás hozzáadva a sikertelen kódtár-telepítéshez
  • 2019. május 7.
    • Port HADOOP-15778 (ABFS: Az ügyféloldali szabályozás javítása olvasáshoz) az Azure Data Lake Storage Gen2-összekötőre
    • Port HADOOP-16040 (ABFS: Hibajavítás a tolerateOobAppends konfigurációjához) az Azure Data Lake Storage Gen2-összekötőhöz
    • Kijavítottunk egy versenyfeltételt a Delta-napló ellenőrzőösszegfájljának betöltésekor
    • Kijavítottuk a Delta ütközésészlelési logikáját, hogy a "beszúrás + felülírás" nem azonosítható tiszta "hozzáfűzési" műveletként
    • [SPARK-27494] [SS] A null kulcsok/értékek nem működnek a Kafka 2-ben
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] A Spark-rendszerkép-adatforrás meghiúsul, ha illegális képeket tapasztal
    • [SPARK-27160] [SQL] Decimális típus javítása orc szűrők létrehozásakor
    • [SPARK-27338] [CORE] Holtpont javítása a UnsafeExternalSorter és a TaskMemoryManager között
  • 2019. március 26.
    • Ne ágyazza be a platformfüggő eltolásokat szó szerint a teljes fázisban létrehozott kódba
    • Kijavítottunk egy hibát, amely bizonyos PythonUDF-eket érintett.
  • 2019. február 26.
    • [SPARK-26864][SQL] Előfordulhat, hogy a lekérdezés helytelen eredményt ad vissza, ha a Python udf bal oldali illesztés feltételként van használva.
    • Kijavítottunk egy, a JDBC/ODBC-kiszolgálót érintő hibát.
    • Zárja ki a rejtett fájlokat a HadoopRDD létrehozásakor.
  • 2019. február 12.
    • Kijavítottunk egy hibát, amely hatással volt a tojástárak telepítésére olyan fürtök esetében, amelyeknél engedélyezve van a tábla ACL-je.
    • Kijavítottuk az SQL Cache gyorsítótárazott RDD-jének és fizikai tervének inkonzisztenciaét, ami helytelen eredményt eredményezett.
    • [SPARK-26706][SQL] A ByteType javítása illegalNumericPrecedence .
    • [SPARK-26709][SQL] Az OptimizeMetadataOnlyQuery nem kezeli megfelelően az üres rekordokat.
    • Rögzített kényszerkövetkeztetés az Ablak operátoron.
    • Kijavítottunk egy hibát, amely miatt a Spark alacsony szintű hálózati protokollja megszakadt, amikor nagy méretű RPC-hibaüzeneteket küld, és engedélyezve van a titkosítás (ha spark.network.crypto.enabled igaz értékre van állítva).
  • 2019. január 30.
    • Kijavítottunk egy hibát, amely miatt df.rdd.count() az UDT helytelen választ adott vissza bizonyos esetekben.
    • Kijavítottunk egy hibát, amely a kerekesházak telepítését érintette.
    • [SPARK-26267]Próbálkozzon újra, ha helytelen eltolásokat észlel a Kafkától.
    • Kijavítottunk egy hibát, amely több streamforrást is érint egy streamelési lekérdezésben.
    • Kijavítottuk a StackOverflowErrort, amikor ferde illesztési tippet helyezünk a gyorsítótárazott relációra.
    • Kijavítottuk az SQL Cache gyorsítótárazott RDD-jének és fizikai tervének inkonzisztenciaét, ami helytelen eredményt eredményezett.
  • 2019. január 8.
    • Kijavítottuk a hibát okozó hibát org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]az illesztés átrendezése nem módosíthatja a kimeneti attribútumok sorrendjét.
    • [SPARK-26366]A ReplaceExceptWithFilter függvénynek a NULL értéket hamisnak kell tekintenie.
    • Stabilitásjavítás a Delta Lake-ben.
    • A Delta Lake engedélyezve van.
    • Kijavítottuk azt a hibát, amely miatt az Azure Data Lake Storage Gen2-hozzáférés meghiúsult, amikor a Microsoft Entra ID Hitelesítő adatok átadása engedélyezve lett az Azure Data Lake Storage Gen1-ben.
    • A Databricks IO Cache mostantól minden tarifacsomaghoz engedélyezve van az Ls sorozatú feldolgozópéldány-típusok esetében.

Databricks Runtime 5.0 (EoS)

Lásd: Databricks Runtime 5.0 (EoS).

  • 2019. június 18.
    • Kijavítottunk egy hibát, amely a magasabb rendű függvények használatát érinti
  • 2019. május 7.
    • Kijavítottunk egy versenyfeltételt a Delta-napló ellenőrzőösszegfájljának betöltésekor
    • Kijavítottuk a Delta ütközésészlelési logikáját, hogy a "beszúrás + felülírás" nem azonosítható tiszta "hozzáfűzési" műveletként
    • [SPARK-27494] [SS] A null kulcsok/értékek nem működnek a Kafka 2-ben
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] A Spark-rendszerkép-adatforrás meghiúsul, ha illegális képeket tapasztal
    • [SPARK-27160] [SQL] Decimális típus javítása orc szűrők létrehozásakor
      • [SPARK-27338] [CORE] Holtpont javítása a UnsafeExternalSorter és a TaskMemoryManager között
  • 2019. március 26.
    • Ne ágyazza be a platformfüggő eltolásokat szó szerint a teljes fázisban létrehozott kódba
    • Kijavítottunk egy hibát, amely bizonyos PythonUDF-eket érintett.
  • 2019. március 12.
    • [SPARK-26864][SQL] Előfordulhat, hogy a lekérdezés helytelen eredményt ad vissza, ha a Python udf bal oldali illesztés feltételként van használva.
  • 2019. február 26.
    • Kijavítottunk egy, a JDBC/ODBC-kiszolgálót érintő hibát.
    • Zárja ki a rejtett fájlokat a HadoopRDD létrehozásakor.
  • 2019. február 12.
    • Kijavítottuk az SQL Cache gyorsítótárazott RDD-jének és fizikai tervének inkonzisztenciaét, ami helytelen eredményt eredményezett.
    • [SPARK-26706][SQL] A ByteType javítása illegalNumericPrecedence .
    • [SPARK-26709][SQL] Az OptimizeMetadataOnlyQuery nem kezeli megfelelően az üres rekordokat.
    • Rögzített kényszerkövetkeztetés az Ablak operátoron.
    • Kijavítottunk egy hibát, amely miatt a Spark alacsony szintű hálózati protokollja megszakadt, amikor nagy méretű RPC-hibaüzeneteket küld, és engedélyezve van a titkosítás (ha spark.network.crypto.enabled igaz értékre van állítva).
  • 2019. január 30.
    • Kijavítottunk egy hibát, amely miatt df.rdd.count() az UDT helytelen választ adott vissza bizonyos esetekben.
    • [SPARK-26267]Próbálkozzon újra, ha helytelen eltolásokat észlel a Kafkától.
    • Kijavítottunk egy hibát, amely több streamforrást is érint egy streamelési lekérdezésben.
    • Kijavítottuk a StackOverflowErrort, amikor ferde illesztési tippet helyezünk a gyorsítótárazott relációra.
    • Kijavítottuk az SQL Cache gyorsítótárazott RDD-jének és fizikai tervének inkonzisztenciaét, ami helytelen eredményt eredményezett.
  • 2019. január 8.
    • Kijavítottuk a hibát okozó hibát org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]az illesztés átrendezése nem módosíthatja a kimeneti attribútumok sorrendjét.
    • [SPARK-26366]A ReplaceExceptWithFilter függvénynek a NULL értéket hamisnak kell tekintenie.
    • Stabilitásjavítás a Delta Lake-ben.
    • A Delta Lake engedélyezve van.
    • A Databricks IO Cache mostantól minden tarifacsomaghoz engedélyezve van az Ls sorozatú feldolgozópéldány-típusok esetében.
  • 2018. december 18.
    • [SPARK-26293]Kivétel a Python UDF-nek az alqueryben való használatakor
    • Kijavítottunk egy hibát, amely bizonyos lekérdezéseket érintett a Csatlakozás és a Korlát használatával.
    • Újrakonfigurált hitelesítő adatok RDD-nevekből a Spark felhasználói felületén
  • 2018. december 6.
    • Kijavítottunk egy hibát, amely helytelen lekérdezési eredményt okozott az orderBy használata során, majd a groupBy és a group-by key lett a rendezési kulcs első része.
    • FrissítettÉk a Snowflake Connector for Sparkot a 2.4.9.2-spark_2.4_pre_release-ről 2.4.10-re.
    • Csak akkor hagyja figyelmen kívül a sérült fájlokat, ha spark.sql.files.ignoreCorruptFiles spark.sql.files.ignoreMissingFiles egy vagy több újrapróbálkozás engedélyezve van.
    • Kijavítottunk egy hibát, amely bizonyos önegyesítési lekérdezéseket érintett.
    • Kijavítottunk egy hibát a takarékos kiszolgálónál, ahol a munkamenetek időnként kiszivárognak a megszakításkor.
    • [SPARK-26307]Kijavítottuk a CTAS-t, amikor egy particionált táblát szúrt be a Hive SerDe használatával.
    • [SPARK-26147]Az illesztés feltételeként megadott Python UDF-ek akkor is meghiúsulnak, ha csak az illesztés egyik oldaláról származó oszlopokat használnak
    • [SPARK-26211]Javítsa ki az InSet bináris, valamint a szerkezet és a tömb null értékű.
    • [SPARK-26181]a hasMinMaxStats módszer ColumnStatsMap nem helyes.
    • Kijavítottunk egy hibát, amely a Python Wheels internet-hozzáférés nélküli környezetekben való telepítését érintette.
  • 2018. november 20.
    • Kijavítottunk egy hibát, amely miatt a jegyzetfüzet nem használható a streamelési lekérdezés megszakítása után.
    • Kijavítottunk egy hibát, amely bizonyos lekérdezéseket érintett az ablakfüggvények használatával.
    • Kijavítottunk egy hibát, amely több sémamódosítással érintett streamet a Delta-ból.
    • Kijavítottunk egy hibát, amely bizonyos aggregációs lekérdezéseket érintett bal oldali fél-/anti illesztésekkel.

Databricks Runtime 4.3 (EoS)

Lásd: Databricks Runtime 4.3 (EoS).

  • 2019. április 9., kedd

    • [SPARK-26665][CORE] Kijavítottunk egy hibát, amely miatt a BlockTransferService.fetchBlockSync örökre lefagyhat.
    • [SPARK-24669][SQL] A TÁBLÁK érvénytelenítése DROP DATABASE CASCADE esetén.

  • 2019. március 12.

    • Kijavítottunk egy, a kódgenerálást befolyásoló hibát.
    • Kijavítottunk egy, a Delta-t érintő hibát.

  • 2019. február 26.

    • Kijavítottunk egy, a JDBC/ODBC-kiszolgálót érintő hibát.

  • 2019. február 12.

    • [SPARK-26709][SQL] Az OptimizeMetadataOnlyQuery nem kezeli megfelelően az üres rekordokat.
    • A rejtett fájlok kizárása a HadoopRDD létrehozásakor.
    • Kijavítottuk az IN predikátum parquet szűrőátalakítását, ha az értéke üres.
    • Kijavítottunk egy hibát, amely miatt a Spark alacsony szintű hálózati protokollja megszakadt, amikor nagy méretű RPC-hibaüzeneteket küld, és engedélyezve van a titkosítás (ha spark.network.crypto.enabled igaz értékre van állítva).

  • 2019. január 30.

    • Kijavítottunk egy hibát, amely miatt df.rdd.count() az UDT helytelen választ adott vissza bizonyos esetekben.
    • Kijavítottuk az SQL Cache gyorsítótárazott RDD-jének és fizikai tervének inkonzisztenciaét, ami helytelen eredményt eredményezett.

  • 2019. január 8., kedd

    • Kijavítottuk a hibát org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelistedokozó hibát.
    • Újrakonfigurált hitelesítő adatok RDD-nevekből a Spark felhasználói felületén
    • [SPARK-26352]az illesztés átrendezése nem módosíthatja a kimeneti attribútumok sorrendjét.
    • [SPARK-26366]A ReplaceExceptWithFilter függvénynek a NULL értéket hamisnak kell tekintenie.
    • A Delta Lake engedélyezve van.
    • A Databricks IO Cache mostantól minden tarifacsomaghoz engedélyezve van az Ls sorozatú feldolgozópéldány-típusok esetében.

  • 2018. december 18.

    • [SPARK-25002]Avro: módosítsa a kimeneti rekord névterét.
    • Kijavítottunk egy hibát, amely bizonyos lekérdezéseket érintett a Csatlakozás és a Korlát használatával.
    • [SPARK-26307]Kijavítottuk a CTAS-t, amikor egy particionált táblát szúrt be a Hive SerDe használatával.
    • Csak akkor hagyja figyelmen kívül a sérült fájlokat, ha spark.sql.files.ignoreCorruptFiles spark.sql.files.ignoreMissingFiles egy vagy több újrapróbálkozás engedélyezve van.
    • [SPARK-26181]a hasMinMaxStats módszer ColumnStatsMap nem helyes.
    • Kijavítottunk egy hibát, amely a Python Wheels internet-hozzáférés nélküli környezetekben való telepítését érintette.
    • Kijavítottunk egy teljesítményproblémát a lekérdezéselemzőben.
    • Kijavítottunk egy hibát a PySparkban, amely miatt a DataFrame-műveletek meghiúsultak a "kapcsolat megtagadva" hibával.
    • Kijavítottunk egy hibát, amely bizonyos önegyesítési lekérdezéseket érintett.

  • 2018. november 20.

    • [SPARK-17916][SPARK-25241]Javítsa ki a null értékűként elemzett üres sztringet, ha a nullérték be van állítva.
    • [SPARK-25387]A hibás CSV-bemenet által okozott NPE javítása.
    • Kijavítottunk egy hibát, amely bizonyos aggregációs lekérdezéseket érintett bal oldali fél-/anti illesztésekkel.

  • 2018. november 6.

    • [SPARK-25741]A hosszú URL-címek nem jelennek meg megfelelően a webes felhasználói felületen.
    • [SPARK-25714]Javítsa ki a null kezelést az optimalizáló szabály Logikai elemsimplification elemében.
    • Kijavítottunk egy hibát, amely a Synapse Analytics-összekötőben az ideiglenes objektumok törlését érintette.
    • [SPARK-25816]Az attribútumfeloldás javítása beágyazott elszívókban.

  • 2018. október 16.

    • Kijavítottunk egy hibát, amely hatással volt a Delta-táblákon való futtatás SHOW CREATE TABLE kimenetére.
    • Kijavítottunk egy működést befolyásoló Union hibát.

  • 2018. szeptember 25.

    • [SPARK-25368][SQL] A helytelen kényszerkövetkeztetés helytelen eredményt ad vissza.
    • [SPARK-25402][SQL] Null kezelés a booleanSimplificationben.
    • Kijavítva NotSerializableException az Avro-adatforrásban.

  • 2018. szeptember 11.

    • [SPARK-25214][SS] Kijavítottuk azt a hibát, amely miatt a Kafka v2-forrás duplikált rekordokat adhat vissza, amikor failOnDataLoss=false.
    • [SPARK-24987][SS] Kijavíthatja a Kafka fogyasztói szivárgását, ha nincs új eltolás a articlePartition esetében.
    • A szűrőcsökkentésnek megfelelően kell kezelnie a null értéket.
    • Továbbfejlesztett stabilitás a végrehajtó motor.

  • 2018. augusztus 28.

    • Kijavítottunk egy hibát a Delta Lake Delete parancsban, amely helytelenül törölte azokat a sorokat, ahol a feltétel null értékűnek értékelt.
    • [SPARK-25142]Hibaüzenetek hozzáadása, ha a Python-feldolgozó nem tudta megnyitni a szoftvercsatornát._load_from_socket

  • 2018. augusztus 23.

    • [SPARK-23935]mapEntry dob .org.codehaus.commons.compiler.CompileException
    • Kijavítottuk a null értékű térképpel kapcsolatos problémát a Parquet-olvasóban.
    • [SPARK-25051][SQL] A FixNullability nem állhat le az AnalysisBarrierben.
    • [SPARK-25081]Kijavítottunk egy hibát, amely miatt a ShuffleExternalSorter hozzáférhet egy felszabadított memóriaoldalhoz, ha a kiömlés nem tudja lefoglalni a memóriát.
    • Kijavítottuk a Databricks Delta és a Pyspark közötti interakciót, amely átmeneti olvasási hibákat okozhatott.
    • [SPARK-25084]" több oszlopban (zárójelben körbefutva) a "distribute by" (elosztás) kodgenproblémához vezethet.
    • [SPARK-25096]Lazítsa meg a nullképességet, ha az öntött erő null értékű.
    • Csökkentette a Delta Lake Optimize parancs által használt szálak alapértelmezett számát, csökkentve a memóriaterhelést és az adatok gyorsabb véglegesítését.
    • [SPARK-25114]Javítsa ki a RecordBinaryComparatort, ha a két szó közötti kivonás Integer.MAX_VALUE osztható.
    • Kijavítottuk a titkos kódkezelő újraválasztását, amikor a parancs részben sikeres volt.

Databricks Runtime 4.2 (EoS)

Lásd: Databricks Runtime 4.2 (EoS).

  • 2019. február 26.

    • Kijavítottunk egy, a JDBC/ODBC-kiszolgálót érintő hibát.

  • 2019. február 12.

    • [SPARK-26709][SQL] Az OptimizeMetadataOnlyQuery nem kezeli megfelelően az üres rekordokat.
    • A rejtett fájlok kizárása a HadoopRDD létrehozásakor.
    • Kijavítottuk az IN predikátum parquet szűrőátalakítását, ha az értéke üres.
    • Kijavítottunk egy hibát, amely miatt a Spark alacsony szintű hálózati protokollja megszakadt, amikor nagy méretű RPC-hibaüzeneteket küld, és engedélyezve van a titkosítás (ha spark.network.crypto.enabled igaz értékre van állítva).

  • 2019. január 30.

    • Kijavítottunk egy hibát, amely miatt df.rdd.count() az UDT helytelen választ adott vissza bizonyos esetekben.

  • 2019. január 8., kedd

    • Kijavítottuk a hibát okozó hibát org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Újrakonfigurált hitelesítő adatok RDD-nevekből a Spark felhasználói felületén
    • [SPARK-26352]az illesztés átrendezése nem módosíthatja a kimeneti attribútumok sorrendjét.
    • [SPARK-26366]A ReplaceExceptWithFilter függvénynek a NULL értéket hamisnak kell tekintenie.
    • A Delta Lake engedélyezve van.
    • A Databricks IO Cache mostantól minden tarifacsomaghoz engedélyezve van az Ls sorozatú feldolgozópéldány-típusok esetében.

  • 2018. december 18.

    • [SPARK-25002]Avro: módosítsa a kimeneti rekord névterét.
    • Kijavítottunk egy hibát, amely bizonyos lekérdezéseket érintett a Csatlakozás és a Korlát használatával.
    • [SPARK-26307]Kijavítottuk a CTAS-t, amikor egy particionált táblát szúrt be a Hive SerDe használatával.
    • Csak akkor hagyja figyelmen kívül a sérült fájlokat, ha spark.sql.files.ignoreCorruptFiles spark.sql.files.ignoreMissingFiles egy vagy több újrapróbálkozás engedélyezve van.
    • [SPARK-26181]a hasMinMaxStats módszer ColumnStatsMap nem helyes.
    • Kijavítottunk egy hibát, amely a Python Wheels internet-hozzáférés nélküli környezetekben való telepítését érintette.
    • Kijavítottunk egy teljesítményproblémát a lekérdezéselemzőben.
    • Kijavítottunk egy hibát a PySparkban, amely miatt a DataFrame-műveletek meghiúsultak a "kapcsolat megtagadva" hibával.
    • Kijavítottunk egy hibát, amely bizonyos önegyesítési lekérdezéseket érintett.

  • 2018. november 20.

    • [SPARK-17916][SPARK-25241]Javítsa ki a null értékűként elemzett üres sztringet, ha a nullérték be van állítva.
    • Kijavítottunk egy hibát, amely bizonyos aggregációs lekérdezéseket érintett bal oldali fél-/anti illesztésekkel.

  • 2018. november 6.

    • [SPARK-25741]A hosszú URL-címek nem jelennek meg megfelelően a webes felhasználói felületen.
    • [SPARK-25714]Javítsa ki a null kezelést az optimalizáló szabály Logikai elemsimplification elemében.

  • 2018. október 16.

    • Kijavítottunk egy hibát, amely hatással volt a Delta-táblákon való futtatás SHOW CREATE TABLE kimenetére.
    • Kijavítottunk egy működést befolyásoló Union hibát.

  • 2018. szeptember 25.

    • [SPARK-25368][SQL] A helytelen kényszerkövetkeztetés helytelen eredményt ad vissza.
    • [SPARK-25402][SQL] Null kezelés a booleanSimplificationben.
    • Kijavítva NotSerializableException az Avro-adatforrásban.

  • 2018. szeptember 11.

    • [SPARK-25214][SS] Kijavítottuk azt a hibát, amely miatt a Kafka v2-forrás duplikált rekordokat adhat vissza, amikor failOnDataLoss=false.
    • [SPARK-24987][SS] Kijavíthatja a Kafka fogyasztói szivárgását, ha nincs új eltolás a articlePartition esetében.
    • A szűrőcsökkentésnek megfelelően kell kezelnie a null értéket.

  • 2018. augusztus 28.

    • Kijavítottunk egy hibát a Delta Lake Delete parancsban, amely helytelenül törölte azokat a sorokat, ahol a feltétel null értékűnek értékelt.

  • 2018. augusztus 23.

    • Kijavítva a NoClassDefError a Delta Snapshothoz
    • [SPARK-23935]mapEntry dob .org.codehaus.commons.compiler.CompileException
    • [SPARK-24957][SQL] A decimális és az összesítés utáni átlag helytelen eredményt ad vissza. Előfordulhat, hogy az ÁTLAG helytelen eredményt ad vissza. Az Átlag operátorban hozzáadott CAST nem lesz megkerülve, ha az osztás eredménye ugyanaz a típus, amelyre a rendszer öntötte.
    • [SPARK-25081]Kijavítottunk egy hibát, amely miatt a ShuffleExternalSorter hozzáférhet egy felszabadított memóriaoldalhoz, ha a kiömlés nem tudja lefoglalni a memóriát.
    • Kijavítottuk a Databricks Delta és a Pyspark közötti interakciót, amely átmeneti olvasási hibákat okozhatott.
    • [SPARK-25114]Javítsa ki a RecordBinaryComparatort, ha a két szó közötti kivonás Integer.MAX_VALUE osztható.
    • [SPARK-25084]" több oszlopban (zárójelben körbefutva) a "distribute by" (elosztás) kodgenproblémához vezethet.
    • [SPARK-24934][SQL] Kifejezetten engedélyezi a támogatott típusok engedélyezését a memóriabeli partíciók metszéséhez a felső/alsó határban. Ha összetett adattípusokat használnak a gyorsítótárazott adatok lekérdezési szűrőiben, a Spark mindig üres eredményhalmazt ad vissza. A memórián belüli stats-alapú metszés helytelen eredményeket hoz létre, mivel a null érték az összetett típusok felső/alsó határához van beállítva. A javítás célja, hogy ne használjon memóriabeli stats-alapú metszést összetett típusok esetében.
    • Kijavítottuk a titkos kódkezelő újraválasztását, amikor a parancs részben sikeres volt.
    • Kijavítottuk a null értékű térképpel kapcsolatos problémát a Parquet-olvasóban.

  • 2018. augusztus 2.

    • A writeStream.table API hozzáadva a Pythonban.
    • Kijavítottunk egy, a Delta-ellenőrzőpontozást érintő hibát.
    • [SPARK-24867][SQL] Adja hozzá az AnalysisBarriert a DataFrameWriterhez. Az SQL Cache nem használható a DataFrameWriter használata DataFrame-keretrendszer UDF-sel való írásához. Ezt a regressziót az AnalysisBarrierben végrehajtott módosítások okozzák, mivel nem minden elemző szabály idempotens.
    • Kijavítottunk egy hibát, amely miatt mergeInto a parancs helytelen eredményeket eredményezett.
    • Jobb stabilitás az 1. generációs Azure Data Lake Storage eléréséhez.
    • [SPARK-24809]A LongHashedRelation végrehajtóban való szerializálása adathibát okozhat.
    • [SPARK-24878][SQL] Javítsa ki a null értéket tartalmazó primitív típusú tömbtípus fordított függvényét.

  • 2018. július 11.

    • Kijavítottunk egy hibát a lekérdezés végrehajtásában, amely miatt a decimális oszlopok különböző pontosságú összesítései bizonyos esetekben helytelen eredményeket adnak vissza.
    • Kijavítottunk egy NullPointerException hibát, amely a speciális összesítési műveletek, például a csoportosítási csoportok során merült fel.

Databricks Runtime 4.1 ML (EoS)

Lásd: Databricks Runtime 4.1 ML (EoS).

  • 2018. július 31.
    • Azure Synapse Analytics hozzáadva az ML Runtime 4.1-hez
    • Kijavítottunk egy hibát, amely helytelen lekérdezési eredményeket okozhatott, ha egy predikátumban használt partícióoszlop neve eltér a tábla sémájában lévő oszlop nevétől.
    • Kijavítottunk egy hibát, amely a Spark SQL végrehajtási motort érintette.
    • Kijavítottunk egy, a kódgenerálást befolyásoló hibát.
    • Kijavítottunk egy, a Delta Lake-t érintő hibát (java.lang.NoClassDefFoundError).
    • Továbbfejlesztett hibakezelés a Delta Lake-ben.
    • Kijavítottunk egy hibát, amely miatt a 32 karakteres vagy annál nagyobb sztringoszlopok nem megfelelő adatkiugrási statisztikákat gyűjtöttek össze.

Databricks Runtime 4.1 (EoS)

Lásd: Databricks Runtime 4.1 (EoS).

  • 2019. január 8., kedd

    • [SPARK-26366]A ReplaceExceptWithFilter függvénynek a NULL értéket hamisnak kell tekintenie.
    • A Delta Lake engedélyezve van.

  • 2018. december 18.

    • [SPARK-25002]Avro: módosítsa a kimeneti rekord névterét.
    • Kijavítottunk egy hibát, amely bizonyos lekérdezéseket érintett a Csatlakozás és a Korlát használatával.
    • [SPARK-26307]Kijavítottuk a CTAS-t, amikor egy particionált táblát szúrt be a Hive SerDe használatával.
    • Csak akkor hagyja figyelmen kívül a sérült fájlokat, ha spark.sql.files.ignoreCorruptFiles spark.sql.files.ignoreMissingFiles egy vagy több újrapróbálkozás engedélyezve van.
    • Kijavítottunk egy hibát, amely a Python Wheels internet-hozzáférés nélküli környezetekben való telepítését érintette.
    • Kijavítottunk egy hibát a PySparkban, amely miatt a DataFrame-műveletek meghiúsultak a "kapcsolat megtagadva" hibával.
    • Kijavítottunk egy hibát, amely bizonyos önegyesítési lekérdezéseket érintett.

  • 2018. november 20.

    • [SPARK-17916][SPARK-25241]Javítsa ki a null értékűként elemzett üres sztringet, ha a nullérték be van állítva.
    • Kijavítottunk egy hibát, amely bizonyos aggregációs lekérdezéseket érintett bal oldali fél-/anti illesztésekkel.

  • 2018. november 6.

    • [SPARK-25741]A hosszú URL-címek nem jelennek meg megfelelően a webes felhasználói felületen.
    • [SPARK-25714]Javítsa ki a null kezelést az optimalizáló szabály Logikai elemsimplification elemében.

  • 2018. október 16.

    • Kijavítottunk egy hibát, amely hatással volt a Delta-táblákon való futtatás SHOW CREATE TABLE kimenetére.
    • Kijavítottunk egy működést befolyásoló Union hibát.

  • 2018. szeptember 25.

    • [SPARK-25368][SQL] A helytelen kényszerkövetkeztetés helytelen eredményt ad vissza.
    • [SPARK-25402][SQL] Null kezelés a booleanSimplificationben.
    • Kijavítva NotSerializableException az Avro-adatforrásban.

  • 2018. szeptember 11.

    • [SPARK-25214][SS] Kijavítottuk azt a hibát, amely miatt a Kafka v2-forrás duplikált rekordokat adhat vissza, amikor failOnDataLoss=false.
    • [SPARK-24987][SS] Kijavíthatja a Kafka fogyasztói szivárgását, ha nincs új eltolás a articlePartition esetében.
    • A szűrőcsökkentésnek megfelelően kell kezelnie a null értéket.

  • 2018. augusztus 28.

    • Kijavítottunk egy hibát a Delta Lake Delete parancsban, amely helytelenül törölte azokat a sorokat, ahol a feltétel null értékűnek értékelt.
    • [SPARK-25084]" több oszlopban (zárójelben körbefutva) a "distribute by" (elosztás) kodgenproblémához vezethet.
    • [SPARK-25114]Javítsa ki a RecordBinaryComparatort, ha a két szó közötti kivonás Integer.MAX_VALUE osztható.

  • 2018. augusztus 23.

    • Kijavítottuk a NoClassDefError függvényt a Delta Snapshothoz.
    • [SPARK-24957][SQL] A decimális és az összesítés utáni átlag helytelen eredményt ad vissza. Előfordulhat, hogy az ÁTLAG helytelen eredményt ad vissza. Az Átlag operátorban hozzáadott CAST nem lesz megkerülve, ha az osztás eredménye ugyanaz a típus, amelyre a rendszer öntötte.
    • Kijavítottuk a null értékű térképpel kapcsolatos problémát a Parquet-olvasóban.
    • [SPARK-24934][SQL] Kifejezetten engedélyezi a támogatott típusok engedélyezését a memóriabeli partíciók metszéséhez a felső/alsó határban. Ha összetett adattípusokat használnak a gyorsítótárazott adatok lekérdezési szűrőiben, a Spark mindig üres eredményhalmazt ad vissza. A memórián belüli stats-alapú metszés helytelen eredményeket hoz létre, mivel a null érték az összetett típusok felső/alsó határához van beállítva. A javítás célja, hogy ne használjon memóriabeli stats-alapú metszést összetett típusok esetében.
    • [SPARK-25081]Kijavítottunk egy hibát, amely miatt a ShuffleExternalSorter hozzáférhet egy felszabadított memóriaoldalhoz, ha a kiömlés nem tudja lefoglalni a memóriát.
    • Kijavítottuk a Databricks Delta és a Pyspark közötti interakciót, amely átmeneti olvasási hibákat okozhatott.
    • Kijavítottuk a titkos kódkezelő újraválasztását, ha a parancs részben sikeres volt

  • 2018. augusztus 2.

    • [SPARK-24613][SQL] Az UDF-et tartalmazó gyorsítótár nem feleltethető meg a későbbi függő gyorsítótáraknak. A logikai tervet egy AnalysisBarrierrel burkolja össze a CacheManagerben a végrehajtási terv összeállításához, hogy elkerülje a terv ismételt elemzését. Ez a Spark 2.3 regressziója is.
    • Kijavítottunk egy Synapse Analytics-összekötő hibát, amely hatással volt a DateType-adatok írásának időzónás konvertálására.
    • Kijavítottunk egy, a Delta-ellenőrzőpontozást érintő hibát.
    • Kijavítottunk egy hibát, amely miatt mergeInto a parancs helytelen eredményeket eredményezett.
    • [SPARK-24867][SQL] Adja hozzá az AnalysisBarriert a DataFrameWriterhez. Az SQL Cache nem használható a DataFrameWriter használata DataFrame-keretrendszer UDF-sel való írásához. Ezt a regressziót az AnalysisBarrierben végrehajtott módosítások okozzák, mivel nem minden elemző szabály idempotens.
    • [SPARK-24809]A LongHashedRelation végrehajtóban való szerializálása adathibát okozhat.

  • 2018. július 11.

    • Kijavítottunk egy hibát a lekérdezés végrehajtásában, amely miatt a decimális oszlopok különböző pontosságú összesítései bizonyos esetekben helytelen eredményeket adnak vissza.
    • Kijavítottunk egy NullPointerException hibát, amely a speciális összesítési műveletek, például a csoportosítási csoportok során merült fel.

  • 2018. június 28.

    • Kijavítottunk egy hibát, amely helytelen lekérdezési eredményeket okozhatott, ha egy predikátumban használt partícióoszlop neve eltér a tábla sémájában lévő oszlop nevétől.

  • 2018. június 7.

    • Kijavítottunk egy hibát, amely a Spark SQL végrehajtási motort érintette.
    • Kijavítottunk egy, a kódgenerálást befolyásoló hibát.
    • Kijavítottunk egy, a Delta Lake-t érintő hibát (java.lang.NoClassDefFoundError).
    • Továbbfejlesztett hibakezelés a Delta Lake-ben.

  • 2018. május 17.

    • Kijavítottunk egy hibát, amely miatt a 32 karakteres vagy annál nagyobb sztringoszlopok nem megfelelő adatkiugrási statisztikákat gyűjtöttek össze.

Databricks Runtime 4.0 (EoS)

Lásd: Databricks Runtime 4.0 (EoS).

  • 2018. november 6.

    • [SPARK-25714]Javítsa ki a null kezelést az optimalizáló szabály Logikai elemsimplification elemében.

  • 2018. október 16.

    • Kijavítottunk egy működést befolyásoló Union hibát.

  • 2018. szeptember 25.

    • [SPARK-25368][SQL] A helytelen kényszerkövetkeztetés helytelen eredményt ad vissza.
    • [SPARK-25402][SQL] Null kezelés a booleanSimplificationben.
    • Kijavítva NotSerializableException az Avro-adatforrásban.

  • 2018. szeptember 11.

    • A szűrőcsökkentésnek megfelelően kell kezelnie a null értéket.

  • 2018. augusztus 28.

    • Kijavítottunk egy hibát a Delta Lake Delete parancsban, amely helytelenül törölte azokat a sorokat, ahol a feltétel null értékűnek értékelt.

  • 2018. augusztus 23.

    • Kijavítottuk a null értékű térképpel kapcsolatos problémát a Parquet-olvasóban.
    • Kijavítottuk a titkos kódkezelő újraválasztását, ha a parancs részben sikeres volt
    • Kijavítottuk a Databricks Delta és a Pyspark közötti interakciót, amely átmeneti olvasási hibákat okozhatott.
    • [SPARK-25081]Kijavítottunk egy hibát, amely miatt a ShuffleExternalSorter hozzáférhet egy felszabadított memóriaoldalhoz, ha a kiömlés nem tudja lefoglalni a memóriát.
    • [SPARK-25114]Javítsa ki a RecordBinaryComparatort, ha a két szó közötti kivonás Integer.MAX_VALUE osztható.

  • 2018. augusztus 2.

    • [SPARK-24452]Kerülje a lehetséges túlcsordulást az int add vagy multiple fájlban.
    • [SPARK-24588]A streameléshez hashClusteredPartition-ra van szükség a gyermekektől.
    • Kijavítottunk egy hibát, amely miatt mergeInto a parancs helytelen eredményeket eredményezett.
    • [SPARK-24867][SQL] Adja hozzá az AnalysisBarriert a DataFrameWriterhez. Az SQL Cache nem használható a DataFrameWriter használata DataFrame-keretrendszer UDF-sel való írásához. Ezt a regressziót az AnalysisBarrierben végrehajtott módosítások okozzák, mivel nem minden elemző szabály idempotens.
    • [SPARK-24809]A LongHashedRelation végrehajtóban való szerializálása adathibát okozhat.

  • 2018. június 28.

    • Kijavítottunk egy hibát, amely helytelen lekérdezési eredményeket okozhatott, ha egy predikátumban használt partícióoszlop neve eltér a tábla sémájában lévő oszlop nevétől.

  • 2018. június 7.

    • Kijavítottunk egy hibát, amely a Spark SQL végrehajtási motort érintette.
    • Továbbfejlesztett hibakezelés a Delta Lake-ben.

  • 2018. május 17.

    • Hibajavítások a Databricks titkos kulcskezeléséhez.
    • Nagyobb stabilitás az Azure Data Lake Store-ban tárolt adatok olvasása során.
    • Kijavítottunk egy, az RDD-gyorsítótárazást érintő hibát.
    • Kijavítottunk egy hibát, amely a Null-safe Equal értéket érintette a Spark SQL-ben.

  • 2018. április 24.

    • Frissítette az Azure Data Lake Store SDK-t 2.0.11-ről 2.2.8-ra az Azure Data Lake Store-hoz való hozzáférés stabilitásának javítása érdekében.
    • Kijavítottunk egy hibát, amely hatással volt a particionált Hive-táblák felülírásának beszúrására, amikor spark.databricks.io.hive.fastwriter.enabled az .false
    • Kijavítottunk egy hibát, amely nem sikerült a feladat szerializálása.
    • Továbbfejlesztett Delta Lake-stabilitás.

  • 2018. március 14.

    • Megakadályozza a szükségtelen metaadat-frissítéseket a Delta Lake-be való íráskor.
    • Kijavítottunk egy versenytilalom által okozott hibát, amely ritka körülmények között néhány kimeneti fájl elvesztéséhez vezethet.

Databricks Runtime 3.5 LTS (EoS)

Lásd: Databricks Runtime 3.5 LTS (EoS).

  • 2019. november 7.

    • [SPARK-29743]Az [SQL] mintának igaz értékre kell állítania a needCopyResult értéket, ha a gyermek needCopyResult értéke igaz

  • 2019. október 8., kedd

    • Kiszolgálóoldali módosítások, amelyek lehetővé teszik, hogy a Simba Apache Spark ODBC-illesztő újracsatlakozhasson, és az eredmények lekérése során kapcsolathiba után folytassa a műveletet (a Simba Apache Spark ODBC-illesztőprogram 2.6.10-es verzióra való frissítését igényli).

  • 2019. szeptember 10.

    • [SPARK-28699][SQL] A ShuffleExchangeExec radix rendezési funkciójának letiltása újraparticionálási esetben

  • 2019. április 9., kedd

    • [SPARK-26665][CORE] Kijavítottunk egy hibát, amely miatt a BlockTransferService.fetchBlockSync örökre lefagyhat.

  • 2019. február 12.

    • Kijavítottunk egy hibát, amely miatt a Spark alacsony szintű hálózati protokollja megszakadt, amikor nagy méretű RPC-hibaüzeneteket küld, és engedélyezve van a titkosítás (ha spark.network.crypto.enabled igaz értékre van állítva).

  • 2019. január 30.

    • Kijavítottunk egy hibát, amely miatt df.rdd.count() az UDT helytelen választ adott vissza bizonyos esetekben.

  • 2018. december 18.

    • Csak akkor hagyja figyelmen kívül a sérült fájlokat, ha spark.sql.files.ignoreCorruptFiles spark.sql.files.ignoreMissingFiles egy vagy több újrapróbálkozás engedélyezve van.
    • Kijavítottunk egy hibát, amely bizonyos önegyesítési lekérdezéseket érintett.

  • 2018. november 20.

    • [SPARK-25816]Kijavítottuk az attribútumfeloldásokat a beágyazott elszívókban.

  • 2018. november 6.

    • [SPARK-25714]Javítsa ki a null kezelést az optimalizáló szabály Logikai elemsimplification elemében.

  • 2018. október 16.

    • Kijavítottunk egy működést befolyásoló Union hibát.

  • 2018. szeptember 25.

    • [SPARK-25402][SQL] Null kezelés a booleanSimplificationben.
    • Kijavítva NotSerializableException az Avro-adatforrásban.

  • 2018. szeptember 11.

    • A szűrőcsökkentésnek megfelelően kell kezelnie a null értéket.

  • 2018. augusztus 28.

    • Kijavítottunk egy hibát a Delta Lake Delete parancsban, amely helytelenül törölte azokat a sorokat, ahol a feltétel null értékűnek értékelt.
    • [SPARK-25114]Javítsa ki a RecordBinaryComparatort, ha a két szó közötti kivonás Integer.MAX_VALUE osztható.

  • 2018. augusztus 23.

    • [SPARK-24809]A LongHashedRelation végrehajtóban való szerializálása adathibát okozhat.
    • Kijavítottuk a null értékű térképpel kapcsolatos problémát a Parquet-olvasóban.
    • [SPARK-25081]Kijavítottunk egy hibát, amely miatt a ShuffleExternalSorter hozzáférhet egy felszabadított memóriaoldalhoz, ha a kiömlés nem tudja lefoglalni a memóriát.
    • Kijavítottuk a Databricks Delta és a Pyspark közötti interakciót, amely átmeneti olvasási hibákat okozhatott.

  • 2018. június 28.

    • Kijavítottunk egy hibát, amely helytelen lekérdezési eredményeket okozhatott, ha egy predikátumban használt partícióoszlop neve eltér a tábla sémájában lévő oszlop nevétől.

  • 2018. június 28.

    • Kijavítottunk egy hibát, amely helytelen lekérdezési eredményeket okozhatott, ha egy predikátumban használt partícióoszlop neve eltér a tábla sémájában lévő oszlop nevétől.

  • 2018. június 7.

    • Kijavítottunk egy hibát, amely a Spark SQL végrehajtási motort érintette.
    • Továbbfejlesztett hibakezelés a Delta Lake-ben.

  • 2018. május 17.

    • Nagyobb stabilitás az Azure Data Lake Store-ban tárolt adatok olvasása során.
    • Kijavítottunk egy, az RDD-gyorsítótárazást érintő hibát.
    • Kijavítottunk egy hibát, amely a Null-safe Equal értéket érintette a Spark SQL-ben.
    • Kijavítottunk egy hibát, amely a streamelési lekérdezések bizonyos összesítéseit érintette.

  • 2018. április 24.

    • Frissítette az Azure Data Lake Store SDK-t 2.0.11-ről 2.2.8-ra az Azure Data Lake Store-hoz való hozzáférés stabilitásának javítása érdekében.
    • Kijavítottunk egy hibát, amely hatással volt a particionált Hive-táblák felülírásának beszúrására, amikor spark.databricks.io.hive.fastwriter.enabled az .false
    • Kijavítottunk egy hibát, amely nem sikerült a feladat szerializálása.

  • 2018. március 09.

    • Kijavítottunk egy versenytilalom által okozott hibát, amely ritka körülmények között néhány kimeneti fájl elvesztéséhez vezethet.

  • 2018. március 01.

    • Javította a streamek kezelésének hatékonyságát, ami hosszú időt vehet igénybe.
    • Kijavítottunk egy, a Python automatikus kiegészítését érintő hibát.
    • Alkalmazott Ubuntu biztonsági javítások.
    • Kijavítottunk egy hibát, amely bizonyos, Python UDF-eket és ablakfüggvényeket használó lekérdezéseket érintett.
    • Kijavítottunk egy hibát, amely hatással volt az UDF-ek használatára egy olyan fürtön, amelyen engedélyezve volt a táblahozzáférés-vezérlés.

  • 2018. január 29.

    • Kijavítottunk egy hibát, amely hatással volt az Azure Blob Storage-ban tárolt táblák manipulálására.
    • Az üres DataFrame-en a dropDuplicates után kijavítottuk az összesítést.

Databricks Runtime 3.4 (EoS)

Lásd: Databricks Runtime 3.4 (EoS).

  • 2018. június 7.

    • Kijavítottunk egy hibát, amely a Spark SQL végrehajtási motort érintette.
    • Továbbfejlesztett hibakezelés a Delta Lake-ben.

  • 2018. május 17.

    • Nagyobb stabilitás az Azure Data Lake Store-ban tárolt adatok olvasása során.
    • Kijavítottunk egy, az RDD-gyorsítótárazást érintő hibát.
    • Kijavítottunk egy hibát, amely a Null-safe Equal értéket érintette a Spark SQL-ben.

  • 2018. április 24.

    • Kijavítottunk egy hibát, amely hatással volt a particionált Hive-táblák felülírásának beszúrására, amikor spark.databricks.io.hive.fastwriter.enabled az .false

  • 2018. március 09.

    • Kijavítottunk egy versenytilalom által okozott hibát, amely ritka körülmények között néhány kimeneti fájl elvesztéséhez vezethet.

  • 2017. december 13.

    • Kijavítottunk egy hibát, amely a Scala UDF-eit érinti.
    • Kijavítottunk egy hibát, amely a nem DBFS-útvonalakon tárolt adatforrástáblák adatátugró indexének használatát befolyásolta.

  • 2017. december 07.

    • Továbbfejlesztett shuffle stabilitás.

Nem támogatott Databricks Runtime-kiadások

Az eredeti kibocsátási megjegyzésekhez kövesse az alcím alatti hivatkozást.