INCONSISTENT_BEHAVIOR_CROSS_VERSION felklass
Du kan få ett annat resultat på grund av uppgraderingen till:
DATETIME_PATTERN_RECOGNITION
Spark >= 3.0:
Det gick inte att identifiera <pattern> mönstret i DateTimeFormatter.
- Du kan ange
<config>"LEGACY" för att återställa beteendet före Spark 3.0. - Du kan skapa ett giltigt datetime-mönster med guiden från "
<docroot>/sql-ref-datetime-pattern.html".
PARSE_DATETIME_BY_NEW_PARSER
Spark >= 3.0:
Det går inte att parsa <datetime> i den nya parsern.
Du kan ställa in <config> på "LEGACY" för att återställa beteendet före Spark 3.0 eller ställa in på "CORRECTED" och behandla det som en ogiltig datetime-sträng.
READ_ANCIENT_DATETIME
Spark >= 3.0:
läsdatum före 1582-10-15 eller tidsstämplar före 1900-01-01T00:00:00Z
från <format> filer kan vara tvetydiga, eftersom filerna kan skrivas av
Spark 2.x eller äldre versioner av Hive, som använder en äldre hybridkalender
som skiljer sig från Spark 3.0+s proleptiska gregorianska kalender.
Mer information finns i SPARK-31404. Du kan ange SQL-konfigurationen <config> eller
datasource-alternativet <option> till "LEGACY" för att ombasera datetime-värdena
w.r.t. kalenderskillnaden under läsningen. Läsa datetime-värdena
som det är ställer du in SQL-konfigurationen <config> eller datakällan <option>
till "CORRECTED".
WRITE_ANCIENT_DATETIME
Spark >= 3.0:
skrivdatum före 1582-10-15 eller tidsstämplar före 1900-01-01T00:00:00Z till <format> filer kan vara farliga, eftersom filerna kan läsas av Spark 2.x eller äldre versioner av Hive senare, som använder en äldre hybridkalender som skiljer sig från Spark 3.0+s proleptiska gregorianska kalender.
Mer information finns i SPARK-31404.
Du kan ange <config> "LEGACY" för att ändra datumtidsvärdena w.r.t. kalenderskillnaden under skrivning för att få maximal samverkan.
Eller ställ in konfigurationen på "CORRECTED" för att skriva datetime-värdena som de är, om du är säker på att de skrivna filerna bara kommer att läsas av Spark 3.0+ eller andra system som använder proleptisk gregoriansk kalender.