Freigeben über

Bekanntes Problem – Nicht unterstützte Fehlermeldung für veralteten Zeitstempel in Fabric Runtime 1.3

  • Artikel

Wenn Sie das systemeigene Ausführungsmodul in Fabric Runtime 1.3 verwenden, tritt möglicherweise ein Fehler auf, wenn Ihre Daten ältere Zeitstempel enthalten. Dieses Problem tritt aufgrund von Kompatibilitätsproblemen auf, die beim Übergang von Spark 3.0 zur Java 8-Datums-/Uhrzeit-API eingeführt wurden, die den proleptischen gregorianischen Kalender (SQL ISO-Standard) verwendet. In früheren Spark-Versionen wurde ein hybrider Julian-Gregorian Kalender verwendet, was zu potenziellen Abweichungen bei der Verarbeitung von Zeitstempeldaten führt, die von verschiedenen Spark-Versionen erstellt wurden.

Status: Offen

Produktbereich: Datentechnik

Symptome

Wenn Sie die Legacy-Zeitstempelunterstützung im systemeigenen Ausführungsmodul für Fabric Runtime 1.3 verwenden, wird eine Fehlermeldung angezeigt. Die Fehlermeldung ähnelt: Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.

Lösungen und Problemumgehungen

Weitere Informationen zu dem Feature, das dieses bekannte Problem behebt, finden Sie im Blogbeitrag zur Legacy-Zeitstempelunterstützung. Um das Feature zu aktivieren, fügen Sie Ihrer Spark-Sitzung Folgendes hinzu: SET spark.gluten.legacy.timestamp.rebase.enabled = true. Datumsangaben nach 1970 sind nicht betroffen, wodurch Konsistenz ohne zusätzliche Schritte sichergestellt wird.

Nächste Schritte