Obsługa typów wariantów dla platform Apache Iceberg i Delta Lake

Typ VARIANT danych przechowuje dane częściowo ustrukturyzowane. Przykłady pracy z usługą VARIANTmożna znaleźć w temacie Query variant data (Wykonywanie zapytań dotyczących danych wariantów).

Wszystkie tabele Apache Iceberg v3 obsługują typ VARIANT. Zobacz Korzystanie z funkcji Apache Iceberg v3. W przypadku tabel Delta Lake należy jawnie włączyć obsługę typu VARIANT.

Musisz użyć środowiska Databricks Runtime 15.4 LTS lub nowszego, aby odczytywać i zapisywać tabele z włączoną obsługą wariantów.

Włączanie wariantu w tabeli

Aby włączyć wariant, utwórz nową tabelę z kolumną VARIANT typu:

CREATE TABLE table_name (variant_column VARIANT)

Aby włączyć obsługę VARIANT na istniejącej tabeli, użyj następującej składni:

ALTER TABLE table_name SET TBLPROPERTIES('delta.feature.variantType-preview' = 'supported')

Note

Włączenie wariantu uaktualnia protokół modułu zapisywania tabel. Może to mieć wpływ na zgodność z zewnętrznymi klientami usługi Delta Lake. Zobacz kompatybilność funkcji i protokoły Delta Lake.

Limitations

Obsługa VARIANT typu danych ma następujące ograniczenia:

• Nie można używać kolumn wariantów do partycjonowania tabeli.
• Kolumna wariantu nie może być kluczem klastrowania dla tabeli.
• Nie można używać kolumn wariantów z klauzulami GROUP BY lub .ORDER BY
• Nie można wywołać DISTINCT na kolumnie wariantu.
• Nie można używać operatorów zestawu SQL (INTERSECT, UNION, EXCEPT) z kolumnami wariantów.
• Nie można użyć generowania kolumn, aby utworzyć kolumnę wariantu.
• Kolumny wariantów nie obsługują minValues ani maxValues statystyk.
• Kolumna wariantu nie może zawierać wartości większej niż 128 MiB (16 MiB w środowisku Databricks Runtime 17.1 i poniżej).