Kolumny wygenerowane przez usługę Delta Lake

Ważne

Ta funkcja jest dostępna w publicznej wersji zapoznawczej.

Usługa Delta Lake obsługuje wygenerowane kolumny, które są specjalnym typem kolumny, których wartości są generowane automatycznie na podstawie funkcji określonej przez użytkownika w innych kolumnach w tabeli delty. Gdy zapisujesz w tabeli z wygenerowanymi kolumnami i nie podajesz jawnie wartości, usługa Delta Lake automatycznie oblicza wartości. Na przykład możesz automatycznie wygenerować kolumnę daty (na potrzeby partycjonowania tabeli według daty) z kolumny znacznika czasu; wszystkie operacje zapisu w tabeli wymagają tylko określenia danych dla kolumny sygnatury czasowej. Jeśli jednak jawnie podasz wartości, wartości muszą spełniać ograniczenie (<value> <=> <generation expression>) IS TRUE lub zapis zakończy się niepowodzeniem z powodu błędu.

Ważne

Tabele utworzone z wygenerowanymi kolumnami mają wyższą wersję protokołu modułu zapisywania tabel niż domyślna. Zobacz How does Azure Databricks manage Delta Lake feature compatibility? (Jak usługa Azure Databricks zarządza zgodnością funkcji usługi Delta Lake?), aby zrozumieć przechowywanie wersji protokołu table protocol i co to znaczy mieć wyższą wersję protokołu tabeli.

Tworzenie tabeli z wygenerowanymi kolumnami

W poniższym przykładzie pokazano, jak utworzyć tabelę z wygenerowanymi kolumnami:

SQL

CREATE TABLE default.people10m (
  id INT,
  firstName STRING,
  middleName STRING,
  lastName STRING,
  gender STRING,
  birthDate TIMESTAMP,
  dateOfBirth DATE GENERATED ALWAYS AS (CAST(birthDate AS DATE)),
  ssn STRING,
  salary INT
)

Python

DeltaTable.create(spark) \
  .tableName("default.people10m") \
  .addColumn("id", "INT") \
  .addColumn("firstName", "STRING") \
  .addColumn("middleName", "STRING") \
  .addColumn("lastName", "STRING", comment = "surname") \
  .addColumn("gender", "STRING") \
  .addColumn("birthDate", "TIMESTAMP") \
  .addColumn("dateOfBirth", DateType(), generatedAlwaysAs="CAST(birthDate AS DATE)") \
  .addColumn("ssn", "STRING") \
  .addColumn("salary", "INT") \
  .execute()

Scala

DeltaTable.create(spark)
  .tableName("default.people10m")
  .addColumn("id", "INT")
  .addColumn("firstName", "STRING")
  .addColumn("middleName", "STRING")
  .addColumn(
    DeltaTable.columnBuilder("lastName")
      .dataType("STRING")
      .comment("surname")
      .build())
  .addColumn("lastName", "STRING", comment = "surname")
  .addColumn("gender", "STRING")
  .addColumn("birthDate", "TIMESTAMP")
  .addColumn(
    DeltaTable.columnBuilder("dateOfBirth")
     .dataType(DateType)
     .generatedAlwaysAs("CAST(dateOfBirth AS DATE)")
     .build())
  .addColumn("ssn", "STRING")
  .addColumn("salary", "INT")
  .execute()

Wygenerowane kolumny są przechowywane tak, jakby były normalnymi kolumnami. Oznacza to, że zajmują magazyn.

Następujące ograniczenia dotyczą wygenerowanych kolumn:

• Wyrażenie generacji może używać dowolnych funkcji SQL na platformie Spark, które zawsze zwracają ten sam wynik, jeśli podano te same wartości argumentów, z wyjątkiem następujących typów funkcji:
  • Funkcje zdefiniowane przez użytkownika.
  • Agregujących.
  • Funkcje okna.
  • Funkcje zwracające wiele wierszy.

Usługa Delta Lake może generować filtry partycji dla zapytania za każdym razem, gdy kolumna partycji jest definiowana przez jedno z następujących wyrażeń:

Uwaga

Funkcja Photon jest wymagana w środowisku Databricks Runtime 10.4 LTS i poniżej. Funkcja Photon nie jest wymagana w środowisku Databricks Runtime 11.3 LTS i nowszym.

• CAST(col AS DATE) i typ col to TIMESTAMP.
• YEAR(col) i typ col to TIMESTAMP.
• Dwie kolumny partycji zdefiniowane przez YEAR(col), MONTH(col) element i typ col to TIMESTAMP.
• Trzy kolumny partycji zdefiniowane przez YEAR(col), MONTH(col), DAY(col) element i typ col to TIMESTAMP.
• Cztery kolumny partycji zdefiniowane przez YEAR(col), MONTH(col), DAY(col), HOUR(col) element i typ col to TIMESTAMP.
• SUBSTRING(col, pos, len) a typ col to STRING
• DATE_FORMAT(col, format) i typ col to TIMESTAMP.
  • Formaty dat można używać tylko z następującymi wzorcami: yyyy-MM i yyyy-MM-dd-HH.
  • W środowisku Databricks Runtime 10.4 LTS i nowszym można również użyć następującego wzorca: yyyy-MM-dd.

Jeśli kolumna partycji jest zdefiniowana przez jedno z poprzednich wyrażeń, a zapytanie filtruje dane przy użyciu podstawowej kolumny wyrażenia generowania, usługa Delta Lake analizuje relację między kolumną podstawową a wygenerowaną kolumną i wypełnia filtry partycji na podstawie wygenerowanej kolumny partycji, jeśli to możliwe. Na przykład biorąc pod uwagę następującą tabelę:

CREATE TABLE events(
eventId BIGINT,
data STRING,
eventType STRING,
eventTime TIMESTAMP,
eventDate date GENERATED ALWAYS AS (CAST(eventTime AS DATE))
)
PARTITIONED BY (eventType, eventDate)

Jeśli następnie uruchomisz następujące zapytanie:

SELECT * FROM events
WHERE eventTime >= "2020-10-01 00:00:00" <= "2020-10-01 12:00:00"

Usługa Delta Lake automatycznie generuje filtr partycji, dzięki czemu poprzednie zapytanie odczytuje tylko dane w partycji date=2020-10-01 , nawet jeśli nie określono filtru partycji.

W innym przykładzie, biorąc pod uwagę następującą tabelę:

CREATE TABLE events(
eventId BIGINT,
data STRING,
eventType STRING,
eventTime TIMESTAMP,
year INT GENERATED ALWAYS AS (YEAR(eventTime)),
month INT GENERATED ALWAYS AS (MONTH(eventTime)),
day INT GENERATED ALWAYS AS (DAY(eventTime))
)
PARTITIONED BY (eventType, year, month, day)

Jeśli następnie uruchomisz następujące zapytanie:

SELECT * FROM events
WHERE eventTime >= "2020-10-01 00:00:00" <= "2020-10-01 12:00:00"

Usługa Delta Lake automatycznie generuje filtr partycji, dzięki czemu poprzednie zapytanie odczytuje tylko dane w partycji year=2020/month=10/day=01 , nawet jeśli nie określono filtru partycji.

Możesz użyć klauzuli EXPLAIN i sprawdzić podany plan, aby sprawdzić, czy usługa Delta Lake automatycznie generuje filtry partycji.

Używanie kolumn tożsamości w usłudze Delta Lake

Ważne

Deklarowanie kolumny tożsamości w tabeli delty powoduje wyłączenie współbieżnych transakcji. Używaj kolumn tożsamości tylko w przypadkach użycia, w których współbieżne zapisy do tabeli docelowej nie są wymagane.

Kolumny tożsamości usługi Delta Lake to typ wygenerowanej kolumny, która przypisuje unikatowe wartości dla każdego rekordu wstawionego do tabeli. W poniższym przykładzie przedstawiono podstawową składnię deklarowania kolumny tożsamości podczas instrukcji create table:

CREATE TABLE table_name (
  identity_col BIGINT GENERATED BY DEFAULT AS IDENTITY,
  other_column ...)

Aby wyświetlić wszystkie opcje składni tworzenia tabel z kolumnami tożsamości, zobacz CREATE TABLE [USING].

Opcjonalnie możesz określić następujące elementy:

• Wartość początkowa.
• Rozmiar kroku, który może być dodatni lub ujemny.

Wartości przypisane przez kolumny tożsamości są unikatowe i zwiększane w kierunku określonego kroku, a w wielokrotnościach określonego rozmiaru kroku, ale nie mają gwarancji, że są ciągłe. Na przykład z wartością 0 początkową i rozmiarem 2kroku , wszystkie wartości są dodatnie parzystymi liczbami, ale niektóre liczby parzysty mogą zostać pominięte.

W przypadku używania klauzuli GENERATED BY DEFAULT AS IDENTITYoperacje wstawiania mogą określać wartości dla kolumny tożsamości. Zmodyfikuj klauzulę , aby GENERATED ALWAYS AS IDENTITY zastąpić możliwość ręcznego ustawiania wartości.

Kolumny tożsamości obsługują BIGINT tylko typ, a operacje kończą się niepowodzeniem, jeśli przypisana wartość przekracza zakres obsługiwany przez BIGINTelement .

Aby dowiedzieć się więcej o synchronizowaniu wartości kolumn tożsamości z danymi, zobacz ALTER TABLE.

Ograniczenia kolumn tożsamości

Podczas pracy z kolumnami tożsamości istnieją następujące ograniczenia:

• Transakcje współbieżne nie są obsługiwane w tabelach z włączonymi kolumnami tożsamości.
• Nie można podzielić tabeli na partycje według kolumny tożsamości.
• Nie można użyć ALTER TABLE elementu do ADD, REPLACElub CHANGE kolumny tożsamości.
• Nie można zaktualizować wartości kolumny tożsamości dla istniejącego rekordu.

Uwaga

Aby zmienić IDENTITY wartość istniejącego rekordu, należy usunąć rekord i INSERT go jako nowy rekord.