Materialisierung für metrische Ansichten

Die Materialisierung für metrische Ansichten beschleunigt Abfragen mithilfe materialisierter Ansichten zur Vorberechnung von Aggregationen. Lakeflow-Pipelines orchestrieren benutzerdefinierte materialisierte Ansichten für eine gegebene Metrikansicht. Zur Abfragezeit leitet der Abfrageoptimierer Abfragen mithilfe des automatischen aggregatfähigen Abfrageabgleichs (Abfrageumschreibung) an die beste materialisierte Sicht weiter. Sie fragen die Metrikansicht wie gewohnt ohne zusätzlichen manuellen Aufwand ab. Databricks aktualisiert die Materialisierungen, um sie auf dem neuesten Stand zu halten. Außerdem wählt es aus, welche Materialisierung für schnellere Abfragen bei geringeren Kosten verwendet wird.

Funktionsweise der Materialisierung

Die Materialisierung für metrische Ansichten umfasst zwei Phasen: Definieren der Materialisierung und Ausführen von Abfragen.

Definitionsphase

Wenn Sie eine Metrikansicht mit Materialisierung definieren, geben Sie Ihre Felder, Measures und Aktualisierungszeitpläne in der Metrikansicht YAML an. Mit dieser Definition erstellt Databricks eine verwaltete Lakeflow-Pipeline , die die materialisierten Ansichten erstellt und verwaltet.

Definition der metrischen Ansicht und Materialisierungspipeline

Dadurch bleibt die Definition der Metrik davon getrennt, wie sie gespeichert wird:

  • Die Metrik-Ansicht ist ein Unity Catalog-Objekt, das die Felder, Maße und Joins der Metrik zusammen mit der Materialisierungskonfiguration (Plan und Granularität) definiert. Es ist die einzige Quelle der Wahrheit für das, was die Metrik bedeutet.
  • Die Pipeline materialisiert diese Definition in eine oder mehrere materialisierte Ansichten, die jeweils mit einer bestimmten Granularität vorberechnet wurden. Databricks wählt aus, welcher zur Abfragezeit gelesen werden soll.

Abfrageausführung

Wenn Sie SELECT ... FROM <metric_view> ausführen, verwendet der Abfrageoptimierer die aggregatbasierte Abfrageüberschreibung, um die Leistung zu optimieren.

Abfrageausführung mit aggregate-bewusster Umschreibung

  • Schneller Pfad: Liest aus vorab berechneten materialisierten Ansichten, wenn eine geeignete Materialisierung existiert.
  • Rückfallpfad: Liest direkt aus den Quelldaten, wenn keine geeignete Materialisierung verfügbar ist.

Der Abfrageoptimierer gleicht die Leistung und Aktualität automatisch aus, indem zwischen materialisierten und Quelldaten ausgewählt wird. Sie erhalten unabhängig davon, welchen Pfad der Optimierer verwendet, transparent Ergebnisse. Weitere Informationen zum Ausführen von Abfragen für Metrikansichten finden Sie unter Abfragemetrikansichten.

Note

Beziehungen zwischen Metrikansichten sind nur Metadaten und beeinflussen die Materialisierung nicht. Konfigurieren Sie die Materialisierung auf jeder Metrikansicht, die Sie beschleunigen möchten. Siehe Beziehungen und Abfrageleistung.

Anforderungen

So verwenden Sie die Materialisierung für Metrikansichten:

  • Dein Arbeitsbereich muss die serverlose Rechenleistung aktiviert haben, um Lakeflow-Pipelines auszuführen.
  • Ein SQL Warehouse oder eine Computeressource mit Databricks Runtime 17.3 oder höher. Metrikansichten ohne Materialisierung werden ab Databricks Runtime 16.4 unterstützt. Die Mindestlaufzeit für jedes Feature finden Sie unter Verfügbarkeit der Metrikansichtsfeatures.

Important

Man kann keine Metrik-Ansicht materialisieren, wenn die Ansicht oder eine beliebige ihrer Quelltabellen Sicherheit auf Zeilenebene (RLS), Spaltenmasken oder attributbasierte Zugriffskontrollrichtlinien (ABAC) verwendet. Da eine Materialisierung einmal vorab unter Verwendung der Identität des Besitzers berechnet wird, würde die Bereitstellung an andere Benutzer die benutzerspezifischen Zugriffskontrollen umgehen, die diese Funktionen zur Abfragezeit durchsetzen. Weitere Informationen finden Sie unter Modus für die Abfrageumschreibung.

Konfigurationsreferenz

Sie konfigurieren die Materialisierung in einem Feld auf oberster Ebene materialization in der YAML-Definition der Metrikansicht. Dieses Feld legt die Abfrageumschreibung mode (immer relaxed), eine optionale Aktualisierung schedule und eine Liste von materialized_views, die beibehalten werden sollen, fest. Jede materialisierte Ansicht ist entweder aggregated, die bestimmte Dimensionen und Measures vorab berechnet, oder unaggregated, die das vollständige Datenmodell materialisiert.

Die vollständige Feld-nach-Feld-Spezifikation, einschließlich erforderlicher und optionaler Felder, zulässiger Werte und der schedule Klauseleinschränkungen, finden Sie unter Materialization.

Beispieldefinition

Im folgenden Beispiel wird eine Metrikansicht mit einer nicht aggregierten und zwei aggregierten Materialisierungen definiert:

version: 1.1

source: prod.operations.orders_enriched_view

filter: revenue > 0

fields:
  - name: category
    expr: substring(category, 5)

  - name: color
    expr: color

measures:
  - name: total_revenue
    expr: SUM(revenue)

  - name: number_of_suppliers
    expr: COUNT(DISTINCT supplier_id)

materialization:
  schedule: every 6 hours
  mode: relaxed

  materialized_views:
    - name: baseline
      type: unaggregated

    - name: revenue_breakdown
      type: aggregated
      dimensions:
        - category
        - color
      measures:
        - total_revenue
      cluster_by:
        cols:
          - category
          - color

    - name: suppliers_by_category
      type: aggregated
      dimensions:
        - category
      measures:
        - number_of_suppliers

Note

Der materialization-Block verwendet das Schlüsselwort dimensions:, um Felder aufzulisten, die materialisiert werden sollen, obwohl die Definition auf oberster Ebene fields: verwendet. Die beiden Schlüsselwörter sind gleichwertig. Siehe Felder.

Die revenue_breakdown Materialisierung wird verwendet cluster_by , um zu steuern, wie die materialisierten Daten physisch angeordnet werden, ähnlich wie die CLUSTER BY Klausel bei einer materialisierten Ansicht. Du kannst stattdessen partition_by verwenden, aber nicht zusammen mit cluster_by, da flüssiges Clustering nicht mit Partitionierung kombiniert werden kann. Die vollständige Feldspezifikation finden Sie unter Materialisierung.

Erstellen Sie die Metrikansicht mit SQL

Um diese Metrikansicht außerhalb des Katalog-Explorers zu erstellen, schließen Sie das YAML in CREATE OR REPLACE VIEW ... WITH METRICS LANGUAGE YAML AS ein und platzieren Sie die Definition zwischen den Trennzeichen $$:

CREATE OR REPLACE VIEW catalog.schema.orders_materialized WITH METRICS LANGUAGE YAML AS
$$
  version: 1.1

  source: prod.operations.orders_enriched_view

  filter: revenue > 0

  dimensions:
    - name: category
      expr: substring(category, 5)

    - name: color
      expr: color

  measures:
    - name: total_revenue
      expr: SUM(revenue)

    - name: number_of_suppliers
      expr: COUNT(DISTINCT supplier_id)

  materialization:
    schedule: every 6 hours
    mode: relaxed

    materialized_views:
      - name: baseline
        type: unaggregated

      - name: revenue_breakdown
        type: aggregated
        dimensions:
          - category
          - color
        measures:
          - total_revenue

      - name: suppliers_by_category
        type: aggregated
        dimensions:
          - category
        measures:
          - number_of_suppliers
$$

Joker-Kurzform für Dimensionen und Maße

Für type: aggregated materialisierte Ansichten verwenden Sie einen Wildcard-Ausdruck als alleiniges Element einer dimensions- oder measures-Liste, anstatt jeden Namen aufzuzählen.

  • "*" wählt alle deklarierten Dimensionen oder Maße in der metrischen Ansicht aus.
  • "* EXCEPT (name1, name2, ...)" wählt alle außer den benannten Elementen aus.

Der Wildcard-Wert muss in YAML in Anführungszeichen gesetzt werden. Bare * ist ein YAML-Ankerreferenzzeichen und verursacht einen Parsefehler.

Der Platzhalter muss das einzige Element in seiner Liste sein. Das Schreiben von ["*", "region"] ist ein Validierungsfehler. Um alles außer einem kleinen Set auszuwählen, verwenden Sie "* EXCEPT (region)" stattdessen.

Wildcards erweitern sich dynamisch bei jedem Pipeline-Refresh, nicht zu dem Zeitpunkt, an dem du die Metrikansicht erstellst oder änderst. Wenn Sie eine neue Dimension oder Maßgröße zur Metrikansicht hinzufügen, wird sie bei der nächsten Aktualisierung der Pipeline automatisch in jede Materialisierung aufgenommen, die "*" verwendet, ohne dass ein ALTER erforderlich ist.

Das folgende Beispiel verwendet Wildcards über mehrere materialisierte Ansichten in derselben Metrikansicht:

materialization:
  schedule: every 6 hours
  mode: relaxed
  materialized_views:
    # All dimensions and all measures
    - name: full_coverage
      type: aggregated
      dimensions:
        - '*'
      measures:
        - '*'

    # All dimensions, specific measures only
    - name: revenue_only
      type: aggregated
      dimensions:
        - '*'
      measures:
        - total_revenue
        - order_count

    # Named dimensions, all measures except one
    - name: category_most_measures
      type: aggregated
      dimensions:
        - category
      measures:
        - '* EXCEPT (expensive_computed_measure)'

Note

Namen in EXCEPT (...) müssen mit deklarierten Dimensions- oder Maßnamen übereinstimmen. Unbekannte Namen verursachen zur Zeit von CREATE oder ALTER einen Validierungsfehler.

Wenn eine Wildcard auf null Namen erweitert wird (zum Beispiel measures: ["*"] in einer Metrikansicht ohne definierte Messgrößen), gibt Databricks einen Validierungsfehler zurück, wenn Sie die Metrikansicht erstellen oder verändern.

Abfrageumschreibungsmodus

Im Modus relaxed überprüft die automatische Abfrageumschreibung nur, ob infrage kommende materialisierte Sichten über die erforderlichen Felder und Measures verfügen, um die Abfrage zu bedienen.

Die folgenden Prüfungen werden übersprungen:

  • Freshness: Es bestätigt nicht, ob die Materialisierung aktuell ist.
  • SQL-Einstellungen: Es wird nicht überprüft, ob Einstellungen wie TIMEZONE oder ANSI_MODE übereinstimmen.
  • Determinismus: Es überprüft nicht, dass die materialisierten Ergebnisse vollständig deterministisch sind.

Abfragen, die mit einer Materialisierung übereinstimmen, greifen auf den letzten Aktualisierungsstand zurück. Abfragen, die nicht übereinstimmen, greifen auf die Quelldaten zurück und geben Live-Daten zurück. Daher kann die Aktualität der Daten variieren, je nachdem, ob eine Abfrage für die Neuschreibung qualifiziert ist. Um die Konsistenz zu überprüfen, stimmen Sie Ihren Zeitplan für die Aktualisierung der Materialisierung auf Ihre Quellpipeline ab. Wenn Ihre Quelle beispielsweise täglich mit einer Batchpipeline aktualisiert wird, planen Sie die Aktualisierung der Materialisierung so, dass sie nach Abschluss dieser Pipeline ausgeführt wird. Verwenden Sie alternativ eine nicht aggregierte Materialisierung, um sicherzustellen, dass alle Abfragen aus derselben Momentaufnahme gelesen werden.

Sie können keine Materialisierung erstellen, wenn die Metrikansicht oder eine der Quelltabellen folgendes verwendet:

  • Sicherheitsrichtlinien auf Zeilenebene (RLS),Spalten-Maskierung (CLM) oder ABAC-Richtlinien. Vorab berechnete Ergebnisse können benutzerspezifische Zugriffskontrollen umgehen, die zur Abfragezeit erzwungen werden sollen.
  • Aufruferabhängige Ausdrücke, deren Ergebnis sich danach richtet, wer die Abfrage ausführt (zum Beispiel current_user() oder is_member()). Eine Materialisierung wird einmal vorkonfiguriert und freigegeben, sodass die Bereitstellung an einen anderen Benutzer falsche oder unsichere Ergebnisse zurückgibt.

Databricks überprüft diese Einschränkung, wenn Sie eine Materialisierung erstellen, ändern oder aktualisieren. Diese Vorgänge schlagen mit der Fehlerbedingung METRIC_VIEW_MATERIALIZATION_WITH_INVOKER_DEPENDENT_EXPRESSIONS_NOT_SUPPORTED (SQLSTATE 42K0E) fehl. Siehe METRIC_VIEW_MATERIALIZATION_WITH_INVOKER_DEPENDENT_EXPRESSIONS_NOT_SUPPORTED.

Arten von Materialisierungen für metrische Ansichten

In den folgenden Abschnitten werden die Für Metrikansichten verfügbaren Typen von materialisierten Ansichten erläutert und Anleitungen zum Auswählen der geeigneten Konfiguration für Ihre Datenquellen und Abfragemuster bereitgestellt.

Aggregierter Typ

Dieser Typ berechnet Aggregationen für angegebene Metrik- und Feldkombinationen im Voraus, um eine gezielte Abdeckung zu erreichen.

Verwenden Sie einen Aggregationstyp, wenn bestimmte Dimensions- und Kennzahlkombinationen häufig abgefragt werden. Bei aggregierten Materialisierungen gelten sowohl strategien für genaue Übereinstimmungen als auch Rollup-Übereinstimmungen , die die beste Abfrageleistung für diese Muster bieten.

Für optimale Aggregationen:

  • Schließen Sie die am häufigsten verwendeten Dimensionen in GROUP BY Klauseln ein.
  • Fügen Sie alle potenziellen Filterspalten hinzu (Spalten, die in WHERE zum Abfragezeitpunkt verwendet werden).
  • Materialisieren Sie auf der detailliertesten Ebene, die Ihre Abfragen benötigen. Beispielsweise kann eine Materialisierung bei (region, sku, event_day) allen folgenden Zwecken dienen:
    • GROUP BY region
    • GROUP BY region, event_month
    • GROUP BY sku mit WHERE region = 'US'
  • Vermeiden Sie zu fein aufgelöste Dimensionen, die überwiegend Gruppen mit nur einer Zeile erzeugen (z. B. einen unverarbeiteten Zeitstempel mit Millisekundengenauigkeit). Dies hat keinen Vorteil und überblasen Speicher.
  • Achten Sie auf Maßnahmen, die nicht additiv sind. Nicht-additive Kennzahlen können nicht aus Teilergebnissen erneut aggregiert werden (z. B. COUNT(DISTINCT), MEDIAN und Perzentile) und erfordern eine exakte Übereinstimmung mit einer Materialisierung.

Eine einzelne Aggregation kann nur Abfragen bereitstellen, die ihren spezifischen Dimensionen (genaue Übereinstimmung) oder einer Teilmenge ihrer Dimensionen (Rollupübereinstimmung) entsprechen. Databricks empfiehlt das Erstellen mehrerer aggregierter Materialisierungen für verschiedene Abfrage-Shapes.

Nicht aggregierter Typ

Dieser Typ materialisiert das gesamte nicht aggregierte Datenmodell (die Felder source, joins, filter und fields) für eine umfassendere Abdeckung mit geringerem Leistungsaufwand im Vergleich zum aggregierten Typ.

Verwenden Sie einen nicht aggregierten Typ, wenn einer der folgenden Werte zutrifft:

  • Ihre Metrikansicht umfasst teure Quelltransformationen oder Verknüpfungen.
  • Abfragemuster sind unvorhersehbar oder vielfältig.
  • Alle Benutzer, die die Metrikansicht abfragen, müssen die Konsistenz innerhalb der Daten sehen.

Bei nicht aggregierten Materialisierungen werden teure Quellsichten und Joins einmal bei der Aktualisierung und nicht bei jeder Abfrage berechnet. Wenn sowohl aggregierte als auch nicht aggregierte Materialisierungen vorhanden sind, berechnet Databricks die aggregierten Materialisierungen aus dem nicht aggregierten Material. Dadurch wird eine konsistente Momentaufnahme bereitgestellt und eine redundante Neukompilierung der Quelle vermieden. Eine nicht aggregierte Übereinstimmung ist unabhängig von der Abfragestruktur immer zulässig, vorbehaltlich der in Modus zur Abfrageumschreibung beschriebenen Einschränkungen.

Eine nicht aggregierte Materialisierung hilft nicht, wenn es sich bei der Quelle um einen direkten Tabellenverweis ohne selektiven Filter handelt. In diesem Fall hat es keinen Vorteil, die Quelle direkt zu abfragen.

Weitere Hinweise dazu, wie und wann diese Materialisierungstypen verwendet werden, finden Sie unter Einen Materialisierungstyp für Metrikansichten auswählen.

Automatische Abfragenneuschreibung

Wenn Sie eine Metrikansicht abfragen, leitet die Abfrageumschreibung Ihre Abfrage automatisch an die beste verfügbare Materialisierung weiter. Es verwendet drei Abfrageumschreibungsstrategien: genaue Übereinstimmung, Rollup-Übereinstimmung und nicht aggregierte Übereinstimmung.

Aggregate-bewusste Abfrage-Umschreibung

Die Abfrage wird automatisch für die beste Materialisierung anstelle der Basistabellen mit diesem Algorithmus ausgeführt:

  1. Zuerst versucht der Abfrageoptimierer eine genaue Übereinstimmung.
  2. Wenn es keine genaue Übereinstimmung gibt, versucht der Abfrageoptimierer eine Rollup-Übereinstimmung.
  3. Wenn keine Rollupübereinstimmung vorliegt und eine nicht aggregierte Materialisierung vorhanden ist, versucht der Abfrageoptimierer eine nicht aggregierte Übereinstimmung.
  4. Wenn keine nicht aggregierte Übereinstimmung vorhanden ist, liest die Abfrage direkt aus den Quelltabellen.

In den folgenden Abschnitten wird erläutert, wie jede Strategie funktioniert.

Strategien für Query-Rewrite-Übereinstimmungen

Note

Materialisierungen müssen die Materialisierung abschließen, bevor die Abfrageumschreibung wirksam werden kann.

Genaue Übereinstimmung

Die Abfrage fragt genau, was in der Materialisierung vorab berechnet wurde. Die Abfrage schreibt das gespeicherte Ergebnis ohne zusätzliche Arbeit um und ermöglicht schnelle Ergebnisse.

Voraussetzungen für eine genaue Übereinstimmung:

  • Die Ausdrücke der GROUP BY Abfrage müssen exakt den Materialisierungsdimensionen entsprechen.
  • Die Kennzahlen der Abfrage müssen eine Teilmenge der Kennzahlen der Materialisierung sein.

Beispielsweise verfügt eine Materialisierung über Dimensionen [region, order_date] und Maße [total_revenue, order_count]. Eine Abfrage, die nach region und order_date gruppiert und total_revenue abfragt, ist eine exakte Übereinstimmung, da die Dimensionen identisch sind und die Kennzahl vorab berechnet wurde.

Rollup-Übereinstimmung

Die Abfrage fordert eine Zusammenfassung auf einer groberen Ebene als das, was zuvor berechnet wurde. Der Optimierer liest das vorab berechnete Ergebnis und aggregiert es bis zur Ebene, die die Abfrage benötigt.

Voraussetzungen für eine Rollupübereinstimmung:

  • Groberes Korn: Die Abfrage gruppiert nach weniger Dimensionen oder einer breiteren Zeitgranularität als die Materialisierung.
  • Alle Maße sind additiv: Jedes Maß, das Ihre Abfrage anfordert, muss eines sein, das durch Kombination von Teilergebnissen korrekt neu berechnet werden kann (zum Beispiel SUM von SUMs oder MAX von MAXes). MEDIAN Kann nicht zusammengerollt werden, weil es von der Gruppenverteilung abhängt.
  • Alle teilnehmenden Filter müssen deterministische Ausdrücke sein: Wenn Ihre Abfrage eine WHERE Klausel enthält, muss der Filter immer dasselbe Ergebnis für dieselbe Eingabe liefern. Beispielsweise ist WHERE region = 'US' deterministisch, Ausdrücke wie rand() oder uuid() sind es jedoch nicht.

Die Rollupübereinstimmung ist für nicht additive Measures nicht zulässig, da sie aus Teilergebnissen nicht korrekt neu aggregiert werden können. Siehe Additive Maßnahmen.

Wenn Sie beispielsweise dieselbe Materialisierung mit den Dimensionen [region, order_date] und den Measures [total_revenue, order_count] verwenden, ist eine Abfrage, die nur nach region gruppiert und nach total_revenue fragt, eine Rollupübereinstimmung. Die Abfrage benötigt weniger Dimensionen als materialisiert wurden, sodass die Engine die Tagessummen zu Summen auf Regionsebene zusammenfasst.

Note

Der Rollup-Abgleich ist nicht verfügbar, wenn die Metrikansicht einen Join one_to_many verwendet. In diesem Fall fällt jede Materialisierung nur auf eine genaue Übereinstimmung zurück. Weitere Informationen zu Eins-zu-viele-Verknüpfungen finden Sie unter Eins-zu-viele-Verknüpfungen.

Additive Maßnahmen

Eine Kennzahl ist additiv, wenn ihr aggregiertes Ergebnis durch erneute Aggregation bereits vorhandener aggregierter Materialisierungen korrekt neu berechnet werden kann. Dies ist die Kernanforderung für den Rollupabgleich.

Jede Aggregation mit DISTINCT (zum Beispiel COUNT(DISTINCT), SUM(DISTINCT)) ist nicht additiv und kann nicht hochgerollt werden.

Die folgenden Funktionen sind additiv:

  • SUM
  • COUNT
  • MIN
  • MAX
  • BIT_AND
  • BIT_OR
  • BIT_XOR
  • BOOL_AND
  • BOOL_OR

Zusätzliche Einschränkungen gelten für additive Maßnahmen:

  • Die Measuredefinition muss genau eine Aggregatfunktion enthalten. Ein Maß, dessen Definition mehrere Aggregate kombiniert (zum Beispiel sum(cost) + min(revenue)), ist nicht für den Rollupabgleich geeignet.
  • Wenn die Measuredefinition eine FILTER Klausel enthält, muss sie deterministisch sein.
  • Das Measure darf kein Fenstermeasure sein (z. B. eine gleitende 7-Tage-Summe oder ein Jahresvergleich, der mit einem Fensterblock definiert ist).

Die folgende Tabelle fasst zusammen, welchen Übereinstimmungstypen gängige Übereinstimmungstypen zugeordnet sind:

Messmuster Übereinstimmungstyp Grund
Ein einzelnes additives Aggregat (SUM, COUNT, MIN, MAX) Rollup-fähig Kann aus Teilergebnissen neu aggregiert werden
COUNT(DISTINCT) oder ein anderes nicht-additives Aggregat Nur exakte Übereinstimmung Kann nicht erneut aggregiert werden
Mehrere Aggregate in einem Ausdruck (SUM(x) + MIN(y)) Nur exakte Übereinstimmung Einzelne Aggregate können nicht für ein Rollup isoliert werden.
Additives Aggregat mit deterministischer FILTER Rollup-fähig Filter ist deterministisch, Aggregat ist additiv
Fenstermaß Nur exakte Übereinstimmung Der Fensterrahmen hängt von der genauen Körnung ab.

Nicht aggregierte Übereinstimmung

Die Abfrage stimmt nicht mit einer vorab berechneten Aggregation überein, aber die teure Vorbereitung (Verknüpfungen und Filter) ist bereits abgeschlossen. Die Abfrageumschreibung beginnt mit dem vorbereiteten Dataset der nicht aggregierten Materialisierung, anstatt zu den Quelltabellen zurückzukehren.

Wenn eine nicht-aggregierte Materialisierung vorhanden ist, steht diese Strategie immer als Fallback zur Verfügung, bevor auf die Quelle zurückgegriffen wird. Jedes Abfrage-Shape kann es verwenden, vorbehaltlich der im Abfrageumschreibmodus beschriebenen Einschränkungen.

Ihre Abfrage gruppiert zum Beispiel nach category und fragt unique_customers ab, aber keine aggregierte Materialisierung umfasst diese Felder und Messwerte. Es existiert jedoch eine nicht aggregierte Materialisierung, bei der der verknüpfte, gefilterte Datensatz bereits vorliegt. Der Abfrageoptimierer liest aus diesem vorbereiteten Datensatz und führt zur Abfragezeit GROUP BY category, COUNT(DISTINCT customer_id) aus, anstatt die Rohdaten-Tabellen von Grund auf neu zu verknüpfen.

Überprüfen Sie, ob eine Abfrage materialisierte Ansichten verwendet

Es gibt zwei Möglichkeiten, zu überprüfen, ob eine Abfrage eine materialisierte Ansicht verwendet:

  • Wenden Sie EXPLAIN EXTENDED auf Ihre Abfrage an, um den Abfrageplan anzuzeigen. Wenn die Materialisierung verwendet wurde, enthält der Blattknoten __materialization_mat_<pipeline ID>___metric_view_mat_ sowie den Namen der Materialisierung aus der YAML-Datei.
  • Sehen Sie sich das Abfrageprofil für eine Erkenntnis zur Übereinstimmung der Materialisierung einer Metrikansicht an, wie unten gezeigt.

Abfrageprofil, das eine Einsicht zur Übereinstimmung der Metrikansichts-Materialisierung zeigt

Materialisierungslebenszyklus

In diesem Abschnitt wird erläutert, wie Materialisierungen während des gesamten Lebenszyklus erstellt, verwaltet und aktualisiert werden.

Erstellen und Ändern

Wenn Sie eine Metrikansicht erstellen oder ändern (mit CREATE, ALTER oder dem Catalog Explorer), wird die Definition der Metrikansicht sofort aktualisiert. Materialisierte Ansichten werden mithilfe einer verwalteten Pipeline asynchron im Hintergrund aktualisiert.

So definieren Sie eine neue Materialisierung im Katalog-Explorer-Editor:

  1. Klicken Sie auf Materialisierungen.
  2. Klicken Sie auf "Zeitplan ", um einen Zeitplan festzulegen. Sie können einen Intervallzeitraum auswählen oder die Materialisierung festlegen, die zu einem bestimmten Zeitpunkt ausgeführt werden soll.
  3. Wählen Sie einen Typ aus. Pro Metrikansicht ist nur eine nicht aggregierte Materialisierung zulässig. Weitere Informationen finden Sie unter Typen von Materialisierungen für Metrikansichten.
  4. Verwenden Sie die Dropdownliste "Felder ", um die Felder auszuwählen, die in die Materialisierung einbezogen werden sollen.
  5. Verwenden Sie die Dropdown-Liste Measures, um die einzuschließenden Kennzahlen auszuwählen.

Wenn Sie eine Metrikansicht erstellen, erstellt Databricks eine Lakeflow-Pipeline und plant sofort ein erstes Update, wenn materialisierte Ansichten definiert sind. Die Metrikansicht bleibt ohne Materialisierungen abfragbar, indem sie auf die Abfrage der Quelldaten zurückgreift.

Wenn Sie eine Metrikansicht ändern, plant Databricks keine neuen Updates, es sei denn, Sie aktivieren die Materialisierung zum ersten Mal. Materialisierte Ansichten werden erst dann für die automatische Neugenerierung von Abfragen verwendet, wenn die nächste geplante Aktualisierung abgeschlossen ist.

Das Ändern des Materialisierungszeitplans löst keine Aktualisierung aus.

Ohne Zeitplan führt die Pipeline bei der Erstellung eine erste Aktualisierung aus, nachfolgende Aktualisierungen müssen jedoch manuell ausgelöst werden, andernfalls veralten die Daten. Databricks empfiehlt, immer einen Zeitplan zu definieren, sodass Daten aktuell bleiben, es sei denn, Sie testen oder prototypieren.

Weitere Informationen finden Sie unter "Manuelle Aktualisierung ", um das Aktualisierungsverhalten genauer zu steuern.

Inspizieren Sie die zugrunde liegende Pipeline

Die Materialisierung für Metrikansichten wird mithilfe von Lakeflow-Pipelines implementiert. Um die Pipeline anzuzeigen, müssen Sie der Eigentümer der Metrikansicht sein oder das MANAGE Recht auf der Metrikansicht haben. Siehe Berechtigungen zum Verwalten von Materialisierungen erteilen.

Sie können auf zwei Arten auf die Pipeline zugreifen:

  • In Catalog Explorer: Der Übersichtstab für die Metrikansicht enthält einen direkten Link unter der Überschrift Auffrischungsplan. Informationen zum Zugreifen auf den Katalog-Explorer finden Sie unter Was ist der Katalog-Explorer?.
  • Mit SQL: Ausführen Sie DESCRIBE EXTENDED. Der Abschnitt "Aktualisierungsinformationen" enthält den Pipelinelink und den aktuellen Aktualisierungsstatus.
DESCRIBE EXTENDED my_metric_view;

Beispielausgabe:

-- Returns additional metadata such as parent schema, owner, access time etc.
> DESCRIBE EXTENDED my_metric_view;
                      col_name                       data_type    comment
 ------------------------------- ------------------------------ ----------
                           ...                             ...        ...

 # Detailed Table Information
                           ...                             ...

                      Language                            YAML
              Table properties                             ...
 # Refresh Information
         Latest Refresh Status                       Succeeded
                Latest Refresh                     https://...
              Refresh Schedule                   EVERY 6 HOURS

Manuelle Aktualisierung

Über den Link zur Lakeflow-Pipeline-Seite können Sie manuell eine Pipeline-Aktualisierung starten, um die Materialisierungen zu aktualisieren. Sie können eine manuelle Aktualisierung auch mit dem folgenden SQL-Befehl auslösen:

REFRESH MATERIALIZED VIEW <metric-view-name>

Schrittweise Aktualisierung

Die materialisierten Ansichten verwenden nach Möglichkeit eine inkrementelle Aktualisierung und haben dieselben Einschränkungen wie standardmaterialisierte Ansichten in Bezug auf Datenquellen und Planstruktur.

Ausführliche Informationen zu Voraussetzungen und Einschränkungen finden Sie unter Inkrementelles Aktualisieren von materialisierten Ansichten.

Um zu steuern, ob eine Materialisierung auf eine vollständige Neuberechnung zurückfällt, setzen Sie refresh_policy beim Eintrag in materialized_views. Mit incremental oder incremental strictschlägt das Erstellen oder Ändern der Metrikansicht fehl, wenn diese Materialisierung nicht schrittweise aktualisiert werden kann. Siehe Materialisierung.

Berechtigungen zum Verwalten von Materialisierungen erteilen

Berechtigungen für Materialisierungen stammen aus der metrischen Ansicht im Unity Catalog, nicht aus der zugrunde liegenden Pipeline. Wenn Sie das MANAGE Privileg auf eine metrische Ansicht oder auf das Schema oder den Katalog gewähren, der sie enthält, gilt das Privileg für die Materialisierungen der metrischen Ansicht.

Um MANAGE zu gewähren, musst du der Eigentümer des Objekts sein oder darüber MANAGE verfügen. Details zu der MANAGE-Berechtigung finden Sie unter VERWALTEN.

Berechtigung für ein Schema oder einen Katalog

Databricks empfiehlt, MANAGE für das Schema oder den Katalog zu erteilen. Eine einzelne Berechtigung deckt alle aktuellen und zukünftigen Metrikansichten in diesem Schema oder Katalog ab.

-- Every metric view in one schema (current and future)
GRANT USE CATALOG ON CATALOG my_catalog TO `data-engineering`;
GRANT USE SCHEMA, MANAGE ON SCHEMA my_catalog.my_schema TO `data-engineering`;

-- Every metric view in the catalog (current and future)
GRANT USE CATALOG, USE SCHEMA, MANAGE ON CATALOG my_catalog TO `data-engineering`;

Fügen Sie SELECT derselben Anweisung hinzu, wenn der Prinzipal auch die Metrikansichten abfragen muss. Im Catalog Explorer öffnen Sie das Schema oder den Katalog (keine einzelne Metrikansicht), klicken Sie auf den Reiter Berechtigungen und klicken Sie auf Grant.

Note

MANAGE auf ein Schema oder einen Katalog gilt für jedes darin enthaltene Objekt, nicht nur für metrische Ansichten.

Grant auf eine einzelne Metrikansicht

SQL

GRANT USE CATALOG ON CATALOG my_catalog TO `teammate@example.com`;
GRANT USE SCHEMA ON SCHEMA my_catalog.my_schema TO `teammate@example.com`;
GRANT MANAGE ON TABLE my_catalog.my_schema.my_metric_view TO `teammate@example.com`;

Um einer Gruppe Berechtigungen zu erteilen, verwenden Sie den Gruppennamen statt der E-Mail-Adresse.

Katalog-Explorer

  1. Klicken Sie im Azure Databricks-Arbeitsbereich auf das Datensymbol.Katalog.
  2. Wechsle zur Metrikansicht.
  3. Klicken Sie auf die Registerkarte Berechtigungen.
  4. Klicken Sie auf Erlauben.
  5. Wählen Sie den Benutzer, die Gruppe oder den Dienstprinzipal aus.
  6. Wählen Sie VERWALTEN sowie alle weiteren benötigten Privilegien, die der Prinzipal benötigt.
  7. Klicken Sie auf Bestätigen.

CLI

databricks grants update table my_catalog.my_schema.my_metric_view --json '{
  "changes": [
    { "principal": "teammate@example.com", "add": ["MANAGE"] }
  ]
}'

Für weitere Informationen siehe grantsKommandogruppe.

Berechtigung mit deklarativen Automatisierungsbündeln erteilen

Deklarative Automatisierungsbündel können nicht auf eine einzelne Metrikansicht abzielen, daher gewähren Sie MANAGE auf Schema-Ebene:

resources:
  schemas:
    my_schema:
      name: my_schema
      catalog_name: my_catalog
      grants:
        - principal: data-engineering
          privileges:
            - USE_SCHEMA
            - MANAGE

Dann deploye das Bündel:

databricks bundle deploy

Dies funktioniert nur für Schemata, die das Bundle erstellt. Für bestehende Schemata verwenden Sie SQL oder Catalog Explorer.

Weitere Informationen zu Schema-Grants in Bundles finden Sie unter schema (Unity Catalog).

Abrechnung

Für das Aktualisieren von materialisierten Ansichten fallen Nutzungsgebühren für Lakeflow-Pipelines an. Um den Databricks-Einheitenverbrauch (DBU) der Pipeline zu finden, siehe Was ist der DBU-Verbrauch einer serverlosen Pipeline?.

Materialisierungspipelines übernehmen die benutzerdefinierten Tags des SQL-Warehouses, das die Anweisung ausführt, sodass ihre Nutzung in system.billing.usage diesem Warehouse zugeschrieben werden kann. System-Tags werden nicht übertragen. Der erste CREATE speichert die Tags des Warehouse in der Pipeline. Jede spätere CREATE oder manuelle REFRESH wendet die Tags des Warehouse an, das sie ausführt, und geplante Aktualisierungen verwenden die bei der Erstellung gespeicherten Tags. Metrikansichten haben keine eigene Tag-Einstellung, also ändere die Tag-Einstellungen des SQL Warehouses, um die Tags zu ändern. Siehe Attributkosten für das SQL-Lager mit benutzerdefinierten Tags.

Bekannte Einschränkungen

Die folgenden Einschränkungen gelten für die Materialisierung für Metrikansichten:

  • Sie können keine Metrikansicht materialisieren, die Parameter definiert.
  • Nachdem eine Materialisierung für eine Metrikansicht erstellt wurde, können Sie den Besitzer nicht mehr ändern.
  • Databricks unterstützt keinen Gruppenbesitz materialisierter Metrikansichten.
  • Nur die Strategie für genaue Übereinstimmungen ist für Metrikansichten mit 1:n-Joins zulässig.
  • Die Materialisierung schedule unterstützt die TRIGGER ON UPDATE Klausel nicht.