Publicera data från Delta Live Tables-pipelines till Hive-metaarkivet

  • Artikel

Du kan göra utdata för din pipeline identifierbara och tillgängliga för frågor genom att publicera datauppsättningar till Hive-metaarkivet. Om du vill publicera datauppsättningar till metaarkivet anger du ett schemanamn i fältet Mål när du skapar en pipeline. Du kan också lägga till en måldatabas i en befintlig pipeline.

Som standard är alla tabeller och vyer som skapats i Delta Live Tables lokala för pipelinen. Du måste publicera tabeller till ett målschema för att fråga eller använda Delta Live Tables-datauppsättningar utanför pipelinen där de deklareras.

Information om hur du publicerar tabeller från dina pipelines till Unity Catalog finns i Använda Unity Catalog med dina Delta Live Tables-pipelines.

Publicera Delta Live Tables-datauppsättningar till ett schema

Du kan deklarera ett målschema för alla tabeller i din Delta Live Tables-pipeline med hjälp av fältet Målschema i pipelineinställningarna och Skapa pipeline-UIs .

Du kan också ange ett schema i en JSON-konfiguration genom att ange värdet target .

Du måste köra en uppdatering för pipelinen för att publicera resultat till målschemat.

Du kan använda den här funktionen med flera miljökonfigurationer för att publicera till olika scheman baserat på miljön. Du kan till exempel publicera till ett dev schema för utveckling och ett prod schema för produktionsdata.

Så här frågar du datauppsättningar i Delta Live Tables

När en uppdatering har slutförts kan du visa schemat och tabellerna, fråga efter data eller använda data i underordnade program.

När de har publicerats kan Delta Live Tables-tabeller frågas från valfri miljö med åtkomst till målschemat. Detta inkluderar Databricks SQL, notebook-filer och andra Delta Live Tables-pipelines.

Viktigt!

När du skapar en target konfiguration publiceras endast tabeller och associerade metadata. Vyer publiceras inte i metaarkivet.

Undanta tabeller från målschemat

Om du behöver beräkna mellanliggande tabeller som inte är avsedda för extern förbrukning kan du förhindra att de publiceras till ett schema med hjälp av nyckelordet TEMPORARY . Tillfälliga tabeller lagrar och bearbetar fortfarande data enligt Delta Live Tables-semantik, men bör inte nås utanför den aktuella pipelinen. En tillfällig tabell finns kvar under pipelinens livslängd som skapar den. Använd följande syntax för att deklarera temporära tabeller:

SQL

CREATE TEMPORARY LIVE TABLE temp_table
AS SELECT ... ;

Python

@dlt.table(
  temporary=True)
def temp_table():
  return ("...")