Disponibilizar dados do lakehouse

Sincronize uma tabela do Catálogo do Unity com o Postgres e consulte-a junto com seus dados operacionais.

Etapas: (1) Criar dados de análise → (2) Sincronizar com o Lakebase → (3) Localizar seus dados no Postgres → (4) Consulta em ambos os mundos

Note

Este é um início rápido. Para obter a documentação completa, consulte Tabelas de sincronização.

Antes de começar

  • Verifique se você concluiu a obtenção de um banco de dados Postgres. Você precisa de um projeto do Lakebase com dados de exemplo.
  • Um SQL warehouse ou notebook para consultas no Unity Catalog.
  • USE_SCHEMA e CREATE_TABLE no esquema em que você criará a tabela sincronizada.

Etapa 1: Criar dados de análise no Catálogo do Unity

Imagine que sua equipe de dados criou pontuações de segmentação de usuários no lakehouse. Em produção, isso seria uma tabela de ouro, uma saída de ML ou um conjunto de dados enriquecido. Para este guia, você criará um pequeno exemplo.

Em um sql warehouse ou notebook, execute:

CREATE TABLE main.default.user_segments AS
SELECT * FROM VALUES
  (1, 'power_user', 0.92),
  (2, 'casual', 0.35),
  (3, 'power_user', 0.88)
AS segments(user_id, segment, engagement_score);

Observe que os user_id valores correspondem à id coluna em sua playing_with_lakebase tabela desde o início. Isso é intencional. Você se juntará a eles na Etapa 4.

Saiba mais: Tipos de origem com suporte

Etapa 2: Sincronizar a tabela com o Lakebase

No Gerenciador de Catálogos, navegue até sua user_segments tabela e crie uma tabela sincronizada a partir dela. Escolha o banco de dados do seu projeto Lakebase databricks_postgres como destino e Instantâneo como modo de sincronização. O Snapshot copia os dados uma vez, sendo a opção mais simples para iniciar.

A sincronização é executada automaticamente. Quando isso for concluído, uma nova tabela de somente leitura aparecerá no seu banco de dados Lakebase. O nome do esquema do Unity Catalog passa a ser o nome do esquema do Postgres, e o nome da tabela recebe o sufixo _synced: default.user_segments_synced.

Saiba mais: Criar uma tabela sincronizada (procedimento completo) | Modos de sincronização

Etapa 3: localizar seus dados no Postgres

Mude para o Editor SQL do Lakebase. Os dados de análise do Catálogo do Unity agora são consultáveis com o SQL do Postgres padrão. Procure o usuário 1:

SELECT * FROM "default".user_segments_synced WHERE user_id = 1;

Note

default deve ser citado porque é uma palavra-chave reservada do PostgreSQL. O esquema da tabela sincronizada herda o nome do esquema do Unity Catalog, por isso, se o esquema for nomeado default, você sempre deverá citá-lo em consultas.

Você deve ver o usuário 1 com o segmento power_user e uma pontuação de engajamento de 0.92. Essa é a mesma linha que você criou no Catálogo do Unity, agora disponível no Postgres com leituras de baixa latência.

Saiba mais: Mapeamento de tipo de dados

Etapa 4: Consultar em ambos os mundos

Aqui está o resultado. Sua playing_with_lakebase tabela tem dados operacionais. Sua user_segments_synced tabela tem análises de lakehouse. Junte-se a eles:

SELECT
  p.id,
  p.name,
  p.value,
  s.segment,
  s.engagement_score
FROM playing_with_lakebase p
JOIN "default".user_segments_synced s ON p.id = s.user_id;

Seu aplicativo agora pode fornecer dados enriquecidos. Uma única consulta postgres combina o que o aplicativo sabe (nomes, valores) com o que o lakehouse computou (segmentos, pontuações). Sem chamadas de API ao lakehouse, sem scripts de sincronização, sem penalidade por latência.

Saiba mais: Planejamento de capacidade

Próximas Etapas 

  • Last updated on