Conectar-se ao Qlik Replicate
Importante
Esta funcionalidade está em Pré-visualização Pública.
O Qlik Replicate ajuda você a extrair dados de várias fontes de dados (Oracle, Microsoft SQL Server, SAP, mainframe e muito mais) para o Delta Lake. A captura automatizada de dados de alteração (CDC) do Replicate ajuda a evitar o trabalho pesado de extrair dados manualmente, transferir usando um script de API, cortar, preparar e importar. O Qlik Compose automatiza o CDC no Delta Lake.
Nota
Para obter informações sobre o Qlik Sense, uma solução que ajuda a analisar dados no Delta Lake, consulte Conectar-se ao Qlik Sense.
Para uma demonstração geral do Qlik Replicate Replicate, assista ao seguinte vídeo do YouTube (14 minutos).
Para uma demonstração dos pipelines de dados com o Qlik Replicate Replicate, consulte o seguinte vídeo do YouTube (6 minutos).
Aqui estão as etapas para usar o Qlik Replicate com o Azure Databricks.
Etapa 1: Gerar um token de acesso pessoal Databricks
O Qlik Replicate autentica com o Azure Databricks usando um token de acesso pessoal do Azure Databricks.
Nota
Como prática recomendada de segurança, quando você se autentica com ferramentas, sistemas, scripts e aplicativos automatizados, o Databricks recomenda que você use tokens de acesso pessoal pertencentes a entidades de serviço em vez de usuários do espaço de trabalho. Para criar tokens para entidades de serviço, consulte Gerenciar tokens para uma entidade de serviço.
Etapa 2: Configurar um cluster para dar suporte às necessidades de integração
O Qlik Replicate gravará dados em um caminho de Armazenamento do Azure Data Lake e o cluster de integração do Azure Databricks lerá dados desse local. Portanto, o cluster de integração requer acesso seguro ao caminho de Armazenamento do Azure Data Lake.
Acesso seguro a um caminho de Armazenamento do Azure Data Lake
Para proteger o acesso aos dados no Azure Data Lake Storage (ADLS), você pode usar uma chave de acesso da conta de armazenamento do Azure (recomendado) ou uma entidade de serviço do Microsoft Entra ID.
Usar uma chave de acesso da conta de armazenamento do Azure
Você pode configurar uma chave de acesso de conta de armazenamento no cluster de integração como parte da configuração do Spark. Certifique-se de que a conta de armazenamento tenha acesso ao contêiner e ao sistema de arquivos ADLS usados para preparar dados e ao contêiner e sistema de arquivos ADLS onde você deseja gravar as tabelas Delta Lake. Para configurar o cluster de integração para usar a chave, siga as etapas em Conectar-se ao Azure Data Lake Storage Gen2 e Blob Storage.
Usar uma entidade de serviço do Microsoft Entra ID
Você pode configurar uma entidade de serviço no cluster de integração do Azure Databricks como parte da configuração do Spark. Verifique se a entidade de serviço tem acesso ao contêiner ADLS usado para dados de preparo e ao contêiner ADLS onde você deseja escrever as tabelas Delta. Para configurar o cluster de integração para usar a entidade de serviço, siga as etapas em Access ADLS Gen2 com entidade de serviço.
Especificar a configuração do cluster
Defina o Modo de Cluster como Padrão.
Defina a versão do tempo de execução do Databricks como uma versão do tempo de execução do Databricks.
Habilite gravações otimizadas e compactação automática adicionando as seguintes propriedades à sua configuração do Spark:
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueConfigure seu cluster dependendo de suas necessidades de integração e dimensionamento.
Para obter detalhes de configuração de cluster, consulte Referência de configuração de computação.
Consulte Obter detalhes de conexão para um recurso de computação do Azure Databricks para obter as etapas para obter a URL JDBC e o caminho HTTP.
Etapa 3: Obter detalhes de conexão JDBC e ODBC para se conectar a um cluster
Para conectar um cluster do Azure Databricks ao Qlik Replicate, você precisa das seguintes propriedades de conexão JDBC/ODBC:
- JDBC URL
- Caminho HTTP
Etapa 4: Configurar o Qlik Replicate com o Azure Databricks
Vá para a página de login da Qlik e siga as instruções.