Práticas recomendadas para gerenciar assemblies do U-SQL em um pipeline de CI/CD

  • Artigo

Neste artigo, você aprenderá como gerenciar o código-fonte do assembly U-SQL com o projeto de banco de dados U-SQL recém introduzido. Você também aprenderá a configurar um pipeline de integração e implantação contínua (CI/CD) para registro de assembly usando o Azure DevOps.

Importante

O Azure Data Lake Analytics desativado em 29 de fevereiro de 2024. Saiba mais nesse comunicado.

Para análise de dados, sua organização pode usar o Azure Synapse Analytics ou o Microsoft Fabric.

Usar o projeto de banco de dados U-SQL para gerenciar o código-fonte do assembly

O projeto de banco de dados U-SQL é um tipo de projeto do Visual Studio que ajuda os desenvolvedores a desenvolver, gerenciar e implantar seus bancos de dados U-SQL de forma simples e rápida. Você pode gerenciar todos os objetos de banco de dados U-SQL (exceto pelas credenciais) com o projeto de banco de dados U-SQL.

Para gerenciar o código-fonte de assembly C# e os scripts de DDL U-SQL de registro de assembly, use o:

  • Projeto de banco de dados U-SQL para gerenciar scripts U-SQL de registro de assembly.
  • Biblioteca de classes (para aplicativo U-SQL) para gerenciar o código-fonte C# e as dependências para operadores, funções e agregadores (UDOs, UDFs e UDAGs) definidos pelo usuário.
  • Projeto de banco de dados U-SQL para fazer referência ao projeto de biblioteca de classes.

Um projeto de banco de dados U-SQL pode fazer referência a um projeto de biblioteca de classes (para aplicativo U-SQL). Você pode criar assemblies registrados no banco de dados U-SQL usando o código-fonte C# referenciado deste projeto de biblioteca de classes (para aplicativo U-SQL).

Siga estas etapas para criar projetos e adicionar referências.

  1. Criar um projeto de biblioteca de classes (para aplicativo U-SQL) selecionando Arquivo>Novo>Projeto. O projeto está sob o nó Azure Data Lake > U-SQL.

    Ferramentas do Data Lake para Visual Studio -- criar um projeto de biblioteca de classes C#

  2. Adicione seu código C# definido pelo usuário no projeto de biblioteca de classes (para aplicativo U-SQL).

  3. Crie um projeto U-SQL selecionando Arquivo>Novo>Projeto. O projeto está sob o nó Azure Data Lake>U-SQL.

    Ferramentas do Data Lake para Visual Studio -- criar um projeto de banco de dados U-SQL

  4. Adicione uma referência ao projeto de biblioteca de classes C# para o projeto de banco de dados U-SQL.

    Ferramentas do Data Lake para Visual Studio ꟷ adicionar referência

    Ferramentas do Data Lake para Visual Studio ꟷ adicionar referência do projeto de banco de dados U-SQL

  5. Crie um script de assembly no projeto de banco de dados do U-SQL clicando com o botão direito do mouse no projeto e selecionando Adicionar Novo Item.

    Ferramentas do Data Lake para Visual Studio -- adicionar script de assembly

  6. Abra o script de assembly na exibição de design de assembly. Selecione o assembly referenciado no menu suspenso Criar assembly de referência.

    Ferramentas do Data Lake para Visual Studio criam assembly a partir da referência

  7. Adicione Dependências Gerenciadas e Arquivos Adicionais, se houver. Ao adicionar arquivos adicionais, a ferramenta usará o caminho relativo para garantir que encontrará os assemblies no computador local e no computador de build.

@_DeployTempDirectory na janela do editor, na parte inferior, é uma variável predefinida que aponta a ferramenta para a pasta de saída de build. Na pasta de saída de compilação, cada assembly possui uma subpasta nomeada com o nome do assembly. Todas as DLLs e arquivos adicionais estão na subpasta.

Compilar um projeto de banco de dados U-SQL

A saída de build do projeto de banco de dados U-SQL é um pacote de implantação do banco de dados U-SQL. Ela é nomeada com o sufixo .usqldbpack. O pacote .usqldbpack é um arquivo .zip que inclui todas as instruções DDL em um único script U-SQL na pasta DDL. Todos os arquivos .dll compilados e arquivos adicionais para assemblies estão na pasta Temp.

Implantar um banco de dados U-SQL

O pacote .usqldbpack pode ser implantado na conta local ou na conta do Azure Data Lake Analytics. Use o Visual Studio ou o SDK de implantação.

Implantar um banco de dados U-SQL no Visual Studio

Você pode implantar um banco de dados U-SQL usando um projeto de banco de dados U-SQL ou um pacote .usqldbpack no Visual Studio.

Implantar usando um projeto de banco de dados U-SQL

  1. Clique com o botão direito do mouse no projeto de banco de dados U-SQL e selecione Implantar.

  2. No assistente Implantar Banco de Dados U-SQL, escolha a Conta do ADLA na qual você gostaria de implantar o banco de dados. Há suporte para as contas locais e ADLA.

  3. Origem do Banco de Dados é preenchida automaticamente. Ela aponta para o pacote .usqldbpack na pasta de saída de compilação do projeto.

  4. Insira um nome em Nome do Banco de Dados para criar um banco de dados. Se houver um banco de dados com o mesmo nome na conta do Azure Data Lake Analytics de destino, todos os objetos que são definidos no projeto de banco de dados serão criados sem recriar o banco de dados.

  5. Para implantar o banco de dados U-SQL, selecione Enviar. Todos os recursos, como assemblies e arquivos adicionais, são carregados. Um trabalho de U-SQL que inclui todas as instruções de DDL é enviado.

    Ferramentas do Data Lake para Visual Studio -- Implantam um projeto de banco de dados U-SQL

    Ferramentas do Data Lake para Visual Studio -- Implantar um assistente do projeto de banco de dados U-SQL

Implantar um banco de dados U-SQL no Azure DevOps

O PackageDeploymentTool.exe oferece as interfaces de programação e de linha de comando que ajudam a implantar os bancos de dados U-SQL. O SDK está incluído no pacote NuGet do SDK do U-SQL, localizado em build/runtime/PackageDeploymentTool.exe.

No Azure DevOps, você pode usar uma tarefa de linha de comando e esse SDK para configurar um pipeline de automação para a atualização do banco de dados U-SQL. Saiba mais sobre o SDK e como configurar um pipeline de CI/CD para implantação do banco de dados U-SQL.

Próximas etapas