Compartilhar via


Controle do código-fonte e implantação do notebook

Este artigo explica como usar pipelines de integração e implantação do Git com notebooks no Microsoft Fabric. Você aprenderá a conectar um repositório, gerenciar o código-fonte do notebook e implantar notebooks em ambientes.

Antes de começar

  • Conecte seu workspace ao Git antes de concluir as etapas de controle do código-fonte do notebook. Para obter instruções de configuração, consulte Introdução à integração do Git.
  • Crie regras de implantação do notebook no estágio de destino (por exemplo, Teste ou Produção), não no Desenvolvimento.
  • Para criar regras de implantação, você deve ser o proprietário do item.

Integração do Git do notebook

Os notebooks do Fabric dão suporte à integração do Git com o Azure DevOps para controle do código-fonte. Você pode controlar as versões das alterações do notebook, colaborar usando branches e gerenciar atualizações do ciclo de vida do notebook diretamente no Fabric.

Quando você submete um notebook junto com as suas dependências vinculadas (por exemplo, ambientes), a sincronização com outro espaço de trabalho preserva essas associações. O Fabric associa automaticamente o notebook aos recursos correspondentes no novo workspace.

Para dar suporte a esse comportamento, o Fabric armazena identificadores lógicos para recursos anexados em metadados do notebook. Como resultado, as alterações do Git podem mostrar atualizações de metadados de IDs físicas para IDs lógicas.

Observação

Atualizações de metadados relacionadas a IDs lógicas e associação automática podem aparecer em exibições de difusão do Git mesmo quando o código do notebook não é alterado.

Configurar uma conexão

Nas configurações do workspace, configure uma conexão com seu repositório para confirmar e sincronizar alterações. Para obter instruções de configuração, consulte Introdução à integração do Git. Depois de se conectar, seus itens, incluindo blocos de anotações, aparecem no painel de controle Origem .

Captura de tela do painel controle do código-fonte do espaço de trabalho.

Depois de confirmar instâncias de notebook no repositório Git, você poderá ver a estrutura de pastas do notebook no repositório.

Agora você pode executar operações do Git, como Criar solicitação de pull.

Representação do notebook no Git

O texto a seguir mostra a estrutura de arquivos de um item de notebook no repositório Git:

.
├── Notebook_1.Notebook/
│   ├── Resources/ (Optional)
│   │   └── builtin/
│   │       ├── large_dataset.parquet
│   │       └── model_output.parquet
│   ├── .platform
│   ├── fs-settings.json (Optional)
│   ├── notebook-content.py
│   └── notebook-settings.json (Optional)
└── Readme.md
.
├── Notebook_2.Notebook/
│   ├── Resources/ (Optional)
│   │   └── builtin/
│   │       ├── large_dataset.parquet
│   │       └── model_output.parquet
│   ├── .platform
│   ├── fs-settings.json (Optional)
│   ├── notebook-content.sql
│   └── notebook-settings.json (Optional)
└── Readme.md

Quando você confirma um item de notebook, o Fabric o armazena como arquivos de origem em vez de um arquivo padrão .ipynb. Por exemplo, um notebook PySpark é armazenado como notebook-content.py. Esse formato é mais fácil de revisar em diferenciais do Git.

O arquivo de origem mantém metadados do notebook (incluindo o lakehouse padrão e o ambiente anexado), células markdown e células de código como seções separadas. O Fabric usa essa estrutura para reconstruir o notebook quando você sincroniza novamente com um workspace.

A saída da célula do notebook não está incluída durante a sincronização com o Git.

A captura de tela a seguir mostra o formato de origem no repositório Git:

Captura de tela do formato de conteúdo do repositório Git do notebook.

Observação

Mantenha os notebooks e seus ambientes dependentes no mesmo workspace e faça a versionamento tanto dos notebooks quanto dos itens de ambiente no Git. O Fabric mapeia essas relações quando você sincroniza com novos workspaces.

A ID padrão do lakehouse permanece nos metadados do notebook quando você sincroniza do repositório com um workspace do Fabric. Se necessário, associe manualmente o bloco de anotações ao novo item lakehouse. Para obter mais informações, consulte a integração do Git do Lakehouse.

Configurações do Git do Notebook

O painel de configurações do Git permite controlar como os notebooks interagem com o controle do código-fonte, incluindo opções para vinculação com o Git e gerenciamento de quais arquivos da Pasta de Recursos estão incluídos em commits do Git.

Observação

Não edite notebook-settings.json no repositório Git para controlar a associação automática ou os recursos do Git. Em vez disso, gerencie essas configurações por meio da página de configurações do notebook.

Associação automática do Lakehouse no Git

A Vinculação Automática do Lakehouse permite que o Fabric determine o lakehouse padrão correto para cada espaço de trabalho conectado ao Git. Isso reduz a vinculação manual ao mover blocos de notas entre os espaços de trabalho de desenvolvimento, teste e produção.

Habilite esse recurso nas configurações do Notebook. Depois de habilitá-lo, o Fabric cria notebook-settings.json no repositório e gerencia esse arquivo automaticamente. Não edite esse arquivo manualmente.

Captura de tela do git-binding do bloco de anotações.

Observação

A integração do Git com o Notebook suporta a persistência da relação entre blocos de anotações e seus lakehouses vinculados ao sincronizá-los entre workspaces. Ao sincronizar um bloco de anotações com outro workspace, você pode escolher se ele se associa ao lakehouse no workspace de origem ou ao lakehouse no novo workspace. Para notebooks já com versão no Git, a ID física da lakehouse anexada nos metadados do notebook é substituída por uma ID lógica. Essa alteração pode aparecer na visualização "Git diff".

Suporte à pasta de recursos de notebooks no Git

Observação

Atualmente, não há suporte para a pasta Recursos do Ambiente e a integração com pipelines de implantação e APIs públicas.

A pasta Resources integrada pode ser adicionada ao Git para que scripts e arquivos de configuração sejam versionados junto com o notebook.

Esse recurso é opcional e desativado por padrão. Habilite-o nas configurações do Notebook na seção de configurações do Git. Depois de habilitá-lo, os arquivos na pasta Recursos são incluídos em confirmações. Como os commits têm um limite de 50 MB, utilize regras de arquivos ou do Git para excluir arquivos ou pastas grandes ou temporárias.

Captura de tela dos recursos do notebook na configuração do Git.

Observação

Somente a .gitignore pasta raiz do recurso incorporado tem efeito.

Depois de configurar regras do Git e confirmar alterações, o Fabric salvará as regras no fs-settings.json repositório. O Fabric gera e gerencia esse arquivo para manter a configuração do repositório consistente. Também não recomendamos editar esse arquivo diretamente no repositório Git.

Captura de tela da estrutura de recursos do notebook na configuração do Git.

Notebook em pipelines de implantação

Utilize pipelines de implantação para promover alterações de notebooks em estágios como Desenvolvimento, Teste e Produção. Valide as atualizações em estágios anteriores antes de promovê-las à produção.

A implantação de notebooks dá suporte à associação automática para o lakehouse padrão e o ambiente anexado quando os itens dependentes estão no mesmo espaço de trabalho. Durante a implantação, o Fabric pode rebinar essas dependências a itens correspondentes no workspace de destino. As alterações de metadados podem aparecer na visualização de diferenças.

Se você precisar de um lakehouse padrão para um estágio alvo específico, configure uma regra de implantação para sobrescrever a vinculação automática.

A nova interface do usuário do pipeline de implantação é utilizada neste artigo. Você pode alternar para a antiga interface do usuário desativando o New Deployment pipeline.

Observação

Problema conhecido: o status das células congeladas em notebooks não é preservado durante a implantação.

Use as etapas a seguir para implantar notebooks por meio de um pipeline de implantação.

  1. Crie um pipeline de implantação ou abra um já existente. Para obter mais informações, consulte Comece com os pipelines de implantação.

  2. Atribua workspaces a diferentes estágios de acordo com suas metas de implantação.

  3. Selecione, exiba e compare itens, incluindo blocos de anotações, entre estágios. O selo realçado mostra o número de itens alterados entre o estágio anterior e o estágio atual.

    Captura de tela do notebook no pipeline de implantação.

  4. Selecione Implantar para promover notebooks nos estágios de Desenvolvimento, Teste e Produção .

    Captura de tela de: selecione os itens e distribua.

  5. Na janela Implantar neste estágio , examine os itens novos e alterados. Para continuar a implantação mesmo se um ou mais itens falharem, selecione Continuar a implantação se um ou mais itens falharem.

    Depois de examinar e confirmar a seleção, selecione Implantar.

    Captura de tela do pop-up de conteúdo de implantação.png.

  6. (Opcional.) Para criar regras de implantação, selecione regras de implantação no item de estágio de destino no pipeline (por exemplo, Teste ou Produção).

    Para obter o comportamento e as limitações gerais da regra, consulte Criar regras de implantação.

    Captura de tela da entrada de regras de implantação.

  7. Configure uma regra lakehouse padrão para cada implantação de notebook.

    Essa regra controla a qual lakehouse o notebook se conecta na etapa de destino após a implantação.

    No painel Definir regras de implantação, selecione o azulejo Default lakehouse.

    Use as listas suspensas De e Para para mapear o lakehouse padrão do estágio de origem ao lakehouse padrão do estágio de destino.

    • Igual ao lakehouse de origem: mantenha a mesma configuração padrão do lakehouse como no estágio de origem.
    • N/A (sem lakehouse padrão): Remover a configuração padrão do lakehouse no estágio de destino.
    • Outro: substitua a lakehouse padrão do estágio de origem por uma lakehouse diferente no estágio de destino.

    Se você selecionar Outros na lista suspensa Para , forneça os detalhes do lakehouse de destino:

    • Lakehouse ID
    • Nome do Lakehouse
    • Lakehouse workspace ID

    Captura de tela da definição padrão do lakehouse.

    Observação

    A ID do Lakehouse é necessária quando você configura essa regra. Você pode obter a lakehouse ID da URL do item. As regras de implantação têm prioridade sobre a associação automática. Se uma regra de implantação estiver configurada, ela substituirá a lakehouse vinculada automaticamente.

  8. Monitore o status da implantação no Histórico de implantação.