Utilize experiência em Python num notebook

O notebook Python é uma nova experiência construída sobre o notebook Fabric. É uma ferramenta versátil e interativa projetada para análise de dados, visualização e aprendizado de máquina. Ele fornece uma experiência de desenvolvimento perfeita para escrever e executar código Python. Esse recurso o torna uma ferramenta essencial para cientistas de dados, analistas e desenvolvedores de BI, especialmente para tarefas de exploração que não exigem big data e computação distribuída.

Com um notebook Python, você pode obter:

• Vários núcleos Python integrados: Os notebooks Python oferecem um ambiente de codificação puramente em Python, sem Spark, com duas versões do núcleo Python disponíveis por padrão - Python 3.10 e 3.11. Os recursos nativos do ipython são suportados, como iPyWidget e comandos mágicos.

• Custo-benefício: O novo notebook Python oferece benefícios econômicos ao ser executado em um cluster de nó único com 2vCores/16GB de memória por padrão. Essa configuração garante a utilização eficiente de recursos para projetos de exploração de dados com tamanho de dados menor.

• Lakehouse & Resources estão disponíveis nativamente: O Fabric Lakehouse, juntamente com todas as funcionalidades dos recursos integrados do Notebook, podem ser usadas em notebooks Python. Este recurso permite que os usuários tragam facilmente os dados para o notebook python, basta tentar arrastar & soltar para obter o trecho de código.

• Programação mista com T-SQL: O notebook Python oferece uma maneira fácil de interagir com Data Warehouse e pontos de extremidade SQL no explorador, usando o conector de dados notebookutils, pode-se facilmente executar os scripts T-SQL no contexto do Python.

• Suporte para bibliotecas populares de análise de dados: Os notebooks Python vêm com bibliotecas pré-instaladas, como DuckDB, Polars e Scikit-learn, fornecendo um kit de ferramentas abrangente para manipulação de dados, análise e aprendizado de máquina.

• Advanced intellisense: Python notebook está adotando o Pylance como o motor intellisense, juntamente com outro serviço de linguagem personalizada Fabric, com o objetivo de fornecer experiência de codificação de última geração para desenvolvedores de notebooks.

• NotebookUtils & ligações semânticas: poderosos kits de ferramentas de API permitem-lhe usar facilmente as capacidades do Fabric e do Power BI com uma experiência de programação inicial.

• Rich Visualization Capabilities: Exceto pelas populares funções de pré-visualização rica de dataframes 'Tabela' e 'Gráfico', também suportamos bibliotecas de visualização populares como Matplotlib, Seaborn e Plotly. O PowerBIClient também suporta essas bibliotecas para ajudar os usuários a entender melhor os padrões de dados e insights.

• recursos comuns para o Fabric Notebook: Todos os recursos de nível de notebook são naturalmente aplicáveis para notebook Python, como recursos de edição, AutoSave, colaboração, compartilhamento e gerenciamento de permissões, integração Git, importação/exportação, etc.

• Full stack Data Science Capabilities: O kit de ferramentas low-code avançado Data Wrangler, a estrutura de aprendizado de máquina MLFlow e o poderoso Copilot estão disponíveis no notebook Python.

Como acessar o Python Notebook

Depois de abrir um Fabric Notebook, pode-se alternar para Python no menu suspenso de linguagem na guia Página Inicial e converter toda a configuração do caderno em Python.

A maioria dos recursos comuns é suportada ao nível de bloco de anotações, onde pode consultar Como usar blocos de anotações do Microsoft Fabric e Desenvolver, executar e gerir blocos de anotações do Microsoft Fabric para aprender o uso detalhado. Aqui listamos alguns dos principais recursos específicos para cenários Python.

Executar cadernos Python

O notebook Python suporta várias maneiras de execução de trabalho:

• Execução interativa: Você pode executar um notebook Python interativamente como um notebook Jupyter nativo.
• Agendar execução: Pode usar a experiência do agendamento leve na página de configurações do caderno para executar o caderno Python como um trabalho em lote.
• Execução de pipeline: É possível orquestrar notebooks Python como atividades de notebook no Pipeline. O instantâneo será gerado após a execução do trabalho.
• Execução de referência: Você pode usar notebookutils.notebook.run() ou notebookutils.notebook.runMultiple() para referenciar notebooks Python em outro notebook Python como um trabalho em lote. A captura instantânea será gerada após a conclusão da execução da referência.
• Execução de API pública: Pode agendar a execução do seu notebook Python com a API pública de execução de notebooks. Certifique-se de que o idioma e as propriedades do kernel nos metadados do notebook na carga útil da API pública estejam definidos corretamente.

Você pode monitorizar os detalhes de execução do trabalho no caderno Python na barra de ferramentas Executar ->Exibir todas as operações.

Interação de dados

Você pode interagir com lakehouses, data warehouses, endpoints SQL e pastas de recursos internos num notebook Python.

Note

• O tempo de execução do Python Notebook vem com as bibliotecas delta‑rs e duckdb pré-instaladas para suportar tanto a leitura quanto a gravação de dados do Delta Lake. No entanto, observe que alguns recursos do Delta Lake podem não ser totalmente suportados no momento. Para mais detalhes e as últimas atualizações, por favor, consulte os sites oficiais delta-rs e duckdb .
• Atualmente, não suportamos deltalake(delta-rs) versão 1.0.0 ou superior. Fique atento.

Interação com Lakehouse

Você pode definir um Lakehouse como padrão, ou você também pode adicionar vários Lakehouses para explorá-los e usá-los em blocos de anotações.

Se não estiver familiarizado com a leitura de objetos de dados como a tabela delta, tente arrastar e soltar o arquivo e a tabela delta no ambiente do notebook ou utilize a opção Carregar dados no menu suspenso do objeto. O notebook insere automaticamente um trecho de código numa célula de código e gera código para ler o objeto de dados de destino.

Note

Se encontrar OOM ao carregar um grande volume de dados, tente usar o dataframe DuckDB, Polars ou PyArrow em vez do pandas.

Você pode encontrar a operação de escrita do Lakehouse no Procurar trecho de código ->Gravar dados na tabela delta.

Interação com armazéns e programação mista com T-SQL

Você pode adicionar Armazéns de Dados ou pontos de extremidade SQL a partir do explorador de Armazém de Dados do Notebook. Da mesma forma, é possível arrastar e soltar as tabelas na tela do caderno ou utilizar as operações de atalho no menu dropdown da tabela. O Notebook gera automaticamente um trecho de código para você. Você pode usar os utilitários notebookutils.data para estabelecer uma conexão com Armazéns e consultar os dados usando a instrução T-SQL no contexto do Python.

Note

Os terminais SQL são de leitura única neste local.

Pasta de recursos do bloco de anotações

A pasta de recursos integrada de Recursos do Notebook está disponível nativamente no Python Notebook. Você pode facilmente interagir com os arquivos na pasta de recursos interna usando o código Python como se estivesse trabalhando com seu sistema de arquivos local. Atualmente, a pasta de recursos Ambiente não é suportada.

Operações do kernel

Python notebook suporta dois kernels embutidos agora, eles são Python 3.10 e Python 3.11, o kernel selecionado padrão é Python 3.11. você pode facilmente alternar entre eles.

Você pode interromper, reiniciar ou mudar o kernel na guia Início da barra de ferramentas. Interromper o kernel em notebooks do Python é equivalente a cancelar uma célula no notebook do Spark.

A saída anormal do kernel faz com que a execução do código seja interrompida e perca variáveis, mas não interrompe a sessão do bloco de anotações.

Existem comandos que podem levar à morte do kernel. Por exemplo, quit(), exit().

Gestão de bibliotecas

Você pode usar %pip e %conda comandos para instalações embutidas, os comandos suportam bibliotecas públicas e bibliotecas personalizadas.

Para bibliotecas personalizadas, você pode carregar os arquivos lib para a pasta Recursos internos . Suportamos vários tipos de bibliotecas, incluindo formatos como Wheel (.whl), JAR (.jar), DLL (.dll) e Python (.py). Basta tentar arrastar e soltar para o arquivo e o trecho de código é gerado automaticamente.

Pode ser necessário reiniciar o kernel para usar os pacotes atualizados.

Para entender melhor e usar comandos semelhantes com clareza, consulte a tabela abaixo.

Command/Syntax	Objetivo principal	Como funciona no Jupyter Notebook	Caso de utilização típica	Notes
%pip install package	Instalar pacotes Python	Executa o pip no kernel de Python do notebook	Maneira recomendada de instalar pacotes	No Python Notebook, o mesmo que !pip; não reinicia o kernel automaticamente
!pip install package	Instalar pacotes Python via shell	Executa pip como um comando shell	Forma alternativa de instalar pacotes	No Python Notebook, o mesmo que %pip; não reinicia o kernel automaticamente
import sys; sys.exit(0)	Reinicie o kernel do notebook	Reinicia imediatamente o kernel	Reiniciar programaticamente o kernel	Limpa todas as variáveis e estados; não recomendado para usar diretamente
notebookutils.session.restartPython()	Reinicie o kernel do notebook	Chamadas sys.exit(0) internas	Maneira recomendada de reiniciar o kernel	API oficial, mais segura e compatível do que usar sys.exit(0) diretamente

Note

• No Python Notebook, %pip e !pip têm o mesmo comportamento: ambos instalam pacotes no ambiente do kernel atual, e nenhum deles reiniciará automaticamente o kernel após a instalação.
• Se você precisar reiniciar o kernel (por exemplo, depois de instalar certos pacotes ), recomenda-se usar notebookutils.session.restartPython() em vez de import sys; sys.exit(0).
  • notebookutils.session.restartPython() é uma API oficial que envolve sys.exit(0) , e é mais segura e compatível em ambientes de notebook.
• Não se recomenda a sua utilização sys.exit(0) direta, a menos que seja necessário.

Monitoramento de uso de recursos em tempo real do notebook Python

Importante

Este recurso está em pré-visualização.

Com o painel do monitor de recursos, você pode acompanhar informações críticas de tempo de execução, como duração da sessão, tipo de computação e métricas de recursos em tempo real, incluindo consumo de CPU e memória, diretamente em seu notebook. Este recurso fornece uma visão geral imediata da sua sessão ativa e dos recursos que estão sendo usados.

O monitor de recursos melhora a visibilidade de como as cargas de trabalho Python utilizam os recursos do sistema. Ele ajuda a otimizar o desempenho, gerenciar custos e reduzir o risco de erros de falta de memória (OOM). Ao monitorar métricas em tempo real, você pode identificar operações que consomem muitos recursos, analisar padrões de uso e tomar decisões informadas sobre dimensionamento ou modificação de código.

Para começar a usá-lo, defina a linguagem do seu bloco de anotações como Python e inicie uma sessão. Em seguida, você pode abrir o monitor clicando nos recursos de computação na barra de status do bloco de anotações ou selecionando Exibir uso de recursos na barra de ferramentas. O painel do monitor de recursos aparecerá automaticamente, fornecendo uma experiência de monitoramento integrada para código Python em blocos de anotações Fabric.

Comando mágico de configuração de sessão

Semelhante à personalização de uma configuração de sessão do Spark no notebook, pode também usar %%configure em notebooks Python. O notebook Python suporta a configuração do tamanho do nó de computação, dos pontos de montagem e do lakehouse padrão da sessão do notebook. Eles podem ser usados em atividades de caderno interativo e de caderno de fluxo de trabalho. Recomendamos usar o comando %%configure no início do notebook, ou deve reiniciar a sessão do notebook para que as configurações tenham efeito.

Aqui estão propriedades suportadas no %%configure de notebook Python:

%%configure -f
{
    "vCores": 4, // Recommended values: [4, 8, 16, 32, 64], Fabric will allocate matched memory according to the specified vCores.
    "defaultLakehouse": {  
        // Will overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<(optional) lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
}

Você pode visualizar a atualização de recursos de computação na barra de status do notebook e monitorar o uso da CPU e da memória do nó de computação em tempo real.

NotebookUtils

O Notebook Utilities (NotebookUtils) é um pacote integrado para ajudá-lo a executar facilmente tarefas comuns no Fabric Notebook. Está pré-instalado no ambiente de execução do Python. Você pode usar NotebookUtils para trabalhar com sistemas de arquivos, obter variáveis de ambiente, encadear blocos de anotações, acessar armazenamento externo e trabalhar com segredos.

Você pode usar notebookutils.help() para listar APIs disponíveis e também obter ajuda com métodos ou fazer referência ao doc NotebookUtils.

Utilitários de dados

Note

Atualmente, o recurso está em pré-visualização.

Você pode usar utilitários notebookutils.data para estabelecer uma conexão com a fonte de dados fornecida e, em seguida, ler e consultar dados usando a instrução T-SQL.

Execute o seguinte comando para obter uma visão geral dos métodos disponíveis:

notebookutils.data.help()

Output:

Help on module notebookutils.data in notebookutils:

NAME
    notebookutils.data - Utility for read/query data from connected data sources in Fabric

FUNCTIONS
    connect_to_artifact(artifact: str, workspace: str = '', artifact_type: str = '', **kwargs)
        Establishes and returns an ODBC connection to a specified artifact within a workspace 
        for subsequent data queries using T-SQL.
        
        :param artifact: The name or ID of the artifact to connect to.
        :param workspace:  Optional; The workspace in which the provided artifact is located, if not provided,
                             use the workspace where the current notebook is located.
        :param artifactType: Optional; The type of the artifact, Currently supported type are Lakehouse, Warehouse and MirroredDatabase. 
                                If not provided, the method will try to determine the type automatically.
        :param **kwargs Optional: Additional optional configuration. Supported keys include:
            - tds_endpoint : Allow user to specify a custom TDS endpoint to use for connection.
        :return: A connection object to the specified artifact.
        
        :raises UnsupportedArtifactException: If the specified artifact type is not supported to connect.
        :raises ArtifactNotFoundException: If the specified artifact is not found within the workspace.
        
        Examples:
            sql_query = "SELECT DB_NAME()"
            with notebookutils.data.connect_to_artifact("ARTIFACT_NAME_OR_ID", "WORKSPACE_ID", "ARTIFACT_TYPE") as conn:
                df = conn.query(sql_query)
                display(df)
    
    help(method_name: str = '') -> None
        Provides help for the notebookutils.data module or the specified method.
        
        Examples:
        notebookutils.data.help()
        notebookutils.data.help("connect_to_artifact")
        :param method_name: The name of the method to get help with.

DATA
    __all__ = ['help', 'connect_to_artifact']

FILE
    /home/trusted-service-user/jupyter-env/python3.10/lib/python3.10/site-packages/notebookutils/data.py

Consultar dados da Lakehouse

conn = notebookutils.data.connect_to_artifact("lakehouse_name_or_id", "optional_workspace_id", "optional_lakehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Consultar dados do Armazém

conn = notebookutils.data.connect_to_artifact("warehouse_name_or_id", "optional_workspace_id", "optional_warehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Consultar dados a partir da base de dados SQL

conn = notebookutils.data.connect_to_artifact("sqldb_name_or_id", "optional_workspace_id", "optional_sqldatabase_type") 
df = conn.query("SELECT * FROM sys.schemas;")

Note

Os utilitários de dados em NotebookUtils estão disponíveis apenas no notebook Python por enquanto.

Explorar trechos de código

Você pode encontrar fragmentos de código Python úteis na aba Edit - >Navegar fragmento de código, novos exemplos de Python estão agora disponíveis. Você pode aprender com o trecho de código Python para começar a explorar o notebook interativo.

Ligação semântica

O link semântico é um recurso que permite estabelecer uma conexão entre modelos semânticos e o Synapse Data Science no Microsoft Fabric. É suportado nativamente no notebook de Python. Os engenheiros de BI e os desenvolvedores do Power BI podem usar o link semântico, conectar e gerenciar o modelo semântico facilmente. Leia o documento público para saber mais sobre o link semântico.

Visualization

Além de desenhar gráficos com bibliotecas, a função de visualização integrada permite transformar DataFrames em visualizações de dados de formato avançado. Você pode usar a função display() nos dataframes para produzir a visualização rica da tabela e do gráfico.

Note

As configurações de gráficos serão mantidas no bloco de anotações Python, o que significa que, depois de executar novamente a célula de código, se o esquema do quadro de dados de destino não for alterado, os gráficos salvos ainda serão mantidos.

Código intelliSense

Python notebook também usa Pylance como o servidor de linguagem. Para obter mais informações, consulte melhore o desenvolvimento em Python com o Pylance.

Recursos de ciência de dados

Visite documentações de Ciência de Dados no Microsoft Fabric para saber mais sobre ciência de dados e experiência em IA no Fabric. Aqui listamos alguns dos principais recursos de ciência de dados que são suportados nativamente no notebook Python.

• Data Wrangler: O Data Wrangler é uma ferramenta baseada em notebook que fornece uma interface imersiva para análise de dados de exploração. Esse recurso combina uma exibição de dados em forma de grade com estatísticas de resumo dinâmicas, visualizações internas e uma biblioteca de operações comuns de limpeza de dados. Ele fornece limpeza de dados, transformação de dados e integração, o que acelera a preparação de dados com o Data Wrangler.

• MLflow: Um experimento de aprendizado de máquina é a principal unidade de organização e controle para todas as execuções de aprendizado de máquina relacionadas. Uma execução corresponde a uma única execução do código do modelo.

• Fabric Auto Logging: Synapse Data Science no Microsoft Fabric inclui registro automático, o que reduz significativamente a quantidade de código necessária para registrar automaticamente os parâmetros, métricas e itens de um modelo de aprendizado de máquina durante o treinamento.

  O registro automático amplia os recursos do MLflow Tracking. O registro automático pode capturar várias métricas, incluindo precisão, perda, pontuação F1 e métricas personalizadas definidas por você. Usando o registro automático, desenvolvedores e cientistas de dados podem facilmente rastrear e comparar o desempenho de diferentes modelos e experimentos sem rastreamento manual.

• Copiloto: O copiloto para notebooks de Ciência de Dados e Engenharia de Dados é um assistente de IA que ajuda você a analisar e visualizar dados. Ele funciona com tabelas lakehouse, conjuntos de dados do Power BI e dataframes pandas/spark, fornecendo respostas e trechos de código diretamente no bloco de anotações. Você pode usar o painel de bate-papo do Copilot e Char-magics no notebook, e a IA fornece respostas ou código que pode copiar para o seu notebook.

Limitações conhecidas da pré-visualização pública

• A experiência ao vivo de pool não é garantida para cada execução de notebook em Python. O início da sessão pode demorar até 3 minutos se a execução do notebook não acessar o pool ativo. À medida que o uso de notebooks Python cresce, os nossos métodos inteligentes de agrupamento aumentam gradualmente a alocação do pool ativo para atender à procura.

• A integração de ambiente não está disponível no notebook Python na pré-visualização pública.

• Não é possível definir o tempo limite da sessão por enquanto.

• O Copilot pode gerar uma instrução Spark, que pode não ser executada num notebook Python.

• Atualmente, o Copilot no notebook Python não é totalmente suportado em várias regiões. O processo de implantação ainda está em andamento, fique atento à medida que continuamos a implantar o suporte em mais regiões.

Conteúdo relacionado

• Como usar os notebooks do Microsoft Fabric
• Desenvolva, execute e gerencie blocos de anotações do Microsoft Fabric
• Introdução ao Fabric NotebookUtils