Utilizar experiência em Python no Notebook

O notebook Python é uma nova experiência criada com base no notebook Fabric. É uma ferramenta versátil e interativa projetada para análise de dados, visualização e aprendizado de máquina. Ele fornece uma experiência de desenvolvimento perfeita para escrever e executar código Python. Essa funcionalidade o torna uma ferramenta essencial para cientistas de dados, analistas e desenvolvedores de BI, especialmente para tarefas de exploração que não exigem Big Data e computação distribuída.

Com um notebook Python, você pode obter:

• Vários kernels de Python integrados: notebooks Python oferecem um ambiente de codificação Python puro sem Spark, com duas versões do kernel Python – Python 3.10 e 3.11, disponíveis por padrão, e os recursos nativos do iPython com suporte, como iPyWidget e comandos magic.

• Custo-benefício: o novo notebook Python oferece benefícios de economia de custos ao executar em um cluster de nó único com 2 vCores e 16 GB de memória por padrão. Essa configuração garante uma utilização eficiente de recursos para projetos de exploração de dados com tamanho de dados menor.

• Lakehouse e recursos estão nativamente disponíveis: o Fabric Lakehouse, juntamente com a funcionalidade completa dos Recursos integrados ao Notebook, está disponível no notebook Python. Esse recurso permite que os usuários levem facilmente os dados para o Python Notebook. Basta tentar arrastar e soltar para obter o trecho de código.

• Combinar programação com T-SQL: o notebook Python oferece um jeito fácil de interagir com os pontos de extremidade do Data Warehouse e do SQL no Explorer. Usando o conector de dados notebookutils, é possível executar facilmente os scripts T-SQL no contexto do Python.

• O suporte para bibliotecas populares de análise de dados: Notebooks Python vêm com bibliotecas pré-instaladas, como DuckDB, Polars e Scikit-learn, fornecendo um kit de ferramentas abrangente para manipulação de dados, análise e aprendizado de máquina.

• IntelliSense avançado: o notebook do Python está adotando o Pylance como o mecanismo do IntelliSense, juntamente com outro serviço de linguagem personalizado do Fabric, com o objetivo de proporcionar uma experiência de codificação de última geração para desenvolvedores de notebooks.

• NotebookUtils e link semântico: kits de ferramentas de API avançados permitem usar facilmente as funcionalidades do Fabric e do Power BI com experiência orientada a código.

• Recursos Avançados de Visualização: Além das funções populares de pré-visualização rica de dataframe 'Table' e 'Chart', também damos suporte a bibliotecas populares de visualização como Matplotlib, Seaborn e Plotly. O PowerBIClient também oferece suporte a essas bibliotecas para ajudar os usuários a entender melhor os padrões e insights de dados.

• Capacidades comuns para o notebook do Fabric: todas as capacidades em nível de notebook são naturalmente aplicáveis ao notebook Python, como edição, AutoSave, colaboração, compartilhamento e gerenciamento de permissões, integração com o Git, importação/exportação etc.

• Capacidades de ciência de dados full-stack: a caixa de ferramentas avançada low-code Data Wrangler, o framework de aprendizado de máquina MLFlow e o eficiente Copilot estão todos disponíveis no notebook Python.

Como acessar o Python Notebook

Depois de abrir um Bloco de Anotações do Fabric, você pode alternar para Python no menu suspenso de idioma na guia Página Inicial e converter toda a configuração do bloco de anotações em Python.

A maioria dos recursos comuns é suportada no nível de notebook. Consulte "Como usar notebooks do Microsoft Fabric" e "Desenvolver, executar e gerenciar notebooks do Microsoft Fabric" para obter informações detalhadas sobre o uso. Aqui listamos alguns recursos importantes específicos para cenários Python.

Executar notebooks Python

O Python Notebook suporta diversas formas de execução de tarefas:

• Execução interativa: você pode executar um notebook Python interativamente como um jupyter notebook nativo.
• Execução de agendamento: você pode usar a experiência de agendador leve na página de configurações do notebook para executar o notebook Python como um trabalho em lote.
• Execução do pipeline: você pode orquestrar notebooks Python como atividades de notebook no Pipeline. O instantâneo será gerado após a execução do trabalho.
• Execução de referência: você pode usar notebookutils.notebook.run() ou notebookutils.notebook.runMultiple() para referenciar a execução de notebooks Python em outro notebook Python como trabalho em lote. O instantâneo será gerado após a conclusão da execução de referência.
• Execução da API pública: Você pode agendar a execução do seu notebook Python com a API pública de execução do notebook, certifique-se de que as propriedades de idioma e kernel nos metadados do notebook da carga útil da API pública estejam definidas corretamente.

Você pode monitorar os detalhes da execução do trabalho do bloco de anotações do Python na guia Executar ->Exibir todas as execuções.

Interação de dados

Você pode interagir com o Lakehouse, os Warehouses, os endpoints SQL e as pastas de recursos internos com o notebook Python.

Note

• O runtime do Python Notebook vem pré-instalado com as bibliotecas delta-rs e duckdb para dar suporte à leitura e gravação de dados do Delta Lake. No entanto, observe que alguns recursos do Delta Lake podem não ter suporte total no momento. Para obter mais detalhes e as atualizações mais recentes, consulte gentilmente os sites oficiais delta-rs e duckdb .
• Atualmente, não há suporte para deltalake(delta-rs) versão 1.0.0 ou superior. Fique ligado.

Interação no Lakehouse

Você pode definir um Lakehouse como padrão ou também pode adicionar vários Lakehouses para explorá-los e usá-los em cadernos.

Se você não estiver familiarizado com a leitura dos objetos de dados, como a tabela delta, tente arrastar e soltar o arquivo e a tabela delta para a tela do notebook ou use os dados de carregamento no menu suspenso do objeto. O notebook insere automaticamente o snippet de código na célula de código e gera o código para ler o objeto de dados almejado.

Note

Se você encontrar o OOM ao carregar um grande volume de dados, tente usar o dataframe DuckDB, Polars ou PyArrow em vez de pandas.

Você pode encontrar a operação de gravação do Lakehouse em Navegar no snippet de código –>Gravar dados na tabela delta.

Interação de armazém e programação combinada com T-SQL

Você pode adicionar Data Warehouses ou pontos de extremidade SQL do Explorador de Warehouse do Notebook. Da mesma forma, você pode arrastar e soltar as tabelas na tela do notebook digital ou usar as operações de atalho no menu suspenso da tabela. O Notebook gera automaticamente um snippet de código para você. Você pode usar os notebookutils.data utilitários para estabelecer uma conexão com Warehouses e consultar os dados usando instruções T-SQL no contexto do Python.

Note

Os pontos de extremidade SQL são somente leitura aqui.

Pasta de recursos do notebook

A pasta de recursos internos do Notebook está disponível nativamente no Jupyter Notebook. Você pode interagir facilmente com os arquivos na pasta de recursos integrada usando código Python como se estivesse trabalhando com seu sistema de arquivos local. Atualmente, a pasta de recursos Ambiente não é suportada.

Operações de kernel

O notebook Python, no momento, dá suporte a dois kernels internos, eles são Python 3.10 e Python 3.11, o kernel selecionado padrão é Python 3.11. você pode alternar facilmente entre eles.

Você pode interromper, reiniciar ou alternar o kernel na guia Página Inicial da faixa de opções. Interromper o kernel nos notebooks do Python é o mesmo que cancelar células nos notebooks do Spark.

Uma saída anormal do kernel faz com que a execução do código seja interrompida e ocorra a perda de variáveis, mas não interrompe a sessão do notebook.

Existem comandos que podem levar à morte do kernel. Por exemplo, quit(), exit().

Gerenciamento de biblioteca

Você pode usar os comandos %pip e %conda para instalações em linha, e os comandos suportam tanto bibliotecas públicas quanto bibliotecas personalizadas.

Para bibliotecas personalizadas, você pode carregar os arquivos lib na pasta de recursos internos . Oferecemos suporte a vários tipos de bibliotecas, incluindo formatos como Roda (.whl), JAR (.jar), DLL (.dll) e Python (.py). Basta tentar arrastar e soltar o arquivo e o trecho de código é gerado automaticamente.

Pode ser necessário reiniciar o kernel para usar os pacotes atualizados.

Para entender melhor e usar comandos semelhantes claramente, consulte a tabela abaixo.

Command/Syntax	Finalidade principal	Como funciona no Jupyter Notebook	Caso de uso típico	Notes
%pip install package	Instalar pacotes do Python	Executa o pip no kernel de Python do notebook	Maneira recomendada de instalar pacotes	No Python Notebook, o mesmo que !pip; não reinicia o kernel automaticamente
!pip install package	Instalar pacotes do Python por meio do shell	Executa pip como um comando de shell	Maneira alternativa de instalar pacotes	No Python Notebook, o mesmo que %pip; não reinicia o kernel automaticamente
import sys; sys.exit(0)	Reiniciar o kernel do notebook	Reinicia imediatamente o kernel	Reiniciar programaticamente o kernel	Limpa todas as variáveis e estados; não recomendado para usar diretamente
notebookutils.session.restartPython()	Reiniciar o kernel do notebook	Chama sys.exit(0) internamente	Maneira recomendada de reiniciar o kernel	API oficial, mais segura e mais compatível do que usar sys.exit(0) diretamente

Note

• No Python Notebook, %pip e !pip tem o mesmo comportamento: ambos instalam pacotes no ambiente do kernel atual e nenhum deles reiniciará automaticamente o kernel após a instalação.
• Se você precisar reiniciar o kernel (por exemplo, depois de instalar determinados pacotes), é recomendável usar notebookutils.session.restartPython() em vez de import sys; sys.exit(0).
  • notebookutils.session.restartPython() é uma API oficial que encapsula sys.exit(0) e é mais segura e compatível em ambientes de notebook.
• Não é recomendável usar sys.exit(0) diretamente, a menos que seja necessário.

Monitoramento de uso de recursos em tempo real do notebook Python

Importante

Esse recurso está na versão prévia.

Com o painel do monitor de recursos, você pode acompanhar informações críticas de runtime, como duração da sessão, tipo de computação e métricas de recursos em tempo real, incluindo consumo de CPU e memória, diretamente em seu notebook. Esse recurso fornece uma visão geral imediata da sessão ativa e dos recursos que estão sendo usados.

O monitor de recursos melhora a visibilidade de como as cargas de trabalho do Python utilizam recursos do sistema. Ele ajuda você a otimizar o desempenho, gerenciar custos e reduzir o risco de erros de memória insuficiente (OOM). Monitorando as métricas em tempo real, você pode identificar operações com uso intensivo de recursos, analisar padrões de uso e tomar decisões informadas sobre dimensionamento ou modificação de código.

Para começar a usá-lo, defina o idioma do bloco de anotações como Python e inicie uma sessão. Em seguida, você pode abrir o monitor clicando nos recursos de computação na barra de status do notebook ou selecionando Exibir o uso do recurso na barra de ferramentas. O painel do monitor de recursos será exibido automaticamente, fornecendo uma experiência de monitoramento integrada para código Python nos notebooks do Fabric.

Comando mágico de configuração de sessão

Semelhante à personalização de uma configuração de sessão do Spark no notebook, também é possível usar %%configure no notebook Python. O notebook Python dá suporte à personalização dos nós de computação, dos principais pontos de montagem e do lakehouse padrão da sessão do notebook. Eles podem ser usados em atividades interativas de notebook e notebook de pipeline. É recomendável usar o comando %%configure no início do notebook ou reiniciar a sessão do notebook para que as configurações tenham efeito.

Aqui estão as propriedades com suporte no notebook Python %%configure:

%%configure -f
{
    "vCores": 4, // Recommended values: [4, 8, 16, 32, 64], Fabric will allocate matched memory according to the specified vCores.
    "defaultLakehouse": {  
        // Will overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<(optional) lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
}

Você pode visualizar a atualização dos recursos de computação na barra de status do notebook e monitorar o uso da CPU e da memória do nó de computação em tempo real.

NotebookUtils

O Notebook Utilities (NotebookUtils) é um pacote integrado para ajudar você a executar facilmente tarefas comuns no Fabric Notebook. Ele vem pré-instalado no tempo de execução do Python. Você pode usar o NotebookUtils para trabalhar com sistemas de arquivos, obter variáveis ​​de ambiente, encadear notebooks, acessar armazenamento externo e trabalhar com segredos.

Você pode usar notebookutils.help() para listar APIs disponíveis e também obter ajuda com métodos ou referenciar o doc NotebookUtils.

Utilitários de dados

Note

Atualmente, o recurso está em versão prévia.

Você pode usar utilitários notebookutils.data para estabelecer uma conexão com a fonte de dados fornecida e então ler e consultar dados usando a instrução T-SQL.

Execute o seguinte comando para obter uma visão geral dos métodos disponíveis:

notebookutils.data.help()

Output:

Help on module notebookutils.data in notebookutils:

NAME
    notebookutils.data - Utility for read/query data from connected data sources in Fabric

FUNCTIONS
    connect_to_artifact(artifact: str, workspace: str = '', artifact_type: str = '', **kwargs)
        Establishes and returns an ODBC connection to a specified artifact within a workspace 
        for subsequent data queries using T-SQL.
        
        :param artifact: The name or ID of the artifact to connect to.
        :param workspace:  Optional; The workspace in which the provided artifact is located, if not provided,
                             use the workspace where the current notebook is located.
        :param artifactType: Optional; The type of the artifact, Currently supported type are Lakehouse, Warehouse and MirroredDatabase. 
                                If not provided, the method will try to determine the type automatically.
        :param **kwargs Optional: Additional optional configuration. Supported keys include:
            - tds_endpoint : Allow user to specify a custom TDS endpoint to use for connection.
        :return: A connection object to the specified artifact.
        
        :raises UnsupportedArtifactException: If the specified artifact type is not supported to connect.
        :raises ArtifactNotFoundException: If the specified artifact is not found within the workspace.
        
        Examples:
            sql_query = "SELECT DB_NAME()"
            with notebookutils.data.connect_to_artifact("ARTIFACT_NAME_OR_ID", "WORKSPACE_ID", "ARTIFACT_TYPE") as conn:
                df = conn.query(sql_query)
                display(df)
    
    help(method_name: str = '') -> None
        Provides help for the notebookutils.data module or the specified method.
        
        Examples:
        notebookutils.data.help()
        notebookutils.data.help("connect_to_artifact")
        :param method_name: The name of the method to get help with.

DATA
    __all__ = ['help', 'connect_to_artifact']

FILE
    /home/trusted-service-user/jupyter-env/python3.10/lib/python3.10/site-packages/notebookutils/data.py

Consultar dados do Lakehouse

conn = notebookutils.data.connect_to_artifact("lakehouse_name_or_id", "optional_workspace_id", "optional_lakehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Consultar dados do Warehouse

conn = notebookutils.data.connect_to_artifact("warehouse_name_or_id", "optional_workspace_id", "optional_warehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Consultar dados do banco de dados SQL

conn = notebookutils.data.connect_to_artifact("sqldb_name_or_id", "optional_workspace_id", "optional_sqldatabase_type") 
df = conn.query("SELECT * FROM sys.schemas;")

Note

Os utilitários de dados no NotebookUtils só estão disponíveis no notebook Python por enquanto.

Navegar por trechos de código

Você pode encontrar trechos de código Python úteis na aba Editar>Procurar trecho de código, novos exemplos de Python agora estão disponíveis. Você pode aprender com o snippet de código Python para começar a explorar o notebook.

Link semântico

O link semântico é um recurso que permite estabelecer uma conexão entre modelos semânticos e a Ciência de Dados do Synapse no Microsoft Fabric. Ele tem suporte nativo no notebook Python. Engenheiros de BI e desenvolvedores do Power BI podem usar o Semantic Link Connect e gerenciar o modelo semântico facilmente. Leia o documento público para saber mais sobre o link semântico.

Visualization

Além de desenhar gráficos com bibliotecas, a função de visualização interna permite que você transforme DataFrames em visualizações de dados de formato avançado. Você pode usar a função display() em dataframes para produzir a visualização avançada em tabela de dataframes e a visualização de gráfico.

Note

As configurações do gráfico serão mantidas no notebook Python, o que significa que depois de executar novamente a célula de código, se o esquema de dataframe de destino não tiver sido alterado, os gráficos salvos ainda serão persistidos.

IntelliSense de código

O Python Notebook também usa o Pylance como servidor de linguagem. Para obter mais informações, confira como aprimorar o desenvolvimento Python com Pylance.

Capacidades de ciência de dados

Acesse Documentação de ciência de dados no Microsoft Fabric para saber mais sobre Ciência de Dados e experiência em IA no Fabric. Aqui listamos alguns recursos importantes de ciência de dados que são suportados nativamente no Python Notebook.

• Data Wrangler: Data Wrangler é uma ferramenta baseada em notebook que fornece uma interface imersiva para análise de dados de exploração. Esse recurso combina uma exibição de dados em grade com estatísticas de resumo dinâmicas, visualizações integradas e uma biblioteca de operações comuns de limpeza de dados. Ele fornece limpeza de dados, transformação de dados e integração, o que acelera a preparação de dados com o Data Wrangler.

• MLflow: um experimento de machine learning é a principal unidade de organização e controle para todas as execuções de aprendizado de máquina relacionadas. Uma execução corresponde a uma única execução do código do modelo.

• Fabric Auto Logging: A Ciência de Dados do Synapse no Microsoft Fabric inclui o registro automático, o que reduz significativamente a quantidade de código necessário para registrar automaticamente os parâmetros, métricas e itens de um modelo de aprendizado de máquina durante o treinamento.

  O registro automático amplia os recursos de rastreamento do MLflow. O registro automático pode capturar várias métricas, incluindo precisão, perda, pontuação F1 e métricas personalizadas que você definir. Ao usar o registro automático, desenvolvedores e cientistas de dados podem rastrear e comparar facilmente o desempenho de diferentes modelos e experimentos sem rastreamento manual.

• Copilot: O Copilot para notebooks de Ciência de Dados e Engenharia de Dados é um assistente de IA que ajuda a analisar e visualizar dados. Ele funciona com tabelas lakehouse, conjuntos de dados do Power BI e dataframes pandas/spark, fornecendo respostas e snippets de código diretamente no notebook. Você pode usar o painel do Copilot chat e Char-magics no notebook, e a IA fornece respostas ou código que você pode copiar para o seu notebook.

Limitações conhecidas da prévia pública

• A experiência ao vivo do pool não é garantida para cada execução do notebook Python. O início da sessão pode levar até 3 minutos se a execução do notebook não atingir o pool ativo. À medida que o uso do notebook Python cresce, nossos métodos de pool inteligente aumentam gradualmente a alocação do pool ativo para atender à demanda.

• A integração de ambiente não está disponível no notebook Python na versão prévia pública.

• Definir tempo limite de sessão não está disponível no momento.

• O Copilot pode gerar uma instrução Spark, que pode não ser executável no notebook Python.

• Atualmente, o Copilot no notebook Python não tem suporte total em várias regiões. O processo de implantação ainda está em andamento, fique atento à medida que continuamos a distribuir suporte em mais regiões.

Conteúdo relacionado

• Como usar blocos de anotações do Microsoft Fabric
• Desenvolver, executar e gerenciar notebooks Microsoft Fabric
• Introdução do NotebookUtils do Fabric