O que é uma instância de computação do Azure Machine Learning?
Uma instância de computação do Azure Machine Learning é uma estação de trabalho baseada em nuvem gerenciada para cientistas de dados. Cada instância de computação tem apenas um proprietário, embora você possa compartilhar arquivos entre várias instâncias de computação.
As instâncias de computação facilitam a introdução ao desenvolvimento do Azure Machine Learning e fornecem funcionalidades de gerenciamento e preparação empresarial para os administradores de TI.
Use uma instância de computação como seu ambiente de desenvolvimento totalmente configurado e gerenciado para aprendizado de máquina. Elas também podem ser usadas como um destino de computação para treinamento e inferência para fins de desenvolvimento e teste.
Para que a funcionalidade de Jupyter da instância de computação funcione, verifique se a comunicação do soquete da Web não está desabilitada. Verifique se a rede permite conexões websocket com *.instances.azureml.net e *.instances.azureml.ms.
Importante
Os itens marcados (versão prévia) neste artigo estão atualmente em versão prévia pública. A versão prévia é fornecida sem um contrato de nível de serviço e não é recomendada para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Termos de Uso Complementares de Versões Prévias do Microsoft Azure.
Por que usar uma instância de computação?
Uma instância de computação é uma estação de trabalho totalmente gerenciada baseada em nuvem otimizada para seu ambiente de desenvolvimento de aprendizado de máquina. Ele oferece os seguintes benefícios:
| Principais benefícios | DESCRIÇÃO |
|---|---|
| Produtividade | Você pode criar e implantar modelos por meio de notebooks integrados e as seguintes ferramentas no Estúdio do Azure Machine Learning: - Jupyter - JupyterLab - VS Code (versão prévia) A instância de computação é totalmente integrada com o espaço de trabalho e estúdio do Azure Machine Learning. Você pode compartilhar notebooks e dados com outros cientistas de dados no espaço de trabalho. |
| Gerenciado e seguro | Reduza o volume de segurança e adicione conformidade com os requisitos de segurança corporativa. As instâncias de computação fornecem políticas de gerenciamento robustas e configurações de rede seguras, como: - Provisionamento automático dos modelos do Resource Manager ou SDK do Azure Machine Learning - Controle de acesso baseado em função do Azure (RBAC) - Suporte de rede virtual – Política do Azure para desabilitar o acesso SSH - Política do Azure para impor a criação em uma rede virtual - Desligamento automático/início automático com base no agendamento - TLS 1.2 habilitado |
| Pré-configurado para ML | Economize tempo nas tarefas de instalação com pacotes ML pré-configurados e atualizados, estruturas de aprendizado profundo, drivers de GPU. |
| Totalmente personalizável | Amplo suporte para tipos de VM do Azure, incluindo GPUs e personalização de baixo nível persistente, como a instalação de pacotes e drivers, torna os cenários avançados muito fáceis. Você também pode usar scripts de instalação para automatizar a personalização |
- Proteger sua instância de computação com Nenhum IP.
- A instância de computação também é um destino de computação de treinamento seguro semelhante aos clusters de computação, mas é um único nó.
- Você mesmo pode criar uma instância de computação ou um administrador pode criar uma instância de computação para você .
- Você também pode usar um script de instalação para automatizar a personalização e a configuração da instância de computação de acordo com suas necessidades.
- Para economizar em custos, crie um agendamento para iniciar e parar automaticamente a instância de computação, ou habilite o desligamento ocioso
Ferramentas e ambientes
A instância de computação do Azure Machine Learning permite que você crie, treine e implante modelos em uma experiência de notebook totalmente integrada em seu workspace.
Você pode executar notebooks em seu workspace do Azure Machine Learning, no Jupyter, no JupyterLabou no Visual Studio Code. O VS Code Desktop pode ser configurado para acessar sua instância de computação. Ou use o VS Code para a Web, diretamente do navegador e sem nenhuma instalação ou dependência necessária.
Recomendamos que você experimente o VS Code para a Web para aproveitar a integração fácil e o ambiente de desenvolvimento avançado que ele fornece. O VS Code para a Web oferece muitos dos recursos do VS Code Desktop que você ama, incluindo realce de pesquisa e sintaxe durante a navegação e edição. Para obter mais informações sobre como usar o VS Code Desktop e o VS Code para a Web, consulte Iniciar o Visual Studio Code integrado ao Azure Machine Learning (versão prévia) e Trabalhar no VS Code conectado remotamente a uma instância de computação (versão prévia).
Você pode instalar pacotes e adicionar kernelsem sua instância de computação.
Essas ferramentas e esses ambientes são instalados na instância de computação:
| Ferramentas gerais e ambientes | Detalhes |
|---|---|
| Drivers | CUDAcuDNNNVIDIABlob FUSE |
| Biblioteca Intel MPI | |
| CLI do Azure | |
| Exemplos do Azure Machine Learning | |
| Docker | |
| Nginx | |
| NCCL 2.0 | |
| Protobuf |
| Ambientes e Ferramentas do R | Detalhes |
|---|---|
| Kernel do R |
Você pode Adicionar RStudio ou Posit Workbench (anteriormente RStudio Workbench) ao criar a instância.
| Ferramentas e ambientes do PYTHON | Detalhes |
|---|---|
| Anaconda Python | |
| Jupyter e extensões | |
| Jupyterlab e extensões | |
| SDK do Azure Machine Learning para Python do PyPI |
Inclui azure-ai-ml e muitos pacotes extras comuns do azure. Para ver a lista completa, abra uma janela de terminal em sua instância de computação e execute conda list -n azureml_py310_sdkv2 ^azure |
| Outros pacotes do PyPI | jupytexttensorboardnbconvertnotebookPillow |
| Pacotes Conda | cythonnumpyipykernelscikit-learnmatplotlibtqdmjoblibnodejs |
| Pacotes de aprendizado profundo | PyTorchTensorFlowKerasHorovodMLFlowpandas-mlscrapbook |
| Pacotes ONNX | keras2onnxonnxonnxconverter-commonskl2onnxonnxmltools |
| Amostras do Python do Azure Machine Learning |
A instância de computação tem o Ubuntu como SO de base.
Acessar arquivos
Os scripts do Python e Notebooks são armazenados na conta de armazenamento padrão do seu workspace no compartilhamento de arquivo do Azure. Esses arquivos estão localizados no diretório "Arquivos do usuário". Esse armazenamento facilita o compartilhamento de notebooks entre instâncias de computação. A conta de armazenamento também mantém seus notebooks preservados com segurança quando você interrompe ou exclui uma instância de computação.
A conta de compartilhamento de arquivo do Azure do seu workspace é montada como uma unidade na instância de computação. Essa unidade é o diretório de trabalho padrão para Jupyter, Jupyter Labs, RStudio e Posit Workbench. Isso significa que os notebooks e outros arquivos que você cria no Jupyter, JupyterLab, VS Code para a Web, RStudio ou Posit são armazenados automaticamente no compartilhamento de arquivos e também estão disponíveis para uso em outras instâncias de computação.
Os arquivos no compartilhamento de arquivo podem ser acessados de todas as instâncias de computação no mesmo workspace. Todas as alterações a esses arquivos na instância de computação serão mantidas de modo confiável no compartilhamento de arquivo.
Você também pode clonar os exemplos mais recentes do Azure Machine Learning em sua pasta no diretório arquivos do usuário no compartilhamento de arquivo do workspace.
Gravar arquivos pequenos pode ser mais lento em unidades de rede do que gravar no próprio disco local da instância de computação. Se você estiver escrevendo muitos arquivos pequenos, tente usar um diretório diretamente na instância de computação, como um diretório /tmp. Observe que esses arquivos não estarão acessíveis de outras instâncias de computação.
Não armazene dados de treinamento no compartilhamento de arquivo de notebooks. Para obter informações das várias opções para armazenar dados, consulte Acessar dados em um trabalho.
Você pode usar o /tmp diretório na instância de computação para os dados temporários. No entanto, não grave arquivos grandes de dados no disco do sistema operacional da instância de computação. O disco do SO na instância de computação tem capacidade de 120 GB. Você também pode armazenar dados de treinamento temporários em um disco temporário montado em /mnt. O tamanho do disco temporário é baseado no tamanho da VM escolhido e pode armazenar maiores quantidades de dados se o tamanho da VM escolhido for superior. Todos os pacotes de software instalados são salvos no disco do sistema operacional da instância de computação. Observe que a criptografia de chave gerenciada pelo cliente não tem suporte no momento para o disco do sistema operacional. O disco do SO para instância de computação é criptografado com chaves gerenciadas pela Microsoft.
Você também pode montar armazenamentos de dados e conjuntos de dados.
Criar
Siga as etapas em Criar os recursos que você precisa para começar para criar uma instância de computação básica.
Para obter mais opções, confira criar uma instância de computação.
Como administrador, você pode criar uma instância de computação para outras pessoas no espaço de trabalho. O SSO precisa ser desabilitado para uma instância de computação como essa.
Você também pode usar um script de instalação para automatizar a personalização e a configuração da instância de computação.
Outras maneiras de criar uma instância de computação:
- Diretamente da experiência de notebooks integrados.
- No modelo do Azure Resource Manager. Para obter um modelo de exemplo, consulte criar um modelo de instância de computação do Azure Machine Learning.
- Com o SDK do Azure Machine Learning
- Daextensão da CLI do Azure Machine Learning
Os núcleos dedicados por região por cota de família de VM e cota regional total, que se aplicam à criação de instância de computação, são unificados e compartilhados com a cota de cluster de cálculo de treinamento do Azure Machine Learning. Interromper a instância de computação não liberará a cota para garantir que você possa reiniciar a instância de computação. Não pare a instância de computação por meio do terminal do SO fazendo um desligamento sudo.
A instância de computação vem com o disco P10 do SO. O tipo de disco temporário depende do tamanho da VM escolhido. No momento, não é possível alterar o tipo de disco do SO.
Destino de computação
As instâncias de computação podem ser usadas como um destino de computação de treinamento semelhante a clusters de treinamento de computação do Azure Machine Learning. Mas uma instância de computação tem apenas um único nó, enquanto um cluster de computação pode ter mais nós.
Uma instância de computação:
- Tem uma fila de trabalhos.
- Executam trabalhos com segurança em um ambiente de rede virtual, sem exigir que as empresas abram portas SSH. O trabalho é executado em um ambiente de contêineres e empacota as dependências do modelo em um contêiner do Docker.
- Pode executar vários trabalhos pequenos em paralelo. Um trabalho por vCPU pode ser executado em paralelo enquanto o restante dos trabalhos são enfileirados.
- Dá suporte aos trabalhos de treinamento distribuído de várias GPU de nó único
Você pode usar a instância de computação como um destino de implantação de inferência local para cenários de teste/depuração.
Dica
A instância de computação tem um disco de SO de 120 GB. Se você ficar sem espaço em disco e entrar em um estado inutilizável, limpe pelo menos 5 GB de espaço em disco no disco do SO (montado em /) por meio do terminal da instância de computação removendo arquivos/pastas. Depois, faça sudo reboot. O disco temporário será liberado após a reinicialização; você não precisa limpar o espaço no disco temporário manualmente. Para acessar o terminal, acesse a página de lista de computação ou a página de detalhes da instância de computação e clique no link do terminal. Para verificar o espaço em disco disponível, execute df -h no terminal. Limpe pelo menos 5 GB de espaço antes de fazer sudo reboot. Não pare nem reinicie a instância de computação por meio do Estúdio antes de limpar os 5 GB de espaço em disco. Desligamentos automáticos, incluindo início ou parada agendados, bem como desligamentos ociosos, não funcionarão se o disco de CI estiver cheio.
Próximas etapas
- Crie os recursos que você precisa para começar.
- Tutorial: Treinar seu primeiro modelo de ML mostra como usar uma instância de computação com um notebook integrado.