Gerir pacotes Python 3 na Automatização do Azure

Este artigo descreve como importar, gerenciar e usar pacotes Python 3 na Automação do Azure em execução no ambiente de área restrita do Azure e no Hybrid Runbook Workers. Os pacotes Python devem ser transferidos em Funções de Trabalho de Runbook Híbridas para uma execução bem-sucedida da tarefa. Para ajudar a simplificar os runbooks, pode utilizar pacotes Python para importar os módulos de que precisa.

Para obter informações sobre como gerenciar pacotes Python 2, consulte Gerenciar pacotes Python 2.

Pacotes Python padrão

Para suportar runbooks Python 3.8 no serviço de Automatização, alguns pacotes Python são instalados por predefinição e uma lista destes pacotes está aqui. A versão predefinida pode ser substituída ao importar pacotes Python para a sua conta de Automatização.

A preferência é dada à versão importada na sua conta de Automatização. Para importar um único pacote, consulte Importar um pacote. Para importar um pacote com vários pacotes, consulte Importar um pacote com dependências.

Nota

Não há pacotes padrão instalados para Python 3.10 (visualização).

Pacotes como arquivos de origem

A Automação do Azure dá suporte apenas a um pacote Python que contém apenas código Python e não inclui outras extensões de linguagem ou código em outras linguagens. No entanto, o ambiente de Sandbox do Azure pode não ter os compiladores necessários para binários C/C++, portanto, é recomendável usar arquivos de roda em vez disso.

Nota

Atualmente, o Python 3.10 (visualização) suporta apenas arquivos de roda.

O Python Package Index (PyPI) é um repositório de software para a linguagem de programação Python. Ao selecionar um pacote Python 3 para importar do PyPI para sua conta de automação, observe as seguintes partes do nome do arquivo:

Selecione uma versão do Python:

Python 3.8(GA)

Parte do nome do arquivo	Description
CP38	A automação suporta Python 3.8 para trabalhos na nuvem.
AMD64	Os processos de área restrita do Azure são arquitetura de 64 bits do Windows.

Por exemplo:

• Para importar pandas - selecione um arquivo de roda com um nome semelhante a pandas-1.2.3-cp38-win_amd64.whl.

Alguns pacotes Python disponíveis no PyPI não fornecem um arquivo de roda. Nesse caso, baixe o arquivo de origem (.zip ou .tar.gz) e gere o arquivo wheel usando pip.

Execute as seguintes etapas usando uma máquina Windows de 64 bits com Python 3.8.x e pacote wheel instalado:

1. Transfira o ficheiro pandas-1.2.4.tar.gzde origem .
2. Execute pip para obter o arquivo wheel com o seguinte comando: pip wheel --no-deps pandas-1.2.4.tar.gz

Python 3.10 (visualização)

Parte do nome do arquivo	Description
CP310	A automação suporta Python 3.10 (visualização) para trabalhos na nuvem.
manylinux_x86_64	Os processos de sandbox do Azure são arquitetura de 64 bits baseada em Linux para runbooks Python 3.10 (visualização).

Por exemplo:

• Para importar pandas - selecione um arquivo de roda com um nome semelhante a pandas-1.5.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

Alguns pacotes Python disponíveis no PyPI não fornecem um arquivo de roda. Neste caso, faça o download do arquivo de origem (.zip ou .tar.gz) e gere o arquivo de roda usando pip.

Execute as seguintes etapas usando uma máquina Linux de 64 bits com Python 3.10.x e pacote wheel instalado:

1. Transferir o ficheiro de origem pandas-1.2.4.tar.gz.
2. Execute pip para obter o arquivo wheel com o seguinte comando: pip wheel --no-deps pandas-1.2.4.tar.gz

Importar um pacote

1. Na sua Conta de Automatização, selecione Pacotes Python em Recursos Partilhados. Selecione + Adicionar um pacote Python.

   

2. Na página Adicionar Pacote Python , selecione um pacote local para carregar. O pacote pode ser um ficheiro .whl ou .tar.gz para o ficheiro Python 3.8 e .whl para Python 3.10 (pré-visualização).

3. Introduza um nome e selecione a Versão do Runtime como Python 3.8 ou Python 3.10 (pré-visualização).

   Nota

   Atualmente, a versão de tempo de execução do Python 3.10 (visualização) é suportada para trabalhos Cloud e Hybrid em todas as regiões Públicas, exceto Austrália Central2, Coreia do Sul, Sul da Suécia, Jio India Central, Sudeste do Brasil, Índia Central, Índia Ocidental, UAE Central e nuvens Gov.

4. Selecione Importar.

   

Após a importação de um pacote, este é apresentado na página pacotes Python na sua conta de Automatização. Para remover um pacote, selecione o pacote e selecione Eliminar.

Importar um pacote com dependências

Pode importar um pacote Python 3.8 e as respetivas dependências ao importar o seguinte script Python para um runbook Python 3.8. Certifique-se de que a Identidade gerida está ativada para a sua conta de Automatização e tem acesso de Contribuidor de Automatização para uma importação bem-sucedida do pacote.

Identidade gerenciada atribuída ao sistema

https://github.com/azureautomation/runbooks/blob/master/Utility/Python/import_py3package_from_pypi.py

Identidade gerenciada atribuída ao usuário

import requests
import sys
import pip
import os
import re
import shutil
import json
import time
import getopt

#region Constants
PYPI_ENDPOINT = "https://pypi.org/simple"
FILENAME_PATTERN = "[\\w]+"
#endregion

def get_automation_usi_token():
    """ Returns a token that can be used to authenticate against Azure resources """
    import json

    # printing environment variables 
    resource = "?resource=https://management.azure.com/" 
    client_id = "&client_id="+client_id_usi 
    endPoint = os.getenv('IDENTITY_ENDPOINT')+ resource +client_id 
    identityHeader = os.getenv('IDENTITY_HEADER') 
    payload={}
    headers = {
      'X-IDENTITY-HEADER': identityHeader,
      'Metadata': 'True' 
    }
    response = requests.request("GET", endPoint, headers=headers, data=payload) 

    # Return the token
    return json.loads(response.text)['access_token']

def get_packagename_from_filename(packagefilename):
    match = re.match(FILENAME_PATTERN, packagefilename)
    return match.group(0)

def resolve_download_url(packagename, packagefilename):
    response = requests.get("%s/%s" % (PYPI_ENDPOINT, packagename))
    urls = re.findall(r'href=[\'"]?([^\'" >]+)', str(response.content))   
    for url in urls:
        if packagefilename in url:
            print ("Detected download uri %s for %s" % (url, packagename))
            return(url)

def send_webservice_import_module_request(packagename, download_uri_for_file):
    request_url = "https://management.azure.com/subscriptions/%s/resourceGroups/%s/providers/Microsoft.Automation/automationAccounts/%s/python3Packages/%s?api-version=2018-06-30" \
                  % (subscription_id, resource_group, automation_account, packagename)

    requestbody = { 'properties': { 'description': 'uploaded via automation', 'contentLink': {'uri': "%s" % download_uri_for_file} } }
    headers = {'Content-Type' : 'application/json', 'Authorization' : "Bearer %s" % token}
    r = requests.put(request_url, data=json.dumps(requestbody), headers=headers)
    print ("Request status for package %s was %s" % (packagename, str(r.status_code)))
    if str(r.status_code) not in ["200", "201"]:
        raise Exception("Error importing package {0} into Automation account. Error code is {1}".format(packagename, str(r.status_code)))

def make_temp_dir():
    destdir = os.path._getfullpathname("tempDownloadDir")
    if os.path.exists(destdir):
        shutil.rmtree(destdir)
    os.makedirs(destdir, 0o755)
    return destdir

def import_package_with_dependencies (packagename):
    # download package with all depeendencies
    download_dir = make_temp_dir()
    pip.main(['download', '-d', download_dir, packagename])
    for file in os.listdir(download_dir):
        pkgname = get_packagename_from_filename(file)
        download_uri_for_file = resolve_download_url(pkgname, file)
        send_webservice_import_module_request(pkgname, download_uri_for_file)
        # Sleep a few seconds so we don't send too many import requests https://docs.microsoft.com/en-us/azure/azure-subscription-service-limits#automation-limits
        time.sleep(10)

if __name__ == '__main__':
    if len(sys.argv) < 11:
        raise Exception("Requires Subscription id -s, Automation resource group name -g, account name -a, module name -g and user-assigned managed identity client id -c as arguments. \
                        Example: -s xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxx -g contosogroup -a contosoaccount -m pytz -c clientid")

    # Process any arguments sent in
    subscription_id = None
    resource_group = None
    automation_account = None
    module_name = None
    client_id_usi = None

    opts, args = getopt.getopt(sys.argv[1:], "s:g:a:m:c")
    for o, i in opts:
        if o == '-s':  
            subscription_id = i
        elif o == '-g':  
            resource_group = i
        elif o == '-a': 
            automation_account = i
        elif o == '-m': 
            module_name = i
        elif o == '-c': 
            client_id_usi = i

    # Set Run as token for this automation accounts service principal to be used to import the package into Automation account
    token = get_automation_usi_token()

    # Import package with dependencies from pypi.org
    import_package_with_dependencies(module_name)
    print ("\nCheck the python 3 packages page for import status...")

Importar o script para um runbook

Para obter informações sobre como importar o runbook, consulte Importar um runbook do portal do Azure. Copie o ficheiro do GitHub para o armazenamento ao qual o portal pode aceder antes de executar a importação.

Nota

Atualmente, a importação de um runbook do Portal do Azure não é suportada para Python 3.10 (visualização).

A página Importar um runbook predefine o nome do runbook para corresponder ao nome do script. Se tiver acesso ao campo, pode alterar o nome. O tipo de runbook pode ser predefinido para Python 2.7. Se isto acontecer, certifique-se de que o altera para Python 3.8.

Executar o runbook para importar o pacote e as dependências

Depois de criar e publicar o runbook, execute-o para importar o pacote. Consulte Iniciar um runbook na Automatização do Azure para obter detalhes sobre a execução do runbook.

O script (import_py3package_from_pypi.py) requer os seguintes parâmetros.

Parâmetro	Descrição
subscription_id	ID da Subscrição da conta de Automatização
resource_group	Nome do grupo de recursos no qual a conta de Automatização está definida
automation_account	Nome da conta de Automatização
module_name	Nome do módulo a ser importado pypi.org
module_version	Versão do módulo

O valor do parâmetro deve ser fornecido como uma única cadeia no formato abaixo:

-s <subscription_id> -g <resource_group> -a<automation_account> -m <module_name> -v <module_version>

Para obter mais informações sobre como usar parâmetros com runbooks, consulte Trabalhar com parâmetros de runbook.

Usar um pacote em um runbook

Com o pacote importado, você pode usá-lo em um runbook. Adicione o código a seguir para listar todos os grupos de recursos em uma assinatura do Azure.

#!/usr/bin/env python3 
import os 
import requests  
# printing environment variables 
endPoint = os.getenv('IDENTITY_ENDPOINT')+"?resource=https://management.azure.com/" 
identityHeader = os.getenv('IDENTITY_HEADER') 
payload={} 
headers = { 
  'X-IDENTITY-HEADER': identityHeader,
  'Metadata': 'True' 
} 
response = requests.request("GET", endPoint, headers=headers, data=payload) 
print(response.text)

Nota

O pacote Python automationassets não está disponível no pypi.org, portanto, não está disponível para importação em um runbook worker híbrido do Windows.

Identificar pacotes disponíveis na área restrita

Use o código a seguir para listar os módulos instalados padrão:

#!/usr/bin/env python3

import pkg_resources
installed_packages = pkg_resources.working_set
installed_packages_list = sorted(["%s==%s" % (i.key, i.version)
   for i in installed_packages])

for package in installed_packages_list:
    print(package)

Cmdlets do Python 3.8 PowerShell

Adicionar novo pacote Python 3.8

New-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja -Name requires.io -ContentLinkUri https://files.pythonhosted.org/packages/7f/e2/85dfb9f7364cbd7a9213caea0e91fc948da3c912a2b222a3e43bc9cc6432/requires.io-0.2.6-py2.py3-none-any.whl 

Response  
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : requires.io 
IsGlobal              : False 
Version               : 
SizeInBytes           : 0 
ActivityCount         : 0 
CreationTime          : 9/26/2022 1:37:13 PM +05:30 
LastModifiedTime      : 9/26/2022 1:37:13 PM +05:30 
ProvisioningState     : Creating 

Listar todos os pacotes Python 3.8

Get-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja 

Response : 
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : cryptography 
IsGlobal              : False 
Version               : 
SizeInBytes           : 0 
ActivityCount         : 0 
CreationTime          : 9/26/2022 11:52:28 AM +05:30 
LastModifiedTime      : 9/26/2022 12:11:00 PM +05:30 
ProvisioningState     : Failed 
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : requires.io 
IsGlobal              : False 
Version               : 
SizeInBytes           : 0 
ActivityCount         : 0 
CreationTime          : 9/26/2022 1:37:13 PM +05:30 
LastModifiedTime      : 9/26/2022 1:39:04 PM +05:30 
ProvisioningState     : ContentValidated 
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : sockets 
IsGlobal              : False 
Version               : 1.0.0 
SizeInBytes           : 4495 
ActivityCount         : 0 
CreationTime          : 9/20/2022 12:46:28 PM +05:30 
LastModifiedTime      : 9/22/2022 5:03:42 PM +05:30 
ProvisioningState     : Succeeded 

Obter detalhes sobre o pacote específico

Get-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja -Name sockets 


Response  
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : sockets 
IsGlobal              : False 
Version               : 1.0.0 
SizeInBytes           : 4495 
ActivityCount         : 0 
CreationTime          : 9/20/2022 12:46:28 PM +05:30 
LastModifiedTime      : 9/22/2022 5:03:42 PM +05:30 
ProvisioningState     : Succeeded 

Remover pacote Python 3.8

Remove-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja -Name sockets 

Atualizar pacote Python 3.8

Set-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja -Name requires.io -ContentLinkUri https://files.pythonhosted.org/packages/7f/e2/85dfb9f7364cbd7a9213caea0e91fc948da3c912a2b222a3e43bc9cc6432/requires.io-0.2.6-py2.py3-none-any.whl 


ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : requires.io 
IsGlobal              : False 
Version               : 0.2.6 
SizeInBytes           : 10109 
ActivityCount         : 0 
CreationTime          : 9/26/2022 1:37:13 PM +05:30 
LastModifiedTime      : 9/26/2022 1:43:12 PM +05:30 
ProvisioningState     : Creating 

Próximos passos

Para preparar um runbook do Python, consulte Criar um runbook do Python.