Управление пакетами Python 3 в службе автоматизации Azure

В этой статье описывается, как импортировать, управлять и использовать пакеты Python 3 в служба автоматизации Azure запуска в среде песочницы Azure и гибридных рабочих ролей Runbook. Пакеты Python должны быть загружены в рабочие роли Hybrid Runbook для успешного выполнения задания. Чтобы упростить модули Runbook, можно использовать пакеты Python для импорта необходимых модулей.

Сведения об управлении пакетами Python 2 см. в статье "Управление пакетами Python 2".

Пакеты Python по умолчанию

Для поддержки модулей Runbook Python 3.8 в службе автоматизации некоторые пакеты Python устанавливаются по умолчанию, и список этих пакетов находится здесь. Версию по умолчанию можно переопределить, импортировав пакеты Python в свою учетную запись службы автоматизации.

Приоритет отдается импортированной версии в учетной записи службы автоматизации Azure. Чтобы импортировать один пакет, см. раздел Импорт пакета. Чтобы импортировать пакет с несколькими пакетами, см. раздел Импорт пакета с зависимостями.

Примечание.

Для Python 3.10 (предварительная версия) не установлены пакеты по умолчанию.

Пакеты как исходные файлы

Служба автоматизации Azure поддерживает пакеты Python, содержащие только код Python и не включающие в себя расширения или код на других языках. Но в среде песочницы Azure может не быть необходимых компиляторов для двоичных файлов C/C++, поэтому рекомендуется использовать файлы wheel.

Примечание.

В настоящее время Python 3.10 (предварительная версия) поддерживает только файлы колесика.

Индекс пакетов Python (PyPI) — это репозиторий программного обеспечения для языка Python. При выборе пакета Python 3 для импорта в учетную запись автоматизации из PyPI обратите внимание на следующие компоненты имени файла:

Выберите версию Python:

Python 3.8(GA)

Компонент имени файла	Description
cp38	Автоматизация поддерживает задания Python 3.8 для облачных заданий.
amd64	Процессы песочницы Azure относятся к 64-разрядной архитектуре Windows.

Например:

• Чтобы импортировать pandas, выберите файл колесика с именем, похожим на pandas-1.2.3-cp38-win_amd64.whl.

Некоторые пакеты Python, доступные на PyPI, не содержат файл wheel. В таком случае загрузите исходник (файл .zip или .tar.gz) и сгенерируйте файл wheel с помощью pip.

Выполните следующие действия, используя 64-разрядный компьютер Windows с установленным пакетом Python 3.8.x и колесикой:

1. Загрузите исходный файл pandas-1.2.4.tar.gz.
2. Запустите pip, чтобы получить файл колеса с помощью следующей команды: pip wheel --no-deps pandas-1.2.4.tar.gz

Python 3.10 (предварительная версия)

Компонент имени файла	Description
cp310	Автоматизация поддерживает Python 3.10 (предварительная версия) для облачных заданий.
manylinux_x86_64	Процессы песочницы Azure — это 64-разрядная архитектура Linux для модулей Runbook Python 3.10 (предварительная версия).

Например:

• Чтобы импортировать pandas, выберите файл колесика с именем, аналогичным как pandas-1.5.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

Некоторые пакеты Python, доступные на PyPI, не содержат файл wheel. В этом случае скачайте исходный файл (ZIP или TAR.gz) и создайте файл колесика с помощью pip.

Выполните следующие действия, используя 64-разрядный компьютер Linux с установленным пакетом Python 3.10.x и колесикой:

1. Скачивание исходного файла pandas-1.2.4.tar.gz.
2. Запустите pip, чтобы получить файл колеса с помощью следующей команды: pip wheel --no-deps pandas-1.2.4.tar.gz

Импорт пакета

1. В учетной записи службы автоматизации в области Общие ресурсы выберите Пакеты Python. Затем выберите + Добавить пакет Python.

   

2. На странице Добавить пакет Python выберите локальный пакет для загрузки. Пакет может быть файлом .whl или .tar.gz для Python 3.8 и файлом .whl для Python 3.10 (предварительная версия).

3. Введите имя и выберите версию среды выполнения Python 3.8 или Python 3.10 (предварительная версия).

   Примечание.

   В настоящее время версия среды выполнения Python 3.10 (предварительная версия) поддерживается как для облачных, так и гибридных заданий во всех общедоступных регионах, кроме Австралии Central2, Южной Кореи, Швеции, Южной Швеции, Jio India Central, Бразилии, Центральной Индии, Западной Индии, Центральной и Gov облака.

4. Выберите Импортировать.

   

После импорта пакета он отображается на странице пакетов Python в учетной записи службы автоматизации. Чтобы удалить пакет, выберите его и выберите Удалить.

Импорт пакета с зависимостями

Можно импортировать пакет Python 3.8 и его зависимости, импортировав следующий сценарий Python в модуль Runbook Python 3.8. Убедитесь, что управляемое удостоверение включено для учетной записи службы автоматизации и имеет доступ участника автоматизации для успешного импорта пакета.

Управляемое удостоверение, назначаемое системой

https://github.com/azureautomation/runbooks/blob/master/Utility/Python/import_py3package_from_pypi.py

Управляемая единица, назначаемая пользователем

import requests
import sys
import pip
import os
import re
import shutil
import json
import time
import getopt

#region Constants
PYPI_ENDPOINT = "https://pypi.org/simple"
FILENAME_PATTERN = "[\\w]+"
#endregion

def get_automation_usi_token():
    """ Returns a token that can be used to authenticate against Azure resources """
    import json

    # printing environment variables 
    resource = "?resource=https://management.azure.com/" 
    client_id = "&client_id="+client_id_usi 
    endPoint = os.getenv('IDENTITY_ENDPOINT')+ resource +client_id 
    identityHeader = os.getenv('IDENTITY_HEADER') 
    payload={}
    headers = {
      'X-IDENTITY-HEADER': identityHeader,
      'Metadata': 'True' 
    }
    response = requests.request("GET", endPoint, headers=headers, data=payload) 

    # Return the token
    return json.loads(response.text)['access_token']

def get_packagename_from_filename(packagefilename):
    match = re.match(FILENAME_PATTERN, packagefilename)
    return match.group(0)

def resolve_download_url(packagename, packagefilename):
    response = requests.get("%s/%s" % (PYPI_ENDPOINT, packagename))
    urls = re.findall(r'href=[\'"]?([^\'" >]+)', str(response.content))   
    for url in urls:
        if packagefilename in url:
            print ("Detected download uri %s for %s" % (url, packagename))
            return(url)

def send_webservice_import_module_request(packagename, download_uri_for_file):
    request_url = "https://management.azure.com/subscriptions/%s/resourceGroups/%s/providers/Microsoft.Automation/automationAccounts/%s/python3Packages/%s?api-version=2018-06-30" \
                  % (subscription_id, resource_group, automation_account, packagename)

    requestbody = { 'properties': { 'description': 'uploaded via automation', 'contentLink': {'uri': "%s" % download_uri_for_file} } }
    headers = {'Content-Type' : 'application/json', 'Authorization' : "Bearer %s" % token}
    r = requests.put(request_url, data=json.dumps(requestbody), headers=headers)
    print ("Request status for package %s was %s" % (packagename, str(r.status_code)))
    if str(r.status_code) not in ["200", "201"]:
        raise Exception("Error importing package {0} into Automation account. Error code is {1}".format(packagename, str(r.status_code)))

def make_temp_dir():
    destdir = os.path._getfullpathname("tempDownloadDir")
    if os.path.exists(destdir):
        shutil.rmtree(destdir)
    os.makedirs(destdir, 0o755)
    return destdir

def import_package_with_dependencies (packagename):
    # download package with all depeendencies
    download_dir = make_temp_dir()
    pip.main(['download', '-d', download_dir, packagename])
    for file in os.listdir(download_dir):
        pkgname = get_packagename_from_filename(file)
        download_uri_for_file = resolve_download_url(pkgname, file)
        send_webservice_import_module_request(pkgname, download_uri_for_file)
        # Sleep a few seconds so we don't send too many import requests https://docs.microsoft.com/en-us/azure/azure-subscription-service-limits#automation-limits
        time.sleep(10)

if __name__ == '__main__':
    if len(sys.argv) < 11:
        raise Exception("Requires Subscription id -s, Automation resource group name -g, account name -a, module name -g and user-assigned managed identity client id -c as arguments. \
                        Example: -s xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxx -g contosogroup -a contosoaccount -m pytz -c clientid")

    # Process any arguments sent in
    subscription_id = None
    resource_group = None
    automation_account = None
    module_name = None
    client_id_usi = None

    opts, args = getopt.getopt(sys.argv[1:], "s:g:a:m:c")
    for o, i in opts:
        if o == '-s':  
            subscription_id = i
        elif o == '-g':  
            resource_group = i
        elif o == '-a': 
            automation_account = i
        elif o == '-m': 
            module_name = i
        elif o == '-c': 
            client_id_usi = i

    # Set Run as token for this automation accounts service principal to be used to import the package into Automation account
    token = get_automation_usi_token()

    # Import package with dependencies from pypi.org
    import_package_with_dependencies(module_name)
    print ("\nCheck the python 3 packages page for import status...")

Импорт скрипта в runbook

Сведения об импорте runbook см. в разделе Импорт последовательности runbook с портала Azure. Скопируйте файл из GitHub в хранилище, к которому может получить доступ портал, прежде чем выполнять импорт.

Примечание.

В настоящее время импорт модуля Runbook с портала Azure не поддерживается для Python 3.10 (предварительная версия).

На странице Импорт модуля runbook по умолчанию используется имя runbook в соответствии с именем скрипта. Если у вас есть доступ к полю, вы можете изменить имя. В качестве типа Runbook по умолчанию может быть установлен Python 2.7. Если это так, обязательно измените его на Python 3.8.

Запуск runbook для импорта пакета и зависимостей

После создания и публикации модуля runbook запустите его, чтобы импортировать пакет. Дополнительные сведения о запуске модуля runbook см. в статье Запуск модуля runbook в службе автоматизации Azure.

Для скрипта (import_py3package_from_pypi.py) обязательны указанные ниже параметры.

Параметр	Описание
subscription_id	Идентификатор подписки учетной записи службы автоматизации
resource_group	Имя группы ресурсов, в которой определена учетная запись службы автоматизации
automation_account	Имя учетной записи автоматизации
module_name	Имя модуля, который нужно импортировать из pypi.org
module_version	Версия модуля

Значение параметра должно быть предоставлено в виде одной строки в следующем формате:

-s <subscription_id -g <> resource_group> -a<automation_account> -m <> module_name -v <module_version>

Дополнительные сведения об использовании параметров с модулями runbook см. в разделе Работа с параметрами runbook.

Использование пакета в модуле runbook

Завершив импорт пакета, вы сможете использовать его в runbook. Добавьте следующий код, чтобы вывести список всех групп ресурсов в подписке Azure.

#!/usr/bin/env python3 
import os 
import requests  
# printing environment variables 
endPoint = os.getenv('IDENTITY_ENDPOINT')+"?resource=https://management.azure.com/" 
identityHeader = os.getenv('IDENTITY_HEADER') 
payload={} 
headers = { 
  'X-IDENTITY-HEADER': identityHeader,
  'Metadata': 'True' 
} 
response = requests.request("GET", endPoint, headers=headers, data=payload) 
print(response.text)

Примечание.

Пакет Python automationassets недоступен в pypi.org, поэтому он недоступен для импорта в гибридную рабочую роль Runbook Windows.

Определение доступных пакетов в песочнице

Используйте следующий код, чтобы получить список установленных модулей по умолчанию:

#!/usr/bin/env python3

import pkg_resources
installed_packages = pkg_resources.working_set
installed_packages_list = sorted(["%s==%s" % (i.key, i.version)
   for i in installed_packages])

for package in installed_packages_list:
    print(package)

Командлеты PowerShell для Python 3.8

Добавление нового пакета Python 3.8

New-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja -Name requires.io -ContentLinkUri https://files.pythonhosted.org/packages/7f/e2/85dfb9f7364cbd7a9213caea0e91fc948da3c912a2b222a3e43bc9cc6432/requires.io-0.2.6-py2.py3-none-any.whl 

Response  
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : requires.io 
IsGlobal              : False 
Version               : 
SizeInBytes           : 0 
ActivityCount         : 0 
CreationTime          : 9/26/2022 1:37:13 PM +05:30 
LastModifiedTime      : 9/26/2022 1:37:13 PM +05:30 
ProvisioningState     : Creating 

Список всех пакетов Python 3.8

Get-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja 

Response : 
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : cryptography 
IsGlobal              : False 
Version               : 
SizeInBytes           : 0 
ActivityCount         : 0 
CreationTime          : 9/26/2022 11:52:28 AM +05:30 
LastModifiedTime      : 9/26/2022 12:11:00 PM +05:30 
ProvisioningState     : Failed 
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : requires.io 
IsGlobal              : False 
Version               : 
SizeInBytes           : 0 
ActivityCount         : 0 
CreationTime          : 9/26/2022 1:37:13 PM +05:30 
LastModifiedTime      : 9/26/2022 1:39:04 PM +05:30 
ProvisioningState     : ContentValidated 
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : sockets 
IsGlobal              : False 
Version               : 1.0.0 
SizeInBytes           : 4495 
ActivityCount         : 0 
CreationTime          : 9/20/2022 12:46:28 PM +05:30 
LastModifiedTime      : 9/22/2022 5:03:42 PM +05:30 
ProvisioningState     : Succeeded 

Получение сведений о конкретном пакете

Get-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja -Name sockets 


Response  
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : sockets 
IsGlobal              : False 
Version               : 1.0.0 
SizeInBytes           : 4495 
ActivityCount         : 0 
CreationTime          : 9/20/2022 12:46:28 PM +05:30 
LastModifiedTime      : 9/22/2022 5:03:42 PM +05:30 
ProvisioningState     : Succeeded 

Удаление пакета Python 3.8

Remove-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja -Name sockets 

Обновление пакета Python 3.8

Set-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja -Name requires.io -ContentLinkUri https://files.pythonhosted.org/packages/7f/e2/85dfb9f7364cbd7a9213caea0e91fc948da3c912a2b222a3e43bc9cc6432/requires.io-0.2.6-py2.py3-none-any.whl 


ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : requires.io 
IsGlobal              : False 
Version               : 0.2.6 
SizeInBytes           : 10109 
ActivityCount         : 0 
CreationTime          : 9/26/2022 1:37:13 PM +05:30 
LastModifiedTime      : 9/26/2022 1:43:12 PM +05:30 
ProvisioningState     : Creating 

Следующие шаги

Дополнительные сведения см. в статье Создание runbook для Python.