Установка программного обеспечения и настройка ресурсов для учебника

  • Статья

Важно!

Azure SQL Edge больше не поддерживает платформу ARM64.

В этом руководстве из трех частей вы создадите модель машинного обучения для прогнозирования примеси железной руды, а именно содержание кремнезема в процентах, а затем развернете модель в SQL Azure для пограничных вычислений. В первой части вы установите необходимое программное обеспечение и развернете ресурсы Azure.

Необходимые компоненты

  1. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись.
  2. Установка Visual Studio 2019 с помощью
    • средствами Azure IoT Edge;
    • средствами кросс-платформенной разработки .NET Core;
    • Средства для разработки с контейнерами
  3. Установите Azure Data Studio
  4. Откройте Azure Data Studio и настройте Python для записных книжек. Подробные сведения см. в разделе Настройка Python для Записных книжек. Это может занять несколько минут.
  5. Установите последнюю версию Azure CLI. Для следующих сценариев требуется, чтобы зона доступности PowerShell была последней версией (3.5.0, февраль 2020).
  6. Настройте среду для отладки, запуска и тестирования решения IoT Edge, установив средство разработки Azure IoT EdgeHub.
  7. Установить Docker.

Развертывание ресурсов Azure с помощью скрипта PowerShell

Разверните ресурсы Azure, необходимые для этого руководства по SQL Azure для пограничных вычислений. Эти ресурсы можно развернуть с помощью скрипта PowerShell или с помощью портал Azure. В этом руководстве используется сценарий PowerShell.

Примечание.

В этой статье используется последняя версия расширения Azure IoT под названием azure-iot. Прежняя версия называется azure-cli-iot-ext. В каждый момент времени должна быть установлена только одна версия. Проверить установленные расширения можно с помощью команды az extension list.

Используйте az extension remove --name azure-cli-iot-ext, чтобы удалить устаревшую версию расширения.

Используйте az extension add --name azure-iot, чтобы добавить новую версию расширения.

Чтобы узнать, какие расширения установлены, используйте az extension list.

  1. Импортируйте модули, необходимые для выполнения сценария PowerShell в этом руководстве.

    Import-Module Az.Accounts -RequiredVersion 1.7.3
Import-Module -Name Az -RequiredVersion 3.5.0
Import-Module Az.IotHub -RequiredVersion 2.1.0
Import-Module Az.Compute -RequiredVersion 3.5.0
az extension add --name azure-iot
az extension add --name azure-cli-ml

  2. Объявите переменные, необходимые для сценария PowerShell.

    $ResourceGroup = "<name_of_the_resource_group>"
$IoTHubName = "<name_of_the_IoT_hub>"
$location = "<location_of_your_Azure_Subscription>"
$SubscriptionName = "<your_azure_subscription>"
$NetworkSecGroup = "<name_of_your_network_security_group>"
$StorageAccountName = "<name_of_your_storage_account>"

  3. Объявите остальные переменные.

    $IoTHubSkuName = "S1"
$IoTHubUnits = 4
$EdgeDeviceId = "IronOrePredictionDevice"
$publicIpName = "VMPublicIP"
$imageOffer = "iot_edge_vm_ubuntu"
$imagePublisher = "microsoft_iot_edge"
$imageSku = "ubuntu_1604_edgeruntimeonly"
$AdminAcc = "iotadmin"
$AdminPassword = ConvertTo-SecureString "IoTAdmin@1234" -AsPlainText -Force
$VMSize = "Standard_DS3"
$NetworkName = "MyNet"
$NICName = "MyNIC"
$SubnetName = "MySubnet"
$SubnetAddressPrefix = "10.0.0.0/24"
$VnetAddressPrefix = "10.0.0.0/16"
$MyWorkSpace = "SQLDatabaseEdgeDemo"
$containerRegistryName = $ResourceGroup + "ContRegistry"

  4. Чтобы начать создание ресурсов, войдите в Azure.

    Login-AzAccount

az login

  5. Настройте идентификатор подписки Azure

    Select-AzSubscription -Subscription $SubscriptionName
az account set --subscription $SubscriptionName

  6. Создается группа ресурсов, если она еще не существует.

    $rg = Get-AzResourceGroup -Name $ResourceGroup
if($rg -eq $null)
{
    Write-Output("Resource Group $ResourceGroup does not exist, creating Resource Gorup")
    New-AzResourceGroup -Name $ResourceGroup -Location $location
}
else
{
    Write-Output ("Resource Group $ResourceGroup exists")
}

  7. Создайте учетную запись хранения и контейнер учетной записи хранения в группе ресурсов.

    $sa = Get-AzStorageAccount -ResourceGroupName $ResourceGroup -Name $StorageAccountName
if ($sa -eq $null)
{
    New-AzStorageAccount -ResourceGroupName $ResourceGroup -Name $StorageAccountName -SkuName Standard_LRS -Location $location -Kind Storage
    $sa = Get-AzStorageAccount -ResourceGroupName $ResourceGroup -Name $StorageAccountName
    $storageKey = Get-AzStorageAccountKey -ResourceGroupName $ResourceGroup -Name $StorageAccountName
    $storageContext = New-AzStorageContext -StorageAccountName $StorageAccountName -StorageAccountKey $storageKey[0].Value
    New-AzStorageContainer -Name "sqldatabasedacpac" -Context $storageContext
}
else
{
   Write-Output ("Storage Account $StorageAccountName exists in Resource Group $ResourceGroup")
}

  8. Отправьте файл базы данных dacpac в учетную запись хранения и создайте URL-адрес SAS для большого двоичного объекта. Запишите URL-адрес SAS для базы данных dacpac большого двоичного объекта.

    $file = Read-Host "Please Enter the location to the zipped Database DacPac file:"
Set-AzStorageBlobContent -File $file -Container "sqldatabasedacpac" -Blob "SQLDatabasedacpac.zip" -Context $sa.Context
$DacpacFileSASURL = New-AzStorageBlobSASToken -Container "sqldatabasedacpac" -Blob "SQLDatabasedacpac.zip" -Context $sa.Context -Permission r -StartTime (Get-Date).DateTime -ExpiryTime (Get-Date).AddMonths(12) -FullUri

  9. Создайте реестр контейнеров Azure в этой группе ресурсов.

    $containerRegistry = Get-AzContainerRegistry -ResourceGroupName $ResourceGroup -Name $containerRegistryName
if ($containerRegistry -eq $null)
{
    New-AzContainerRegistry -ResourceGroupName $ResourceGroup -Name $containerRegistryName -Sku Standard -Location $location -EnableAdminUser
    $containerRegistry = Get-AzContainerRegistry -ResourceGroupName $ResourceGroup -Name $containerRegistryName
}
else
{
    Write-Output ("Container Registry $containerRegistryName exists in Resource Group $ResourceGroup")
}

  10. Создайте группу безопасности сети в группе ресурсов.

    $nsg = Get-AzNetworkSecurityGroup -ResourceGroupName $ResourceGroup -Name $NetworkSecGroup
if($nsg -eq $null)
{
    Write-Output("Network Security Group $NetworkSecGroup does not exist in the resource group $ResourceGroup")

    $rule1 = New-AzNetworkSecurityRuleConfig -Name "SSH" -Description "Allow SSH" -Access Allow -Protocol Tcp -Direction Inbound -Priority 100 -SourceAddressPrefix Internet -SourcePortRange * -DestinationAddressPrefix * -DestinationPortRange 22
    $rule2 = New-AzNetworkSecurityRuleConfig -Name "SQL" -Description "Allow SQL" -Access Allow -Protocol Tcp -Direction Inbound -Priority 101 -SourceAddressPrefix Internet -SourcePortRange * -DestinationAddressPrefix * -DestinationPortRange 1600
    New-AzNetworkSecurityGroup -Name $NetworkSecGroup -ResourceGroupName $ResourceGroup -Location $location -SecurityRules $rule1, $rule2

    $nsg = Get-AzNetworkSecurityGroup -ResourceGroupName $ResourceGroup -Name $NetworkSecGroup
}
else
{
    Write-Output ("Network Security Group $NetworkSecGroup exists in the resource group $ResourceGroup")
}

  11. Создайте виртуальную машину Azure с поддержкой SQL Azure для пограничных вычислений. Эта виртуальная машина выступает в качестве пограничного устройства.

    $AzVM = Get-AzVM -ResourceGroupName $ResourceGroup -Name $EdgeDeviceId
If($AzVM -eq $null)
{
    Write-Output("The Azure VM with Name- $EdgeVMName is not present in the Resource Group- $ResourceGroup ")

    $SingleSubnet = New-AzVirtualNetworkSubnetConfig -Name $SubnetName -AddressPrefix $SubnetAddressPrefix
    $Vnet = New-AzVirtualNetwork -Name $NetworkName -ResourceGroupName $ResourceGroup -Location $location -AddressPrefix $VnetAddressPrefix -Subnet $SingleSubnet
    $publicIp = New-AzPublicIpAddress -Name $publicIpName -ResourceGroupName $ResourceGroup -AllocationMethod Static -Location $location
    $NIC = New-AzNetworkInterface -Name $NICName -ResourceGroupName $ResourceGroup -Location $location -SubnetId $Vnet.Subnets[0].Id -NetworkSecurityGroupId $nsg.Id -PublicIpAddressId $publicIp.Id

    ##Set-AzNetworkInterfaceIpConfig -Name "ipconfig1"  -NetworkInterface $NIC -PublicIpAddress $publicIp

    $Credential = New-Object System.Management.Automation.PSCredential ($AdminAcc, $AdminPassword);

    $VirtualMachine = New-AzVMConfig -VMName $EdgeDeviceId -VMSize $VMSize
    $VirtualMachine = Set-AzVMOperatingSystem -VM $VirtualMachine -Linux -ComputerName $EdgeDeviceId -Credential $Credential
    $VirtualMachine = Add-AzVMNetworkInterface -VM $VirtualMachine -Id $NIC.Id
    $VirtualMachine = Set-AzVMSourceImage -VM $VirtualMachine -PublisherName $imagePublisher -Offer $imageOffer -Skus $imageSku -Version latest
    $VirtualMachine = Set-AzVMPlan -VM $VirtualMachine -Name $imageSku -Publisher $imagePublisher -Product $imageOffer

    $AzVM = New-AzVM -ResourceGroupName $ResourceGroup -Location $location -VM $VirtualMachine -Verbose
    $AzVM = Get-AzVM -ResourceGroupName $ResourceGroup -Name $EdgeDeviceId

}
else
{
    Write-Output ("The Azure VM with Name- $EdgeDeviceId is present in the Resource Group- $ResourceGroup ")
}

  12. Создайте центр Интернета вещей в группе ресурсов.

    $iotHub = Get-AzIotHub -ResourceGroupName $ResourceGroup -Name $IoTHubName
If($iotHub -eq $null)
{
    Write-Output("IoTHub $IoTHubName does not exists, creating The IoTHub in the resource group $ResourceGroup")
    New-AzIotHub -ResourceGroupName $ResourceGroup -Name $IoTHubName -SkuName $IoTHubSkuName -Units $IoTHubUnits -Location $location -Verbose
}
else
{
    Write-Output ("IoTHub $IoTHubName present in the resource group $ResourceGroup")
}

  13. Добавьте пограничное устройство в центр Интернета вещей. На этом шаге создается только цифровое удостоверение устройства.

    $deviceIdentity = Get-AzIotHubDevice -ResourceGroupName $ResourceGroup -IotHubName $IoTHubName -DeviceId $EdgeDeviceId
If($deviceIdentity -eq $null)
{
    Write-Output("The Edge Device with DeviceId- $EdgeDeviceId is not registered to the IoTHub- $IoTHubName ")
    Add-AzIotHubDevice -ResourceGroupName $ResourceGroup -IotHubName $IoTHubName -DeviceId $EdgeDeviceId -EdgeEnabled
}
else
{
    Write-Output ("The Edge Device with DeviceId- $EdgeDeviceId is registered to the IoTHub- $IoTHubName")
}
$deviceIdentity = Get-AzIotHubDevice -ResourceGroupName $ResourceGroup -IotHubName $IoTHubName -DeviceId $EdgeDeviceId

  14. Получите основной строка подключения устройства, который потребуется позже для виртуальной машины. Следующая команда для развертываний использует Azure CLI.

    $deviceConnectionString = az iot hub device-identity connection-string show --device-id $EdgeDeviceId --hub-name $IoTHubName --resource-group $ResourceGroup --subscription $SubscriptionName
$connString = $deviceConnectionString[1].Substring(23,$deviceConnectionString[1].Length-24)
$connString

  15. Обновите строку подключения в файле конфигурации IoT Edge на пограничном устройстве. Следующие команды используют Azure CLI для развертываний.

    $script = "/etc/iotedge/configedge.sh '" + $connString + "'"
az vm run-command invoke -g $ResourceGroup -n $EdgeDeviceId  --command-id RunShellScript --script $script

  16. Создайте рабочую область "Машинное обучение Azure" в группе ресурсов.

    az ml workspace create -w $MyWorkSpace -g $ResourceGroup

Следующие шаги