Online végpontok automatikus méretezése az Azure Machine Learningben

ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)

Ebből a cikkből megtudhatja, hogyan kezelheti az erőforrás-használatot egy üzembe helyezés során az automatikus skálázás metrikák és ütemezések alapján történő konfigurálásával. Az automatikus méretezési folyamat lehetővé teszi a megfelelő mennyiségű erőforrás automatikus futtatását az alkalmazás terhelésének kezeléséhez. Az Azure Machine Learning online végpontjai támogatják az automatikus skálázást az Azure Monitor automatikus skálázási funkciójával való integrációval.

Az Azure Monitor automatikus skálázása lehetővé teszi olyan szabályok beállítását, amelyek egy vagy több automatikus skálázási műveletet aktiválnak a szabályok feltételeinek teljesülése esetén. Metrikaalapú skálázást (például 70%-nál nagyobb processzorkihasználtságot), ütemezésalapú skálázást (például csúcsidőre vonatkozó skálázási szabályokat) vagy a kettő kombinációját konfigurálhatja. További információ: Az automatikus skálázás áttekintése a Microsoft Azure-ban.

Az automatikus skálázást jelenleg az Azure CLI, a REST API-k, az Azure Resource Manager, a Python SDK vagy a böngészőalapú Azure Portal használatával kezelheti.

Előfeltételek

• Üzembe helyezett végpont. További információ: Gépi tanulási modell üzembe helyezése és pontszáma online végpont használatával.

• Az automatikus skálázás használatához a szerepkört microsoft.insights/autoscalesettings/write hozzá kell rendelni az automatikus skálázást kezelő identitáshoz. Bármilyen beépített vagy egyéni szerepkört használhat, amely engedélyezi ezt a műveletet. Az Azure Machine Learning szerepköreinek kezelésével kapcsolatos általános útmutatásért lásd: Felhasználók és szerepkörök kezelése. Az Azure Monitor automatikus skálázási beállításairól a Microsoft.Insights automatikus méretezési beállításai című témakörben olvashat bővebben.

• Ha a Python SDK-t szeretné használni az Azure Monitor szolgáltatás kezeléséhez, telepítse a csomagot a azure-mgmt-monitor következő paranccsal:

  pip install azure-mgmt-monitor
  

Automatikus méretezési profil definiálása

Az automatikus skálázás online végponthoz való engedélyezéséhez először meg kell adnia egy automatikus skálázási profilt. A profil megadja a méretezési csoport alapértelmezett, minimális és maximális kapacitását. Az alábbi példa bemutatja, hogyan állíthatja be a virtuálisgép-példányok számát az alapértelmezett, minimális és maximális méretezési kapacitáshoz.

Azure CLI

A KÖVETKEZŐRE VONATKOZIK: Azure CLI ml-bővítmény v2 (aktuális)

Ha még nem állította be az Azure CLI alapértelmezett beállításait, mentse az alapértelmezett beállításokat. Az előfizetés, a munkaterület és az erőforráscsoport értékeinek többszöri átadásának elkerülése érdekében futtassa ezt a kódot:

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

1. A végpont és az üzembe helyezés nevének beállítása:

   # set your existing endpoint name
   ENDPOINT_NAME=your-endpoint-name
   DEPLOYMENT_NAME=blue
   

2. Az üzembe helyezés és a végpont Azure Resource Manager-azonosítójának lekérése:

   # ARM id of the deployment
   DEPLOYMENT_RESOURCE_ID=$(az ml online-deployment show -e $ENDPOINT_NAME -n $DEPLOYMENT_NAME -o tsv --query "id")
   # ARM id of the deployment. todo: change to --query "id"
   ENDPOINT_RESOURCE_ID=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query "properties.\"azureml.onlineendpointid\"")
   # set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
   AUTOSCALE_SETTINGS_NAME=autoscale-$ENDPOINT_NAME-$DEPLOYMENT_NAME-`echo $RANDOM`
   

3. Hozza létre az automatikus méretezési profilt:

   az monitor autoscale create \
     --name $AUTOSCALE_SETTINGS_NAME \
     --resource $DEPLOYMENT_RESOURCE_ID \
     --min-count 2 --max-count 5 --count 2
   

Feljegyzés

További információkért lásd az az monitor automatikus skálázási referenciát.

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

1. Importálja a szükséges modulokat:

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   from azure.mgmt.monitor import MonitorManagementClient
   from azure.mgmt.monitor.models import AutoscaleProfile, ScaleRule, MetricTrigger, ScaleAction, Recurrence, RecurrentSchedule
   import random 
   import datetime 
   

2. Változók definiálása a munkaterülethez, végponthoz és üzembe helyezéshez:

   subscription_id = "<YOUR-SUBSCRIPTION-ID>"
   resource_group = "<YOUR-RESOURCE-GROUP>"
   workspace = "<YOUR-WORKSPACE>"
   
   endpoint_name = "<YOUR-ENDPOINT-NAME>"
   deployment_name = "blue"
   

3. Azure Machine Learning- és Azure Monitor-ügyfelek lekérése:

   credential = DefaultAzureCredential()
   ml_client = MLClient(
       credential, subscription_id, resource_group, workspace
   )
   
   mon_client = MonitorManagementClient(
       credential, subscription_id
   )
   

4. A végpont és az üzembehelyezési objektumok lekérése:

   deployment = ml_client.online_deployments.get(
       deployment_name, endpoint_name
   )
   
   endpoint = ml_client.online_endpoints.get(
       endpoint_name
   )
   

5. Automatikus méretezési profil létrehozása:

   # Set a unique name for autoscale settings for this deployment. The following code appends a random number to create a unique name.
   autoscale_settings_name = f"autoscale-{endpoint_name}-{deployment_name}-{random.randint(0,1000)}"
   
   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = []
               )
           ]
       }
   )
   

Stúdió

1. Az Azure Machine Learning Studióban lépjen a munkaterületre, és válassza a végpontokat a bal oldali menüből.

2. Az elérhető végpontok listájában válassza ki a konfigurálni kívánt végpontot:

   

3. A kijelölt végpont Részletek lapján válassza az Automatikus skálázás konfigurálása lehetőséget:

   

4. Az Erőforrások méretezésének kiválasztása beállításnál válassza az Egyéni automatikus skálázás lehetőséget a konfiguráció megkezdéséhez.

5. Az Alapértelmezett méretezési feltétel beállításnál konfigurálja a következő értékeket:

   • Skálázási mód: Metrika alapján válassza a Méretezés lehetőséget.
   • A példánykorlátok minimális száma>: Állítsa az értéket 2 értékre.
   • Példánykorlátok>maximális száma: Állítsa az értéket 5 értékre.
   • A példánykorlátok>alapértelmezése: Állítsa az értéket 2 értékre.

   

Hagyja nyitva a konfigurációs panelt. A következő szakaszban konfigurálja a szabályok beállításait.

Kiskálázási szabály létrehozása üzembehelyezési metrikák alapján

Az általános vertikális felskálázási szabály a virtuálisgép-példányok számának növelése, ha az átlagos processzorterhelés magas. Az alábbi példa bemutatja, hogyan foglalhat le két további csomópontot (a maximális értékig), ha a processzor átlagos terhelése 5 perc alatt meghaladja a 70%-ot:

Azure CLI

A KÖVETKEZŐRE VONATKOZIK: Azure CLI ml-bővítmény v2 (aktuális)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage > 70 avg 5m" \
  --scale out 2

A szabály a my-scale-settings profil része, ahol autoscale-name megegyezik a name profil részével. A szabályargumentum condition értéke akkor jelzi a szabály eseményindítóit, ha "A virtuálisgép-példányok átlagos processzorhasználata 5 percig meghaladja a 70%-ot." Ha a feltétel teljesül, két további virtuálisgép-példány lesz lefoglalva.

Feljegyzés

További információkért tekintse meg az az monitor automatikus skálázási Azure CLI-szintaxisreferenciát.

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

1. Hozza létre a szabálydefiníciót:

   rule_scale_out = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 2, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Ez a szabály az argumentumok metric_nametime_windowtime_aggregationés a .CPUUtilizationpercentage Ha a metrika értéke nagyobb, mint a threshold 70, az üzembe helyezés két további virtuálisgép-példányt foglal le.

2. Frissítse a profilt úgy my-scale-settings , hogy tartalmazza ezt a szabályt:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out
                   ]
               )
           ]
       }
   )
   

Stúdió

Az alábbi lépések az automatikus skálázási konfigurációval folytatódnak.

1. A Szabályok beállításnál válassza a Szabály hozzáadása hivatkozást. Megnyílik a Méretezési szabály lap.

2. A Szabály méretezése lapon konfigurálja a következő értékeket:

   • Metrika neve: Válassza ki a CPU-kihasználtság százalékos arányát.
   • Operátor: Nagyobb értékre van állítva.
   • Metrika küszöbértéke: Állítsa az értéket 70-re.
   • Időtartam (perc): Állítsa az értéket 5 értékre.
   • Időfelbontási statisztika: Válassza az Átlag lehetőséget.
   • Művelet: Válassza a Darabszám növelése lehetőséget.
   • Példányok száma: Állítsa az értéket 2 értékre.

3. Válassza a Hozzáadás lehetőséget a szabály létrehozásához:

   

Hagyja nyitva a konfigurációs panelt. A következő szakaszban módosíthatja a szabályok beállításait.

Méretezési szabály létrehozása üzembehelyezési metrikák alapján

Ha az átlagos processzorterhelés könnyű, a méretezési szabály csökkentheti a virtuálisgép-példányok számát. Az alábbi példa bemutatja, hogyan szabadíthat fel egy csomópontot legalább kettőre, ha a cpu terhelése 5 perc alatt kevesebb, mint 30%.

Azure CLI

A KÖVETKEZŐRE VONATKOZIK: Azure CLI ml-bővítmény v2 (aktuális)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage < 25 avg 5m" \
  --scale in 1

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

1. Hozza létre a szabálydefiníciót:

   rule_scale_in = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "LessThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 30
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

2. Frissítse a profilt úgy my-scale-settings , hogy tartalmazza ezt a szabályt:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in
                   ]
               )
           ]
       }
   )
   

Stúdió

Az alábbi lépések úgy módosítják a szabályok konfigurációját, hogy támogassák a skálázást a szabályban.

1. A Szabályok beállításnál válassza a Szabály hozzáadása hivatkozást. Megnyílik a Méretezési szabály lap.

2. A Szabály méretezése lapon konfigurálja a következő értékeket:

   • Metrika neve: Válassza ki a CPU-kihasználtság százalékos arányát.
   • Operátor: Kisebb értékre van állítva.
   • Metrika küszöbértéke: Állítsa az értéket 30-ra.
   • Időtartam (perc): Állítsa az értéket 5 értékre.
   • Időfelbontási statisztika: Válassza az Átlag lehetőséget.
   • Művelet: Válassza a Darabszám csökkentése elemet.
   • Példányok száma: Állítsa az értéket 1 értékre.

3. Válassza a Hozzáadás lehetőséget a szabály létrehozásához:

   

   Ha a felskálázási és a méretezési szabályokat is konfigurálja, a szabályok az alábbi képernyőképhez hasonlóan jelennek meg. A szabályok azt határozzák meg, hogy ha az átlagos processzorterhelés 5 percig meghaladja a 70%-ot, két további csomópontot kell lefoglalni az öthöz. Ha a CPU-terhelés 5 percig kevesebb, mint 30%, egy csomópontot kell felszabadítani, legalább kettőig.

   

Hagyja nyitva a konfigurációs panelt. A következő szakaszban más méretezési beállításokat is megadhat.

Méretezési szabály létrehozása végpontmetrikák alapján

Az előző szakaszokban olyan szabályokat hozott létre, amelyeket üzembehelyezési metrikák alapján skálázhat be vagy ki. Az üzembehelyezési végpontra vonatkozó szabályt is létrehozhat. Ebben a szakaszban megtudhatja, hogyan foglalhat le egy másik csomópontot, ha a kérés késése meghaladja az átlagos 70 ezredmásodpercet 5 percig.

Azure CLI

A KÖVETKEZŐRE VONATKOZIK: Azure CLI ml-bővítmény v2 (aktuális)

az monitor autoscale rule create \
 --autoscale-name $AUTOSCALE_SETTINGS_NAME \
 --condition "RequestLatency > 70 avg 5m" \
 --scale out 1 \
 --resource $ENDPOINT_RESOURCE_ID

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

1. Hozza létre a szabálydefiníciót:

   rule_scale_out_endpoint = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="RequestLatency",
           metric_resource_uri = endpoint.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   A szabály mezője metric_resource_uri most már a végpontra hivatkozik, nem pedig az üzembe helyezésre.

2. Frissítse a profilt úgy my-scale-settings , hogy tartalmazza ezt a szabályt:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in,
                       rule_scale_out_endpoint
                   ]
               )
           ]
       }
   )
   

Stúdió

Az alábbi lépések az Egyéni automatikus skálázás lapon folytatják a szabálykonfigurációt .

1. A lap alján válassza a Méretezési feltétel hozzáadása hivatkozást.

2. A Skálázási feltétel lapon válassza a Metrika alapján történő skálázás lehetőséget, majd válassza a Szabály hozzáadása hivatkozást. Megnyílik a Méretezési szabály lap.

3. A Szabály méretezése lapon konfigurálja a következő értékeket:

   • Metrikaforrás: Válassza ki az Egyéb erőforrást.
   • Erőforrás típusa: Válassza ki a Machine Learning online végpontjait.
   • Erőforrás: Válassza ki a végpontot.
   • Metrika neve: Válassza ki a kérés késését.
   • Operátor: Nagyobb értékre van állítva.
   • Metrika küszöbértéke: Állítsa az értéket 70-re.
   • Időtartam (perc): Állítsa az értéket 5 értékre.
   • Időfelbontási statisztika: Válassza az Átlag lehetőséget.
   • Művelet: Válassza a Darabszám növelése lehetőséget.
   • Példányok száma: Állítsa az értéket 1 értékre.

4. Válassza a Hozzáadás lehetőséget a szabály létrehozásához:

   

Támogatott metrikák azonosítóinak keresése

Ha a kódban más metrikákat szeretne használni az automatikus skálázási szabályok Azure CLI vagy SDK használatával történő beállításához, tekintse meg a táblázatot az Elérhető metrikákban.

Méretezési szabály létrehozása ütemezés alapján

Olyan szabályokat is létrehozhat, amelyek csak bizonyos napokon vagy bizonyos időpontokban érvényesek. Ebben a szakaszban egy szabályt hoz létre, amely a csomópontok számát 2-es értékre állítja a hétvégén.

Azure CLI

A KÖVETKEZŐRE VONATKOZIK: Azure CLI ml-bővítmény v2 (aktuális)

az monitor autoscale profile create \
  --name weekend-profile \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --min-count 2 --count 2 --max-count 2 \
  --recurrence week sat sun --timezone "Pacific Standard Time"

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="Default",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 2,
                    "default" : 2
                },
                recurrence = Recurrence(
                    frequency = "Week", 
                    schedule = RecurrentSchedule(
                        time_zone = "Pacific Standard Time", 
                        days = ["Saturday", "Sunday"], 
                        hours = [], 
                        minutes = []
                    )
                )
            )
        ]
    }
)

Stúdió

Az alábbi lépésekkel konfigurálhatja a szabályt a stúdió egyéni automatikus skálázási lapján található beállításokkal.

1. A lap alján válassza a Méretezési feltétel hozzáadása hivatkozást.

2. A Feltétel méretezése lapon válassza a Méretezés egy adott példányszámra lehetőséget, majd válassza a Szabály hozzáadása hivatkozást. Megnyílik a Méretezési szabály lap.

3. A Szabály méretezése lapon konfigurálja a következő értékeket:

   • Példányok száma: Állítsa az értéket 2 értékre.
   • Ütemezés: Válassza az Ismétlődő napok lehetőséget.
   • Az ütemezési minta beállítása: Válassza az Ismétlődés lehetőséget minden szombaton és vasárnap.

4. Válassza a Hozzáadás lehetőséget a szabály létrehozásához:

   

Automatikus skálázás engedélyezése vagy letiltása

Engedélyezheti vagy letilthatja egy adott automatikus skálázási profilt.

Azure CLI

A KÖVETKEZŐRE VONATKOZIK: Azure CLI ml-bővítmény v2 (aktuális)

az monitor autoscale update \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --enabled false

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "enabled" : False
    }
)

Stúdió

• Ha le szeretné tiltani a használatban lévő automatikus méretezési profilt, válassza a Manuális méretezés lehetőséget, majd válassza a Mentés lehetőséget.

• Az automatikus skálázási profil engedélyezéséhez válassza az Egyéni automatikus skálázás lehetőséget. A stúdió felsorolja a munkaterület összes felismert automatikus méretezési profilját. Jelöljön ki egy profilt, majd válassza a Mentés lehetőséget az engedélyezéshez.

Erőforrások törlése

Ha nem fogja használni az üzemelő példányokat, törölje az erőforrásokat az alábbi lépésekkel.

Azure CLI

A KÖVETKEZŐRE VONATKOZIK: Azure CLI ml-bővítmény v2 (aktuális)

# delete the autoscaling profile
az monitor autoscale delete -n "$AUTOSCALE_SETTINGS_NAME"

# delete the endpoint
az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

mon_client.autoscale_settings.delete(
    resource_group, 
    autoscale_settings_name
)

ml_client.online_endpoints.begin_delete(endpoint_name)

Stúdió

1. Az Azure Machine Learning Studióban nyissa meg a munkaterületet, és válassza a végpontokat a bal oldali menüből.

2. A végpontok listájában válassza ki a törölni kívánt végpontot (ellenőrizze a modell neve melletti kört).

3. Válassza a Törlés lehetőséget.

Másik lehetőségként törölheti a felügyelt online végpontokat közvetlenül a végpont részletei lapon.

Kapcsolódó tartalom

• Az automatikus méretezési beállítások ismertetése
• Gyakori automatikus skálázási minták áttekintése
• Az automatikus skálázás ajánlott eljárásainak megismerése