Schemalägga dataimportjobb (förhandsversion)

GÄLLER FÖR:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (aktuell)

I den här artikeln får du lära dig hur du programmatiskt schemalägger dataimporter med hjälp av schemagränssnittet för att göra det. Du kan skapa ett schema baserat på förfluten tid. Tidsbaserade scheman kan hantera rutinuppgifter – till exempel regelbunden dataimport för att hålla dem uppdaterade. När du har lärt dig hur du skapar scheman får du lära dig hur du hämtar, uppdaterar och inaktiverar dem via CLI-, SDK- och studiogränssnittsresurser.

Förutsättningar

• Du behöver en Azure-prenumeration för att använda Azure Mašinsko učenje. Om du inte har någon Azure-prenumeration skapar du ett kostnadsfritt konto innan du börjar. Prova den kostnadsfria eller betalda versionen av Azure Mašinsko učenje i dag.

Azure CLI

• Installera Azure CLI och ml tillägget. Följ installationsstegen i Installera, konfigurera och använd CLI (v2).

• Skapa en Azure Mašinsko učenje-arbetsyta om du inte har någon. Information om hur du skapar arbetsytor finns i Installera, konfigurera och använda CLI (v2).

Python SDK

• Skapa en Azure Mašinsko učenje-arbetsyta om du inte har någon.
• Azure Mašinsko učenje SDK v2 för Python.

Studio

• En Azure Machine Learning-arbetsyta. Se Skapa arbetsyteresurser.
• Förstå Azure Mašinsko učenje pipelines. Se vad som är maskininlärningspipelines och hur du skapar pipelinejobb i CLI v2 eller SDK v2.

Schemalägga dataimport

Om du vill importera data regelbundet måste du skapa ett schema. En Schedule associerar en dataimportåtgärd med en utlösare. Utlösaren kan antingen vara cron, som använder ett cron-uttryck för att beskriva fördröjningen mellan körningar eller en recurrence, som anger frekvensen för att utlösa ett jobb. I varje fall måste du först skapa en importdatadefinition. En befintlig dataimport, eller en dataimport som har definierats infogat, fungerar för detta. Mer information finns i Skapa en dataimport i CLI, SDK och användargränssnitt.

Skapa en tidsplan

Skapa ett tidsbaserat schema med upprepningsmönster

Azure CLI

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

YAML: Schema för dataimport med upprepningsmönster

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Schemalägg för dataimportdefinition infogat med upprepningsmönster i hanterat datalager

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

A trigger innehåller följande egenskaper:

• (Krävs) type anger schematypen, antingen recurrence eller cron. I följande avsnitt finns mer information.

Kör sedan det här kommandot i CLI:

> az ml schedule create -f <file-name>.yml

Python SDK

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger innehåller följande egenskaper:

• (Krävs) För en bättre kodningsupplevelse använder du RecurrenceTrigger för upprepningsschemat.

Studio

När dataimporten har tillfredsställande prestanda och utdata kan du konfigurera ett schema för att automatiskt utlösa importen.

1. Gå till Azure Mašinsko učenje Studio

2. Under Tillgångar i det vänstra navigeringsfältet väljer du Data. På fliken Dataimport väljer du den importerade datatillgång som du vill koppla ett schema till. Sidan Importera jobbhistorik bör visas, som du ser i den här skärmbilden:

   

3. På sidan Import jobs history (Importera jobbhistorik ) väljer du den senaste url:en för hyperlänken Importera jobbnamn för att öppna sidan med information om pipelines-jobb enligt den här skärmbilden:

   

4. På sidan med information om pipelinejobb i en dataimport väljer du Schema ->Skapa nytt schema för att öppna guiden skapa schema, som du ser i den här skärmbilden:

   

5. De grundläggande inställningarna för guiden för att skapa schema har de egenskaper som visas i den här skärmbilden:

   

• Namn: den unika identifieraren för schemat på arbetsytan.

• Beskrivning: schemabeskrivningen.

• Utlösare: schemats upprepningsmönster, som innehåller följande egenskaper:

  • Tidszon: beräkningen av utlösarens tid baseras på den här tidszonen. (UTC) Koordinerad universell tid som standard.
  • Upprepning eller Cron-uttryck: välj upprepning för att ange det återkommande mönstret. Under Upprepning kan du ange upprepningsfrekvensen – efter minuter, timmar, dagar, veckor eller månader.
  • Start: Schemat blir först aktivt på det här datumet. Som standard skapas datumet för det här schemat.
  • Slut: schemat blir inaktivt efter det här datumet. Som standard är det NONE, vilket innebär att schemat förblir aktivt tills du inaktiverar det manuellt.
  • Taggar: de valda schemataggar.

  När du har konfigurerat de grundläggande inställningarna kan du välja Granska + skapa, och schemat skickar automatiskt dataimporten baserat på det upprepningsmönster som du har angett. Du kan också välja Nästa och navigera genom guiden för att välja eller uppdatera dataimportparametrarna.

Kommentar

Dessa egenskaper gäller för CLI och SDK:

• (Krävs) frequency anger den tidsenhet som beskriver hur ofta schemat utlöses. Kan ha värden

  • minute
  • hour
  • day
  • week
  • month

• (Krävs) interval anger hur ofta schemat utlöses baserat på frekvensen, vilket är antalet tidsenheter som ska vänta tills schemat utlöses igen.

• (Valfritt) schedule definierar upprepningsmönstret, som innehåller hours, minutesoch weekdays.

  • När frequency är daylika med kan ett mönster ange hours och minutes.
  • När frequency är week lika med och monthkan ett mönster ange hours, minutes och weekdays.
  • hours vara ett heltal eller en lista mellan 0 och 23.
  • minutes bör vara ett heltal eller en lista mellan 0 och 59.
  • weekdays en sträng eller lista som sträcker sig från monday till sunday.
  • Om schedule utelämnas utlöser jobben eld enligt logiken start_timei , frequency och interval.

• (Valfritt) start_time beskriver startdatum och tid med en tidszon. Om start_time utelämnas är start_time lika med jobbskapandetiden. För en tidigare starttid körs det första jobbet vid nästa beräknade körningstid.

• (Valfritt) end_time beskriver slutdatum och tid med en tidszon. Om end_time utelämnas fortsätter schemat att utlösa jobb tills schemat inaktiveras manuellt.

• (Valfritt) time_zone anger tidszonen för upprepningen. Om den utelämnas är standardtidszonen UTC. Mer information om tidszonsvärden finns i bilaga för tidszonsvärden.

Skapa ett tidsbaserat schema med cron-uttryck

Azure CLI

YAML: Schemalägg för en dataimport med cron-uttryck

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

YAML: Schemalägg för dataimport med cron-uttryck (förhandsversion)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Schemalägg för dataimportdefinition infogat med cron-uttryck (förhandsversion)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

Avsnittet trigger definierar schemainformationen och innehåller följande egenskaper:

• (Krävs) type anger cron schematypen.

> az ml schedule create -f <file-name>.yml

Listan fortsätter här:

Python SDK

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

Avsnittet CronTrigger definierar schemainformationen och innehåller följande egenskaper:

• (Krävs) För en bättre kodningsupplevelse använder du CronTrigger för upprepningsschemat.

Listan fortsätter här:

Studio

När dataimporten har tillfredsställande prestanda och utdata kan du konfigurera ett schema för att automatiskt utlösa importen.

1. Gå till Azure Mašinsko učenje Studio

2. Under Tillgångar i det vänstra navigeringsfältet väljer du Data. På fliken Dataimport väljer du den importerade datatillgång som du vill koppla ett schema till. Sidan Importera jobbhistorik bör visas, som du ser i den här skärmbilden:

   

3. På sidan Import jobs history (Importera jobbhistorik ) väljer du den senaste url:en för hyperlänken Importera jobbnamn för att öppna sidan med information om pipelines-jobb enligt den här skärmbilden:

   

4. På sidan med information om pipelinejobb i en dataimport väljer du Schema ->Skapa nytt schema för att öppna guiden skapa schema, som du ser i den här skärmbilden:

   

5. De grundläggande inställningarna för guiden för att skapa schema har de egenskaper som visas i den här skärmbilden:

   

• Namn: den unika identifieraren för schemat på arbetsytan.

• Beskrivning: schemabeskrivningen.

• Utlösare: schemats upprepningsmönster, som innehåller följande egenskaper:

  • Tidszon: beräkningen av utlösarens tid baseras på den här tidszonen. (UTC) Koordinerad universell tid som standard.
  • Upprepning eller Cron-uttryck: välj upprepning för att ange det återkommande mönstret. Med Cron-uttryck kan du ange ett mer flexibelt och anpassat upprepningsmönster.
  • Start: Schemat blir först aktivt på det här datumet. Som standard skapas datumet för det här schemat.
  • Slut: schemat blir inaktivt efter det här datumet. Som standard är det NONE, vilket innebär att schemat förblir aktivt tills du inaktiverar det manuellt.
  • Taggar: de valda schemataggar.

  När du har konfigurerat de grundläggande inställningarna kan du välja Granska + skapa, och schemat skickar automatiskt dataimporten baserat på det upprepningsmönster som du har angett. Du kan också välja Nästa och navigera genom guiden för att välja eller uppdatera dataimportparametrarna.

• (Krävs) expression använder ett standarduttryck för crontab för att uttrycka ett återkommande schema. Ett enda uttryck består av fem blankstegsavgränsade fält:

  MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK

  • Ett enda jokertecken (*), som täcker alla värden för fältet. En *, i dagar, innebär alla dagar i månaden (som varierar med månad och år).

  • I expression: "15 16 * * 1" exemplet ovan avses 16:15 varje måndag.

  • I den här tabellen visas giltiga värden för varje fält:

    Fält	Intervall	Kommentar
    MINUTES	0-59	-
    HOURS	0-23	-
    DAYS	-	Stöds ej. Värdet ignoreras och behandlas som *.
    MONTHS	-	Stöds ej. Värdet ignoreras och behandlas som *.
    DAYS-OF-WEEK	0-6	Noll (0) betyder söndag. Namn på dagar accepteras också.

  • Mer information om crontab-uttryck finns i Wiki-resursen Crontab Expression på GitHub.

  Viktigt!

  DAYS och MONTH stöds inte. Om du skickar något av dessa värden ignoreras det och behandlas som *.

• (Valfritt) start_time anger startdatum och tid med schemats tidszon. Innebär till exempel start_time: "2022-05-10T10:15:00-04:00" att schemat börjar från 10:15:00 den 2022-05-10 i TIDSZONEN UTC-4. Om start_time utelämnas är det start_time lika med tiden då schemat skapades. För en tidigare starttid körs det första jobbet vid nästa beräknade körningstid.

• (Valfritt) end_time beskriver slutdatum och tid med en tidszon. Om end_time utelämnas fortsätter schemat att utlösa jobb tills schemat inaktiveras manuellt.

• (Valfritt) time_zoneanger tidszonen för uttrycket. Om time_zone utelämnas är tidszonen UTC som standard. Mer information om tidszonsvärden finns i bilaga för tidszonsvärden.

Begränsningar:

• Schemaläggning av Azure Mašinsko učenje v2 stöder för närvarande inte händelsebaserade utlösare.
• Använd Azure Mašinsko učenje SDK/CLI v2 för att ange ett komplext upprepningsmönster som innehåller flera tidsstämplar för utlösare. Användargränssnittet visar bara det komplexa mönstret och stöder inte redigering.
• Om du anger upprepningen som den 31:a dagen i varje månad utlöser schemat inte jobb under månader med mindre än 31 dagar.

Lista scheman på en arbetsyta

Azure CLI

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

az ml schedule list

Python SDK

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Studio

I studioportalen går du till tillägget Jobb och väljer fliken Alla scheman . På den fliken visas alla jobbscheman som skapats av SDK/cli/UI i en enda lista. I schemalistan har du en översikt över alla scheman på den här arbetsytan, som du ser i den här skärmbilden:

Kontrollera schemainformation

Azure CLI

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

az ml schedule show -n simple_cron_data_import_schedule

Python SDK

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Studio

Du kan välja ett schemanamn för att visa sidan med schemainformation. Sidan med schemainformation innehåller följande flikar, som du ser i den här skärmbilden:

• Översikt: grundläggande information för det angivna schemat.

  

• Jobbdefinition: definierar det jobb som det angivna schemat utlöser, enligt följande skärmbild:

  

Uppdatera ett schema

Azure CLI

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

Kommentar

Om du vill uppdatera mer än bara taggar/beskrivningar rekommenderar vi att du använder az ml schedule create --file update_schedule.yml

Python SDK

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Studio

Uppdatera en definition för dataimport till ett befintligt schema

Om du vill ändra importfrekvensen eller skapa en ny association för dataimportjobbet kan du uppdatera importdefinitionen för ett befintligt schema.

Kommentar

Om du vill uppdatera ett befintligt schema tas schemats association med den gamla importdefinitionen bort. Ett schema kan bara ha en importjobbdefinition. Flera scheman kan dock anropa en dataimportdefinition.

1. Gå till Azure Mašinsko učenje Studio

2. Under Tillgångar i det vänstra navigeringsfältet väljer du Data. På fliken Dataimport väljer du den importerade datatillgång som du vill koppla ett schema till. Sidan Importera jobbhistorik bör visas, som du ser i den här skärmbilden:

   

3. På sidan Import jobs history (Importera jobbhistorik ) väljer du den senaste länken Importera jobbnamn för att öppna sidan med information om pipelines-jobb enligt den här skärmbilden:

   

4. På sidan med information om pipelinejobb i en dataimport väljer du Schema ->Uppdaterad till befintligt schema för att öppna guiden Välj schema, som du ser i den här skärmbilden:

   

5. Välj ett befintligt schema i listan, som du ser i den här skärmbilden:

   

   Viktigt!

   Se till att du väljer rätt schema för uppdatering. När du har slutfört uppdateringen utlöser schemat olika dataimporter.

6. Du kan också ändra källan, fråga och ändra målsökvägen för framtida dataimporter som schemat utlöser.

7. Välj Granska + uppdatera för att slutföra uppdateringsprocessen. Den slutförda uppdateringen skickar ett meddelande.

8. Du kan visa den nya dataimportdefinitionen på sidan schemainformation när uppdateringen är klar.

Uppdatera i schemainformationssidan

På sidan schemainformation kan du välja Uppdatera inställningar för att uppdatera både grundläggande inställningar och avancerade inställningar, inklusive jobbindata/utdata och körningsinställningar för schemat, som du ser i den här skärmbilden:

Inaktivera ett schema

Azure CLI

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

Python SDK

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Studio

Du kan inaktivera det aktuella schemat på sidan med schemainformation. Du kan också inaktivera scheman på fliken Alla scheman .

Aktivera ett schema

Azure CLI

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

Python SDK

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Studio

På sidan schemainformation kan du aktivera det aktuella schemat. Du kan också aktivera scheman på fliken Alla scheman .

Ta bort ett schema

Viktigt!

Ett schema måste inaktiveras innan du kan ta bort det. Borttagning är en permanent, oåterkallelig åtgärd. När ett schema har tagits bort kan du aldrig komma åt eller återställa det.

Azure CLI

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

az ml schedule delete -n simple_cron_data_import_schedule

Python SDK

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Studio

Du kan ta bort ett schema från sidan med schemainformation eller fliken Alla scheman.

Stöd för RBAC (rollbaserad åtkomstkontroll)

Scheman används vanligtvis för produktion. För att förhindra problem kan arbetsyteadministratörer vilja begränsa schemaskapande och hanteringsbehörigheter på en arbetsyta.

Det finns för närvarande tre åtgärdsregler relaterade till scheman och du kan konfigurera dem i Azure-portalen. Mer information finns i hur du hanterar åtkomst till en Azure Mašinsko učenje-arbetsyta..

Åtgärd	beskrivning	Regel
Lästa	Hämta och lista scheman i Mašinsko učenje arbetsyta	Microsoft.MachineLearningServices/workspaces/schedules/read
Skriva	Skapa, uppdatera, inaktivera och aktivera scheman i Mašinsko učenje arbetsyta	Microsoft.MachineLearningServices/workspaces/schedules/write
Delete	Ta bort ett schema i Mašinsko učenje arbetsyta	Microsoft.MachineLearningServices/workspaces/schedules/delete

Nästa steg

• Läs mer om YAML-schemat för CLI-dataimportschemat (v2).
• Lär dig hur du hanterar importerade datatillgångar.