AI Runtime Notebook Schnellstart

Important

Dieses Feature befindet sich in der Public Preview.

Dieser Quickstart zeigt den schnellsten Weg, Code auf AI Runtime auszuführen, dem serverlosen GPU-Compute für Deep Learning. Du schließt ein Notebook an eine GPU an und führst einen kurzen PyTorch-Trainingsschritt durch, ohne Cluster-Setup.

Tip

  • Schließen Sie ein Notebook an die serverlose GPU an, damit es innerhalb von Minuten auf einer GPU läuft.
  • Beginne mit 1xA10 für die Entwicklung und skaliere dann für größere Modelle oder verteiltes Training hoch.
  • Es ist keine Clusterkonfiguration erforderlich, und die Standardumgebung enthält bereits torch.

Bevor Sie anfangen

Ihr Arbeitsbereich muss KI-Runtime aktiviert haben und sich in einer unterstützten Region befinden. Siehe Anforderungen.

Schritt 1: Schließen Sie ein Notebook an eine GPU an

  1. Erstellen oder Öffnen eines Notizbuchs
  2. Im Compute-Dropdown-Menü oben im Notizbuch wählen Sie Serverless GPU.
  3. Im Beschleunigerfeld wählen Sie 1xA10 aus.
  4. Klicken Sie auf Bewerbung und dann auf Bestätigen.

Tip

Beginnen Sie mit 1xA10 für Entwicklung und kleine Workloads. Wechsel zu 1xH100 oder 8xH100 , wenn du mehr GPU-Speicher oder Multi-GPU-verteiltes Training brauchst. Siehe Hardware-Optionen.

Schritt 2: Führe deinen ersten GPU-Code aus

Führe Folgendes in einer Notebook-Zelle aus, um sicherzustellen, dass die GPU angeschlossen ist, und führe einen Trainingsschritt durch:

import torch

# Confirm a GPU is attached.
print(torch.cuda.get_device_name(0))

# Run a minimal training step on the GPU.
model = torch.nn.Linear(10, 1).cuda()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
x, y = torch.randn(32, 10).cuda(), torch.randn(32, 1).cuda()

loss = torch.nn.functional.mse_loss(model(x), y)
loss.backward()
optimizer.step()
print("loss:", loss.item())

Du benutzt jetzt serverlose GPU-Berechnung.

Nächste Schritte

  • Last updated on