AI Runtime Notebook-snelstart

Important

Deze functie bevindt zich in openbare preview-versie.

Deze quickstart laat de snelste manier zien om code uit te voeren op AI Runtime, de serverloze GPU-compute voor deep learning. Je koppelt een notebook aan een GPU en voert een korte PyTorch-trainingsstap uit, zonder clusteropstelling.

Tip

  • Sluit een notebook aan op een Serverless GPU om binnen enkele minuten op een GPU te starten.
  • Begin met 1xA10 voor ontwikkeling, schaal dan op voor grotere modellen of gedistribueerde training.
  • Er is geen clusterconfiguratie vereist en de Standard-omgeving bevat al torch.

Voordat u begint

Je werkruimte moet AI Runtime ingeschakeld hebben en zich in een ondersteunde regio bevinden. Zie Vereisten.

Stap 1: Sluit een notebook aan op een GPU

  1. Een notitieblok maken of openen.
  2. Selecteer in het compute-dropdownmenu bovenaan het notebook Serverless GPU.
  3. Selecteer in het Accelerator-veld1xA10.
  4. Klik op Solliciteren en vervolgens Bevestigen.

Tip

Begin met 1xA10 voor ontwikkeling en kleine workloads. Ga over op 1xH100 of 8xH100 als je meer GPU-geheugen of multi-GPU gedistribueerde training nodig hebt. Zie Hardware-opties.

Stap 2: Voer je eerste GPU-code uit

Voer het volgende uit in een notebookcel om te bevestigen dat de GPU is aangesloten en voer één trainingsstap uit:

import torch

# Confirm a GPU is attached.
print(torch.cuda.get_device_name(0))

# Run a minimal training step on the GPU.
model = torch.nn.Linear(10, 1).cuda()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
x, y = torch.randn(32, 10).cuda(), torch.randn(32, 1).cuda()

loss = torch.nn.functional.mse_loss(model(x), y)
loss.backward()
optimizer.step()
print("loss:", loss.item())

Je draait nu op serverloze GPU-rekenkracht.

Volgende stappen 

  • Last updated on