Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Questo notebook illustra come usare il calcolo GPU serverless di Databricks con acceleratori H100. Si apprenderà come connettersi alle GPU H100 ed eseguire carichi di lavoro distribuiti usando la serverless_gpu libreria Python.
La serverless_gpu libreria consente l'esecuzione senza problemi dei carichi di lavoro GPU direttamente dai notebook di Databricks. Fornisce decoratori e strumenti di runtime per il calcolo distribuito su GPU. Per altre informazioni, vedere la documentazione dell'API GPU serverless.
Connessione alla computazione GPU senza server
Per eseguire questo notebook, è necessario accedere al calcolo GPU serverless di Databricks con acceleratori H100.
- Nel selettore di calcolo selezionare GPU serverless.
- Nella scheda "Ambiente" sul lato destro selezionare H100 per l'acceleratore. Questa opzione usa 8 chip H100 in un singolo nodo.
- Fare clic su Applica.
Vedere l'esempio Hello World riportato di seguito per informazioni su come impostare come destinazione gpu remote per aumentare le risorse.
Quando usare GPU H100
Rispetto agli A10s, gli H100s offrono operazioni in virgola mobile per secondo (FLOPS) più elevate e memoria HBM con larghezza di banda elevata. Usare H100s per il training di modelli di grandi dimensioni in cui è necessaria una velocità effettiva elevata e/o una memoria GPU di grandi dimensioni.
Verificare la connessione GPU
Usare il nvidia-smi comando per verificare di essere connessi a 8 GPU H100. Questo comando visualizza informazioni sulla GPU, tra cui modello, memoria e utilizzo.
%sh nvidia-smi
Thu Jan 15 17:56:54 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.57.08 Driver Version: 575.57.08 CUDA Version: 12.9 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA H100 80GB HBM3 On | 00000000:53:00.0 Off | 0 |
| N/A 26C P0 70W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA H100 80GB HBM3 On | 00000000:64:00.0 Off | 0 |
| N/A 28C P0 68W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 2 NVIDIA H100 80GB HBM3 On | 00000000:75:00.0 Off | 0 |
| N/A 26C P0 71W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 3 NVIDIA H100 80GB HBM3 On | 00000000:86:00.0 Off | 0 |
| N/A 29C P0 68W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 4 NVIDIA H100 80GB HBM3 On | 00000000:97:00.0 Off | 0 |
| N/A 27C P0 67W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 5 NVIDIA H100 80GB HBM3 On | 00000000:A8:00.0 Off | 0 |
| N/A 26C P0 67W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 6 NVIDIA H100 80GB HBM3 On | 00000000:B9:00.0 Off | 0 |
| N/A 26C P0 69W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 7 NVIDIA H100 80GB HBM3 On | 00000000:CA:00.0 Off | 0 |
| N/A 26C P0 67W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+
Esempio Hello World
Questo esempio illustra come eseguire una funzione distribuita tra più GPU usando il decoratore @distributed.
La funzione annotata seguente viene avviata su 8 processi, una per GPU nel nodo a cui è collegato il notebook. L'annotazione launch specifica il numero di GPU.
La funzione usa il runtime modulo per accedere ai ranghi della GPU locale e globale.
from serverless_gpu import distributed
from serverless_gpu import runtime as rt
@distributed(
gpus=8,
gpu_type='h100',
)
def hello_world(name: str) -> list[int]:
if rt.get_local_rank() == 0:
print('hello world', name)
return rt.get_global_rank()
result = hello_world.distributed('SGC')
assert result == [0, 1, 2, 3, 4, 5, 6, 7]
Passaggi successivi
- Procedure consigliate per il calcolo GPU serverless
- Risoluzione dei problemi di elaborazione GPU senza server
- Formazione distribuita multi-GPU e multi-nodo
- Documentazione dell'API GPU serverless