Share via

Aan de slag: Serverloze GPU-rekenkracht met H100 GPU's

Notitieblokversie van deze pagina openen

In dit notebook ziet u hoe u Databricks Serverless GPU-rekenkracht gebruikt met H100-accelerators. U leert hoe u verbinding maakt met H100 GPU's en gedistribueerde workloads uitvoert met behulp van de serverless_gpu Python-bibliotheek.

De serverless_gpu bibliotheek maakt naadloze uitvoering van GPU-workloads mogelijk rechtstreeks vanuit Databricks-notebooks. Het biedt decorators en runtime-hulpprogramma's voor gedistribueerde GPU-computing. Zie de documentatie voor de serverloze GPU-API voor meer informatie.

Verbinding maken met serverloze GPU-rekenkracht

Als u dit notebook wilt uitvoeren, hebt u toegang nodig tot Serverloze GPU-rekenkracht van Databricks met H100-accelerators.

  1. Selecteer serverloze GPU in de rekenkiezer.
  2. Selecteer op het tabblad Omgeving aan de rechterkant H100 voor uw accelerator. Deze optie maakt gebruik van 8 H100-chips op één knooppunt.
  3. Klik op Toepassen.

Zie het Hello World-voorbeeld hieronder voor hoe u externe GPU's kunt richten om naar meer resources te schalen.

Wanneer gebruikt u H100 GPU's?

In vergelijking met A10s bieden H100s grotere drijvendekommabewerkingen per seconde (FLOPS) en HBM (High Bandwidth Memory). Gebruik H100s voor grote modeltraining waarbij hoge doorvoer en/of groot GPU-geheugen nodig is.

GPU-verbinding controleren

Gebruik de nvidia-smi opdracht om te bevestigen dat u bent verbonden met 8 H100 GPU's. Met deze opdracht worden GPU-gegevens weergegeven, waaronder model, geheugen en gebruik.

%sh nvidia-smi

Thu Jan 15 17:56:54 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.57.08              Driver Version: 575.57.08      CUDA Version: 12.9     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA H100 80GB HBM3          On  |   00000000:53:00.0 Off |                    0 |
| N/A   26C    P0             70W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA H100 80GB HBM3          On  |   00000000:64:00.0 Off |                    0 |
| N/A   28C    P0             68W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   2  NVIDIA H100 80GB HBM3          On  |   00000000:75:00.0 Off |                    0 |
| N/A   26C    P0             71W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   3  NVIDIA H100 80GB HBM3          On  |   00000000:86:00.0 Off |                    0 |
| N/A   29C    P0             68W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   4  NVIDIA H100 80GB HBM3          On  |   00000000:97:00.0 Off |                    0 |
| N/A   27C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   5  NVIDIA H100 80GB HBM3          On  |   00000000:A8:00.0 Off |                    0 |
| N/A   26C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   6  NVIDIA H100 80GB HBM3          On  |   00000000:B9:00.0 Off |                    0 |
| N/A   26C    P0             69W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   7  NVIDIA H100 80GB HBM3          On  |   00000000:CA:00.0 Off |                    0 |
| N/A   26C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

Voorbeeld van Hallo wereld

In dit voorbeeld ziet u hoe u een gedistribueerde functie uitvoert op meerdere GPU's met behulp van de @distributed decorator.

De onderstaande functie met aantekeningen wordt gestart op 8 processen, één per GPU op het knooppunt waaraan het notebook is gekoppeld. De launch aantekening geeft het aantal GPU's op.

De functie gebruikt de runtime module voor toegang tot de lokale en globale GPU-rangschikkingen.

from serverless_gpu import distributed
from serverless_gpu import runtime as rt

@distributed(
    gpus=8,
    gpu_type='h100',
)
def hello_world(name: str) -> list[int]:
    if rt.get_local_rank() == 0:
        print('hello world', name)
    return rt.get_global_rank()

result = hello_world.distributed('SGC')


assert result == [0, 1, 2, 3, 4, 5, 6, 7]

Volgende stappen 

Voorbeeld van notebook

Aan de slag: Serverloze GPU-rekenkracht met H100 GPU's

Notebook krijgen

  • Last updated on