Začínáme: Bezserverové výpočetní prostředí GPU s grafickými procesory H100

Otevřít verzi poznámkového bloku této stránky

Připojte se k grafickým procesorům H100 a spusťte distribuované úlohy v prostředí AI Runtime pomocí serverless_gpu knihovny Python.

Knihovna serverless_gpu umožňuje bezproblémové spouštění úloh GPU přímo z poznámkových bloků Databricks. Poskytuje dekorátory a nástroje modulu runtime pro distribuované výpočetní prostředí GPU. Další informace najdete v dokumentaci k bezserverovém rozhraní GPU API.

Připojení k bezserverovému výpočetnímu prostředí GPU

Pokud chcete tento poznámkový blok spustit, potřebujete přístup k serverově nezávislým GPU výpočetním prostředkům na platformě Databricks s akcelerátory H100.

1. V selektoru výpočetních prostředků vyberte Bezserverový GPU.
2. Na kartě „Environment“ na pravé straně vyberte pro svůj akcelerátor 8xH100. Tato možnost používá na jednom uzlu 8 H100 čipů.
3. Na pravém panelu, který obsahuje všechny požadované knihovny pro spuštění tohoto příkladu poznámkového bloku, zvolte prostředí AI v5 .
4. Klikněte na tlačítko Použit.

Kdy použít gpu H100

Ve srovnání s A10 nabízejí H100s větší počet operací s plovoucí desetinnou čárkou za sekundu (FLOPS) a paměť s vysokou šířkou pásma (HBM). Pro trénování velkých modelů použijte H100s, kde je potřeba vysoká propustnost nebo velká paměť GPU.

Ověření připojení GPU

nvidia-smi Pomocí příkazu potvrďte, že jste připojení k grafickým procesorům 8 H100. Tento příkaz zobrazí informace o GPU, včetně modelu, paměti a využití.

%sh nvidia-smi

Thu Jan 15 17:56:54 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.57.08              Driver Version: 575.57.08      CUDA Version: 12.9     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA H100 80GB HBM3          On  |   00000000:53:00.0 Off |                    0 |
| N/A   26C    P0             70W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA H100 80GB HBM3          On  |   00000000:64:00.0 Off |                    0 |
| N/A   28C    P0             68W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   2  NVIDIA H100 80GB HBM3          On  |   00000000:75:00.0 Off |                    0 |
| N/A   26C    P0             71W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   3  NVIDIA H100 80GB HBM3          On  |   00000000:86:00.0 Off |                    0 |
| N/A   29C    P0             68W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   4  NVIDIA H100 80GB HBM3          On  |   00000000:97:00.0 Off |                    0 |
| N/A   27C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   5  NVIDIA H100 80GB HBM3          On  |   00000000:A8:00.0 Off |                    0 |
| N/A   26C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   6  NVIDIA H100 80GB HBM3          On  |   00000000:B9:00.0 Off |                    0 |
| N/A   26C    P0             69W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   7  NVIDIA H100 80GB HBM3          On  |   00000000:CA:00.0 Off |                    0 |
| N/A   26C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

Příklad Hello World

Tento příklad ukazuje, jak spustit distribuovanou funkci napříč více grafickými procesory pomocí dekorátoru @distributed .

Níže uvedená funkce s poznámkami běží na 8 procesech, jeden na GPU na uzlu, ke kterému je poznámkový blok připojený.

Funkce používá runtime modul pro přístup k místnímu a globálnímu pořadí GPU.

from serverless_gpu import distributed
from serverless_gpu import runtime as rt

@distributed(
    gpus=8,
    gpu_type='h100',
)
def hello_world(name: str) -> list[int]:
    if rt.get_local_rank() == 0:
        print('hello world', name)
    return rt.get_global_rank()

result = hello_world.distributed('SGC')

assert result == [0, 1, 2, 3, 4, 5, 6, 7]

Další kroky

• Osvědčené postupy pro výpočetní prostředí GPU bez serveru
• Řešení potíží s výpočetními prostředky GPU bez serveru
• Distribuované trénování s více GPU a více uzly
• Dokumentace k bezserverové službě GPU API

Ukázkový poznámkový blok

Začínáme: Bezserverové výpočetní prostředí GPU s grafickými procesory H100

Pořiďte si notebook