Başlangıç: H100 GPU'ları ile sunucusuz GPU hesaplama

Bu sayfanın not defteri sürümünü aç

Bu not defteri, H100 hızlandırıcılarıyla Databricks Sunucusuz GPU işlemin nasıl kullanılacağını gösterir. Python kitaplığını kullanarak H100 GPU'larına bağlanmayı ve dağıtılmış iş yüklerini çalıştırmayı serverless_gpu öğreneceksiniz.

Kitaplık, serverless_gpu GPU iş yüklerinin doğrudan Databricks not defterlerinden sorunsuz yürütülmesini sağlar. Dağıtılmış GPU bilgi işlem için dekoratörler ve çalışma zamanı yardımcı programları sağlar. Daha fazla bilgi edinmek için Sunucusuz GPU API belgelerine bakın.

Sunucusuz GPU hesaplamasına bağlanma

Bu not defterini çalıştırmak için H100 hızlandırıcıları olan Databricks Sunucusuz GPU işlem gücüne erişmeniz gerekir.

1. İşlem seçiciden Sunucusuz GPU'ya tıklayın.
2. Sağ taraftaki "Ortam" sekmesinde hızlandırıcınız için H100'ü seçin. Bu seçenek tek bir düğümde 8 H100 yonga kullanır.
3. Uygula'ya tıklayın.

Daha fazla kaynağa ölçeklendirmek için uzak GPU'ları hedeflemek için aşağıdaki Merhaba Dünya örneğine bakın.

H100 GPU'lar ne zaman kullanılır?

A10'larla karşılaştırıldığında, H100'ler saniyede daha büyük kayan nokta işlemleri (FLOPS) ve yüksek bant genişliğine sahip bellek (HBM) sunar. Yüksek aktarım hızına ve/veya büyük GPU belleğine ihtiyaç duyulan büyük model eğitimi için H100'leri kullanın.

GPU bağlantısını doğrulama

nvidia-smi 8 H100 GPU'ya bağlı olduğunuzu onaylamak için komutunu kullanın. Bu komut model, bellek ve kullanım gibi GPU bilgilerini görüntüler.

%sh nvidia-smi

Thu Jan 15 17:56:54 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.57.08              Driver Version: 575.57.08      CUDA Version: 12.9     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA H100 80GB HBM3          On  |   00000000:53:00.0 Off |                    0 |
| N/A   26C    P0             70W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA H100 80GB HBM3          On  |   00000000:64:00.0 Off |                    0 |
| N/A   28C    P0             68W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   2  NVIDIA H100 80GB HBM3          On  |   00000000:75:00.0 Off |                    0 |
| N/A   26C    P0             71W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   3  NVIDIA H100 80GB HBM3          On  |   00000000:86:00.0 Off |                    0 |
| N/A   29C    P0             68W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   4  NVIDIA H100 80GB HBM3          On  |   00000000:97:00.0 Off |                    0 |
| N/A   27C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   5  NVIDIA H100 80GB HBM3          On  |   00000000:A8:00.0 Off |                    0 |
| N/A   26C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   6  NVIDIA H100 80GB HBM3          On  |   00000000:B9:00.0 Off |                    0 |
| N/A   26C    P0             69W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   7  NVIDIA H100 80GB HBM3          On  |   00000000:CA:00.0 Off |                    0 |
| N/A   26C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

Merhaba Dünya örneği

Bu örnekte, bir dağıtılmış işlevin dekoratör kullanılarak birden çok GPU arasında nasıl çalıştırıldığı gösterilmektedir @distributed .

Aşağıdaki açıklamalı işlev, not defterinin bağlı olduğu düğümdeki GPU başına bir tane olmak üzere 8 işlemde başlatılır. Ek launch açıklama GPU sayısını belirtir.

İşlev, yerel ve genel GPU derecelerine erişmek için modülünü runtime kullanır.

from serverless_gpu import distributed
from serverless_gpu import runtime as rt

@distributed(
    gpus=8,
    gpu_type='h100',
)
def hello_world(name: str) -> list[int]:
    if rt.get_local_rank() == 0:
        print('hello world', name)
    return rt.get_global_rank()

result = hello_world.distributed('SGC')

assert result == [0, 1, 2, 3, 4, 5, 6, 7]

Sonraki Adımlar

• Sunucusuz GPU işlem için en iyi yöntemler
• Sunucusuz GPU işlem sorunlarını giderme
• Çoklu GPU ve çok düğümlü dağıtılmış eğitim
• Sunucusuz GPU API belgeleri

Örnek defter

Başlangıç: H100 GPU'ları ile sunucusuz GPU hesaplama

Dizüstü bilgisayar al