Nastavení testovacího prostředí pro výuku datových věd pomocí Pythonu a poznámkových bloků Jupyter

Důležité

Služba Azure Lab Services bude vyřazena 28. června 2027. Další informace najdete v průvodci vyřazením.

Tento článek popisuje, jak nastavit virtuální počítač šablony ve službě Azure Lab Services, který obsahuje nástroje pro výuku studentů pro používání poznámkových bloků Jupyter. Dozvíte se také, jak se uživatelé testovacího prostředí můžou připojit k poznámkovému bloku na svých virtuálních počítačích.

Jupyter Notebooks je opensourcový projekt, který umožňuje snadno kombinovat formátovaný text a spustitelný zdrojový kód Pythonu na jednom plátně, označovaný jako poznámkový blok. Spuštěním poznámkového bloku vytvořte lineární záznam vstupů a výstupů. Tyto výstupy můžou zahrnovat text, tabulky informací, bodové grafy a další.

Poznámka:

Tento článek odkazuje na funkce dostupné v plánech testovacího prostředí, které nahradily účty testovacího prostředí.

Požadavky

• K nastavení tohoto testovacího prostředí potřebujete přístup k předplatnému Azure. Proberte správce vaší organizace a zjistěte, jestli máte přístup k existujícímu předplatnému Azure. Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet.

Konfigurace nastavení plánu testovacího prostředí

Jakmile budete mít předplatné Azure, můžete vytvořit plán testovacího prostředí ve službě Azure Lab Services. Další informace o vytvoření nového plánu testovacího prostředí najdete v tématu Rychlý start: Nastavení prostředků pro vytváření testovacích prostředí. Můžete také použít existující plán testovacího prostředí.

Toto cvičení používá jednu z imagí virtuálního počítače Datová Věda jako základní image virtuálního počítače. Tyto image jsou k dispozici na Azure Marketplace. Tato možnost umožňuje tvůrcům testovacího prostředí vybrat image jako základní image pro své testovací prostředí. Tyto image musíte povolit ve svém testovacím plánu.

Pokud chcete povolit tyto image z Azure Marketplace dostupné tvůrcům testovacího prostředí, postupujte podle těchto kroků.

• V závislosti na požadavcích operačního systému vyberte jednu z následujících imagí Azure Marketplace:

  • Datová Věda virtuální počítač – Windows Server 2019/Windows Server 2022
  • Datová Věda virtuální počítač – Ubuntu 20.04

• Případně vytvořte vlastní image virtuálního počítače:

  Image virtuálních počítačů Datová Věda na Azure Marketplace jsou už nakonfigurované s poznámkovými bloky Jupyter. Tyto image zahrnují také další vývojové a modelovací nástroje pro datové vědy. Pokud tyto další nástroje nepotřebujete a chcete zjednodušené nastavení jenom s poznámkovými bloky Jupyter, vytvořte vlastní image virtuálního počítače. Příklad najdete v tématu Instalace JupyterHubu v Azure.

  Po vytvoření vlastní image nahrajte image do výpočetní galerie, abyste ji mohli používat se službou Azure Lab Services. Přečtěte si další informace o používání výpočetní galerie ve službě Azure Lab Services.

Vytvoření testovacího prostředí

• Vytvořte testovací prostředí pro plán testovacího prostředí:

  Pokyny k vytvoření testovacího prostředí najdete v kurzu : Nastavení testovacího prostředí. Zadejte následující nastavení testovacího prostředí:

  Nastavení testovacího prostředí	Hodnota
  Velikost virtuálního počítače	Pokud chcete získat přístup k poznámkovým blokům Jupyter, vyberte možnost Small nebo Medium pro základní nastavení. Pro aplikace náročné na výpočetní výkon a aplikace náročné na síť používané ve třídách umělé inteligence a hlubokého učení vyberte alternativní malé GPU (Compute ).
  Image virtuálního počítače	Zvolte Datová Věda virtuální počítač – Windows Server 2019, Datová Věda virtuální počítač – Windows Server 2022 nebo Datová Věda Virtual Machine – Ubuntu.
  Nastavení virtuálního počítače šablony	Vyberte Použít virtuální počítač bez přizpůsobení.

• Při vytváření testovacího prostředí s velikostí alternativního malého GPU (Compute) nainstalujte ovladače GPU.

  Tento proces nainstaluje nedávné ovladače NVIDIA a sadu nástrojů CUDA (Compute Unified Device Architecture), které potřebujete povolit vysokovýkonné výpočetní prostředí s GPU. Další informace najdete v tématu Nastavení testovacího prostředí s virtuálními počítači GPU.

Konfigurace počítače šablony

Po vytvoření testovacího prostředí vytvořte virtuální počítač šablony, který je založený na velikosti virtuálního počítače a zvolené imagi. Nakonfigurujte virtuální počítač šablony se vším, co chcete studentům poskytnout pro tuto třídu. Další informace najdete v tématu Vytvoření a správa šablony ve službě Azure Lab Services.

Image virtuálních počítačů Datová Věda mají mnoho architektur a nástrojů pro datové vědy vyžadovaných pro tento typ třídy. Obrázky například zahrnují:

• Jupyter Notebooks: Webová aplikace, která datovým vědcům umožňuje přijímat nezpracovaná data, spouštět výpočty a zobrazovat výsledky ve stejném prostředí. Běží místně na virtuálním počítači šablony.
• Visual Studio Code: Integrované vývojové prostředí (IDE), které poskytuje bohaté interaktivní prostředí při psaní a testování poznámkového bloku. Další informace najdete v tématu Práce s poznámkovými bloky Jupyter v editoru Visual Studio Code.

Image Datová Věda virtuálního počítače – Ubuntu je zřízena se serverem X2Go, aby uživatelé testovacího prostředí mohli používat grafické desktopové prostředí.

Povolení nástrojů pro používání grafických procesorů

Pokud používáte velikost alternativního malého GPU (Compute), doporučujeme ověřit, jestli jsou rozhraní a knihovny Datová Věda správně nastavené tak, aby používaly gpu. Možná budete muset nainstalovat jinou verzi ovladačů NVIDIA a sady nástrojů CUDA. Pokud chcete nakonfigurovat gpu, měli byste se podívat do dokumentace k rozhraní nebo knihovně.

Pokud chcete například ověřit, že TensorFlow používá GPU, připojte se k virtuálnímu počítači šablony a spusťte následující kód Python-TensorFlow v poznámkových blocích Jupyter:

import tensorflow as tf
from tensorflow.python.client import device_lib

print(device_lib.list_local_devices())

Pokud výstup z tohoto kódu vypadá jako následující výsledek, TensorFlow nepoužívá GPU:

[name: "/device:CPU:0"
device_type: "CPU"
memory_limit: 268435456
locality {
}
incarnation: 15833696144144374634
]

Pokračování v tomto příkladu najdete v tématu Podpora GPU TensorFlow s pokyny. Pokyny pro TensorFlow zahrnují:

• Požadovaná verze ovladačů NVIDIA
• Požadovaná verze sady nástrojů CUDA
• Pokyny k instalaci knihovny NVIDIA CUDA Deep Neural Network (cudDNN)

Po provedení kroků TensorFlow ke konfiguraci GPU byste při opětovném spuštění testovacího kódu měli vidět výsledky podobné následujícímu výstupu.

[name: "/device:CPU:0"
device_type: "CPU"
memory_limit: 268435456
locality {
}
incarnation: 15833696144144374634
, name: "/device:GPU:0"
device_type: "GPU"
memory_limit: 11154792128
locality {
  bus_id: 1
  links {
  }
}
incarnation: 2659412736190423786
physical_device_desc: "device: 0, name: NVIDIA Tesla K80, pci bus id: 0001:00:00.0, compute capability: 3.7"
]

Poskytnutí poznámkových bloků pro třídu

Dalším úkolem je poskytnout uživatelům testovacího prostředí poznámkové bloky, které mají používat. Poznámkové bloky můžete uložit místně na virtuálním počítači šablony, aby každý uživatel testovacího prostředí získal vlastní kopii.

Pokud chcete použít ukázkové poznámkové bloky ze služby Azure Machine Learning, podívejte se, jak nakonfigurovat prostředí s jupyter Notebooks.

Publikování počítače šablony

Pokud chcete virtuální počítač testovacího prostředí zpřístupnit uživatelům testovacího prostředí, publikujte šablonu. Virtuální počítač testovacího prostředí obsahuje všechny místní nástroje a poznámkové bloky, které jste nakonfigurovali dříve.

Připojení k poznámkových blokům Jupyter

Následující části ukazují různé způsoby, jak se uživatelé testovacího prostředí připojují k poznámkovému bloku Jupyter na virtuálním počítači testovacího prostředí.

Použití poznámkových bloků Jupyter na virtuálním počítači testovacího prostředí

Uživatelé testovacího prostředí se můžou připojit z místního počítače k virtuálnímu počítači testovacího prostředí a pak používat poznámkové bloky Jupyter v testovacím virtuálním počítači.

Pokud používáte testovací virtuální počítač s Windows, uživatelé testovacího prostředí se můžou ke svým testovacím virtuálním počítačům připojit přes vzdálenou plochu (RDP). Další informace najdete v tématu připojení k virtuálnímu počítači testovacího prostředí s Windows.

Pokud používáte virtuální počítač s Linuxem, můžou se uživatelé testovacího prostředí připojit ke svým testovacím virtuálním počítačům přes SSH nebo pomocí X2Go. Další informace najdete v tématu připojení k virtuálnímu počítači s Linuxem v testovacím prostředí.

Tunel SSH k serveru Jupyter na virtuálním počítači

V případě linuxových testovacích prostředí se také můžete připojit přímo z místního počítače k serveru Jupyter v testovacím virtuálním počítači. Protokol SSH umožňuje přesměrování portů mezi místním počítačem a vzdáleným serverem. Toto je virtuální počítač testovacího prostředí uživatele. Aplikace, která běží na určitém portu na serveru, je tunelována na mapovací port v místním počítači.

Pomocí těchto kroků nakonfigurujte tunel SSH mezi místním počítačem uživatele a serverem Jupyter na virtuálním počítači testovacího prostředí:

1. Přejděte na web Azure Lab Services.

2. Ověřte, že je spuštěný virtuální počítač testovacího prostředí založený na Linuxu.

3. Vyberte ikonu >Připojit přes SSH a získejte příkaz pro připojení SSH.

   Příkaz připojení SSH vypadá jako v následujícím příkladu:

   ssh -p 12345 student@ml-lab-00000000-0000-0000-0000-000000000000.eastus2.cloudapp.azure.com
   

   Přečtěte si další informace o tom, jak se připojit k virtuálnímu počítači s Linuxem.

4. Na místním počítači spusťte terminál nebo příkazový řádek a zkopírujte do něj připojovací řetězec SSH. Potom přidejte -L 8888:localhost:8888 do příkazového řetězce, který vytvoří tunel mezi porty.

   Konečný příkaz by měl vypadat jako v následujícím příkladu.

   ssh –L 8888:localhost:8888 -p 12345 student@ml-lab-00000000-0000-0000-0000-000000000000.eastus.cloudapp.azure.com
   

5. Stisknutím klávesy Enter spusťte příkaz.

6. Po zobrazení výzvy zadejte heslo virtuálního počítače testovacího prostředí pro připojení k virtuálnímu počítači testovacího prostředí.

7. Když se připojíte k virtuálnímu počítači, spusťte server Jupyter pomocí tohoto příkazu:

   jupyter notebook
   

   Příkaz vypíše adresu URL pro server Jupyter v terminálu. Adresa URL by měla vypadat jako v tomto příkladu:

   http://localhost:8888/?token=8c09ecfc93e6a8cbedf9c66dffdae19670a64acc1d37
   

8. Pokud se chcete připojit k poznámkovému bloku Jupyter a pracovat na něm, vložte tuto adresu URL do prohlížeče na místním počítači.

   Poznámka:

   Visual Studio Code také umožňuje skvělé prostředí pro úpravy poznámkového bloku Jupyter. Můžete postupovat podle pokynů k připojení ke vzdálenému serveru Jupyter a použít stejnou adresu URL z předchozího kroku pro připojení z nástroje VS Code místo z prohlížeče.

Odhad nákladů

Tato část obsahuje odhad nákladů pro spuštění této třídy pro 25 uživatelů testovacího prostředí. K dispozici je 20 hodin naplánovaného času třídy. Každý uživatel získá také kvótu 10 hodin pro domácí úkoly nebo zadání mimo naplánovaný čas předmětu. Zvolená velikost virtuálního počítače byla alternativní malá GPU (výpočetní prostředí), což je 139 jednotek testovacího prostředí. Pokud chcete použít malé (20 jednotek testovacího prostředí) nebo Střední velikost (42 jednotek cvičení), můžete část testovací jednotky v rovnici nahradit správným číslem.

Tady je příklad možného odhadu nákladů pro tuto třídu: 25 lab users * (20 scheduled hours + 10 quota hours) * 139 lab units * 0.01 USD per hour = 1042.5 USD.

Důležité

Tento odhad nákladů je určen pouze pro ukázkové účely. Aktuální podrobnosti o cenách najdete v tématu Ceny služby Azure Lab Services.

Související obsah

V tomto článku jste zjistili, jak vytvořit testovací prostředí pro třídu Jupyter Notebooks a jak se uživatel může připojit ke svým poznámkovým blokům na virtuálním počítači testovacího prostředí. Podobné nastavení můžete použít pro jiné třídy strojového učení.

Image šablony je teď možné publikovat do testovacího prostředí. Další informace najdete v tématu Publikování virtuálního počítače šablony.

Při nastavování testovacího prostředí si projděte následující články:

• Nastavení kvóty
• Nastavení plánu
• Přidání uživatelů
• Odkazy na registraci e-mailu pro studenty