Odcinek

Dzień dewelopera PyTorch w 2020 r. — DeepSpeed i ŚRODOWISKO uruchomieniowe ONNX

W tej rozmowie Yuxiong He, kierownik ds. badań partnerskich w firmie Microsoft, przedstawił DeepSpeed, bibliotekę optymalizacji uczenia głębokiego typu open source zgodną z usługą PyTorch. DeepSpeed wprowadza innowacje systemowe i algorytmiczne, takie jak ZeRO, równoległość 3D, 1-bitowy Adam itp. Znacznie rozwija duże trenowanie modeli przez zwiększenie skali, szybkości, kosztów i użyteczności, a jednocześnie demokratyzowanie go dla wszystkich potrzebujących. 

Azure