Aracılığıyla paylaş

KDD 2016 Öğreticisi

  • Makale

CNTK: Microsoft'un Open-Source Deep-Learning Araç Seti

KDD 2016 Hands-On Öğreticisi: Frank Seide and Amit Agarwal, Microsoft

Öğreticide kullanılan slaytlar

Not: CNTK ikili dosyası (~300 MB) ve CIFAR-10 veri kümesi (170 MB) olmak üzere iki büyük indirme yapmanız ve CNTK ikili dosyalarını ve gerekli tüm bağımlılıkları makinenize yüklemeniz gerekir. Bunu önceden, örneğin otel odanızdan yapmanızı öneririz. Yönergeler için aşağıya bakın.

Microsoft ürün grupları gibi sinir ağlarını eğitin! Bu öğreticide Microsoft'un Windows ve Linux için ölçeklenebilir açık kaynak derin öğrenme araç seti Microsoft Cognitive Toolkit veya CNTK tanıtılacaktır. CNTK, derin sinir ağlarını eğitme ve değerlendirmeye yönelik güçlü bir hesaplama grafı tabanlı derin öğrenme araç setidir. Microsoft ürün grupları, örneğin Cortana konuşma modellerini ve web derecelendirmesini oluşturmak için CNTK kullanır.

Hedef Kitle ve Beklenti

Bu öğretici, gerçek dünya iş yükleri için kullanımı kolay, ancak çok makineli GPU kümeleri arasında verimli ve ölçeklenebilir bir araç arayan mevcut veya gelecekteki derin öğrenme uygulayıcılarını hedeflemektedir.

Öğreticide derin öğrenmeyle ilgili temel bilgiler varsayılır. Katılımcılar CNTK'nin temel kavramlarını ve kullanımını anlayacak ve görüntü tanıma ve metin işleme için CNTK ile nöral ağ eğitimleri çalıştırma alıştırması yapacaklardır. Öğretici, CNTK ile kendi gerçek dünya derin öğrenme görevinizi çözmek için bir başlangıç noktası olacaktır.

Önkoşullar, İndirme ve Kurulum Yönergeleri

Öğreticideki uygulamalı laboratuvar oturumlarını gerçekleştirmek için, 64 bit Windows 8.1+ veya Linux yüklü bir dizüstü bilgisayar veya uzak bilgisayar gereklidir ve CUDA özellikli bir GPU önerilir (ne kadar hızlı olursa o kadar iyi). Makineniz Mac-OS çalıştırıyorsa Linux'ı bir docker kapsayıcısının içinde çalıştırabilir ve aşağıda bu docker kapsayıcısının içinde açıklanan yüklemeyi/kurulumu gerçekleştirebilirsiniz.

Toplamda yaklaşık 500 MB olmak üzere CNTK ikili paketini, CIFAR-10 kümesini ve öğretici dosyalarını indirip yüklemeniz gerekir. İdeal olan bunu önceden yapmaktır.

  • CNTK ikili dosyalarını indirin ve yükleyin:

Bu sayfada makinenize Microsoft Cognitive Toolkit yüklemek için farklı alternatifler açıklanmaktadır. Bu öğreticinin kapsamı için ikili CNTK yüklemesini temel alan bir yükleme yeterlidir. Kaynak koddan CNTK oluşturmanız gerekmez. kurulum yönergeleri için. Bu sayfadan ikili yükleme paketi indirme yönergelerini izleyebilirsiniz.

Her durumda, CNTK yürütülebilir dosyaları ortamınıza dahil olduğundan emin olun.

Uygulamalı öğreticileri çevrimiçi yapma

İki uygulamalı öğretici, burada takip edilebilecek sayfalar olarak gönderilmiştir:

SOYUT

Bu öğreticide Microsoft'un Windows ve Linux için son teknoloji açık kaynak derin öğrenme araç seti Microsoft Cognitive Toolkit veya CNTK tanıtılacaktır. CNTK, derin sinir ağlarını eğitme ve değerlendirmeye yönelik güçlü bir hesaplama grafı tabanlı derin öğrenme araç setidir. Microsoft ürün grupları, örneğin Cortana konuşma modellerini ve web derecelendirmesini oluşturmak için CNTK kullanır. CNTK konuşma, görüntü ve metin iş yükleri için akış iletme, kıvrımlı ve yinelenen ağları da birlikte destekler. Popüler ağ türleri yerel olarak desteklenir (convolution) veya bir CNTK yapılandırması (LSTM, diziden sıraya) olarak tanımlanabilir. CNTK birden çok GPU sunucusuna ölçeklendirilir ve verimlilikle tasarlanmıştır. Bu öğreticide CNTK'nin genel mimarisine genel bir bakış sağlanacak ve otomatik ayrıştırma, yinelenme döngüsü çıkarımı ve yürütmesi, bellek paylaşımı, büyük corpora'nın anında rastgele hale getirilmesi ve çok sunuculu paralelleştirme için kullanılan belirli yöntemler ve algoritmalar açıklanmaktadır. Ardından görüntü tanıma, sıralı modelleme ve konuşma tanıma gibi ilgili görevler için tipik kullanımların nasıl göründüğünü göstereceğiz.

ANA HAT

Öğreticide şu konular ele alınacaktır:

  • CNTK nedir?
    • Hesaplama ağına giriş
  • Tipik bir CNTK kullanımı nasıl görünür?
    • Hesaplama Ağını Tanımlama
    • Veri G/Ç'yi yapılandırma
    • SGD hiper parametreleri
    • Tipik iş akışları
  • Belirli teknolojilere derinlemesine bakış
    • Örtük zaman işleme
    • Değişken uzunluklu dizilerin minibatching
    • Veri paralel eğitimi
  • Uygulamalı örnekler, örneğin
    • Görüntü tanıma (AlexNet, ResNet)
    • Metin işleme (ATIS)
  • Önizleme: Python ve C++ için CNTK Kitaplığı API'leri

KONUŞMACı BIYOGRAFILERI

Almanya'nın Hamburg şehrinde bulunan Frank Seide, Microsoft Research'te Kıdemli Araştırmacı olarak yer alır. Şu anda yaptığı araştırma konuşma tanıma için derin sinir ağlarına odaklandı; Yazar Dong Yu ile birlikte, konuşma konuşmasının tanınması için derin sinir ağlarının etkinliğini ilk kez gösterdi. Kariyeri boyunca konuşma-diyalog sistemleri, Mandarin Çincesinin tanınması ve özellikle konuşma dilinin ses dizinleme, transkripsiyon ve konuşmadan konuşmaya çeviri ile geniş sözlükle tanınması dahil olmak üzere geniş bir yelpazedeki konu ve otomatik konuşma tanıma bileşenleriyle ilgilendi ve üzerinde çalıştı. Şu anki odak noktası Microsoft'un CNTK derin öğrenme araç setidir.
Amit Agarwal , Microsoft Teknoloji ve Araştırma bölümünde baş yazılım mühendisidir. Şu anda microsoft'un büyük ölçekli dağıtılmış derin öğrenme platformu CNTK'yi oluşturmak, Microsoft'ta ve toplulukta konuşma, görüntü ve metinle ilgili geniş bir aralıkta kullanılan muazzam veri kümelerinde muazzam derin öğrenme modellerini eğitmek için eşi görülmemiş ölçek, hız ve kapasite sağlamaktır. Amit Agarwal, çok çeşitli Microsoft ürünleri üzerinde ve Mentor grafiklerinde çalıştı. Heterojen ve GPU programlama ile ilgili 7 patente sahiptir.

BAŞVURULAR

[1] Amit Agarwal, Eldar Akchurin, Chris Basoğlu, Guoguo Chen, Scott Cyphers, Jasha Droppo, Adam Eversole, Brian Guenter, Mark Hillebrand, T. Ryan Hoens, Xuedong Huang, Zhiheng Huang, Vladimir Ivanov, Alexey Kamenev, Philipp Kranen, Oleksii Kuchaiev, Wolfgang Manousek, Avner May, Bhaskar Mitra, Olivier Nano, Gaizka Navarro, Alexey Orlov, Hari Parthasarathi, Baolin Peng, Marko Radmilac, Alexey Reznichenko, Frank Seide, Michael L. Seltzer, Malcolm Slaney, Andreas Stolcke, Huaming Wang, Yongqiang Wang, Kaisheng Yao, Dong Yu, Yu Zhang, Geoffrey Zweig (alfabetik sırada), "An Introduction to Computational Networks and the Computational Network Toolkit", Microsoft Technical Report MSR-TR-2014-112, 2014.
[2] "CNTK,"