Epizoda

Odvozování variant: Základy a moderní metody

with David Blei, Rajesh Ranganath, Shakir Mohamed

Jedním ze základních problémů moderní statistiky a strojového učení je přibližné rozdělení pravděpodobnosti, které je obtížné vypočítat. Tento problém je zvlášť důležitý při pravděpodobnostním modelování, který zasoučí veškeré odvozování neznámých množství jako výpočet podmíněného rozdělení. V tomto kurzu probereme a probereme variační odvozování (VI), metodu, která se při optimalizaci blíží rozdělení pravděpodobnosti. VI se používá v nesčetných aplikacích ve strojovém učení a obvykle je rychlejší než více tradičních metod, jako je vzorkování Monte Carlo řetězu Markov. V roce 1990 jsme se dostali do strojového učení, nedávné pokroky a jednodušší implementace obnovily zájem a použití této třídy metod. Cílem tohoto kurzu je poskytnout úvod do VI s moderním pohledem na toto pole a přehled role, kterou hraje pravděpodobnostní odvozování v mnoha centrálních oblastech strojového učení.

Kurz má tři části. Za prvé poskytujeme širokou revizi variačních odvozování z několika pohledů. Tato část slouží jako úvod (nebo revize) svých centrálních konceptů. Za druhé vyvíjíme a propojíme některé pivotální nástroje pro VI, které byly vyvinuty v posledních několika letech, nástroje, jako je odhad přechodu Monte Carlo, odvozování černých krabic, stochastická aproximace a variační automatické kodéry. Tyto metody vedou k obnovení výzkumu a aplikací VI. Nakonec probereme některé nevyřešené problémy ve VI a ukazujeme na slibné výzkumné směry.

cíle výuky;

  • Získejte dobře promyšlené znalosti moderních pokroků v odvozování.
  • Zjistěte, jak implementovat základní verze pro širokou třídu modelů.
  • Seznamte se s propojeními a různými názvy používanými v jiných souvisejících oblastech výzkumu.
  • Seznamte se s důležitými problémy ve výzkumu odvozování variant.

Cílová skupina;

  • Výzkumní pracovníci strojového učení ve všech úrovních zkušeností od studentů z prvního ročníku až po další zkušenější výzkumné pracovníky
  • Cílení na ty, kteří chtějí pochopit nedávné pokroky v odvozování variant
  • Základní znalost pravděpodobnosti je dostatečná