Stein Variational Gradient Descent

關鍵字: Variational inference, Stein’s method, Optimization

這次是介紹NIPS2016的paper(Q Liu et al.),一篇citation破一百的論文,今天使用英文撰寫又數學很多,有不清楚的地方歡迎留言討論~~~

這篇最主要的想法是利用particles(粒子)來inference想要得到卻還難求出的機率分布,與以往的vanilla variational inference的方式不一樣,”這篇是屬於non parametric 的方法,也就是說他不會去求出機率分布的mean與variance”

當你的粒子越多,就越能完整的得到機率分布,反之,當只有使用一個particle來inference的時候,就會變成MAP(maximum a posterior)的方法。

個人滿喜歡這篇論文的,在一個很繁複的數學推導下,卻得到了一個很簡單又容易實現的演算法(重點是效果還很好!!!),是一篇值得大家好好研究的paper。


Background