笑死

這件事情世界上只有三個人知道

神經網路被看作是一種小型計算機，透過「學習」來模擬程式或是目標任務，類比於一般計算機的計算電路

如何找出這種電路? 就是藉由 SGD 來探索空間，尋找合適參數來擬合資料集，可被看作是一種搜尋某個程式的問題

這時候就和 Kolmogorov Complexity 聯繫上了

不過 KC 原先定義好像是不可計算的問題

Facebook

影片研究人員認為在非監督學習上還有很多謎團在裡面

ML 也忘了差不多了，所謂優化某個目標卻關心另一個目標以及 VC Dimension 之類的

不過為何要叫做 SGD Miracle ?

記得每次迭代的下降方向好像都很不穩定的樣子

結果在看這個的時候世界又發生大事了嗎

想到某本訊息理論的可愛 Icon

撐不住，睡去