※ 本文為 ryanlei 轉寄自 ryanlei.bbs@ptt2.cc 時間: 2011-06-15 01:48:41

---

既然這樣我回完再去debug好了

Winston不要來>"<


在ML領域蠻容易碰到類似這種optimization形式

                 2
argmin ||x - Uv|| + λ||v||
   v

大家應該都知道主要是minimize前面的cost

再加上regularization防止over-fitting等極端狀況


又：

L1-norm favors sparse and big values of v
L2-norm favors dense and small values of v

但是要怎麼舉例解釋這個現象呢？



雖然我覺得從高中數學算L2-norm的經驗可以想像XD

固定L1-norm = 1時

向量的數值小但都有值時算出來的L2-norm會比較小

例如 sqrt(0.5^2 + 0.3^2 + 0.2^2) = 0.38
     sqrt(1.0^2 + 0.0^2 + 0.0^2) = 1.00



再舉一個整數的例子

v1 = [4,3],  v2 = [5,0],  v3 = [7,0]

要說明L1 favors sparsity

先比較v1和v2，兩者的L2-norm都固定是5

但是v1 -> v2向量變sparse時，L1-norm從7變5 (minimize的對象)

因此L1 favors sparsity
                      ##

要說明L2 favors density

再比較v3和v1，兩者的L1-norm都固定是7

但是v3 -> v1向量變dense時，L2-norm從7變5 (minimize的對象)

因此L2 favors density
                     ##


好像已經要meeting了...囧


--
It's nice to be important, but it's more important to be nice.

--
※ 發信站: 批踢踢兔(ptt2.cc)
◆ From: 140.112.29.130


--