---

最近看到這個新聞覺得滿好笑的，

剛好手邊有一個寫文章機器人的project，

就拿來實驗給大家看看。



這些是訓練神經網絡時的紀錄點(checkpoint)，

http://i.imgur.com/vu0gLXh.png

我挑一個比較不成熟的(loss高的)來展示。

http://i.imgur.com/7HTnZeu.png

基本上就是不段重複："a core"這個序列。

這是完成第一個循環(epoch = 0)，loss = 2.6727的情況

結果跟Facebook機器人的對話很像

就重複一些簡單的單字，毫無意義。



其實Recurrent Neural Network(RNN)做出這種結果是很常見的

在國外data scientist的部落格中，也有類似的例子。

https://goo.gl/WlUdcW

這篇文章裡，以小架構的RNN，用整本愛麗絲夢遊仙境小說作訓練，

做出來的文字是這樣:

"sabdit,
and the white rabbit wese tilel an the caoe and the sabbit se teeteer,
and the white rabbit wese tilel an the cade in a lonk tfne the sabdi
ano aroing to tea the was sf teet whitg the was a little tane oo thete"

我只節錄其中一段。

可以看到有一整句話是完全重複的，

"and the white rabbit wese tilel an the"

整篇output看來，也有很多重複出現的序列。

(該文章的作者後來用更大的神經網絡、訓練更久，也達到很好的效果)



做神經網絡時，出現難以預測的結果是很常見的。

大多數時候，這並不是什麼"發明"，只是模型對訓練集的掌握不好。

問題可能來自訓練資料、神經網絡的架構、optimizer，等等...很難講。



在我的project裡，當神經網絡訓練更完全(epoch = 17, loss = 1.1391)，

可以產生這樣的文字標題：

"lpt: if you are srarting a shopt for the ooen that you
 don't have to contact the top of your phonee ."

"lpt: when seniing someone s hood to you don't want to
 het it to youu  fbori eorr tthienkty."

"lpt: if you are srarting a store in your car with a
 complate bard before a bustom rings on your phoone."




---------------以下製作過程----------------


我用的是RNN框架中的LSTM(主流的一種模型)。

2層各500個神經元，外加一個output層(dense layer)。

算是很小的網絡，整個存下來只占35 Mb。

因為我的顯示卡內存只有4 Gb，跑不了太深。



訓練集是從美國論壇Raddit的LifeProTips版上爬來的文字

基本上就是美國的生活智慧王啦。

目的是讓機器人寫出生活智慧小撇步。



經過6小時訓練(用顯示卡運算)，

模型大致可以掌握拼字、縮寫，知道開頭要用"lpt:"，知道要斷句

可是如果仔細看它寫出的文字，其實就是胡說八道。



以RNN模型來說，其實機器人寫文章的方法很簡單，

文字轉成數學向量 ==> 矩陣乘法 ==> 數學向量轉成文字

就這樣。

這是一個sequence-in-sequence-out的模型。

它不像人類，會理解語言的意義、思考，再把想法用語言表達出來。

它只是經由"看"訓練集的資料，記住sequence特徵，

然後做出誤差最小的預測。

我覺得以現在的人工智能來說，用"學習"這個詞實在太高估了

充其量只是訓練。(更不用說機器人產生自我意識、造反)

大概就是這樣~~※註:有電視或媒體有報導者，請勿使用爆卦!

未滿20字 一行文 水桶6個月+退文

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 108.176.209.137
※ 文章代碼(AID): #1PWhwKTO (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1501740692.A.758.html