顯示廣告
隱藏 ✕
※ 本文為 Knuckles 轉寄自 ptt.cc 更新時間: 2023-02-26 18:05:08
看板 C_Chat
作者 ZMTL (Zaious.)
標題 Re: [閒聊] ChatGPT是語言模型不是搜尋引擎
時間 Sun Feb 26 13:13:50 2023



本來沒想這麼早回這篇的,不過既然都有人把討論串回起來了我丟點資訊,
既然都會看網紅發表對ChatGPT的看法(沒有貶義),我覺得也可以看看這個:

台大電機副教授李宏毅老師的ChatGPT講解(先回到PTT還是學術論壇XD)

ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程
https://www.youtube.com/watch?v=e0aKI2GGZNg
【生成式AI】ChatGPT 原理剖析 (1/3) — 對 ChatGPT 的常見誤解
https://www.youtube.com/watch?v=yiY4nPOzJEg
【生成式AI】ChatGPT 原理剖析 (2/3) — 預訓練 (Pre-train)
https://www.youtube.com/watch?v=1ah7Qsri_c8

然後我們再看看ChatGPT自己的回答:
https://images.plurk.com/5CKBXnjItrJaEiXATSi9FU.png
https://images.plurk.com/3pNJ04L9ZKlYLoTiiOt0Wu.png
https://images.plurk.com/4nBzckjPusdj9fOfOr75KJ.png
https://images.plurk.com/2Np2UAT7VJhkZyLWU2pyVk.png
https://images.plurk.com/qwyS6StjeFtfK6loo4gum.png
https://images.plurk.com/37ATMfNB95Y28Nx6fJu9N2.png
https://images.plurk.com/xgCaTlpcj3FWK01ytw59X.png
https://images.plurk.com/6TmIRatDJL80VeyTzqkagW.png
[圖]
 
[圖]
 
[圖]
 
[圖]
 
[圖]
 
[圖]
 
[圖]
 
[圖]

當然,我都說ChatGPT未必能回答正確的內容,以上ChatGPT的作答僅供參考,
但根據OpenAI自己的說法比較確定的幾點:

1.ChatGPT沒有連網
2.ChatGPT大部分的資料只到2021年9月
3.ChatGPT本身沒有儲存他看過的那些訓練他的文本
4.ChatGPT是根據訓練好的模型(除非微調不然不會變動)來進行理解回答而非檢索資料

其實34點就跟AI繪圖究竟是不是拼貼指的是類似的問題。

我想這邊的內容應該也足以回應csqwe板友
csqwe: 我反而覺得這篇的理解反而才是問題很多 chatGPT要說是語言02/24 17:53
csqwe: 是沒錯拉 但是為什麼他不能同時是搜尋引擎 因為正確性? 你
csqwe: 的搜尋引擎都不會搜錯嗎?以現在chatGPT的表現來說 正確度比
csqwe: 任何搜尋引擎都高了吧 再來 理論上你是無法真正判斷chatGPT
csqwe: 是否"不知道"某個議題的 頂多他說出的答案你覺得不正確 但
csqwe: 是你無法知道他是不是真的"不知道" 真的理解他的原理不會說
csqwe: 出這種結論 語言模型閱讀大量資訊之後 就是把某一個單字相
csqwe: 關的資訊全部跟這個單字做連結 成為這個單字身分的一部份
csqwe: 所以當你詢問他的時候 他就把這個單字跟你想要知道的情報相
csqwe: 關的資訊抽出給你 這不正適合拿來當搜尋工具嗎?
csqwe: 我建議你放棄 反正想用多的去了 然後除非你有明確理論證據
csqwe: 證明他有亂掰的這項能力(這個真的比較難) 不然你才亂掰

ChatGPT是個很好用的工具,我也在用,但如果先把ChatGPT的名字遮起來,
你會用一個沒有連網、不會更新資料、不記得資料只憑印象回答你的工具當搜尋引擎嗎?

那為什麼微軟還要專門搞一個結合GPT搜尋引擎Bing呢XD


拉回來補個洽點,同樣是李老師的影片:
【生成式AI】用 ChatGPT 和 Midjourney 來玩文字冒險遊戲
https://www.youtube.com/watch?v=A-6c584jxX8


不過我最近才開始在看GPT/GPT3的論文,了解的可能也有誤,
有本科的板友歡迎留言勘誤指點,感謝。


--
AI_Art AI藝術與創作板 歡迎各方前來討論AIGC創作與相關議題!
位置:戰略高手 > DigitalWare > AI_Art

AI情報屋營業中
噗浪:https://www.plurk.com/Zaious
IG  :https://www.instagram.com/zaious.design/

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.193.180.122 (臺灣)
※ 作者: ZMTL 2023-02-26 13:13:50
※ 文章代碼(AID): #1Z-kgI9S (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1677388434.A.25C.html
※ 編輯: ZMTL (123.193.180.122 臺灣), 02/26/2023 13:16:27
r98192: 當你問超過ChatGPT資料庫的時候 他會說瞎話 這點很糟糕2F 02/26 13:19
x2159679: 貼一下這篇好了3F 02/26 13:19
x2159679: 這樣講好了 對大部分的人來說 其實你說的根本不重要
x2159679: 正不正確很重要嗎? 大部分人想要的只是"煞有其事"而已
ZMTL: 所以我說ChatGPT是很好用的工具,我自己也很愛用6F 02/26 13:20
ZMTL: 但如果問他一個有明確答案的問題,再來說ChatGPT好爛都亂答
r98192: 所以有些人就把那些瞎話當正解來看 這個真的很恐怖…8F 02/26 13:21
Yan239: 我記得不是有人叫他模擬linux終端,然後上網還成功連上自9F 02/26 13:21
Yan239: 己,然後用自己把linux終端裡的自己又模擬一個linux終端
ZMTL: 那就本末倒置了,但我看最近確實有人這樣說XDD11F 02/26 13:21
kimokimocom: 藥的標示相反不重要 油門煞車相反不重要 都不重要12F 02/26 13:22
r98192: 你直接問GPT聲優資料 有很高的機率會亂掰資料給你13F 02/26 13:22

哦對了再補一點,上次看到有些網友問到瞎掰的資料後試圖糾正他,
認為自己可以幫忙「訓練」ChatGPT給他提供更多資料,這點我只能說...

https://images.plurk.com/7iyqOFqZb0s4Rw564BGDwH.png
https://images.plurk.com/4RHgNB7P8Nnlxt1hEsARCX.png
https://images.plurk.com/3Iuh5nB21NM3ZmZRkq7MKO.png
[圖]
 
[圖]
 
[圖]

不要做白工了。

你可以提供給OpenAI一些數據評價反饋,但內容資料被採用的可能性...

BruceChang: 會瞎掰是一種優點 以後你會懷念的14F 02/26 13:24
kimokimocom: 如果想被永遠認為是嘴砲哈拉專用 確實都不重要15F 02/26 13:25
BruceChang: 如果強制不能裝懂 協同創作能力會變成零蛋16F 02/26 13:25

ChatGPT很棒,但你要知道他擅長什麼、可能有什麼問題,然後才知道要怎麼用。
就像AI繪圖很棒,但他不是萬能的,甚至MJ跟SD都有各自的專長跟限制。

※ 編輯: ZMTL (123.193.180.122 臺灣), 02/26/2023 13:27:21
skyofme: 喜歡看軟體瞎掰沒關係,但不管掰的多有趣那都不能說是搜17F 02/26 13:27
skyofme: 尋引擎吧?
TeamFrotress: 科普推19F 02/26 13:28
GAOTT: 現在大家心裡想的是 只跟你聊天打屁的有這種猛度 那職業化20F 02/26 13:32
tony81456200: 可是它不跟我談政治(X21F 02/26 13:33
lsd25968: 水啦 李弘毅老師22F 02/26 13:34
lsd25968: 大家都該看他的教學影片
x2159679: 換個角度來看 如果真的是搜尋引擎的話答案就一定是對的24F 02/26 13:34
x2159679: 嗎?
x2159679: 理想很美好 但現實是骨感的
x2159679: 例如以遊戲攻略來看,現在的遊戲攻略一堆盜文(複製)網站
ZMTL: 當然不是,但你可以自己比較第一頁甚至三四頁的搜尋結果28F 02/26 13:35
x2159679: 網路進步結果就是必然要承受人類本身的渾沌性29F 02/26 13:36
skyofme: 因為搜尋引擎不負責判斷正確性30F 02/26 13:36
arrenwu: 撇開AI做圖的問題。3.4. 那個在語意上會有誤會31F 02/26 13:36
arrenwu: 我們可以肯定ChatGPT沒有 verbatim 地存文本
arrenwu: 但同樣根據李弘毅的簡介,他是根據訓練好的模型把回應
skyofme: 也許以這個語言模型為基礎他未來可以增加這個面向的功能34F 02/26 13:38
skyofme: ,但現在就是沒這機能
arrenwu: 建立出來36F 02/26 13:38
arrenwu: 這個行為上就類似資料壓縮的概念
arrenwu: 舉個例子:mp3 跟 wav的關係。mp3 並沒有完全把wav所有
skyofme: 如果要類似使用手冊這種有限範圍內的自然語言索引也許還39F 02/26 13:39
skyofme: 比較沒問題
arrenwu: 把高頻片段砍掉。但說mp3沒有存wav內容 這個現在不成立的41F 02/26 13:40
arrenwu: 但我同意ChatGPT要當搜尋引擎用滿難用的就是了
kimokimocom: 搜尋引擎又沒用話術叫你信他找的唯一結果ww43F 02/26 13:42
arrenwu: 比較好奇 New Bing 會怎麼整合GPT的機能44F 02/26 13:43
CowGundam: 可是之前不是有人發現他知道推特的ceo 是馬斯克,然後45F 02/26 13:43
CowGundam: 說2019應該還不是之後就開始裝傻了嗎XD
kimokimocom: GPT會為說明他是對的撇一些理由讓你信 他就是在聊天47F 02/26 13:43
ZMTL: 現在打開Bing應該就有範例了48F 02/26 13:44
x2159679: 大家可能要想到一件事,這邊是一個同溫層49F 02/26 13:44
[圖]
x2159679: 很多人其實連電腦都不太會用51F 02/26 13:44
ZMTL: 我現在在吃午餐有些討論等等回XD52F 02/26 13:44
arrenwu: @CowGundam https://bit.ly/3krqlKL 這個XD53F 02/26 13:44
CowGundam: 對對,這個我印象超深刻XD54F 02/26 13:44
x2159679: 也有很多人連辨別資訊真假與否的能力都沒有55F 02/26 13:44
lsd25968: AI會騙人  恐怖如斯==56F 02/26 13:45
kimokimocom: 應該說 他很像小學時候說甚麼我同學 我朋友那種資訊57F 02/26 13:45
arrenwu: ChatGPT本質上就是 ChatBot58F 02/26 13:45
HotDogCC: 不是搜尋引擎很好理解,畢竟它就沒有搜索的功能…59F 02/26 13:46
skyofme: 判讀能力有沒有問題那是人自己的事情,所以搜尋引擎本來60F 02/26 13:46
skyofme: 就不為自己的搜尋結果背書,他只是呈現給你高相關的資料
arrenwu: 搜尋引擎給你的是他找到的一票網站62F 02/26 13:46
arrenwu: 搜尋引擎不會回答你任何問題
skyofme: 怎麼消化成有效的資訊仰賴人自己的腦袋64F 02/26 13:47
arrenwu: 是人來決定搜尋引擎自己用起來解決問題是不是有效率65F 02/26 13:47
bitcch: chatGPT應該有偷偷接上某些現實資料66F 02/26 13:48
skyofme: 如果你是想說那chatgpt就是一個愛不懂裝懂的唬爛嘴在幫67F 02/26 13:48
skyofme: 你查資料,好啦給過吧?
lay10521: 他會回答ChatGPT的問題 但那些資訊是誰餵給他的==69F 02/26 13:48
bitcch: 之前請他寫封信 最後的日期直接寫當天70F 02/26 13:49
bitcch: 但要精準查還是要bing那個
arrenwu: ChatGPT 沒有所謂的「懂不懂」,他就是根據訓練過的資料72F 02/26 13:51
arrenwu: 生成文本而已
x2159679: BING前陣子不是還被nerf了嗎74F 02/26 13:51
x2159679: 我覺得這是ai難以逃脫的命運就是了
arrenwu: 這篇貼的李弘毅提到的對ChatGPT常見誤解有提到76F 02/26 13:52
skyofme: 反正他想講的就大概那意思吧77F 02/26 13:52
n99lu: 媒體的炒作只能讓人更誤解ai而已78F 02/26 13:53
ZMTL: ChatGPT"大部分"的資料只到2021年9月79F 02/26 13:53
ZMTL: OpenAI後續微調模型時應該也加上了一些新資料啦,當然肯定
ZMTL: 包含他自己的自我介紹
n99lu: 每次的回答都有微妙的不同 可能是一種遊戲npc發言吧82F 02/26 13:54
arrenwu: ChatGPT要當搜尋引擎用,第一個要改進的就是資料的引源83F 02/26 13:54
skyofme: 因為人也會搞錯,所以就算chatgpt就算沒有資訊判讀能力84F 02/26 13:55
skyofme: ,給了你一個看起來像真的錯誤結果,那也是搜尋引擎
arrenwu: 你可以每次講的不一樣,但要講明這些資料是哪裡來的86F 02/26 13:55
n99lu: 但歐美一些白癡已經開始把gpt當作是"專業資料"87F 02/26 13:55
arrenwu: 這不一樣的點在於 搜尋引擎的資料來源是很明確的88F 02/26 13:55
ZMTL: 不太可能,因為很可能ChatGPT自己也不知道這些資料是哪裡來89F 02/26 13:55
arrenwu: ChatGPT 並不會告訴你這些語句是哪裡來的90F 02/26 13:56
ZMTL: 的,就像是AI繪圖我不認為有辦法像是有些人要求的必須91F 02/26 13:56
CowGundam: 那我不太懂為什麼他會被提醒之後否定自己知道這件事而92F 02/26 13:56
CowGundam: 不是跟用戶說明資料已更新
ZMTL: 提出這張圖的「參考資料」,那根本不存在94F 02/26 13:56
[圖]
ZMTL: 或者說,他已經揉碎一堆資料了,你沒辦法要他拼回去96F 02/26 13:57
arrenwu: 繪圖那部分問題是你沒給「參考資料」戰的是版權疑慮97F 02/26 13:57
arrenwu: 回答問題有所謂的「正確or錯誤」,這是圖片沒有的東西
n99lu: 個人玩了幾下之後 也發覺cpt只是隨機生成 而不會真的回答99F 02/26 13:57
tony81456200: 他給的資料太單一 當搜尋引擎一定出事100F 02/26 13:58
abadjoke: ChatGPT在配合bing方面我覺得是目前最佳解101F 02/26 13:59
abadjoke: 它對於回答幾乎都有附上註記讓你判斷這句話的可信度
abadjoke: 但缺點就是大幅降低了對話的自由度
lay10521: 目前還有可解釋性高及準確度高的NLP模型吧104F 02/26 14:00
lay10521: *還沒有
carlyle159: 覺得前面推文犯了一個謬誤是 搜尋引擎沒有正確性的保106F 02/26 14:00
carlyle159: 證是一回事 但這並不代表沒有正確性保證的GPT就反過來
carlyle159: 可以當成搜尋引擎 本質上就不一樣 不能因為結果上看起
carlyle159: 來沒有差異就混為一談
n99lu: 還有我覺得會被人工排除一些敏感消息也是隱憂110F 02/26 14:01
arrenwu: 搜尋引擎只是給你網頁連結 正確性的判斷跟他無關111F 02/26 14:01
as80110680: 對於模型來說,所有輸出都只是機率函數,但他沒有告訴112F 02/26 14:01
[圖]
 
[圖]
as80110680: 答案的可信度,99%跟50%並不是相同的概念115F 02/26 14:01
arrenwu: 搜尋引擎最多就是幫你排序他找到的網站 讓前面的網站可能116F 02/26 14:02
ZMTL: 這是Chat Bing,沒排到封測資格只能試用範例117F 02/26 14:02
arrenwu: 對你比較有幫助118F 02/26 14:02
as80110680: 而且前一篇我也提過了,現在的問題是現今很多操作是被119F 02/26 14:02
as80110680: 搜尋引擎綁架,可以用更好的解決法是解決
Windcws9Z: 我懷疑ChatGPT有連網121F 02/26 14:03
as80110680: *解決方式122F 02/26 14:04
Windcws9Z: 不然要如何解釋2021年的資料庫有2022年的資料123F 02/26 14:04

OpenAI還是有在微調模型,應該是微調時放進去的資料,但不多

signm: 應該是意外下的產物124F 02/26 14:04
CowGundam: 我也覺得一定有,但他聲稱沒有才會修正回答的感覺125F 02/26 14:04
Windcws9Z: 總不可能一直靠人工去Update八126F 02/26 14:06
rhox: 看到很多人覺得會被ChatGPT取代,我覺得很欣慰127F 02/26 14:06
tsubasawolfy: being應該還沒連上chatGPT吧 記得四月才會一起上4.0128F 02/26 14:07

封測中,有排到的人可以去玩,沒排到的用範例
※ 編輯: ZMTL (123.193.180.122 臺灣), 02/26/2023 14:11:21
raincole: Bing 現在已經有了啊...129F 02/26 14:11
Windcws9Z: 正常搜尋引擎是沒辦法判斷找到的網站是好或壞八130F 02/26 14:12
Windcws9Z: 那不都人工去做排序 篩選嗎
raincole: Bing 的那個就是真的搜尋引擎啊 結果類似於你用普通的132F 02/26 14:12
raincole: Bing 搜尋 然後把搜尋結果貼給 ChatGPT 做摘要
Windcws9Z: 不管是哪家的搜尋引擎不都有自己的規則134F 02/26 14:15
Windcws9Z: 百度 Google Bing都有優先以及黑名單
Windcws9Z: 你要沒有影響的可以去試試Duck Duck Go的
haudoing: 對正確性要求高的使用者來說,chatgpt能給出有用或有參137F 02/26 14:19
haudoing: 考價值的資料還是比搜尋引擎少
tsubasawolfy: 在想他的回饋資料該不會還要人工審核139F 02/26 14:20
tsubasawolfy: 因為他的輸出模型也是靠大量人力去調
arcanite: 一個不會立刻聯網搜尋分析最新資料 只能依賴現有databas141F 02/26 14:59
arcanite: e的AI
Minesweeper: 原理真的很像文字接龍,意外的單純143F 02/26 15:17
Minesweeper: 然後資料量和正確性不是線性成長,上限也不高
k1k1832002: chatGPT 的主要資料來源除了日期限制,另外可能以英145F 02/26 15:37
k1k1832002: 文資料為大宗,了解一些前提我是覺得問題不大。bing
k1k1832002: 的形式也算是最近相對比較...佳的。不過雖然說會附上
k1k1832002: 來源,但有時候還是不太完全就是了XD
k1k1832002: 像最近我就問它最近公布的一月份美國PCE,各類別數據
k1k1832002: 以及各類別比重整理的一清二楚,不過溯源時還是怪怪
k1k1832002: 的,但基本不妨礙它的強大這樣(當然有些自己有在整理
k1k1832002: 可能覺得小事,但...對於一些入門的懶人也是頗方便)
[圖]
 
[圖]
prussian: chatgpt 為了想和妹尬聊,努力看了很多書。你把他當搜155F 02/26 15:54
prussian: 尋引擎,並不代表他想成為搜尋引擎,那只是附帶的結果
prussian: 。而且以這例來看他為了拼死尬聊下去,回答有時還滿渣
prussian: 的。想被這樣的「搜尋引擎」玩是個人選擇就是了。渣男
prussian: 也是有市場的,有時旁人很難勸。
prussian: 對了,twitter ceo的回答有被修正過了
leviathen: 簡單說,chatGPT很像超人,記憶力超好,涉獵廣泛,說的161F 02/26 15:56
leviathen: 東西正確性90%,嘴砲時難以察覺,且最新的消息暫時不知
leviathen: 道
arrenwu: 說的東西正確性90% <---- 沒有這回事164F 02/26 15:59
WarIII: 我覺得搜索引擎跟chatGPT有一個根本的差別 搜索引擎不會165F 02/26 16:33
WarIII: 講的一嘴好答案 而chatGPT會
WarIII: 因為他是語言預訓練模型 它的專長就是語言這點讓它很容易
WarIII: 就成為大忽悠
Minesweeper: 影片裡gpt 3.0的正確性約6成,3.5就不知道了169F 02/26 16:46
nyms: 推李宏毅老師170F 02/26 16:57
uohZemllac: 看到內文才唐突想起PTT是學術論壇XD171F 02/26 17:08
XFarter: 如果要對它所給的知識要 Ref 是做得到的啦,後面下 reque172F 02/26 17:35
XFarter: st 就可以了
XFarter: 但計算類的、用到多種定理的東西正確率還是要自己判斷
kimokimocom: 上面列出2022清單的時間點就已經失去可信度了啊..175F 02/26 17:36
[圖]
 
[圖]
BruceChang: 理論上你的資料要回饋給模型有另外一個頁面跟openai申178F 02/26 17:40
BruceChang: 請
BruceChang: 但你有在瑟瑟你就知道關鍵字跟繞過限制的方法一直有隨
BruceChang: 著更新被針對的擋

--
※ 看板: ACG 文章推薦值: 0 目前人氣: 0 累積人氣: 335 
作者 ZMTL 的最新發文:
點此顯示更多發文記錄
分享網址: 複製 已複製
r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇