回看板
Disp BBS
作者 sppmg (sppmg)
標題 [新聞] 非英語母語者寫的英文文章，有一半被GPT
時間 Fri Jul 14 11:41:00 2023


1.媒體來源:

ithome

2.記者署名:

陳曉莉

3.完整新聞標題:

非英語母語者寫的英文文章，有一半被GPT偵測器標記為AI生成



4.完整新聞內文:

在諸如ChatGPT等基於生成式預訓練模型（GPT）的聊天機器人問世之後，即有不少人利用
這類的工具來作研究或撰寫文章，也使得老師或教授以各種GPT偵測器來判斷學生的文章
是否來自AI，然而，最近的一項研究顯示，母語非英文的使用者在撰寫英文文章時，有超
過一半被這些GPT偵測器錯誤地辨識為AI生成的。


此一研究是由史丹福大學生物醫學資料科學的助理教授James Zou所主導，刊登於《
Patterns》期刊，彰顯了坊間的GPT偵測器具備語文上的偏見與歧視。

研究人員使用了7款熱門的GPT偵測器來檢查91篇源自中國論壇的托福寫作文章，以及88篇
存放在Hewlett Foundation資料庫中，由美國8年級生所撰寫的英文作文，發現這些偵測
器比較能正確分辨美國學生所撰寫的文章，卻錯誤地把一半以上的91篇由中國人撰寫的托
福文章當作是AI生成的。


研究人員並未公布用來實驗的GPT偵測器名稱，僅揭露了研究成果，指出平均而言，辨識
托福文章是否由AI撰寫的錯誤率高達61.3%，當中有一款GPT偵測器的錯誤率甚至高達
97.8%，而且所有的偵測器一致認為當中的19.8%是由AI生成的。另一方面，針對8年級作
文的偵測錯誤率則僅有5.1%。

進一步分析發現，造成辨識錯誤的主要原因是托福文章在語言的多樣化與詞語的選擇上較
為有限，而8年級作文的語言使用則更為複雜，相較之下，GPT偵測器更容易準確辨識後者
。


諷刺的是，當研究人員透過ChatGPT來強化這些托福文章的用字遣詞，結果將其辨識為AI
生成的平均錯誤率就從61.3%降到11.6%了。反之，簡化8年級作文中所使用的辭彙，也讓
這些GPT偵測器的錯誤率從5.1%大幅提高到56.9%。


雖然該研究是以中國論壇為樣本，但其實它適用於任何非以英文為母語的使用者，如果懂
的英文單字不夠多，在撰寫英文文章時，就很容易被這些偵測器誤認為是AI生成的。




5.完整新聞連結 (或短網址)不可用YAHOO、LINE、MSN等轉載媒體:

https://www.ithome.com.tw/news/157743
非英語母語者寫的英文文章，有一半被GPT偵測器標記為AI生成 | iThome
[圖]
史丹福大學研究發現，如果非英語母語者懂的英文單字不夠多，在撰寫英文文章時，很容易被GPT偵測器誤認為是AI生成內容 ...

 



6.備註:

5 月才有一篇新聞是：

> 一個教授判定整班學生半數用ChatGPT做報告不給他們畢業，
> 判定方式卻竟是「ChatGPT說你有用」

以這研究來看還真是頗好笑！

不過話說回來，AI 處理結果也是要看訓練時使用資料庫是否正確。

處理結果也是要再進行驗證。

沒驗證的結果跟垃圾沒兩樣！

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.94.31 (臺灣)
※ 作者: sppmg 2023-07-14 11:41:00
※ 文章代碼(AID): #1aiCFMSf (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1689306070.A.729.html
※ 編輯: sppmg (101.10.94.31 臺灣), 07/14/2023 11:43:05
推 bhs88825252: 操你媽的你自己就是AI了 幹1F 180.217.201.125 台灣 07/14 11:42
推 johnhmj: 處理速度是一回事 資料軟體又另一回事2F 101.12.53.34 台灣 07/14 11:42
推 pxndx: 用AI評AI這是什麼人工智障3F 101.10.1.191 台灣 07/14 11:43
→ lucifiel1618: 外國人和ai文法比本地人好太多了沒4F 111.254.105.250 台灣 07/14 11:43
推 railman: AI會不會變成元宇宙一樣就不得而知了？5F 111.71.212.205 台灣 07/14 11:43
→ lucifiel1618: 辦法= =6F 111.254.105.250 台灣 07/14 11:43
推 tamama000: 台灣前三志願的高中生文法那麼強文章會不會被評為英國人-.-？7F 223.136.114.14 台灣 07/14 11:44
推 tsubasawolfy: 國外教育體系之前就吵很大拉
把美國獨立宣言丟進去也會說是AI寫9F 163.15.167.219 台灣 07/14 11:46
→ sppmg: XD 真假11F 101.10.94.31 台灣 07/14 11:47
推 tsubasawolfy: AI-Detector Flags US Constitution as AI-Generated. 之前國外就是在吵教育體系的評分是不是要重新設計，因為以往的課堂報告不管紙本或上台都可以由AI包辦。你要怎樣評鑑出學生的學習程度?12F 163.15.167.219 台灣 07/14 11:54
推 tonyian: 因為太過工整吧？沒有常見語法錯誤跟奇怪口語用法18F 27.53.160.62 台灣 07/14 12:06

--
作者 sppmg 的最新發文:
點此顯示更多發文記錄