回看板
Disp BBS
作者 seal46825 (Vanish)
標題 [討論] 為何機器人AI不透過強化式學習訓練？
時間 Wed Oct 16 23:54:43 2024


剛剛看了YouTube 介紹特斯拉Optimus的影片
裡面提到特斯拉裡面有50位人員
專門用VR裝置去操控Optimus
去執行某修動作 例如分類物品
然後就可以透過這些動作訓練模型

但是跟特斯拉成千上萬個車子數據比起來
這只能算是小巫見大巫
那我就好奇 為什麼機器人不透過強化式學習的方式去訓練
如同訓練AI玩遊戲一樣
可以給個很明確的計分方式
然後讓AI自己去玩遊戲
只要規則夠明確 AI自己就可以訓練練到很強

同樣道理 我讓一顆球放在一個發射平台
會自動彈出 然後球上有晶片
只要機器人可以在越短的時間去把球撿回來
他就可以得到高分
如此一來他就可以去學習如何快速辨識球的位置
如何規劃路線 如何最佳應用他的身體
然後快速把球撿起來 放回發射平台

這樣作法的好處是可以做出成千上萬台機器人
讓他們自己去訓練 一年365天24小不停歇
這樣就能產生大量數據 快速精進機器人AI模型

同樣的模式還可以特用的很多事情上
所以為何現在的機器人公司不這樣做
要用真的人去訓練搜集數據呢？
還是其實有在做了？
-----
Sent from JPTT on my iPhone

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.92.120 (臺灣)
※ 作者: seal46825 2024-10-16 23:54:43
※ 文章代碼(AID): #1d3-75qV (Tech_Job)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1729094085.A.D1F.html
※ 同主題文章:
[討論] 為何機器人AI不透過強化式學習訓練？
10-16 23:54 seal46825
Re: [討論] 為何機器人AI不透過強化式學習訓練？
10-17 09:29 cateran
→ drkkimo: 你怎麼知道沒有人作這個?1F 10/17 00:03
原來已經有了嗎？
推 HaHaPoint: 因為不把真人互動加進訓練的話 你會訓練出殺人機器2F 10/17 00:04
如果任務能成功達成 好像也不失為一個方法？ 只是任務怎麼定義就很重要
→ HaHaPoint: 或是大法師那樣走路的機器人 因為那樣比較有效率3F 10/17 00:04
※ 編輯: seal46825 (123.192.92.120 臺灣), 10/17/2024 00:05:46
※ 編輯: seal46825 (123.192.92.120 臺灣), 10/17/2024 00:06:44
→ DrTech: 這在機器手臂取物都做到爛的事情…4F 10/17 00:22
→ peter3354152: 上網搜尋robotic deep reinforcement learning 應該會有一堆paper5F 10/17 00:25
→ DrTech: 另外，RL 訓練實體動作極差，成本極高。通常都是先建立模擬環境，跟本不是你文中的直接physical去碰撞訓練。
你這些說法根本就是外行，連訓練成本，效率，都不考慮。訓練一個動作，RL隨意碰撞，機器人先壞100台，外行人傻了才這樣想。7F 10/17 00:26
→ seal46825: 我的確是外行 對AI好奇整天亂看而已 問題是如果要叫幾千萬個真人去搜集數據 成本不會比較低啊 除非可以跟特斯拉車子一樣發展出可以讓人去操控機器人的商業模式
用第一性原理去思考 這個沒道理做不到 我認為馬斯克肯定也有想過 至於為什麼我們沒看到有兩個原因 一個是其實有做 但我們不知道 第二個是其實有什麼大瓶頸在 這就是我好奇的地方13F 10/17 00:32
推 kevin0210: 這個問題我覺得蠻優的21F 10/17 00:50
推 chang1248w: 它們是先在模擬環境練了幾萬年才放出來現實世界的22F 10/17 01:00
推 mrsix: 畢竟是泛用型的人形機器人，日後可能會用於長照或23F 10/17 01:01
→ chang1248w: 現在在做的是類似GPT一樣透過人類行為微調24F 10/17 01:01
→ mrsix: 托兒，這種與人類互動的行為得由人類親自教導，而不是機器自己訓練自己。
有樣東西叫人因工程25F 10/17 01:01
→ chang1248w: 請工人一來不划算，二來把工人的行為轉換成機器人能用的數據太貴了28F 10/17 01:02
→ mrsix: 而且特斯拉機器人現在應該還不敢做跑步之類的快速動作，撞到人蠻糟糕的。30F 10/17 01:03
→ chang1248w: 一個機器人是數十個關節的馬達還有感知器在協同，只有人類操作工具的影像根本不夠
模擬環境裡應該能做到跑，只是現實與模擬的誤差還沒調教過來32F 10/17 01:03
推 mrsix: 應該不是影像，而是透過遠端遙控的方式訓練36F 10/17 01:05
→ yunf: 全部都給你說完了他要賺什麼37F 10/17 01:07
推 mrsix: 黃仁勳來台灣那個發表會不是提到Omniverse之類的孿生模型來訓練機器人38F 10/17 01:07
→ yunf: 他就是要像m$一樣慢慢地滲透到你國家的每一個角落然後再更新收費
一下就到達完全體 馬上就被抄走了40F 10/17 01:08
推 wwewcwwwf: 有阿 記得所羅門 吹邊緣學習3年了 不知學到哪了43F 10/17 01:20
推 aria0520: lecun提的世界模型路線可以了解一下44F 10/17 01:26
→ yunf: 台灣公司就不用看了連日本都打不贏
不然就是才剛有創新的時候就被買走
不要說機器人能長照好嘛笑死人了
沒照顧過老人的才會嘴砲說機器人長照
如果是這樣的話東協那些都不用發展了
專心訓練ai就好45F 10/17 01:29
→ DarkIllusion: 用RL做機器人策略有獎勵稀疏、sim2real gap問題，有人類展示當訓練資料是最好的51F 10/17 01:54
→ yunf: 你講的這個二十年後做不做的出來還是個問題
更何況要能用得起
現在玩的都還是剛草創而已
電力就不夠了
其實這也都是個騙局
要夠不夠都取決於他要怎麼用
經濟部也只能瞎找電
真的管制誰在用演算法的那個人才是關鍵
你們要想想在這個賽局最後
投入那麼多
你能否真的完全擁有一個堪用的機器人?
還是又是幫人養老婆?
這些資料庫雲端都不是台灣本身的技術台灣都是搞些有名無實的代工53F 10/17 02:03
→ Zepho: 例如球發射後卡在天花板 照你說的訓練 機器人永遠不可能找到方法把球拿下來67F 10/17 03:44
→ yunf: 沒有什麼是永遠的
不過我想到的事情你還沒想到
你是否能擁有一個堪用的機器人?
說不定20年後你都還等不到你想要的那種
20年後你的主權還剩多少?
你懂他們真的想要的是什麼嗎?69F 10/17 03:59
噓 Coslate: 現在一堆做MBRL 唸書很難？75F 10/17 04:21
推 molopo: 用講的很簡單76F 10/17 06:16
噓 KuoJia: 哪裡沒有？對岸也都在做 你可能是指agi強人工智慧吧？77F 10/17 06:27
→ WenliYang: 機器人世界 還早得很 死前都不會發生79F 10/17 06:44
噓 SilverFocus: 怎麼會有人天真的覺得只有自己想到？80F 10/17 07:05
→ dildoe: 連搞遊戲都有逆運動了 何不用現成的？XD81F 10/17 07:55
噓 neon7134: 典型的沒資本沒腦袋 還一天到晚以為人家都想不到我的方法好笨82F 10/17 08:17
噓 ian41360: 機器人：把亂丟球的猴子殺了就不用撿球了84F 10/17 08:30
噓 kkes0001: 多看點論文
蠢不是問題，問題是不會查資料85F 10/17 08:42
→ auther: google 的桌球機器人 paper 就是這樣啊87F 10/17 08:49
推 ohlong: RL沒有比學真人來得快 像tesla這次vr操控機器人的方式 其實也是可以拿來建data去training88F 10/17 09:31
噓 JJiaK: 你怎麼知道沒有?90F 10/17 09:49

--
作者 seal46825 的最新發文:
點此顯示更多發文記錄