回看板
Disp BBS
看板 Stock
作者 xephon (′・ω・`)
標題 [新聞] 蘋果 AI 終於來了！誠意滿滿，4 種版本開
時間 Sat Apr 27 08:57:48 2024


原文標題：蘋果 AI 終於來了！誠意滿滿，4 種版本開源生成式 AI 模型 OpenELM

原文連結：https://tinyurl.com/478tzuy4

發布時間：2024-04-26

記者署名：鉅亨網

原文內容：

蘋果 (AAPL-US) 因在生成式 AI 領域的腳步太慢，遭微軟、OPenAI、Google 等科技公司
狠甩幾條街，即使執行長庫克表示，今年稍晚就會有生成式 AI 的新進展，仍無法挽回部
分投資人信心，今年迄今股價仍跌逾 12%。如今，蘋果總算有生成式 AI 的新舉措。


為了在加速生成式 AI 的發展，蘋果在開源 AI 平台 Hugging Face 上發布一個具有開源
訓練和推理框架的高效語言模型，名為 OpenELM。

據了解，OpenELM 有四種尺寸：2.7 億、4.5 億、11 億和 30 億個參數版本，定位於超
小規模模型，而微軟 Phi-3 模型為 38 億。 這種小模型運行成本更低，可在手機和筆記
型電腦等設備上運行。


同時，在 WWDC24 開發者大會之前，蘋果徹底開源了 OpenELM 模型權重和推理程式碼，
資料集和訓練日誌等。 而且，蘋果還開源了神經網路庫 CoreNet。

早在今年 2 月，庫克就表示，蘋果生成式 AI 功能將於「今年稍後」推出，有消息稱即
將在 6 月發布 iOS 18 可能是蘋果 iOS 史上 「最大」的更新，而 9 月也將推出首款
AI iPhone 設備。


如今，蘋果似乎在新一輪 AI 浪潮快到尾聲的時刻追趕上了產業腳步。

隨著 ChatGPT 風靡全球，近幾個月來，三星、谷歌、小米等手機廠商全面推進大語言模
型在手機、平板等端側上的使用，包括照片處理、文字處理增強等，並形成一大賣點 。
而蘋果很少透露且極少有類似的自備功能，主要是用第三方工具做到類似效果。


今年 2 月財報會議上，庫克首次公佈生成式 AI 計劃，並將在今年稍後將 AI 技術整合
到其軟體平台（iOS、iPadOS 和 macOS）中。

庫克表示，「我只想說，我認為蘋果在生成式 AI 和 AI 方面存在著巨大的機會，無需透
露更多細節，也無需超出自己的預期。展望未來，我們將繼續投資於這些和其他 將塑造
未來的技術。 其中包括 AI，我們繼續在 AI 領域花費大量時間和精力，我們很高興能在
今年晚些時候分享我們在該領域正在進行的工作的細節。」


事實上，自年初至今，蘋果在生成式 AI 領域動作不斷。 今年 3 月，蘋果技術團隊發表
論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》，首
次披露蘋果大模型 MM1，涵蓋 300 億參數、支援多模態、支援 MoE 架構，超半數作者屬
於 華人。

如今，針對手機、平板等端側領域，蘋果真正的開源模型終於來了。

根據論文顯示，蘋果開源了大語言模型 OpenELM，有指令微調和預訓練兩種模型版本，共
有 2.7 億、4.5 億、11 億和 30 億 4 種參數，提供生成文本、代碼、翻譯、總結摘要
等功能。


雖然最小的參數只有 2.7 億，但蘋果使用了包括 RefinedWeb、去重的 PILE、
RedPajama 的子集和 Dolma v1.6 的子集在內的公共資料集，一共約 1.8 萬億 tokens
資料進行了預訓練 ，這也是其能以小參數表現出超強性能的主要原因之一。

例如，11 億參數的 OpenELM，比 12 億參數的 OLMo 模型的準確率高出 2.36%，而使用
的預訓練資料卻只有 OLMo 的一半。

在訓練流程中，蘋果採用了 CoreNet 作為訓練框架，並使用了 Adam 優化演算法進行了
35 萬次迭代訓練。 而蘋果的 MobileOne、CVNets、MobileViT、FastVit 等知名研究都
是基於 CoreNet 完成的。

蘋果在論文中也表示，與以往只提供模型權重和推理程式碼並在私有資料集上進行預訓練
的做法不同，蘋果發布的版本包含了在公開資料集上訓練和評估語言模型的完整框架，包
括訓練日誌、多個檢查點和預訓練配置。 同時，蘋果也發布將模型轉換為 MLX 庫的程式
碼，以便在蘋果設備上進行推理和微調。


「此次全面發布旨在增強和鞏固開放研究社區，為未來的開放研究工作鋪平道路。」蘋果
研究團隊表示。


此外，OpenELM 不使用任何全連接層中的可學習偏移參數，採用 RMSNorm 進行預歸一化
，並使用旋轉位置嵌入編碼位置資訊。 OpenELM 也透過分組查詢注意力取代多頭注意力
，用 SwiGLU FFN 取代了傳統的前饋網絡，並使用了 Flash 注意力來計算縮放點積注意
力，能以更少的資源來進行訓練和推理。 同，蘋果使用了動態分詞和資料過濾的方法，
實現了即時過濾和分詞，從而簡化了實驗流程並提高了靈活性。 也使用了與 Meta 的

Llama 相同的分詞器，以確保實驗的一致性。

這次，蘋果很有誠意將程式碼開源，一開到底，把所有內容都貢獻出來了。 僅 1 天多的
時間，在模型 GitHub 平台上就獲得超過 1100 顆星。

而目前，大模型領域主要分為開源與閉源兩大陣營，國內外知名閉源的代表企業有
OpenAI、Anthropic、Google、Midjourney、百度、出門問問等；開源陣營有 Meta、微軟
、Google、 商湯、百川智能、零一萬物等。

蘋果身為手機閉源領域的領導者，這次卻罕見地加入開源大模型陣營。 有分析認為，這
可能在效法 Google 的方式先透過開源拉攏用戶，再用閉源產品去實現商業化營利。

同時，這也顯示蘋果進軍 AI 大模型領域的堅定決心。

作為同為端側模型、開源模型企業，商湯科技聯合創始人、首席科學家王曉剛近期對鈦媒
體 App 表示，開源還是對於整個社區的發展還是非常重要的，是一個重要驅動力。 最終
大模型的發展包括各種應用，還是要整個社區共同去推動的。 對於大模型的應用也分為
不同的層次，這麼多產業對應用的需求也是不一樣的，豐富的開源社群非常重要。




心得/評論：


蘋果手機銷量下滑，電動車研發失敗，Vision Pro市場需求低

AI 發展很早就有 Siri 但實在差別人太多，蘋果股價整個熊市走法

罕見的在WWDC大會以前，蘋果就在 Hugging face 公開 OpenELM 模型

https://huggingface.co/apple/OpenELM
apple/OpenELM ·  Hugging Face
[圖]
We’re on a journey to advance and democratize artificial intelligence through open source and open science. ...

 


這是真的急了! https://i.imgur.com/mWiRuiK.jpg
[圖]

蘋果跟一堆巨頭戰AI誰贏，我不知道

但我知道蘋果現金很多



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.218.93.74 (臺灣)
※ 作者: xephon 2024-04-27 08:57:48
※ 文章代碼(AID): #1cB4sNtI (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1714179479.A.DD2.html
※ 同主題文章:
[新聞] 蘋果 AI 終於來了！誠意滿滿，4 種版本開源生成式 AI 模型 OpenELM
04-27 08:57 xephon
Re: [新聞] 蘋果 AI 終於來了！誠意滿滿，4 種版本開
04-27 12:14 VVizZ
推 s56565566123: 不買單 還在跌1F 04/27 09:00
推 yan08572002: 爛蘋果就下去吧2F 04/27 09:01
推 Homeparty: 現在都開源在搶市場，訓練好的可以在手機執行3F 04/27 09:03
推 horseorange: 這次跟不上不敢關門造車囉4F 04/27 09:03
→ midas82539: 不就落後人家才搞開源想找免費義工強化自己優勢嗎5F 04/27 09:05
推 augustlion: 沒有夢想和創新了6F 04/27 09:05
推 g007: 庫克真的沒什麼創意7F 04/27 09:05
→ midas82539: 爛梗了啦，按照這間風格它覺得夠了就會停止開源8F 04/27 09:05
→ Homeparty: google很早就開源了9F 04/27 09:08
推 thetide0512: 老本總有一天啃完的 手腳被看破了10F 04/27 09:08
推 ppav0v0v: 蘋果好了啦 夕陽公司11F 04/27 09:10
推 g0t24568: 他早就該用了 搜集一堆用戶資訊12F 04/27 09:14
推 arx3721: 說真的三星鏡頭放大方便追星跟AI這次真的是贏了蘋果13F 04/27 09:17
推 y1896547: 重新定義14F 04/27 09:20
→ xephon: 蘋果推出AI手機，果粉買單嗎？15F 04/27 09:22
推 zx7860601: 開源讓人免費幫他寫 真不愧是庫克16F 04/27 09:23
推 EHacker: 最大更新不是iPad要內建計算機了嗎17F 04/27 09:25
→ FatFatQQ: 洗成AI公司就會漲了啦 資金太多不知道去哪parking 跟特斯拉一樣18F 04/27 09:29
→ Lipraxde: Mackbook pro 上跑出這種數據...真敢放出來啊20F 04/27 09:29
→ FatFatQQ: 華爾街就是這樣搞21F 04/27 09:29
推 lelena: 真正用的到的人不多,頂多嘗鮮,能上網打line就夠用了倒不如把續航力增加比較有實用22F 04/27 09:34
推 stocktonty: 從開創者變成跟隨者 不勝唏噓24F 04/27 09:35
推 phoenixna13: 會修出事業線嗎？不會？這幾年蘋果輸華為太多太多了25F 04/27 09:36
推 gowet: 最近的題材都只能是幻想阿，實體商做出來就是下去元宇宙崩過一次，現在輪到AI囉26F 04/27 09:36
推 FncRookie001: 我倒覺得不錯 嚴格來說蘋果一直都是跟隨者28F 04/27 09:39
→ j0987: 變不創新成熟製程+跟屁蟲29F 04/27 09:39
→ FncRookie001: 蘋果厲害的點是他能夠把自己的產品做成標竿然後賣最貴30F 04/27 09:40
推 harpuia: 下一代Nokia32F 04/27 09:42
推 theropod: AI手機能幹嘛？33F 04/27 09:42
→ knives: AI能夠幫忙打手遊嗎34F 04/27 09:44
噓 inoce: 賈伯斯吐血35F 04/27 09:46
推 aaa80563: 急了？36F 04/27 09:48
推 JUNGTE: 吃老本的IP了，老粉離不開而已37F 04/27 09:49
推 DDDDRR: 蘋果買單數不買偶數 偶數手機沒一個好38F 04/27 09:51
推 goodjop: 市場對庫克早失去耐心39F 04/27 09:53
推 martylin: 不用吹，東西拿出來用就知道40F 04/27 09:53
推 thetide0512: AI手機可以參考S24 拍照錄影真的超強
以後在即時翻譯上也會有更大突破41F 04/27 09:54
推 tonylolz: 擺給你抄還抄那麼久43F 04/27 09:55
推 mc2834: 蘋果以後乾脆轉為金融公司好了44F 04/27 09:55
推 Ogrish: 蘋果靠信仰就贏麻了  像台灣40％一樣45F 04/27 09:56
推 Lineage5415: 美國Htc46F 04/27 09:56
推 g007: 為什麽賈伯斯都沒好好培養接班人？台積電都先看到這點了47F 04/27 09:58
→ Ogrish: 不要最後功能還輸三星S23U更新AI……雖然都是靠蘋果商標贏銷售49F 04/27 09:58
→ knives: 要符合賈伯斯標準的接班人很難吧51F 04/27 09:59
→ g007: 蘋果除了IPHONE外，近五年沒有大開眼界的消費性電子產品。52F 04/27 09:59
→ knives: 而且老賈也沒有時間阿，又不像老張活那麼久54F 04/27 10:00
→ g007: 虛擬頭盔也是雷聲大雨點小，電動車也半途而廢55F 04/27 10:00
推 guanting886: 這家公司真的很進步 iPad 隔了10幾年終於要上計算機app了。amazing56F 04/27 10:01
推 Yisai: 下去吧，58F 04/27 10:02
→ guanting886: 原本都不屌使用者 硬是要用戶自己去下載一堆廣告的垃圾計算機跟蹩腳的spotlight算東西
我相信接下來蘋果可以撿過去的東西去完成令人難以置信的工廠創舉59F 04/27 10:02
噓 marco79811: 庫克真的是一個很沒料的甲63F 04/27 10:06
推 s7598261: 三星谷歌笑而不語64F 04/27 10:08
噓 zxcvb1234522: 現在滿街免費的大型語言模型，是燒錢AI還是賺錢AI?65F 04/27 10:11
推 b2060027830: 鴻海噴66F 04/27 10:11
推 PaulOneil1: Apple本該是最先走AI的，可惜庫克永遠是成本利潤導向67F 04/27 10:12
推 hensel: AI iPad計算機69F 04/27 10:12
推 KSUGOD: 越來越沒自已的特色了
11-15 根本都差不多70F 04/27 10:12
推 bing6715: 屁 沒能力
只會買回庫藏股的x公司72F 04/27 10:13
→ Adrian: 先買100萬台ai伺服器試個水溫74F 04/27 10:14
推 apolloapollo: 看破手腳 笑死75F 04/27 10:16
推 Looming: 這種公司都這樣啦 以為自己還有本事在那邊擠牙膏76F 04/27 10:16
推 ChoiceLife: 急了77F 04/27 10:16
→ Looming: 你各位還記得intc屌打AMD在那邊爽擠牙膏 不爽不要買的嘴臉嗎78F 04/27 10:17
推 superQQ: 好了啦就是Nokia2.0而已80F 04/27 10:17
→ WenliYang: 無聊的東西81F 04/27 10:18
推 strlen: 晚了82F 04/27 10:19
噓 zxcvb1234522: Siri加強版83F 04/27 10:20
推 kducky: 急了84F 04/27 10:20
噓 lise1017: 沒關係 大家都買中國手機和泡菜手機打爆台灣產業85F 04/27 10:21
推 doranako: 跟其他llm有何不同？86F 04/27 10:21
→ lise1017: 台灣產業不倒 貧富差距 高房價 不會好
只有全民事業 事業率100% 才有便宜房價 對岸已經示範
事業x 失業o87F 04/27 10:22
推 bodple: 高價位過燙AI手機 溫暖你心91F 04/27 10:24
→ kichitai: 一般人其實對手機ai無感吧92F 04/27 10:26
推 QooSnow: 超高價框金的暖暖包。93F 04/27 10:27
推 cannedtuna: Ai OS的重點是跟系統整合的程度
有Siri當底蘋果的進度遠超微軟吧
Copilot連加個代辦事項清單都沒辦法
Siri只是笨了點但是整合很深94F 04/27 10:31
推 panda816: 結果股價跌了XD98F 04/27 10:31
推 dickey2: 台積電99F 04/27 10:31
推 DarkerDuck: 蘋果AI打不贏領先集團，當然開源軟體抱團啊
蘋果現在主要主攻開源小模型，手機自己就可以跑
不然之前Siri這種語音助理實在是太智障了208F 04/27 14:27
→ frank01: 做AI? 我看你蘋果還是先學會把產品品質作好吧，最近的二台平板都用不到2年就死機掛掉，xxx的！211F 04/27 14:31
→ twinmick: siri要進化成 airi了嗎?213F 04/27 14:33

--
作者 xephon 的最新發文:
點此顯示更多發文記錄