回看板
Disp BBS
作者 pacino (掃地僧)
標題 Re: [新聞] 博通報喜 ASIC台廠有看頭
時間 Mon Dec 16 08:25:16 2024

ASIC 應該是主要用在inference.
Inferrence晶片的複雜度沒像training 晶片那麼高。

NVDA在資料中心的霸主地位，目前還沒有看到威脅。

Device端的推論, 競爭者有幾家, 最後就是殺價競爭。


結論: Strong 拜 NVDA

chatgpt的分析如下：

Inference（推論）和 Training（訓練）在深度學習中的晶片設計存在一些顯著差異，主要是由於兩者的計算需求和工作負載特性不同。以下是它們的關鍵差異：

1. 計算類型需求

                Training:
                訓練需要執行大規模的矩陣運算（如前向傳播、反向傳播和梯度更新），這涉及到大量的浮點數運算（特別是 32-bit 或 16-bit 浮點數）。
                訓練需要支持高精度和高吞吐量的運算，以保證模型的學習效果。
                Inference:
                推論通常關注延遲（latency）和能效（power efficiency），需要更快但稍微低精度的運算（如 INT8 或 BF16）。
                計算需求相對較少，更多依賴優化的推論加速和模型壓縮技術。

2. 記憶體需求

                Training:
                訓練時需要存儲和操作巨大的參數矩陣、中間激活值和梯度。
                需要非常高的記憶體頻寬和容量來支持多層模型的並行運算。
                Inference:

                推論只需要讀取已訓練好的模型參數和執行前向傳播，所需記憶體更少。
                記憶體頻寬需求較低，但對於較大的模型可能仍需優化記憶體訪問。

3. 架構設計

                Training:
                訓練晶片（如 NVIDIA A100、H100，TPU v4）通常設計為通用型，支持多種運算需求（矩陣計算、高精度浮點運算等）。
                晶片內有更多的計算單元（如 Tensor Core 或 Matrix Processing Units）和更大的記憶體（如 HBM）。
                Inference:
                推論晶片（如 NVIDIA T4、Jetson Orin，TPU Edge）通常針對低功耗和實時性進行優化。
                設計更專注於 INT8 或類似格式的低精度運算，加速特定操作如卷積和激活函數。

4. 功耗和散熱

                Training:
                訓練晶片通常功耗較高，因為需要處理高吞吐量的計算任務。
                設備多部署於資料中心，配備強大的散熱和供電系統。
                Inference:
                推論晶片針對能效進行優化，功耗較低（特別是在邊緣設備上）。
                更適合嵌入式或移動設備環境。

5. 部署場景

                Training:
                通常在大型資料中心或超算設施中運行，依賴分布式系統進行大規模運算。
                Inference:
                部署在多種場景，包括資料中心（如雲服務）、邊緣設備（如手機、IoT 裝置）、自駕車系統等。

總結

                Training 晶片 強調高效的並行計算、精度和記憶體帶寬，適用於離線的高強度模型訓練。
                Inference 晶片 更關注延遲和能效，專為實時或低功耗環境設計。

因此，廠商通常針對這兩類需求分別開發晶片，以滿足不同場景的需求。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.249.89.67 (臺灣)
※ 作者: pacino 2024-12-16 08:25:16
※ 文章代碼(AID): #1dNtDk64 (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1734308718.A.184.html
※ 同主題文章:
[新聞] 博通報喜 ASIC台廠有看頭
12-16 00:31 obrag
Re: [新聞] 博通報喜 ASIC台廠有看頭
12-16 00:54 TroyeSivan
Re: [新聞] 博通報喜 ASIC台廠有看頭
12-16 08:25 pacino
推 beagle2001: NVDA 不曉得何時要發動1F 12/16 09:11
推 ohsexygirl: 有沒有機會130啊，摩拳擦掌2F 12/16 09:56
推 xm3u4vmp6: 感覺NV需要一個假跌破 灌下去 或是下次財報3F 12/16 10:16
推 sdbb: 99nvdl4F 12/16 10:37
→ pacino: 目前鐵底大概是120，130有點機會。5F 12/16 11:01
推 ImHoluCan: 巨頭都是第一個月跌，第二第三個月漲
看似Nvidia 不行了，然後做空結果被拉爆，每次破位就ㄧ堆人搶6F 12/16 11:36

--
作者 pacino 的最新發文:
點此顯示更多發文記錄