回看板
Disp BBS
作者 oopFoo (3d)
標題 [閒聊] 組裝Chat-LLaMA主機的規格
時間 Fri Mar 17 13:35:11 2023

自從Meta 的 LLaMA被流出版後，進展真的飛速。

現在可以自搞Alpaca了。原Stanford的Alpaca因為版權問題，不能外放。現在應該會有一堆流出版。
https://replicate.com/blog/replicate-alpaca
Train and run Stanford Alpaca on your own machine - Replicate – Replicate We'll show you how to train Alpaca, a fine-tuned version of LLaMA that can respond to instructions like ChatGPT. ...

 

已經有人開發出Mac的Chat-LLaMA版了。
https://github.com/antimatter15/alpaca.cpp
GitHub - antimatter15/alpaca.cpp: Locally run an Instruction-Tuned Chat-Style LLM
[圖]
Locally run an Instruction-Tuned Chat-Style LLM . Contribute to antimatter15/alpaca.cpp development by creating an account on GitHub. ...

 

Windows版，應該近日可期。


如果在自己的機器玩Chat-LLaMA，大概需要什麼樣的規格？(Training當然是另外一種規格)

以下是講4 bit quantized的需求，很粗略的估算
7B模型需要約8GB（4GB+4GB)
13B模型約16GB
30B模型約40GB
64B模型約85GB

現在聽說13B的性能與表現最能接受，但看發展速度，30B應該會是PC的應用主流。

所以現在組電腦，ddr5的32GB x 2條，應該是基礎，預算是先抓容量再抓速度。

DDR5在這裡的應用對DDR4會有優勢，目前價差應該是可接受，但預算太緊那還是選DDR4因為容量優先。

CPU就越多核越好，框框越多越好，小核在這超好用。

顯卡GPU因為記憶體少，所以不如CPU好用，然後買CPU一定要有內顯的，做保險。如果內顯加速版出來了，也許就不需要多核CPU了，目前難判斷就是。

所以喜歡買AMD的粉絲們，請多多考慮AM5，然後x3d應該是沒有優勢。

Chat-LLaMA實在發展太快，半年內應該會有各種應用出現，就像Stable Diffusion促進顯卡的需求。

下半年，多種應用出現(Ai助理)，可能又會有一波PC升級潮，這次記憶體需求應該會很旺盛。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.224.251.234 (臺灣)
※ 作者: oopFoo 2023-03-17 13:35:11
※ 文章代碼(AID): #1a4_mJJI (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1679031315.A.4D2.html
※ 編輯: oopFoo (36.224.251.234 臺灣), 03/17/2023 13:38:02
→ soulgem: 看來這局勢將對等等黨極度不利呢...1F 03/17 15:39
推 Chilloutt: 好險已經買了，除了lora,還可以玩別的了2F 03/17 18:10
推 Shigeru777: 還好已經裝滿128G了3F 03/17 18:26
→ dos01: 想太多了 不會每個人都想自己產色圖來給自己SAN值檢驗
正常顯卡的大宗用戶還是遊戲玩家4F 03/17 19:59
→ gw00086: 美光庫存200天 應該夠賣吧 ㄏ6F 03/17 20:26

--
作者 oopFoo 的最新發文:
點此顯示更多發文記錄