作者
標題 [新聞] 在智慧型手機上運行生成式AI的趨勢將在20
時間 Thu Aug 31 12:17:54 2023
標題 [新聞] 在智慧型手機上運行生成式AI的趨勢將在20
時間 Thu Aug 31 12:17:54 2023
1.原文連結：連結過長者請使用短網址。
https://bit.ly/3YVVYMf
![[圖]](http://iknow.stpi.narl.org.tw/Post/Figures/2023/market/computer_19948_20230829.png)
2.原文標題：標題須完整寫出且須符合內文(否則依板規刪除並水桶)。
在智慧型手機上運行生成式AI的趨勢將在2024年實踐
3.原文來源(媒體/作者)：例:蘋果日報/王大明(若無署名作者則不須)
科技產業資訊室 / 茋郁
4.原文內容：請刊登完整全文(否則依板規刪除並水桶)。
借助生成式AI，智慧型手機可以成為人們真正的數位助理。用戶可以使用它自動閱讀或撰
寫電子郵件、起草文檔和創建演講文稿。AI驅動的座艙將使駕駛員和乘客能夠更自然地互
動和控制娛樂、導航和車輛功能，從而創造更加個性化和直觀的體驗。
寫電子郵件、起草文檔和創建演講文稿。AI驅動的座艙將使駕駛員和乘客能夠更自然地互
動和控制娛樂、導航和車輛功能，從而創造更加個性化和直觀的體驗。
不過，AI的討論主要集中在雲端上。ChatGPT使用大量的處理、儲存和記憶體。到目前為
止，大部分重點都集中在訓練和完善新模型上，這些模型通常在雲端進行。
但從2024年開始，三星和OnePlus的全新手機可以運行由Meta對ChatGPT的解決方案提供支
持的生成式AI應用程式，這是屬於On-Device AI。Meta已與智慧型手機晶片商高通和聯發
科技建立了單獨的合作夥伴關係，以使其升級成為現實。
持的生成式AI應用程式，這是屬於On-Device AI。Meta已與智慧型手機晶片商高通和聯發
科技建立了單獨的合作夥伴關係，以使其升級成為現實。
聯發科技於2023年8月23日透露，將發布一款利用Meta生成式AI系統Llama 2大語言模型（
LLM），為其下一代旗艦晶片組天璣9300帶來裝置上的生成式AI功能。其實，高通公
司也在2023年 7月宣布與Meta建立類似的合作夥伴關係。
目前，像ChatGPT這樣需要大量數據的生成式AI工具的運行成本極高，因為它們需要依賴
於遠程雲端伺服器。一旦將生成式AI在手機上本地運行，這將有助於降低開發人員的經濟
成本，進而可以為用戶帶來大量新的應用程式和服務。
於遠程雲端伺服器。一旦將生成式AI在手機上本地運行，這將有助於降低開發人員的經濟
成本，進而可以為用戶帶來大量新的應用程式和服務。
Meta正試圖通過免費贈送代碼來鼓勵開發人員使用其AI大語言模型。一些專家警告說，這
種自由放任的做法可能會導致不良行為者利用該技術達到邪惡目的。
對於普通公眾來說，最終結果可以提供量身客製化的個人助理，根據您的興趣、網路活動
、健身數據、位置甚至您說話的方式提供建議和提示。這些所謂的AI代理將有各種不同的
性格供你與之互動。而且，由於這些新服務將在您的手機上運行，因此理論上您的數
、健身數據、位置甚至您說話的方式提供建議和提示。這些所謂的AI代理將有各種不同的
性格供你與之互動。而且，由於這些新服務將在您的手機上運行，因此理論上您的數
據將比在雲端上的數據更加隱密和安全。最後，更廣泛的好處將是減少能源消耗。
眾所周知，維持聊天機器人運行的數據中心需要大量的水來冷卻。事實上，研究人員最近
發現，訓練ChatGPT至少消耗了70萬公升水，而與機器人的平均對話相當於打翻了500毫升
的瓶子。
發現，訓練ChatGPT至少消耗了70萬公升水，而與機器人的平均對話相當於打翻了500毫升
的瓶子。
從整體發展趨勢來看，Meta並不是唯一一家致力於將生成式AI引入智慧型手機的公司。谷
歌最近宣布，它成功地在行動裝置上運行了其最新大型語言模型PaLM 2的輕量級版本，這
也為將來On-Device AI帶來了契機。
歌最近宣布，它成功地在行動裝置上運行了其最新大型語言模型PaLM 2的輕量級版本，這
也為將來On-Device AI帶來了契機。
5.心得/評論：內容須超過繁體中文30字(不含標點符號)。
隨著生成式 AI 的處理需求、使用案例和使用者增加，在裝置上執行的 AI（On-device
AI）將在讓生成式 AI 在各個應用程式和產業中擴展，並擴展到更多邊緣裝置中，扮演不
可或缺的角色。在裝置上啟用生成式 AI 將有助於在任何地方加速採用，並減少雲端基礎
設施成本的上升。
可或缺的角色。在裝置上啟用生成式 AI 將有助於在任何地方加速採用，並減少雲端基礎
設施成本的上升。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣)
※ 作者: stpiknow 2023-08-31 12:17:54
※ 文章代碼(AID): #1ay1Hqwx (MobileComm)
※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1693455476.A.EBB.html
推 : 重點是手機上運行生成式AI對一般人有什麼重大幫助嗎？比如 Siri ,幫我下單買進一檔明天會漲停的股票？或 siri ,在ptt 幫我發文帶風向 我有30公分！1F 08/31 12:24
推 : 自動駕駛概念啊4F 08/31 12:34
→ : 智能終端應該還是主打隱私，怎麼簡化模型，並考慮手機低蒜粒、運行功耗，要有一定的技術積累，目前手機廠大概只有蘋果谷歌公開較多技術細節
https://machinelearning.apple.com/7F 08/31 13:45
https://machinelearning.apple.com/7F 08/31 13:45
推 : 蒜粒，笑死11F 08/31 14:30
→ : 這精簡化的model吧，原本幾千億參數的model不可能在手機跑的，光容量就裝不下，RAM也不夠。精簡版能力很有限吧…12F 08/31 15:09
推 : 也不一定要用LLM，說到底LLM能不能成為下一代AI的雛形還是個問題15F 08/31 15:29
推 : 邊緣運算，這是好方向17F 08/31 16:06
推 : 跑llama阿 手機效能就足夠了18F 08/31 16:31
--