研究
最高榮譽
嵌入式平台上語言模型的分析與最佳化
塞維亞大學資訊工程學系 — 學士畢業專題（資訊工程學系，電腦工程組），於協同研究獎學金期間完成，由 Jorge Fernández Berni 與 Delia Velasco Montero 指導（電子與電磁學系） · 專案負責人
系統性研究小型語言模型（SLM，十億至四十億參數）在 Raspberry Pi 5（BCM2712 SoC，8GB LPDDR4X）上進行本地推論的可行性與最佳化方案，作為資源受限環境下依賴雲端服務的本地替代方案。
本研究提出兩項軟體貢獻：以 C++ 撰寫的即時推論與硬體指標擷取系統 MonitorSystem，以及自動化計算衍生指標與產生比較視覺化圖表的 Python 函式庫 monitorviz。在此基礎架構上，設計並執行六組實驗序列，分別評估六款 SLM 的基準特性、量化等級、上下文視窗大小、預填批次大小、推論引擎，以及 Hailo-10H 硬體加速器——並以自訂指標整合輸送量、能源效率與參數量三項因素。
主要結果包括：主動散熱是不可或缺的條件（移除後輸送量最多下降 53%，六款模型中有四款低於互動使用門檻）；4 位元量化在此記憶體頻寬受限的平台上是最佳折衷方案；llama.cpp 在首個 token 延遲上最高可比 Ollama 快六倍。
本論文獲得最高榮譽，滿分 10 分。