在 Apple Silicon Mac 跑本地大型語言模型(Ollama 入門)
技 iLab學校技術長進階技術・終端機・系統維修・已於 macOS 26、M 系列 實測這支國外創作者的英文教學完整示範安裝流程;想照繁中步驟做,往下看 iLab 整理。
開始前
先看結論
Apple Silicon(M 系列)Mac 很適合離線跑 AI 模型——不上雲、最隱私、沒有 API 費用。最簡單的工具是 Ollama。本文由 iLab 學校技術長帶你跑起來。
安裝與第一次對話
# 方法一:到 ollama.com 下載安裝
# 方法二:用 Homebrew
brew install ollama
# 下載並啟動一個模型(第一次會自動抓)
ollama run llama3.2
執行後就能在終端機直接對話,完全離線。
常用指令
ollama list # 看已下載的模型
ollama run qwen2.5 # 換一個模型跑
ollama rm llama3.2 # 移除模型釋放空間
為什麼用 Apple Silicon 跑
統一記憶體讓 CPU/GPU 共用大記憶體,神經網路引擎加速推論,跑本機模型又快又省電。記憶體越大,能跑的模型越聰明(16GB 起跳體驗較好)。
想要圖形介面
不想用終端機,改裝 LM Studio:視窗化下載模型、聊天、調參數,對新手更友善。
操作步驟
常見問題
需要多大記憶體?
小模型(3B 參數)8GB 可跑;7~8B 建議 16GB;更大的模型要 32GB 以上。記憶體越大、能跑的模型越聰明。
跑本機模型要付費嗎?
Ollama 與開源模型本身免費,只用你的硬體。不上雲,也不會產生 API 費用,適合大量或機敏用途。