Apple Silicon(M 系列)Mac 很適合離線跑 AI 模型——不上雲、最隱私、沒有 API 費用。最簡單的工具是 Ollama。本文由 iLab 學校技術長帶你跑起來。
# 方法一:到 ollama.com 下載安裝
# 方法二:用 Homebrew
brew install ollama
# 下載並啟動一個模型(第一次會自動抓)
ollama run llama3.2
執行後就能在終端機直接對話,完全離線。
ollama list # 看已下載的模型
ollama run qwen2.5 # 換一個模型跑
ollama rm llama3.2 # 移除模型釋放空間
統一記憶體讓 CPU/GPU 共用大記憶體,神經網路引擎加速推論,跑本機模型又快又省電。記憶體越大,能跑的模型越聰明(16GB 起跳體驗較好)。
不想用終端機,改裝 LM Studio:視窗化下載模型、聊天、調參數,對新手更友善。