2026-09-07 12 min read -- 次瀏覽

Ollama 本地部署實戰：開箱即用的私密 LLM

一台普通電腦就能跑的開源大模型部署方案，離線、免費、隱私有保障。

本地部署 Ollama本地模型LLM 問小墨這篇的內容
Ollama 本機部署示意
Ollama：把開源模型變成你隨身的本機 API。

📌 本篇文章重點

  • Ollama 是一鍵在本機跑開源 LLM 的工具，免費、離線、隱私不外流。
  • 從安裝到呼叫 API，10 分鐘完成，甚至不用寫程式。
  • 模型選擇建議：8GB 記憶體跑 7B，16GB+ 才能舒服跑 14B 以上。
  • 它提供 OpenAI 相容 API，原來的程式幾乎不用改。

一、為什麼這篇值得看？

用雲端 API 很方便，但有些人場景不允許：離線環境、隱私資料、長期的成本，或只是玩票不想綁死一家供應商。Ollama 把「在自家電腦跑 LLM」這件事，從地獄級門檻降到一鍵安裝。

重點是它的 API 與 OpenAI 相容——今天學會，明天接哪家都順手。

二、核心概念，3 分鐘搞懂

Ollama 做的其實不多：幫你下載模型、管理模型、用一行指令在本地開 API。它自己不是模型，而是模型的「執行器＋下載器」。

💡 一句話總結

Ollama =「模型開箱即用」的本地工具。你負責選模型，它負責跑起來。

三、動手實作：3 步在本機喚醒一個 AI

Step 1

安裝 Ollama

macOS / Linux / Windows
# macOS（或至官網下載 App）
curl -fsSL https://ollama.com/install.sh | sh

# 安裝後確認
ollama --version
Step 2

下載並執行一個模型

Bash
ollama pull qwen2.5:7b    # 先下載
ollama run qwen2.5:7b     # 互動對話試試看

>>> 用一句話介紹你自己？

💡 選模型原則

你的可用記憶體（RAM/VRAM 較小者）決定能跑多大的模型：8GB → 7B 等級；16GB → 14B 等級。顯卡（GPU）愈強，產出速度愈快。

Step 3

用 API 呼叫它（OpenAI 相容）

Python
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # Ollama 本地端點
    api_key="ollama",                      # 可任意填
)

resp = client.chat.completions.create(
    model="qwen2.5:7b",
    messages=[{"role": "user", "content": "寫一句推薦書的文案"}],
)
print(resp.choices[0].message.content)

四、常用模型選擇表

模型參數量建議硬體適合
qwen2.5:0.5b0.5B4GB 記憶體嵌入、腳本、測試
qwen2.5:7b7B8GB 記憶體日常問答、中文寫作
llama3.1:8b8B8GB 記憶體英文任務、程式生成
qwen2.5:14b14B16GB 記憶體推理與翻譯品質更好
nomic-embed-text嵌入款任何機RAG 向量化

五、常見問題（FAQ）

Q1我的 CPU 也能跑嗎？

可以，只是慢。7B 模型在 CPU 上約每秒幾個 token，夠測試，但即時聊天體驗不佳。想要速度還得靠 GPU。

Q2為何輸出比雲端模型差？

正常。開源 7B 的綜合能力本來就低於頂級閉源模型。本機優勢在於免費、離線、隱私，不在於單點打榜。

Q3要釋放被模型佔用的記憶體？

`ollama stop ` 停止常駐模型；換模型時 Ollama 會自動卸載不用的。

總結

三個指令（安裝、下載、執行）就擁有自己的 AI，還附送 OpenAI 相容 API。先從 7B 開始跑順，想要在哪個面向上強，再回來換模型——本機部署的路，這條是最省力的起點。

問小墨 AI