總有些事情你不願再提，或有些人你不願再見。因為那些事或那些人，帶來的傷害你不想再被提起，更不想讓它們被翻出來討論。這就像有些資料，你絕對不想上傳到雲端，被別人看見，哪怕只是意外的可能。我懂，這些事有它的重量，也有它的價值。用本地的 LLM，其實就像給自己建了一座牢固的保險庫，所有的秘密都鎖在裡面，別人再也沒有機會碰觸。你儘管放心，無論是不可見的傷痕，還是那些需要深埋的資料，這一切，只有你能掌控。
以上文字改編自東邪西毒電影台詞。
本地跑 LLM 模型基礎說明
Ollama 是什麼？
Ollama 就像是一個超方便的管理員，專門幫你在自己的電腦上運行那些很厲害的大型語言模型（像 AI 聊天機器人那樣的東西）。但跟一般需要上網登入的chatGPT 不一樣，Ollama 是設計給本地運行用的，也就是說，你可以完全在自己的電腦上跑這些模型，所有資料都不會被傳到網路上，安全又私密。
Ollama 支援很多不同的開源模型，比如 Llama 3、Phi 3、Mistral，還能在 macOS、Linux 和 Windows 上用。所以，不管你用什麼系統，只要電腦夠強，Ollama 都能幫你在本地跑起來，讓你用自己的 AI 工具。
Open Web UI 是什麼？
想像一下，Open Web UI 就像是一個超直覺的網頁工具，讓你可以輕鬆跟一個超聰明的 AI 模型聊天或測試它的能力。而且它是離線運作的，也就是說，你不需要把任何資料傳到網路上，一切都可以在你自己的電腦裡完成。這對於那些不想把隱私洩露出去的人來說，超級安全。
簡單講，你不用寫什麼指令，就可以讓你和下載回來的模型互動。
舉個例子，假設你下載了一個 AI 模型，但不知道怎麼用它。Open Web UI 就是幫你處理這一切的平台，你只要點幾下滑鼠、輸入問題，它就會幫你跟 AI 模型互動，非常方便。
Docker 是什麼？
你有一個程式，它需要一堆工具或特定的環境來運作，但這些工具可能在不同的電腦上很難設定，或者版本不相容。Docker 就能把這個程式和它所需要的所有工具（像作業系統、程式庫等）打包成一個「容器」。
這個容器就像一個獨立的小空間，裡面什麼都有，讓你的程式可以不受外部環境影響正常運行。這個容器很輕、很方便，拿到哪裡都可以用，在 Windows、macOS 或 Linux 系統上都能跑得很好。
舉例：如果你想運行 Open Web UI，Docker 就幫你把所有技術細節（像伺服器環境、模型檔案等）都包裝好。你不需要手動安裝複雜的依賴程式，也不用擔心你的電腦系統是否符合要求，只要能運行 Docker 容器，就能讓 Open Web UI 順利工作（還是希望電腦效能越高越好啦）。
本地跑 LLM 模型前置需求
- Ollama 安裝
- 下載並安裝 Ollama 工具，詳情參考官方文件：Ollama 官方網站
- Docker 安裝
- 下載並安裝 Docker 工具，詳情參考官方文件：Docker 官方網站 。
- 硬體需求
- 以下步驟僅供Mac使用者參考。
- 強烈建議有一張支持 CUDA 的 GPU（如 NVIDIA 顯卡），以加速模型推理。
- 最好是用Apple M系列處理器。
本地跑 LLM 模型步驟教學
這個教學將指導你阿嬤如何利用 Docker 運行 Ollama 的大型語言模型，並利用 Open Web UI 與電腦本機中的模型進行互動，適合初學者或有本地部署需求的人。
第一步驟：下載 Ollama
Ollama 官方下載頁面，提供 macOS、Linux 和 Windows 的下載選項，我選擇的是 macOS 版本，點擊 ‘Download for macOS’ 按鈕即可，下載完成後再安裝，但你安裝完成之後，點擊 Ollama 應該不會有任何反應，因為它要靠 Docker 來啟動。
第二步驟：下載 Docker
Docker 官方首頁，顯示 ‘Download Docker Desktop’ 的下載按鈕，給它點擊下去，下載完成後再安裝。
第三步驟：啟動終端機並執行指令
在Mac打開你的終端機，然後，貼上下方的指令，接著就會開始下載相關映像檔，以及顯示下載進度和狀態，等它下載完之後就可以先不理它。
docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main
其他指令可參考：https://github.com/open-webui/open-webui?tab=readme-ov-file#installation-with-default-configuration
第四步驟：啟動 Docker
進入 Docker 界面，理論上，你會看到一個名為 ‘open-webui’ 的容器正在運作，綠燈表示狀態正常，端口為 3000:8080，容器使用的映像檔為 ‘open-webui/open-web’。
第五步驟：確認 Docker 容器運作中，並開啟 Web UI
此時，點擊右側 icon 就會跳出對應的 Web UI 界面。
第六步驟：進入 Open Web UI
這就是 Open Web UI 主頁，黑色背景搭配白色文字，標語為 ‘Explore the cosmos wherever you are’，下方有一個箭頭按鈕顯示 ‘Get started’ 點擊後，可以進入操作界面。
第七步驟：設定 Open Web UI 的管理員帳號
這是 Open Web UI 的初始化界面，用於建立管理員帳戶，填寫用戶名、電子郵件和密碼之後，再點擊 ‘Create Admin Account’按鈕即可建立帳號。
第八步驟：查看 Open Web UI 的更新日誌
理論上，會先看到 Open Web UI 的更新日誌視窗，我當時使用的版本號是 v0.4.4（2024-11-22），上面通常會寫些修復了什麼問題，可以點擊 ‘Okay, Let’s Go!’ 按鈕跳過即可。
第九步驟：進入 Open Web UI 界面
這是 Open Web UI 主界面，會先顯示 ‘Hello, 你的帳號’ 的歡迎語，搜尋框下會出現提供建議操作，例如 ‘Help me study’ 和 ‘Overcome procrastination’。
第十步驟：進入 Open Web UI 設定功能
Open Web UI 左側為側邊欄，包含工作區和搜尋功能，點擊用戶圖示。
第十一步驟：進入設定選單
展開後的選單，會顯示多個選項，包括 ‘Settings’、’Archived Chats’、’Playground’、’Admin Panel’ 和 ‘Sign Out’，點擊 ‘Settings’ 按鈕，可進入設定頁面。
第十二步驟：調整 Web UI 設定
Open Web UI 的設定頁面，顯示 ‘General’ 選項中的 Web UI 設定，包括主題（Theme）、語言（Language）和通知（Notifications）。語言設置為 ‘English (US)’，點擊語言選項，可切換語言。
第十三步驟：進入模型瀏覽界面
在 Open Web UI 模型界面，右側有 ‘>’ 按鈕，點擊後，可查看模型列表。
第十四步驟：查看模型列表
列表上方有搜尋欄，可以先搜尋關鍵字「Llama」，玩一下 Llama 系列的模型，目前我看到有 ‘llama3.2-vision’、’llama3.2’ 和 ‘llama3.1’，每個模型都有簡要介紹，例如模型大小和最新更新時間。
第十五步驟：選擇模型大小和版本
我們可以選擇模型大小的下拉選單，不然只會看到兩個選項 ’11b’（7.9GB）和 ’90b’（55GB）。
第十六步驟：查看模型標籤列表
以 Llama3.2-vision 模型的版本列表來看，它包含了很多版本 ‘latest’、’11b’ 和 ’90b’，建議不要選擇最大的模型，除非你的機器很強大。
第十七步驟：下載模型
在 Llama3.2-vision 模型的下載界面的右上角，點擊複製按鈕 icon，然後，把這複製好的指令貼在終端機裡去執行。
第十八步驟：終端機執行下載指令
在終端機畫面，貼上 ‘ollama run llama3.2-vision’ 指令後，就會開始下載模型，并且會顯示進度條，百分比和下載速度。
第十九步驟：完成模型下載
下載完成 Llama3.2-vision 模型後，會顯示所有資料都下載完成達到 100%。
第二十步驟：回到 Open Web UI
在 Open Web UI 模型設定界面，可以看到已成功載入 ‘llama3.2-vision:latest’ 模型，旁邊有啟用開關。
第21步驟：選擇模型
在 Open Web UI 主界面，點擊下拉式選單按鈕。
第22步驟：選擇 llama3.2-vision:latest 模型
Open Web UI 模型選擇列表，會呈現可用模型。
第23步驟：開始玩你的模型吧！
Open Web UI 聊天界面，接下來，就可以開始和你下載的模型來互動了。
Hugging Face 上的模型自己裝
哦！對了！如果覺得 Ollama 上的模型不夠多，或是沒有喜歡的，那麼在 Hugging Face 上也有很多模型可以玩， 只要在 Hugging Face 頁面「搜尋」GGUF格式的模型，就可以直接來讓 Ollama跑了。
如下圖為例，只要點擊Qwen2.5.1-Coder-7B-Instruct-GGUF左側的「複製 icon」之後，再到終端機裡輸入「ollama run hf.co/bartowski/Qwen2.5.1-Coder-7B-Instruct-GGUF」，就會開始下載這個模型，然後再返回 Open Web UI就可以看這個模型了。
有趣的是，我下載了阿里巴巴的通義千問，然後它一直說它自己是OpenAI開發的……。
