Windows 建置運行本地大模型步驟紀錄(Windows+Ollama+qwen3.5)
Windows 建置運行本地大模型步驟紀錄(Windows+Ollama+qwen3.5)
資料來源: https://www.youtube.com/watch?v=rggcjvP2i0Q
https://www.dhzyw.com/archives/7891.html
GITHUB: https://github.com/jash-git/Windows-Ollama-qwen3.5
01.安裝OllamaSetup.exe [下載位置: https://ollama.com/download/windows]
建置環境變數: 變數名稱：OLLAMA_HOST | 變數值：0.0.0.0:11434
重啟Ollama
IPCONFIG 取得本地端地址(EX:192.168.0.178)
在瀏覽器上測試 http://127.0.0.1:11434/ 和 http://192.168.0.178:11434/ 都要看到 『Ollama is running』提示文字
02.下載可用的本地模型 https://ollama.com/search
下載千問3.5: https://ollama.com/library/qwen3.5:4b
使用系統管理者開啟Powershell並用下列命令 『ollama run qwen3.5:4b』 進行安裝
顯卡記憶體4G: 可以使用4B模型
顯卡記憶體8G: 可以使用7B模型
03.然後在Ollama的GUI上選擇對應模型後 就可以進行本地詢問測試大模型
EX: 你是誰
PS.我的NB系統和Ollama系統設定截圖都在對應GITHUB中
One thought on “Windows 建置運行本地大模型步驟紀錄(Windows+Ollama+qwen3.5)”
我想要在本地端使用Ollama 建立本地LLM模型 給OpenClaw 使用
我的顯卡內存只有8G
請推薦對應的模型給我參考
https://chatgpt.com/share/69cb3ab6-ae00-83aa-966f-9c7d8ecf8dfa
llama3.2:8b-instruct-q4_K_M
llama3.1:8b-q4_K_M
安裝命令:
qwen2.5-coder:7b-q4_K_M
qwen2.5-coder:7b-q5_K_M（品質更好）
安裝命令:
https://gemini.google.com/share/dc22b5488960
Llama 3.3 8B / Llama 3.1 8B
安裝命令: ollama run llama3.1:8b (預設即為 Q4 量化)
Qwen 2.5 7B / Qwen 3 7B (最新)
安裝命令: ollama run qwen2.5:7b
Mistral Small 3 7B
安裝命令: ollama run mistral:7b
https://grok.com/share/bGVnYWN5LWNvcHk_664e85b9-b59b-4a8b-8de3-02b96c72fc03
qwen3:8b 或 qwen3-coder:8b
安裝命令: ollama pull qwen3:8b
voytas26/openclaw-qwen3vl-8b-opt
安裝命令: ollama pull voytas26/openclaw-qwen3vl-8b-opt
glm-4.7-flash 或 glm-4.7
安裝命令: ollama pull glm-4.7-flash