Ollama 大模型CTX的解釋+大模型移除+8G顯卡模型推薦和設定 教學備份

資料來源: 

https://chatgpt.com/share/69cc7fee-64d0-8323-b0ba-3b9461fe1763

CTX的解釋

    1. CTX 是什麼？

    CTX = Context Window（上下文視窗）

    簡單講就是： 模型「一次能記住多少內容」來進行推理

    ==

    2. K 是什麼單位？

    K = 千（kilo）

    標示    實際 Token 數
    4K    約 4,096 tokens
    8K    約 8,192 tokens
    32K    約 32,768 tokens
    128K    約 131,072 tokens

    ==

    3. Token ≠ 字數（很重要）

    Token 不是「字」，但可以粗略估算：

    英文：1 token ≈ 0.75 個單字
    中文：1 token ≈ 1 個字（大致）

    👉 所以：

    8K ≈ 約 8,000 中文字
    32K ≈ 約 3 萬字內容

    ==

    4. CTX 對你使用 OpenClaw 的影響
    ✅ CTX 越大

    優點：

    能處理長對話（像 ChatGPT 長記憶）
    可讀長文件（PDF、程式碼）
    多輪推理更穩定

    缺點：

    吃更多 VRAM（顯卡記憶體）
    推理速度變慢
    
~~~~~~~~~

在 Ollama中安裝數個模型 如何將不要的模型移除 減少浪費空間

    ollama list

        EX:
        NAME            SIZE
        llama3:8b       4.7 GB
        mistral:7b      4.1 GB
        codellama:13b   7.3 GB
    
    ollama rm 完整模型名稱
        EX:        

        ollama rm mistral:7b

            
~~~~~~~~~

OpenClaw + 8GB GPU + Ollama 篩選模型推薦

一、必裝模型（強烈建議）
    🧠 1. 通用聊天主力

    👉 Llama 3 8B Instruct

        ollama pull llama3:8b-instruct-q4_K_M
        ✔ 建議設定（可選）
            ollama run llama3:8b-instruct-q4_K_M
                /set parameter num_ctx 8192

                
    2. 程式專用模型

    👉 DeepSeek Coder 6.7B

        ollama pull deepseek-coder:6.7b-instruct-q4_K_M
        ✔ 建議設定（可選）
            ollama run deepseek-coder:6.7b-instruct-q4_K_M
                /set parameter num_ctx 8192

二、選配（視覺模型）
    3. 圖片理解

    👉 LLaVA 1.6 7B

        ollama pull llava:7b-v1.6-q4

        
三、安裝完建議檢查
  

   ollama list

    
四、進階（推薦你一定要做）
    建立固定設定（Modelfile）

    避免每次都手動設定 CTX：

    範例（Llama3）

        ollama create llama3-fast -f Modelfile
            FROM llama3:8b-instruct-q4_K_M
            PARAMETER num_ctx 8192
            PARAMETER temperature 0.7

            
五、空間 & VRAM 預估
    模型                     磁碟         VRAM
    Llama3 8B             ~4.5GB     ~5GB
    DeepSeek 6.7B       ~4GB       ~4.5GB
    LLaVA 7B               ~5GB       ~6GB