Token 是什麼？AI 世界的最小單位

Token（詞元或令牌） 是大型語言模型（LLM）處理文字時的最小單位。對一般人來說，它聽起來像是專業術語，但在我看來，這不過是「工程師讓機器懂人話」的一種手段，我從 80386 的年代一路走來，發現科技的本質其實沒變，一切都回到數字。

Token 的本質：AI 模型不是在看字，而是在看數字

AI 模型不會真正「讀懂」文字。在它的世界裡，所有的輸入都會被轉換成數字。這些數字代表特定的字、詞或符號。每個 Token 就像一顆積木，模型要做的事，就是不斷計算「下一顆積木應該是什麼」。

舉例來說，當你輸入「今天心情不錯」，模型實際在做的，是根據前面幾顆積木去「計算」下一顆最合理的 Token。

它不是在「思考」，而是在「計算」，但當它計算得夠多、夠準時，看起來就像在思考一樣

Token 怎麼切？靠分詞器（Tokenizer）

在模型運作前，所有文字都要先「切成小塊」，這個過程叫 Tokenization（分詞），而負責切的工具稱為 分詞器（Tokenizer），切得好不好，直接影響模型的效率與理解力。

Token 的組成方式

• Token 的大小不固定，它可能是：
  • 一個英文字母
  • 一個中文字
  • 一整個詞或片語
• 在英文裡，“Hello” 可能是一個 Token，但 “Tokenization” ，也可能被拆成 “Token” + “ization”。
• 在中文裡，「沒有」這類詞是一個 Token，但「台灣」通常是兩個 Token。

不同模型有不同切法

不同公司用的演算法不同。意思的指，雖然大家都在做「把文字切成 Token（分詞）」這件事，但每家公司設計 Tokenizer 的方式不同，所以切出來的結果也會不一樣。

舉個栗子，假設同一句話：「台灣很美」

Byte Pair Encoding

ChatGPT 使用的演算法叫 BPE（Byte Pair Encoding）→ 它會根據「哪些字常常一起出現」來學會合併。

OpenAI（ChatGPT） 的分詞器可能切成：[“台”, “灣”, “很”, “美”]（每個字都一個 Token）

SentencePiece

Google Gemini 使用 SentencePiece→ 它用機率方式學習「最可能的詞單位」，也能同時處理中、英文。

Google（Gemini） 的分詞器可能切成：[“台灣”, “很”, “美”]（「台灣」變成一個 Token）

這兩種切法都沒錯，只是演算法的規則不一樣。

為什麼要切？

因為模型的記憶容量有限，它能「記得」的內容是以 Token 數量計算的，如果切得太細，會浪費空間；切得太粗，又難理解語意。

最理想的分法，就像設計電路一樣，在效率與準確之間找到平衡。

Token 與費用：每一個 Token 都算錢

在 AI 模型的世界裡，Token 不只是資料單位，更是計費單位。

常見的 Token 類別

• 輸入 Token（Input Tokens）：你輸入的內容。
• 輸出 Token（Output Tokens）：模型回覆給你的內容。

在商業版 API 或 ChatGPT Pro、Claude、Gemini 等服務中，你每打一個字、模型每回一句話，背後都在消耗 Token，這也就是為什麼每次執行 AI 指令，都會對應到使用成本。

進階模型中的其他 Token

• 快取 Token（Cached Tokens）：重複使用的對話內容，不重算費用。
• 推理 Token（Reasoning Tokens）：模型內部「思考步驟」時使用的額外 Token。

我覺得這很像 1970 年代的電路設計，那時要精算每個腳位、每顆電阻的功耗，今天的 AI 模型，也是一樣，只是我們算的是 Token。

為什麼要懂 Token？三個理由

如果你想更聰明地使用 AI 工具，理解 Token 是基本功，它能幫你控制成本、提升效率、甚至更深入理解模型運作邏輯。

1. 控制成本：長篇 prompt、重複指令或冗長對話都會增加 Token 消耗。 想省錢，就學會寫短而精準的指令。
2. 控制記憶：模型的記憶空間有限（例如 GPT-4o 支援 128K Token，大約 10 萬字），超過範圍就會被截斷，懂 Token，就能讓模型記住重點。
3. 理解模型思考方式：一旦知道 AI 其實只是「計算出下一個 Token」， 你就不會把它神化，而會像我一樣去欣賞那背後的數學之美。

常見問題