Token 是什麼？意思、中文怎麼算、一個 token 等於幾個字

Token 是大型語言模型（LLM）處理文字時的最小單位，對一般人來說，它聽起來像是專業術語，但在我看來，這不過是「工程師讓機器懂人話」的一種手段，我從 80386 的年代一路走來，發現科技的本質其實沒變，一切都回到數字。

Token 的本質：AI 模型不是在看字，而是在看數字

AI 模型不會真正「讀懂」文字。

在 AI 的世界裡，所有的輸入都會被轉換成數字，這些數字代表特定的字、詞或符號。

每一個 Token 就像一顆積木，模型要做的事，就是不斷計算「積木的下一個積木應該是什麼」

舉例來說，當你輸入「今天心情不錯」，AI 實際在做的，是根據前面幾顆積木去「計算」下一顆最合理的 Token。

AI 的本質，它不是在「思考」，而是在「計算」，但當 AI 學習過的資料越多、計算出來的結果就好像在思考一樣

所以，當 AI 收到錯誤的資料，就會造成大量錯誤的資料產出，所以，AI 在學習的過程中沒有「乾淨」的資料，就會有「不乾淨」的回答。

Token 怎麼切？靠分詞器（Tokenizer）

在模型運作前，所有文字都要先「切成小塊」，這個過程叫 Tokenization（分詞），而負責切的工具稱為分詞器（Tokenizer），切得好不好，直接影響模型的效率與理解力。

Token 的組成方式

• Token 的大小不固定，它可能是：
  • 一個英文字母
  • 一個中文字
  • 一整個詞或片語
• 在英文裡，“Hello” 可能是一個 Token，但 “Tokenization”，也可能被拆成 “Token” + “ization”。
• 在中文裡，「沒有」這類詞是一個 Token，但「台灣」通常是兩個 Token。

不同模型有不同切法

不同公司用的演算法不同，意思是，雖然大家都在做「把文字切成 Token（分詞）」這件事，但每家公司設計 Tokenizer 的方式不同，所以切出來的結果也會不一樣。

那一個 Token 到底等於幾個字？這題沒有標準答案，要看模型，也要看語言。英文有個好記的比例：「一個 Token 大約 4 個字母，100 個 Token 大約 75 個英文單字」。中文比較吃虧，平均一個中文字大約要 1 到 2 個 Token，越舊的模型切得越細，新一點的模型（像 GPT-4o）對中文就省一些。想知道你打的字實際會被切成幾個 Token，直接去 OpenAI 的 Tokenizer 工具貼上去試最準。

那換算成錢呢？同一段內容翻成兩百種語言丟進分詞器去數，用 GPT-3.5、GPT-4 那一代的切法，繁體中文要的 Token 數是英文的 2.18 倍，更舊的 GPT-2 是 3.16 倍，差最多的語言甚至到 15 倍左右（Petrov 等人，2023）。API 是按 Token 計費的，意思就是：在那一代模型上，同樣一個問題用中文問，帳單可能是用英文問的兩倍，等於多繳一筆「語言稅」。GPT-4o 之後換了新的分詞器，中文省了一些，但到底省多少要看模型，所以我的建議是：要大量跑 API 的專案，估預算時別直接拿英文的範例數字來算，先拿你自己的中文資料去 Tokenizer 量一次。

舉個栗子，假設同一句話：「台灣很美」

Byte Pair Encoding

ChatGPT 使用的演算法叫 BPE（Byte Pair Encoding）→ 它會根據「哪些字常常一起出現」來學會合併。

OpenAI（ChatGPT）的分詞器可能切成：[“台”, “灣”, “很”, “美”]（每個字都一個 Token）

SentencePiece

Google Gemini 使用 SentencePiece→ 它用機率方式學習「最可能的詞單位」，也能同時處理中、英文。

Google（Gemini）的分詞器可能切成：[“台灣”, “很”, “美”]（「台灣」變成一個 Token）

這兩種切法都沒錯，只是演算法的規則不一樣。

為什麼要切？

因為模型的記憶容量有限，它能「記得」的內容是以 Token 數量計算的，如果切得太細，會浪費空間；切得太粗，又難理解語意。

但切得粗一點，模型就一定比較懂嗎？其實不一定，因為中文字的「部首」本身就帶意思，像「氵」三點水的字大多跟水有關，而在電腦的編碼裡，同部首的字開頭常常長得一樣，所以很容易被切到同一個 Token。有一篇 2025 年的研究拿 GPT-4、GPT-4o、Llama 3 去測，發現 Token 的切法只要跟部首對不上，模型判斷字義、判斷兩個字像不像，都會系統性出錯（Haslett，2025）。更反直覺的是：整個字被當成一個 Token 的中文字，模型反而比拆成好幾個 Token 的字更不準。

這就像查字典時把部首撕掉，字還在，線索卻沒了。所以「切得越粗越好」這個直覺是錯的，切法有沒有順著語言本身的結構，比切成多大塊更重要。

那打錯一個字，影響有多大？比你想的大，因為一個「錯字」就會讓切出來的 Token 跟著變掉，模型看到的其實是另一組數字。研究發現大型語言模型對錯字和格式變化都很敏感，模型越大越撐得住，但問題不會消失（Chai 等人，2024）。所以重要的指令送出前，花十秒看一下有沒有錯字，這比你事後再追問三輪划算多了。

最理想的分法，就像設計電路一樣，在效率與準確之間找到平衡。

Token 與費用：每一個 Token 都算錢

在 AI 模型的世界裡，Token 不只是資料單位，更是計費單位。

常見的 Token 類別

• 輸入 Token（Input Tokens）：你輸入的內容。
• 輸出 Token（Output Tokens）：模型回覆給你的內容。

在商業版 API 或 ChatGPT Pro、Claude、Gemini 等服務中，你每打一個字、模型每回一句話，背後都在消耗 Token，這也就是為什麼每次執行 AI 指令，都會對應到使用成本。

進階模型中的其他 Token

• 快取 Token（Cached Tokens）：重複使用的對話內容，不重算費用。
• 推理 Token（Reasoning Tokens）：模型內部「思考步驟」時使用的額外 Token。

我覺得這很像 1970 年代的電路設計，那時要精算每個腳位、每顆電阻的功耗，今天的 AI 模型，也是一樣，只是我們算的是 Token。

為什麼要懂 Token？三個理由

如果你想更聰明地使用 AI 工具，理解 Token 是基本功，它能幫你控制成本、提升效率、甚至更深入理解模型運作邏輯。

1. 控制成本：長篇 prompt、重複指令或冗長對話都會增加 Token 消耗。想省錢，就學會寫短而精準的指令。
2. 控制記憶：模型的記憶空間有限，而且這個上限這幾年一直在往上推，OpenAI 現在的主力模型大約可以吃進 105 萬個 Token，換算成中文大概是八十萬字上下，等於好幾本書。但上限再大也還是有上限，超過就會被截掉，所以懂 Token 才知道怎麼讓它記住重點。
3. 理解模型思考方式：一旦知道 AI 其實只是「計算出下一個 Token」，你就不會把它神化，而會像我一樣去欣賞那背後的數學之美。

AI 學習之路，下一篇

推薦你閱讀《AI 幻覺是什麼？為什麼 AI 會一本正經地胡說八道》，讓你可以快速理解為什麼 AI 會時常回答出很奇怪的答案。

常見問題

參考資料

• Petrov, A., La Malfa, E., Torr, P. H. S., & Bibi, A.（2023）。Language Model Tokenizers Introduce Unfairness Between Languages。NeurIPS 2023。https://arxiv.org/abs/2305.15425
• Haslett, D. A.（2025）。Tokenization changes meaning in large language models: Evidence from Chinese。PsyArXiv 預印本。https://doi.org/10.31234/osf.io/7kqbn_v2
• Chai, Y., Fang, Y., Peng, Q., & Li, X.（2024）。Tokenization Falling Short: On Subword Robustness in Large Language Models。Findings of EMNLP 2024。https://arxiv.org/abs/2406.11687

要深入了解 AI 產品經理的基本職責和角色，請參考我的詳細指南：AI 產品經理，我的學習方法