We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
1 parent f30f7d5 commit 85a0bb4Copy full SHA for 85a0bb4
1 file changed
docs/ai/llm-basis/llm-operation-mechanism.md
@@ -104,6 +104,8 @@ Token 划分的精细度会直接影响模型的理解能力。特别是在中
104

105
106
> **⚠️ 注意**:实际的 Token 切分由模型供应商的 Tokenizer 实现,不同供应商对相同文本可能产生不同的 Token 序列。生产环境中应使用对应供应商的 Tokenizer 工具进行精确计数。
107
+>
108
+> OpenAI 官方网页端 Tokenizer 工具:[OpenAI Tokenizer](https://platform.openai.com/tokenizer)
109
110
**特殊 Token**:除了文本内容对应的 Token,模型内部还会使用一些特殊标记,这些也会计入 Token 总数:
111
0 commit comments