Skip to content

Commit 85a0bb4

Browse files
authored
补充 OpenAI 官方工具 (#2839)
OpenAI 官方提供的网页端可视化 Tokenizer 工具
1 parent f30f7d5 commit 85a0bb4

1 file changed

Lines changed: 2 additions & 0 deletions

File tree

docs/ai/llm-basis/llm-operation-mechanism.md

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -104,6 +104,8 @@ Token 划分的精细度会直接影响模型的理解能力。特别是在中
104104
![Token 化过程示例](https://oss.javaguide.cn/github/javaguide/ai/llm/llm-token-process.png)
105105

106106
> **⚠️ 注意**:实际的 Token 切分由模型供应商的 Tokenizer 实现,不同供应商对相同文本可能产生不同的 Token 序列。生产环境中应使用对应供应商的 Tokenizer 工具进行精确计数。
107+
>
108+
> OpenAI 官方网页端 Tokenizer 工具:[OpenAI Tokenizer](https://platform.openai.com/tokenizer)
107109
108110
**特殊 Token**:除了文本内容对应的 Token,模型内部还会使用一些特殊标记,这些也会计入 Token 总数:
109111

0 commit comments

Comments
 (0)