From 331bde2b20c54ea3098da66f5ee37212cea57961 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E6=B1=9F=E5=8D=97=E7=AC=91=E4=B9=A6=E7=94=9F?= <31156006+5ME@users.noreply.github.com> Date: Sat, 25 Apr 2026 19:53:33 +0800 Subject: [PATCH] =?UTF-8?q?=E8=A1=A5=E5=85=85=20OpenAI=20=E5=AE=98?= =?UTF-8?q?=E6=96=B9=E5=B7=A5=E5=85=B7?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit OpenAI 官方提供的网页端可视化 Tokenizer 工具 --- docs/ai/llm-basis/llm-operation-mechanism.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/docs/ai/llm-basis/llm-operation-mechanism.md b/docs/ai/llm-basis/llm-operation-mechanism.md index ec19132ad11..f065ce76de2 100644 --- a/docs/ai/llm-basis/llm-operation-mechanism.md +++ b/docs/ai/llm-basis/llm-operation-mechanism.md @@ -104,6 +104,8 @@ Token 划分的精细度会直接影响模型的理解能力。特别是在中 ![Token 化过程示例](https://oss.javaguide.cn/github/javaguide/ai/llm/llm-token-process.png) > **⚠️ 注意**:实际的 Token 切分由模型供应商的 Tokenizer 实现,不同供应商对相同文本可能产生不同的 Token 序列。生产环境中应使用对应供应商的 Tokenizer 工具进行精确计数。 +> +> OpenAI 官方网页端 Tokenizer 工具:[OpenAI Tokenizer](https://platform.openai.com/tokenizer) **特殊 Token**:除了文本内容对应的 Token,模型内部还会使用一些特殊标记,这些也会计入 Token 总数: