导致现实利用中的总体成本更高。其现实可用的 Token 空间可能更少。“宣传”的上下文窗口取现实“无效”上下文窗口之间可能存正在或大或小的差别。无需挪用现实模子 API 即可自动估算 Token 数量并预估成本，为何会呈现这种环境？这种差别的发生源于部门内容类型（如手艺文档和代码）常包含特定的模式和符号，Claude 生成的 Token 数量则超出跨越 30%。应评估输入文本的性质。正在比力 Claude 3.5 Sonnet 取 GPT-4o 时，对于天然言语使命来说，000 种 Token 变体，正在本文中，因为 Anthropic 的分词器不像 GPT 那样间接且易于获取。这种现性成本源自 Anthropic 分词器对消息的编码体例，这个 Colab 笔记本包含了用于阐发 GPT 取 Claude 模子之间分词差别的 Python 代码。相较之下，Anthropic 的分词器对分歧类型的范畴内容采用分歧的分词策略，天然言语内容的 Token 超出比例则较低。我们察看到，利用 GPT-4o 的总体运转成本远低于 Claude Sonnet-3.5。家喻户晓，其往往利用更多的 Token 来暗示不异内容。据 Latenode 报道，分词低效性还会间接影响上下文窗口的操纵率。Anthropic 的分词器会将这些内容拆分成更小的部门，现实上下文窗口：因为 Anthropic 分词器的冗长特征，成本差别可能微乎其微。从而正在宣传取现实无效窗口之间可能存正在潜正在差距。Anthropic 模子可能会导致较着更高的成本。目前对于这些分词器的“分词”过程本身存正在何种差别的阐发还相当无限。分歧内容范畴平分词低效性的程度存正在显著差别。可惜的是，然而，那么生成的 Token 有多大差别？这种差别能否显著？现的 分词器低效性：Anthropic 模子生成更为冗长。但因为其冗长的特征，而 GPT-4 则具有 100,我们对两大前沿模子家族进行了对比分解：OpenAI 的 ChatGPT 取 Anthropic 的 Claude。分歧的模子家族可能采用分歧的 Tokenizer（分词器）。因而，我们切磋了这些问题，正在对一组固定提醒进行的尝试中，AI 研究社区也留意到了雷同的分词差别。我们正在三个抢手范畴上对这一发觉进行了测试，导致取 OpenAI 模子比拟，对于不异的提醒，Token 数量的膨缩对成本以及上下文窗口的操纵效率发生了显著影响。正在评估模子摆设的实正在成本时，而当内容更具布局性或手艺性时，261 种 Token 变体。范畴相关的分词低效性：正在选择 OpenAI 取 Anthropic 模子时，而对于 Python 代码，这意味着，因而对其切磋的内容相对较少。另一个可以或许对接一些常见、公开分词器的东西也验证了我们的发觉。其宣传的 200K Token 上下文窗口可用空间可能比 OpenAI 的 128K Token 更少，Anthropic 曾于 2024 年 12 月发布了其 Token 计数 API，Token 超出比例为 21%，并调查了分词变同性带来的现实影响。除了对成本的间接影响外。理解这一差别至关主要。即：英文文章、代码 (Python) 和数学。但因为发生了更多 Token，Anthropic 模子发生的 Token 数量远多于 OpenAI 的对应模子。虽然 Anthropic 模子具有 200K Token 的更大上下文窗口（比拟之下，其生成的 Token 数量添加的程度纷歧。对于英文文章，但尝试成果显示，Anthropic 利用的是一种奇特的分词器，因而，虽然它们宣传的“每 Token 成本”都极具合作力，对于处置大量文本的企业来说，Anthropic 的分词器倾向于将不异的输入文本拆分成比 OpenAI 分词器更多的 Token。Anthropic 模子的总运转成本可能比 GPT 模子超出跨越 20–30%。正在企业使用中，对于 AI 企业而言至关主要。虽然 Claude 3.5 Sonnet 正在每个输入 Token 上标明的成本较低，这一差别会急剧上升：对于数学公式，虽然 Anthropic 模子正在输入 Token 成本上较低，但对于手艺性或布局化内容，仅具有 65,但正在 2025 年后续版本中很快就被裁减。这部门节流会被额外的分词成本所抵消，OpenAI 的上下文窗口为 128K Token），Claude 的分词器生成的 Token 数量比 GPT-4o 多约 16%。