小语种用户面临AI使用成本差异巨大

在使用较少语言的情况下调用人工智能，用户的费用可能比使用英语的用户更高。最近发布的一项研究显示，AI模型在处理不同语言时所需的Token数量存在显著差异。Token是AI进行文本、图像或音频处理的基本单位，由分词器生成。研究人员称这种因语言而生的额外成本为隐性的“分词器税”，尤其是对那些网络内容稀少的语言影响更大。数据显示，即使在最普遍的二十种语言中，Token消耗也有1.5到5倍的差距。而在扩展至200种语言时，这一差异可能更为严重。一项特定的AI模型中，Token消耗在不同语言之间的差距甚至高达17倍。此次研究的影响不仅仅是经济成本，报告提到，来自班加罗尔的初创企业在每次与AI交互时，可能需承担比奥斯汀竞争对手更高的费用。Token越多，AI响应速度会减慢，处理的上下文内容也会减少。计算资源和网络条件受限的地区，受到的影响尤为明显。

印度首家专注AI投资的风险投资公司Activate AI的联合创始人普拉提尤什·乔杜里形象地比喻，老师要教好学生，必须记住他们曾经的错误和讲解记录。然而，当使用某种语言时，这些历史信息会迅速占满上下文窗口，进而影响教学质量。乔杜里具体呼吁，语言处理的效率应和准确性、速度及可靠性一样，成为AI产品的一个基本要求。他认为，尽管不可能要求所有语言完全平等对待，但显著的差距需要被合理解释，并制定改善计划。他希望主要的AI研究室能够公布各语言的使用评估结果，比较完成相同任务的费用，并承诺改善最薄弱语言的支持，力求可量化的进展。

改善的方向之一是提升底层数据的质量。孟买AI语音基础设施公司Navana.ai的CEO拉乌尔·纳纳瓦蒂提到开放数据项目的重要性。例如，该公司与印度科学学院合作并由盖茨基金会资助的RESPIN项目，收集了38种方言的母语者提供的文本和语音记录。然而，决定Token消耗量的因素不仅在于语言的使用人数，文字的类型同样关键。AI语言公平研究联盟发现，阿斯图里亚斯语虽使用者不多，但因使用拉丁字母获得了一定优势，而意大利语等罗曼语族语言的存在又使阿斯图里亚斯语受益。Maya Research的CEO迪曼特·雷迪指出，现有许多分词器仍主要优化于数据丰富的语言如英语，根本问题在于缺少高质量的数字化数据。他强调，若想缩小不同语言的Token消耗差距，AI实验室需要专门改进下一代分词器的设计，以更好地处理各种语言和文字。 南宫28ng娱乐最新官网