AI 大模型的语言不平等:英语最便宜,其它语言要贵得多
发布时间:2023-07-31 11:29:28来源:
7 月 31 日消息,用户所应用的语言对于大型语言模型(LLM)的费用有很大的影响,可能造成英语应用者和其它语言应用者之间的人工智能鸿沟。最近的一项研讨显示,由于 OpenAI 等服务所采取的的服务器成本权衡和计费的方法,英语输入和输出的费用要比其他语言低得多,其中简体中文的费用大约是英语的两倍,西班牙语是英语的 1.5 倍,而缅甸的掸语则是英语的 15 倍。
注意到,推特用户 Dylan Patel(@dlan522p)分享了一张照片,展现了牛津大学进行的一项研讨,该研讨发现,让一个 LLM 处置一句缅甸语句子须要 198 个词元(tokens),而同样的句子用英语写只须要 17 个词元。词元代表了通过 API(如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2)拜访 LLM 所需的盘算力成本,这意味着缅甸语句子应用这种服务的成本比英语句子高出 11 倍。
词元化模型(即人工智能公司将用户输入转换为盘算成本的方法)意味着,除了英语之外的其他语言应用和训练模型要贵得多。这是因为像中文这样的语言有着不同、更庞杂的构造(无论是从语法还是字符数量上),导致它们须要更高的词元化率。例如,依据 OpenAI 的 GPT3 分词器 ,“你的爱意(your affection)”的词元,在英语中只须要两个词元,但在简体中文中须要八个词元。尽管简体中文文本只有 4 个字符(你的爱意),而英文有 14 个字符。
(责编: admin)
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。