在伦敦的一场开发者活动中，AI市场领军企业OpenAI宣布了一项关于RealTime API的新功能，帮助开发者节省使用成本，特别是对于开发语音聊天机器人的团队，这将是一个显著的成本削减。
OpenAI宣布，RealTime API即将加入自动缓存音频和文本输入的功能，预计可以将长对话的费用最多降低80%。这款API的核心在于支持语音助手和AI代理的开发，广泛应用于Healthify、Speak和Twilio等公司，用户可以通过语音或文字与机器人互动，甚至完成一些任务，如点餐或预约。
自今年10月初推出以来，RealTime API受到开发者的欢迎，但一些开发者反馈价格过高，特别是对于长对话的应用场景。OpenAI的API按处理的“tokens”（数据片段）收费：文本输入每百万个tokens收费5美元，输出则为20美元；音频输入每百万tokens收费100美元，输出为200美元。
Daily公司联合创始人Kwindla Kramer在社交平台X上指出了一个关键问题：RealTime API在每次新输入后会重新发送所有先前的输入和输出tokens，这使得长对话的费用成倍增长。他表示：“这就是RealTime API费用昂贵的原因——音频消耗大量tokens，而多轮对话会重复发送所有的tokens。”
OpenAI API支持团队的Shaun Ralston也在X上回应了相关问题。他解释，当用户输入的内容与之前处理的音频或文本相似或相同，OpenAI可以直接调取先前的结果，无需重新处理，从而节省费用。缓存的片段将按折扣价计费，大大提高了成本效益。
通过引入缓存功能，OpenAI将文本处理的价格从每百万tokens 5美元降低至2.5美元，而音频处理的价格则从100美元降至20美元，实现了80%的降幅。这一举措将极大地减轻开发者的负担，推动更多创新型应用的落地。