百川智能发布超千亿参数的大语言模型Baichuan3

1月29日，百川智能发布了其最新的大语言模型Baichuan3，该模型拥有超过千亿个参数，是目前世界上最大的中文语言模型之一。据百川智能官方介绍，Baichuan3在CMMLU、GAOKAO和AGI-Eval等多个中文评测中，都取得了优于GPT-4的成绩，显示出了强大的语义理解和生成能力。

据铋读网了解，Baichuan3不仅在一般的中文任务上表现出色，还在医疗领域展现了惊人的潜力。在测试逻辑推理能力的 MCMLE、MedExam、CMExam 等医疗评测上，Baichuan3的中文效果同样号称超过了 GPT-4，是“中文医疗任务表现最佳的大模型”。百川智能表示，Baichuan 3 可以为医生提供辅助诊断、用药建议、病历生成等服务，提高医疗效率和质量。

百川智能在Baichuan3训练过程中提出了“动态数据选择”、“重要度保持”以及“异步 CheckPoint 存储”等多种技术手段及方案，稳定训练时间达到一个月以上，故障恢复时间不超过 10 分钟。百川智能还突破了“迭代式强化学习”技术，进一步提升了语义理解和生成能力，在诗词创作的格式、韵律、表意等方面进行了提升。

百川智能还展示了Baichuan3在诗词创作方面的惊人成果。对于宋词这种格式多变，结构深细、韵律丰富的高难度文体，Baichuan 3 生成的内容亦能工整对仗、韵脚和谐，让每个人都能创作出咏物、寄思的五言律诗、七言绝句，写下的言志、抒情的“沁园春”、“定风波”。百川智能表示，Baichuan 3 不仅可以生成优美的诗词，还可以根据用户的喜好和情感进行个性化定制，打造专属于每个人的诗歌。

百川智能表示，Baichuan3是其对人工智能领域的一次重大贡献，也是其对中文文化的一次致敬。百川智能希望通过Baichuan3 ，让更多人感受到中文语言的魅力和潜力，推动中文语言模型的发展和应用。