OpenAI 训练 CriticGPT 模型以检索输出内容错误 专给 ChatGPT“找茬”

6月28日，OpenAI 宣布基于 GPT-4 训练了一个名为 CriticGPT 的模型，用于查找 ChatGPT 聊天机器人输出内容中的错误。它可以撰写评论，强调 ChatGPT 生成答案中不准确的地方。

据介绍，CriticGPT 旨在协助人类 AI 训练员完成工作 —— 使用一种名为“从人类反馈中强化学习（IT之家注：Reinforcement Learning from Human Feedback，RLHF）”的技术来训练、改进 GPT-4 的回答。

然而随着 ChatGPT 的准确性日益提升，错误越来越隐蔽，导致 AI 训练员的工作越来越“难做”。OpenAI 对此解释称，这是 RLHF 的基本局限之一 —— 模型逐渐变得比任何可以提供反馈的人都更博学，模型的协调可能也会随之变得越来越困难。

目前，当 CriticGPT 试图从 ChatGPT 的回答中发现错误时，它的一双“鹰眼”就会发挥作用。OpenAI 指出，现实世界中的错误可能遍布答案的多个部分，这是 CriticGPT 未来需要解决的问题。“我们的工作重点是可以在一个地方指出错误，但将来我们也需要解决分散的错误。”