GPT-3核心成员出走打造ChatGPT最强竞品 12项任务8项更强 最新估值50亿美元

因不满老东家成为微软附庸，11名OpenAI前员工怒而出走。

如今带着“ChatGPT最强竞品”杀回战场，新公司估值50亿美元，一出手就获得3亿美元融资。

这家公司名叫Anthropic，新推出的聊天机器人产品名叫Claude。

拿到内部试用权的网友，在简单对比后惊叹：

看起来，Claude的效果要比ChatGPT好得多。

是 Anthropic[1] 新推出的一款类似于 ChatGPT[2] 的 AI 助手，后者是从 OpenAI 出走的前员工们集体创建的 AI 初创公司。虽然目前尚未开放公测，但从曝光的内测对比结果来看，Claude 已经可以和 ChatGPT 掰掰手腕：在逻辑和计算方面，Claude 表现出了旗鼓相当的实力，尽管在代码生成和推理问题上存在差距，但在无害性方面表现突出，具体表现为能够更清晰的拒绝不恰当的请求，当面对超出能力范围的问题，能够主动坦白，而不是像 ChatGPT 那样逃避回答[3][4][5]。

同时 Anthropic 也发布出了 Claude 对应的论文《Constitutional AI: Harmlessness from AI Feedback》[6]。论文作者列表中包含较多的 OpenAI 工作背景的核心成员。在所有现有公开材料中，这篇 22 年 12 月 15 日发布的论文，成为从技术背景和时鲜性两方面最贴近 ChatGPT 的文章。这篇论文的价值，不仅在于提供了一种稍低成本的新技术思路，也对 ChatGPT 的技术复现有非常大的借鉴价值（模型参数、训练样本、标注平台、训练细节、人力分工等)。下面我们将围绕这篇论文，介绍 Claude 背后的技术。

Claude 的独门绝技

Claude 开创性引入了“宪法人工智能”（Constitutional AI，CAI）的概念。以 ChatGPT 为代表，现有方法主要通过人类反馈的强化学习（RLHF）算法，即在强化学习阶段，通过拟合大量的人工标注的偏好数据，来对齐大规模语言模型和人类偏好，从而给出令人满意的有用（Helpful）、可靠（Honest）和无害（Harmless）的回答。Claude 在有用性（有用和可靠）方面沿用人类反馈，但在无害方面开创了一条更低成本且有效的路径，仅需要制定“宪法“（少量的自然语言准则或指令），AI 系统会自动输出偏好判断，指导模型对齐 AI 理解的无害化偏好，从而训练出危害更小的系统。因此这种技术也叫 AI 反馈的强化学习（RLAIF）算法。

RLAIF 的好处：不仅可以显著降低开发 AI 助手对人类反馈标注数据的依赖，更可以增加应用 AI 助手的透明度和简洁性。前者显而易见，后者可以假设我们在使用基于 RHLF 的 ChatGPT，这样的 AI 系统通常很少公开他们辛苦标注的偏好数据，即便公开了数据，也很难从大量标注中整理相对抽象的标注目标和指导意图。而 CAI 系统的“宪法”是可以公开透明的。其次，当指导目标需要调整时，也可以省略重新标注的时间，这无疑进一步降低了应用门槛。
RLAIF 的前提：语言模型在参数规模放大到一定规模后，表现出了某种程度的突现能力（Emergent Ability），显著增强的自然语言理解能力，使得人类可以更加高效地指导 AI 系统：加入“宪法”中的自然语言原则，输出高质量的 AI 反馈信号。论文中将这种能力称作规模监督（Scaling Supervision），因为这种自动化决策过程，本身存在一定的风险，因此对模型理解能力和“宪法”设计的合理性提出了要求。论文中也通过思维链（Chain of Though, COT）和偏好集成来提升反馈的质量，并通过实验证明了 AI 反馈信号的准确性。

Claude 和 ChatGPT 的差异对比

如前所述，有别于 ChatGPT 的 RLHF 算法，Claude 模型提出了 RLAIF 算法。我们在下面对比两种实现的差异：