“AI 教父”本希奥宣布开发“诚信”系统，防范智能体欺骗人类

IT之家 6 月 4 日消息，金融时报（FT）昨日（6 月 3 日）发布博文，报道称“AI 教父”约书亚・本希奥（Yoshua Bengio）成立 LawZero 非营利组织，致力于开发“诚实”的 AI 系统，用以识别“流氓”AI 系统。

IT之家简要介绍下本希奥，他是来自蒙特利尔大学的教授，因与 Geoffrey Hinton、Yann LeCun 共享 2018 年图灵奖（被视为计算机领域的诺贝尔奖），而被誉为“AI 教父”。

LawZero 的使命是开发一种“诚实”的 AI，专门监控那些无需人类干预即可执行任务的 AI 智能体，防止它们表现出欺骗或自我保护行为，例如试图阻止人类关闭系统。

本希奥正在研发的系统名为 Scientist AI，旨在成为 AI 智能体的“守卫”。他将现有的 AI 智能体比作“演员”，它们模仿人类、取悦用户，而 Scientist AI 则更像一位“心理学家”，能够理解并预测不良行为。

该系统不会给出确切答案，而是以概率形式评估答案的正确性，体现出一种“谦逊”态度。它还能预测 AI 智能体行为导致危害的概率，若概率超过阈值，系统将阻止相关行动。

LawZero 的初始支持者包括 AI 安全机构 Future of Life Institute、Skype 创始工程师 Jaan Tallinn 以及前谷歌 CEO Eric Schmidt 创立的 Schmidt Sciences。LawZero 初始资金约 3000 万美元，拥有十余名研究人员，本希奥担任主席。

本希奥表示，该项目第一步是验证该概念的方法论是否可行，随后说服企业或政府支持更大规模、更强大的版本。他计划从开源 AI 模型入手训练系统，并呼吁投入更多资源，确保“守卫”AI 与前沿 AI 同步发展。他警告，若 AI 智能体能在无人类监督下完成更长任务序列，可能引发“严重”破坏。