“AI教父”本吉奥宣布开发“科学家AI”系统，防范智能体欺骗人类

据澎湃新闻，6月3日，著名计算机科学家、AI“教父”约书亚·本吉奥（Yoshua Bengio）宣布发起非营利组织LawZero，致力于开发“诚信”人工智能系统。该组织计划打造一套AI防护机制，防范试图欺骗人类的AI智能体。

本吉奥将担任LawZero组织的主席。他以约3000万美元启动资金和十几名研究人员为基础，正在开发名为“科学家AI”（Scientist AI）的系统。该系统将作为安全防护机制，防止AI智能体表现出欺骗或自我保护的行为，比如试图避免被关闭。“至关重要的是，作为护栏的AI至少要与它试图监管和控制的AI智能体一样智能。”