曾毅：我非常反对人工智能相关课程直接进入中小学

熟悉的微信铃声响起，当手机另一端的“亲友”，一脸焦急地向我们提出金钱需求时，你会选择相信还是质疑？近日，全国多起AI诈骗利用相关人工智能技术进行换声、换脸，引起社会高度关注。再试想，若某一天我们逝去的亲人通过AI“复活”，人类社会所建构的伦理次序将如何应对？当“AI奶奶”和父母意见相左，幼小的孩童又该如何选择，我们对生命、对死亡的认知是否行将颠覆……

在与中国科学院自动化研究所类脑智能实验室副主任、人工智能伦理与治理研究中心主任曾毅研究员的交谈中，他对当下的科技伦理问题深表担忧：“人工智能的发展不能没有缰绳。科学不能被资本牵着鼻子走。”辽远的宇宙间，我们始终要珍视人类文明曾生发、建构的理智与情感，也要时时刻刻警惕，别让科技放大我们的傲慢与偏见。

曾毅：中国科学院自动化研究所研究员、类脑智能实验室副主任、人工智能伦理与治理中心主任；中国科学院科技伦理委员会信息技术与人工智能分委会主任；中国人工智能学会心智计算专委会主任；国家新一代人工智能治理专委会委员；联合国教科文组织人工智能伦理特设专家组专家。

人工智能从来不是中立的

《教育家》：在人工智能不断发展的当下，也暴露出很多科技伦理问题。科技求真与人文求善之间是否存在某种冲突？有人认为人工智能技术是中立的，取决于使用者怎么用它，您如何看待这种观点？

曾毅：2018年起，中国科学院大学开设了《人工智能哲学与伦理》课程，这门课程有80%的学生来自信息科学、计算机人工智能、电子信息、集成电路等工科专业，20%的学生来自人文社科专业。

在授课过程中我们发现，具有人文学科背景和理工科背景的学生，在面对相关问题时，冲突是明显的。前者把人工智能作为一种推进社会发展、辅助社会治理的工具，通常会将其和人生的切要问题结合起来思考；后者则普遍认为，科学技术要发展，就应该在可能性的边缘无限试探，他们常常有一个疑问：技术能做到的事情为什么不去做？

但我们必须清楚，人工智能从来不是中立的，它发展的基础是数据、算法，人类社会产生的数据隐含了社会的偏见，人工智能会将这种偏见放大，甚至使用这种偏见去输出价值观念，以此分析、解决问题。我们无法确定，人工智能将从社会中收集什么样的数据。我们从小就被教育应该有道德，应该树立公平意识，全社会都知道这些规则，但实际上我们做出的很多选择、决定都带有偏见和歧视。

比如现在大热的ChatGPT，它是一个生成式的人工智能模型，假如你问它中国最好的10所大学是哪10所？ChatGPT会给出一个绝大多数人认为好的答案，这个回答比较绝对，具有统计显著性，显著性背后所隐含的就是偏见。人工智能是一个看似智能的信息处理工具，它不是一个真正能理解世界的责任道德主体。我们不能只是让科研工作者和工程师去左右人工智能的发展，这非常危险。

我认为人类和人工智能应该和谐共生，并通过技术弥合鸿沟、消除误解、扩大共识。因此，2021年，我参与起草和修订联合国教科文组织的《人工智能伦理问题建议书》时，写下了一个概念“live in harmony”和谐共生，后来，经过193名成员国代表磋商，达成了“live in peacefully”和平共生的共识。和平就是不要掐架，是一种底线，远不及“和谐共生”当中含有的和而不同、优化发展的意义。

科学不能被资本俘获

《教育家》：一旦有新的人工智能概念或产品问世，就会火速成为社会热点。对于人工智能，我们发现当下大家的认知多来源于碎片化阅读，您认为我们应该如何正确理解人工智能？

曾毅：我觉得现在社会有一种很可怕的现象，就是科学被资本牵着鼻子走，若是科研工作者不以科学的态度讲话，各种概念的定义会变得极其混乱。从科学的角度来看，近年来“数字孪生”“元宇宙”等概念，非常不严谨。我们很难从一篇微信文章中获得真正的科学知识，我经常在一天之内看到诸如：《人工智能又有重大突破》《人工智能又有革命性颠覆》等吸引眼球的标题，科学研究怎么可能一天突破好几次？

我们不能让科学甚或教育被资本俘获。现在的家长特别焦虑，总是在想人工智能时代，孩子应该学点什么，以后要做什么？我非常反对一个观点叫作“让人工智能无处不在”，我很赞同《城里——关于城市梦想的叙述》一书中谈到的内容，作者舒可文老师说城市一半是野生，一半是规划。在社会还没有城市的时候，人与人的交流和协作都是衍生出来的。如果人工智能什么都能代替，我们的社会将变得机械化。那样的社会是我们想要的吗？所以我们一定要留着野生的部分，给人类更多自主的发展空间。

现在很多人不管有无必要，都认为要用人工智能去替代人类。前段时间有人找到我，希望能够通过人工智能技术，为逝世的人打造虚拟形象，做电子家族。这个项目从技术上来讲完全可以实现，但我绝不能做。试想：如果有一天家长带着孩子来看他的“AI奶奶”，孩子来了和奶奶说，您跟我爸说多给我点零花钱，平时少骂我行不行？奶奶把他爸爸叫来了，告诉他孩子的想法，爸爸是听还是不听？到时候家长会和孩子说，这不是真的奶奶，她说话不算数……这之中就会产生特别多的伦理问题。我们甚至会对虚拟人产生依赖，很容易将这种相处模式发展成戒不掉的瘾。所以要适度使用人工智能，要确保人类的正常发展。

《教育家》：有些观点认为要给人工智能留有一定的发展空间，您如何看待？我们应该如何应对人工智能带来的潜在风险？

曾毅：我觉得人工智能对于下一代，包括这一代的家长，都产生了一定的负面影响，很大一个原因是人工智能的发展没有缰绳。《人类简史》作者尤瓦尔·赫拉利曾说，人工智能根本不需要意识，不需要真正理解人类社会，只要发现人类社会的漏洞、弱点并加以利用，就可以摧毁人类社会，而人类可能还不自知。

潜在风险变成实存风险也许只需要一两个月的时间，但我们制定相关的伦理规范、规章制度，从征求意见到正式施行再到生效，则需要更长的时间。所以为何要提前筹划，是为了能够在实存风险来临时有效应对。所谓留有发展空间，是给红线留还是给灰线留？给灰线留可以，灰线指可以有讨论余地，目前还没有给人类带来威胁的部分；但红线坚决不能踏，比如生物特征、人脸信息等一旦丢失，终身都有风险。

人工智能的发展给人类带来的生存风险目前是无解的。2018年，马斯克联合剑桥大学对通用人工智能进行了立项研究，从不同途径预测了人工智能的潜在风险，证明了在现有的冯·诺依曼体系结构下，人工智能的发展是不可控的，除非颠覆该体系结构，沿着新的计算体系结构发展人工智能。但风险什么时候到来？有可能是5—10年以后，也有可能是100年以后，还有可能是明天、现在。就算我们从现在开始准备应对方案，待风险真正来临时不见得能准备好。

人工智能不是为了代替人，“成为”人

《教育家》：基于目前人工智能的发展，以及社会对人工智能的整体认知，您认为我们要如何更好地开展科技伦理教育，在教育各个阶段，孩子们应该学什么？

曾毅：国内外都有专门写给幼儿园小朋友的人工智能教材，我觉得这种超前教育没有必要。幼儿园的孩子还处在接受知识的阶段，他们辩证思考的能力相对较弱。而目前人工智能正处于发展阶段，还未形成成熟的知识体系。现在只有一些相对模糊的定义，但定义不是知识，原来言之凿凿的东西，10年以后可能无人问津。

因此，我非常反对人工智能相关课程直接进入中小学。因为目前在人工智能的知识传递中，人们常常不加以区分科学和技术，只是笼统地灌输给学生。但技术层面的变化更新是非常快的，恰恰是最容易被代替的部分。在教育过程中，我们要把科学和技术分开来看，属于科学的部分要前置到基础教育，属于技术的部分放到大学去加强。

所以，我认为在基础教育阶段，可以让学生学习心理学、哲学、认知科学等方面的知识，首先让他们了解人如何为人，提高他们对事物的辨别能力。到大学阶段除了继续加深自己的人文素养外，要去理解技术和人的融合发展，了解技术如何赋能社会的进步，学习工程伦理、科技伦理等伦理学课程。如果未来打算从事人工智能相关职业，还要有跨学科的背景和大局观，学习人工智能哲学与伦理相关的课程，在更高的视野上审视人与人工智能的关系。

无论如何，科技的发展还是要站在人的角度，回到人类本身，让人归位，去做人应该做的事情。人工智能的意义既不是让人焦虑，也不是为了最终代替人。

— END —

来源 | 本文刊于《教育家》2023年6月刊第4期，原标题《别让科技放大我们的傲慢与偏见》

作者 | 王湘蓉 邓晓婷

设计 | 阳晓

统筹 | 周彩丽

《教育家》杂志投稿邮箱：gmjyjzz@126.com

新媒体投稿邮箱：jyjzzxmt@126.com