生成式人工智能易引发五类刑事犯罪

北京日报客户端 | 记者 高健 通讯员 高曼洁 秦鹏博

如今，以ChatGPT、New Bing为代表的AIGC（AI Generated Content，生成式人工智能）类应用火爆全球，有人从中看到科技方向、有人从中发掘娱乐乐趣、有人从中寻觅商业价值，但不少国家和地区开始意识到生成式人工智能的风险，从而踩下刹车或按下暂停键。对此，海淀法院法官分析认为，生成式人工智能易引发五类刑事犯罪，应引起社会和相关部门注意。

风险：AIGC生成“虚拟角色”致诈骗风险激增

近日，国家网信办发布了《关于〈生成式人工智能服务管理办法（征求意见稿）〉》（以下简称《意见稿》），着手从立法的角度规范我国生成式人工智能的发展进路。海淀法院经过调研认为，生成式人工智能应用在使用中易引发五类刑事犯罪风险。

首先，AIGC类应用生成内容“类人性强”，易引发诈骗类犯罪。因“百科全书式”聊天机器人能高度模拟真人口吻，具有极强的“类人性”，更容易让人产生信赖，对话人在接收“答案”时也在无意识中受到引导，易引发感情类、财产类诈骗。如通过ChatGPT生成完整的诈骗套路话术，把ChatGPT包装成“虚拟角色”，使受害人误以为自己“坠入爱河”并遭受诈骗。此外，海淀法院在调研中还发现当前出现了众多名称中包含“ChatGPT”字样的微信公众号、小程序、网页、手机应用，上述“山寨版”ChatGPT虚假链接，通过吸引网民点击链接或下载使用，误导网民填写个人信息甚至进行付费，存在损害用户财产利益的风险，可能涉嫌诈骗罪；另有以投资AIGC类应用等新技术为名目吸收资金的违法犯罪行为，如以“元宇宙”代币为噱头进行传销犯罪等，可能涉嫌非法集资、非法传销和诈骗罪。

并且，AIGC类应用能篡改后台程序算法，易引发涉计算机类犯罪。“山寨版”ChatGPT生成虚假链接，引诱对话人点击后，还可能发生恶意攻击电脑设备、侵入特定领域的计算机信息系统、非法获取相关数据等行为，涉嫌非法侵入计算机信息系统罪、破坏计算机信息系统数据罪等。

同时，AIGC类应用依靠抓取海量信息数据，并通过深度学习算法生成检索内容，用户进行特定内容搜索，更容易获取淫秽色情、犯罪方法、宣扬暴力甚至恐怖组织等信息，容易引发传播淫秽色情、传授犯罪方法类犯罪，增加相关违法犯罪行为发生风险。

法官还指出，ChatGPT等AIGC类应用是对海量互联网信息的加工整合，信息真伪不明、道德边界感模糊。互联网上发布的娱乐八卦、网评等可能涉及个人隐私的信息，均可作为AIGC类应用的整合资源，且生成内容以“检索结果”展示，易让用户误认为“标准答案”。若用户不加甄别地使用、盲目引用未经核实的信息，可能涉嫌侮辱、诽谤、侵犯公民个人信息等侵害人格权类犯罪，并不因信息来源于互联网而排除刑事责任承担。

此外，AIGC类应用还易引发侵犯知识产权类犯罪。

分析：AIGC的提供者需承担的三大责任

根据《意见稿》相关规定及相似事例，法院认为，AIGC的提供者需承担的三大责任。

法官指出，提供者首先应承担信息源责任。“内容提供者要确保信息源可信，从数据安全、个人信息保护、知识产权等方面，从源头处保证信息来源合法合规。”但是，法官也提出，面对海量的数据，如何进行信息过滤和筛选，尚需要可行性方案，以便提供者能够更好地把握信息来源。

此外，提供者应对生成内容负责。如《意见稿》规定了，提供生成式人工智能产品或服务应当遵守法律法规的要求，尊重社会公德、公序良俗，需要做到诸如体现社会主义核心价值观、防止歧视、公平竞争、防止形成虚假信息、禁止非法获取个人信息和商业秘密等。可见，提供者需要对最终生成的内容承担符合道德、符合法律的义务。另外，在生成内容责任中，《意见稿》特别提出了对人工标注的规范，明确指出：“生成式人工智能产品研制中采用人工标注时，提供者应当制定符合本办法要求，清晰、具体、可操作的标注规则，对标注人员进行必要培训，抽样核验标注内容的正确性。”从标注的人员、到标注的内容上进行规范，也是对算法生成中一个重要的人工参与步骤进行合理引导，从旁提高生成内容的合法合规性。

另外，提供者还应遵守流程报备责任，通过报备的方式，使生成式人工智能置于主管部门的管理之下，也便于在发生违法违规行为时及时进行处置。

建议：加强对新兴技术监管

通过调研并结合《意见稿》的内容，海淀法院针对生成式人工智能可能发生的刑事法律风险，提出四点建议。

加大普法宣传力度，增强网民反诈意识，引导网民合法合规使用合法软件，准确识别被伪装过的山寨链接，避免泄露个人信息。

加快新技术规范立法工作，探索算法推荐等技术管理制度的落地路径，明确自动生成内容类应用检索信息的边界，提高应用开发和应用算法透明度，确保生成式人工智能应用开发和推广以安全、道德、尊重公民权利和隐私的方式规范开展。

加强对新兴技术的监管，确保智能AI的训练模型数据来源可信可靠，对于未在互联网公开或权利人明确禁用的信息源，及时督促运营企业从AI模型数据库中剔除，确保使用的正当性。

完善救济途径，在智能AI发布后，以提供补丁网站的方式，便利相关权利人提交不予授权的声明，并及时删除不予授权的信息源，以避免和解决AI使用过程中的权属争议。