中国作家协会主管

“我让语音助手把灯关了，结果它不仅把灯开个不停，还发出冷笑。”

3年前，全球各地不少人被亚马逊智能音箱接到指令后发出的冷笑吓得够呛。今天，又有不少人拍下家里两台智能音箱煞有介事互相聊天的视频，加上“笑哭”配乐发到社交网站。

如果再有人惊恐提出这是机器的觉醒，可能会被不以为然、嗤之以鼻——我们自认已经非常熟悉人工智能的运作原理。

我们对AI的未来，真这么胸有成竹吗?

(一)

在最近热播的电视剧《你好，安怡》中，2035年，与人类极为相似但并不具备自主意识的“芯机人”走入千家万户，绝对服从人类的他们变成了保姆、服务员和工人。同时，几个“芯机人”异类也开始出现在人类社会，他们拥有和人类一样的情感、意识与思考能力，一系列机器人与人类家庭、社会的复杂纠葛随之而来。

与宫斗、穿越、职场斗争等戏码不同，《你好，安怡》将目光放在类人机器人与人类共存的伦理问题上：机器人自我意识觉醒后的一系列挑战，机器人与人类之间的情感摩擦，比人类更加专业、智慧的机器人一旦具备了破坏性我们该如何应对……

在古装、言情、家庭剧占据电视剧主流的今天，讨论科技伦理似乎并不讨巧。提起中国的科幻影视作品，人们津津乐道的似乎只有《流浪地球》《疯狂的外星人》等寥寥几部。尽管有几部国产科幻大片正在路上，但科幻题材的电视剧“出圈”作品则少之又少。这似乎与中国突飞猛进的科技发展水平并不相称。

不提拍摄手法、创作水准等见仁见智的评价，可以肯定的是，《你好，安怡》对鼓励中国观众接触并思考科技伦理颇有益处。以往人们熟知的科技伦理大片总以西方社会为背景，通过欧美的话语体系与思维方式展开，如《西部世界》《黑镜》《苍穹浩瀚》等。对于中国观众来说，当故事背景转向熟悉的人群与生活，无疑会有更强的代入感，对机器人伦理问题也会有更深的危机感和探究动力。

(二)

放眼互联网世界，关于科技伦理的讨论，正以一种更有趣的方式走进人们视野。

前不久，一条关于人工智能奇妙“脑回路”的微博曾吸引数万网友转发关注。

这位网友分享了在开发游戏AI中的一件趣事：技术人员在一个“狼抓羊”游戏中设定的逻辑是，如果狼抓到了羊就奖励10分，撞到障碍物就扣1分，而为了保证尽快完成任务，每秒钟狼都会被扣0.1分，结束时得分越高奖励越多。

听上去合理的训练规则，却收获了越来越差的训练结果。工程师们仔细检查后才明白，原来扮演狼角色的AI发现，狼在大部分情况下都很难抓住羊，而追逐的时间越久扣分就越多，因此AI分析后，决定在游戏一开始便一头撞死自己，这样反而能获得最高分。

虽然不少网友指出了算法设计中的问题，但这也暴露了人类为AI设定“终极目标”时极易出现的漏洞：我们往往忽视了一些人性中默认的最高准则。

尽管有人认为阿西莫夫的“机器人三定律”或类似法则可以解决这一问题，认为只要设定机器人不得伤害人类，在这一前提下保护自身，就能有效避免机器冷酷无情达到目的时可能带来的风险。

然而，仅以自动驾驶为例，就可以发现最高准则不一定能解决复杂的伦理困境。

各国在制定自动驾驶伦理法则时，就曾面临经典的“电车难题”：假如车辆的终极任务是保证人员安全，那么当街角出现一群小学生，在没有更多选择的情况下，是应该撞上去保全驾驶员，还是不顾驾驶员安危避让以保护更多行人?如果仅以伤害人数多少来决策，那么人的年龄、职业、社会地位和亲属关系是否就应完全不加考虑?

退一步说，即使AI能完美实现人的最高目标与偏好，但人类社会的价值体系本身就存在阴暗面。

从人工智能的实际应用来看，歧视、逐利、低俗等人性弱点，都逐渐在算法运行过程中一一显露。线上聊天机器人变成说脏话、种族歧视的不良少女;应用于招聘、保险、司法审判等领域的算法可能存在职业、性别、种族歧视;人脸识别技术也不断被曝出应用于售楼处、卫浴门店等，收集顾客信息用于牟利。

技术本身无善恶，但写在人性中的贪婪、欲望，让我们无法保证每名开发者、每个商业主体都能善用技术。而技术愈精进壮大，其身后的阴影也会随之扩张蔓延。

这并非杞人忧天。事实上，在技术不断创新试错的今天，大部分人对智能科技滥用的警惕性还远远不够。

(三)

一个人类与强智能机器共存的未来似乎无可避免，而只有把AI伦理议题以平易近人、深入浅出的方式丰富呈现，放到社会舆论场中央，才能讨论得更全面、更透彻，我们也才能越来越接近一个完善的人工智能体系，才能公平给予社会成员全面参与、自主抉择的权利。

关注AI伦理的不再只是AI工程师们，哲学、伦理学、法学等各学科力量都在被吸引进来。这一关系每个人未来命运的话题，无疑还需要社会公众提升参与意识，积极讨论和监督。

与此同时，除了描绘人类与智能机器共舞的未来，大众传媒也应积极引入更多伦理议题，提升人们的警惕性和辨别技术风险的能力。

这并非鼓励人们抗拒技术、因噎废食，而是一份邀约，邀请每个人知情、参与，共同完善技术体系。在机器人觉醒之前，我们本身应当觉醒。

（刊于《半月谈内部版》2021年第4期）