警惕算法潜藏歧视风险

当你搜索关键词时，搜索引擎会计算该向你显示哪些搜索结果；当你登录视频网站时，某些系统会推荐一些你喜欢的节目；新闻类App会利用算法决定向你更新哪些信息。显然，我们生活在一个算法的时代，算法为人们的日常学习、生活和工作提供了极大便利。但需要警惕的是，算法并非完美无缺——它不仅可能出错，甚至还会产生严重的歧视问题。

算法歧视无处不在

算法就是一系列指令，告诉计算机该做什么。作为一种数学理性的运用，人们原本期待算法能够绝对客观，但算法歧视的现象却出人意料地频频出现。

算法歧视突出表现为以下几类：其一，价格歧视。例如，早在2000年，某网站就曾经搞过算法“杀熟”，同一款DVD碟片，对老用户报价26.24美元，对新用户仅报价22.74美元。近年来，我国一些网购平台利用大数据“杀熟”的现象也是屡见不鲜。其二，性别歧视。例如，某网站研发了一套筛选简历的算法系统，结果显示其对男性求职者有着明显的偏好，女性求职者的简历常常分数不高。其三，种族歧视。例如，某国外著名网站上的高薪工作广告更多地向白人显示；智能照相机在照相时不停提醒亚裔睁开眼睛等。此外，基于宗教信仰、经济状况、外貌等形式的算法歧视也广泛存在。

相较于人类歧视，算法歧视有其特殊一面。其一，算法歧视更加精准。算法能够对每个用户精准画像，被打上歧视标签的用户绝无逃脱可能。其二，算法歧视更加多元。人类歧视通常依据的是性别、学历等显形特征，但算法能够挖掘出更加深层次的隐形特征来作为其歧视处理的依据，包括网页浏览记录、购物记录、行车路线等。其三，算法歧视更为片面。人类社会对于个体的判断通常是综合和动态的，而算法无法获取或处理用户的全部数据。其四，算法歧视更加隐蔽。传统基于种族、性别、民族等特征的歧视是法律所禁止的，但算法却可以规避这些规定。

算法歧视的原因剖析

数据是人工智能的养料，歧视性数据必然会产生歧视性结果。例如，2016年，某国外公司的AI聊天机器人上线，但在和网民聊天时却被灌输了许多脏话以及各种歧视的思想，结果迅速成为一名“不良少女”，上线不到一天就被迫下线。与此同时，不完整、不正确或不及时的数据也会产生算法歧视。例如，2016年举行的首届“AI国际选美比赛”，由于算法训练的照片没有包含足够多的非白人面孔，结果导致绝大多数获奖者都是白人选手。

算法本身存在缺陷或瑕疵也会引发歧视。算法决策总是需要设定某些变量或指标，而这些都是人为设定的，不排除掺入歧视的可能。例如，很多国际互联网巨头的男性雇员占了2/3，技术岗位的比例更是高达4/5，这使得算法设计的过程中难免会掺入性别歧视的因子。与此同时，尽管算法是应对复杂工作的利器，但在其输入层与输出层之间却存在“黑箱”，这加剧了算法歧视的复杂性。此外，算法本质上是一种分析、预测的数学技术，强调的是相关性，而非因果性，这决定了算法本身存在歧视的基因。

此外，算法作为人类利用的工具，纵使输入的数据和算法技术本身都没有问题，仍然存在歧视的可能。例如，算法能够清晰地区分出消费能力强、忠诚度高的老客户群体，但企业完全可能将之作为杀熟的依据，而非促销让利的参考。

算法歧视的治理之道

首先，完善算法的法律规制。一方面，规范算法利用的范围、方式和限度。对于算法歧视，既要从公法层面严厉制裁滥用算法的企业等主体，也可以考虑在私法层面引入大规模侵权规则和惩罚性赔偿规则。与此同时，对于高度敏感的数据应当禁止算法处理，包括种族、民族、宗教信仰等。另一方面，要赋予用户更多的权利。用户可以通过被遗忘权来删除过时的数据，通过更正权来补充或更改错误或不完整的数据。还应参照欧盟《一般数据保护法》的规定，赋予用户拒绝权和解释权，即如果用户认为算法的自动化决策存在歧视，那么其有权拒绝接受处理结果。

其次，重视算法的技术规制。面对日新月异的人工智能技术，依靠单一的法律规则来应对算法歧视是难以奏效的。对此，建议引入算法的伦理设计，从一开始就将算法透明、算法可解释、算法问责、算法审计等价值需求嵌入算法的设计当中。相较于法律的事后救济，算法的伦理设计更强调预防的重要性，要求设计者在算法的设计阶段遵守禁止歧视的法律和伦理规则，并通过自然语言将法律语言嵌入到算法的全生命运行周期中。

最后，探索算法规制的市场路径。传统理论认为，算法公平与企业的营利目标是冲突的，企业没有动力推动算法公平的实现。然而，随着用户对于算法公平的需求越来越强烈，市场将会淘汰那些滥用算法的企业。对此，企业可以通过发布透明度报告等方式来公布算法公平指数，以赢得用户信任。此外，公权力机关通过投资和采购的方式，也可以引导企业提高算法公平指数，减少算法歧视的发生。

（作者：郑志峰，系西南政法大学民商法学院讲师）