算法的误伤
2019年，Apple与高盛联手推出的Apple Card，曾因为信用额度性别差异引发热议。部分用户反映，明明夫妻俩一起报税，家庭财务状况也差不多，结果男性获得的信用额度比女性高很多。苹果电脑公司联合创始人Stephen Gary Wozniak在社交媒体上回应Apple Card性别歧视争议时也表示，“My Apple Card was 10X higher than my wife’s. We have no separate bank accounts or separate assets”。难道浓眉大眼的苹果公司也有性别歧视？
类似的事情在美国房贷市场也上演过。2022年发表的一篇研究（文献来源https://www.sciencedirect.com/science/article/abs/pii/S0304405X21002403）指出，黑人和拉丁裔借款人在贷款审批、利率和费用方面处于不利地位。难道信贷市场这么明晃晃地种族歧视？
我国小微企业融资也面临类似的问题。为缓解小微企业缺少抵押物、财务信息不完整等困境，许多银行使用支付数据、交易流水等信息进行授信评估。以北京一家经营了十多年的川菜馆为例，这家餐饮店有稳定的营业收入，老老实实纳税，可当它向银行申请经营贷款时，被判定为高风险企业，贷款申请随即被拒。我国的银行也有小商户歧视？
歧视就这么赤裸裸地存在吗？其实不是的，他们并没有主观歧视的意图。真正的原因，出自算法“只问相关、不问因果”的运作方式上。
Apple Card信用审批时虽不考虑性别，但模型会纳入“现有债务”和“消费习惯”等变量，女性（尤其是已婚已育女性）的个人名下信用卡、个人名下资产或独立消费行为少于男性，算法将这些变量高度关联后，就形成了“代理歧视”——没有用性别做决定，却利用了与性别高度相关的数据，最终在信用额度上对女性产生不平等。
美国房贷市场也是相同的逻辑，即使贷款模型没有将种族作为变量，在控制借款人财务状况、贷款类型等因素后，居住地区、信用历史、财富水平等因素成为种族的代理变量，算法在形式上保持中立，在结果上还是对特定群体产生不利影响。
国内银行的AI风控系统对小微企业的误伤如出一辙。AI模型主要依赖可量化的银行转账流水、规范的财务报表来判定风险。餐饮、零售、农贸、个体服务等行业，使用现金、微信或支付宝支付交易更为常见，银行流水金额和频次都比较低，这本质上是训练数据与模型设计缺乏对小微企业场景的认知，最终导致误判。
以上就是算法的误伤！
算法的误伤暴露了算法决策中一个结构性伦理缺陷：相关性 = 公正性。
首先，算法的代理歧视违背了形式公平。无论是Apple Card中与性别相关的消费习惯，还是房贷模型中与种族高度相关的居住地区，算法都在形式上绕开了受保护属性，却通过这些替身变量在结果上复制甚至放大了社会既有偏见。“不问你是什么人，却用与你高度相关的事来判定你”，使得决策过程既不透明，也无法被个体所理解和挑战，构成了对个体知情权和申诉权的实质剥夺。
其次，误伤导致的负担分配是高度不公平的。少数族裔借款人每年超过4.5亿美元的额外成本、被AI系统拒贷的稳定经营的小微企业，都表明算法的无心之过产生了实实在在的系统性受害者。算法的效率虽提升了整体金融福祉，但误伤的成本却几乎全部由特定弱势群体承担了。
最后，最棘手的问题是责任的模糊化。当系统出错时，开发者归咎于数据，银行归咎于系统，管理者归咎于技术复杂性，形成了责任真空，被误伤者投诉无门，内部员工（如信贷审核员）陷入“明知不公却无力改变”的职业伦理困境。本质上，这是将本应由人类承担的道德判断责任，转移给了无法进行价值权衡的算法。
怎么减少算法误伤呢？光靠模型更聪明不能解决根本问题，需要数据、决策和纠错环节间建立一套真正落地的治理机制。训练数据不能只覆盖大企业和信用优良者，也要纳入小微企业、新市民和信用记录不足者，同时识别并纠正历史数据中隐藏的性别、地域等偏见。模型上线前，应开展公平性测试，比较不同群体在审批率、授信额度、利率和拒贷率等方面的差异，尤其要警惕居住地、职业等可能替代敏感属性的变量。拒贷时，银行不能只用系统判定搪塞申请人，而应说明影响结果的主要因素和所使用的数据，并为被误判者提供人工复核、补充材料和申诉渠道。模型投入使用后，还要持续监测、定期审计，发现偏差及时调整。同时，应明确银行、技术公司和数据供应商的责任，不能让各方共同参与却无人负责；考核也不能只关注坏账率，还应纳入公平性和纠错效率。说到底，算法得看得见、说得清、纠得了。
人工智能可以让决策更快，却未必能让决策更公平。当系统告诉一个女性“你的额度只有这么多”、告诉一家小餐馆“你的流水不符合要求”时，银行还应当保留继续追问的能力：
这个结论真的准确吗？
它是否误解了某种正常的生活和经营方式？
如果被判断的人是我们自己，我们是否愿意接受这样的规则？
只有当这些问题能够被决策者认真回答，人工智能才可能真正实现效率、公平与责任之间的平衡。