2016年3月微软推出Tay时，非常看好这款人工智能聊天机器人。Tay不仅能回答事实性问题，还可以进行更复杂的交流——Tay能表现出幽默感，像朋友一样跟用户说笑。宣传材料中提到：你跟Tay聊得越多，她就越聪明，体验也会更个人化。但当人们发现Tay会学习模仿交流对象的言语后，一些心怀恶意的人与Tay聊天时故意说一些具有侮辱和攻击性的话。几个小时后，Tay已是脏话连篇。上线不到24小时，微软就宣布下线产品并公开道歉。
Tay项目失败之后，微软人工智能项目总监艾瑞克·霍维茨迅速让技术团队研究“自然语言处理”项目，寻找问题根源。团队成员很快发现，与聊天程序相关的最佳基本行为遭到忽视。在Tay之前的基础版软件里，经常有屏蔽不良表述的协议，但此次并没有保护措施限制Tay可能学习的数据。
如今，微软在全球推出了更加成熟的聊天机器人，包括印度的Ruuh、日本和印度尼西亚的Rinna。在美国市场，微软推出了Tay的姐妹聊天机器人Zo。中国市场的聊天机器人叫小冰，已经开始主持电视节目，给便利店顾客提供购物建议。
然而，这次微软明显谨慎许多。霍维茨说，现在机器人推出得比较慢，而且公司会认真观察软件发展过程中与大众互动的情况。不过微软也清醒地意识到，即使人工智能技术在两年里能获得长足发展，管理机器人行为的工作也永无止境。微软员工一直在监视导致聊天机器人行为变化的对话。
从聊天机器人的上述缺陷能看出，哪怕只是部分应用人工智能，潜在的祸患也会被放大。虽然商业世界已经准备好更广泛地应用人工智能，但该技术存在的问题，让技术人员寝食难安。
所有人都相信，我们正处在企业人工智能大爆发的前夜。研究公司IDC预计，到2021年，企业每年将在人工智能相关产品上花费522亿美元。经济学家和分析师都认为，相关投资届时可以实现数十亿美元的成本节约和收益。其中一些收益将来自岗位压缩，更多则来自产品与客户、药品与病人、解决方案与问题等之间的高效匹配。
人工智能技术之所以流行，主要因为深度学习系统的不断发展。利用深度学习，企业可以在电脑中输入大量信息，让深度学习系统梳理、分析数据。不久的将来，各种规模的公司都能通过应用深度学习系统挖掘数据，寻找人仅凭经验很难发现的最佳商机、决策核心等。在科技主义者的设想中，公司可以用人工智能整合过去多年的数据，更好地预测下一次大卖的机会，药业巨头可以削减研发畅销药的时间，而汽车保险公司也能通过录入数万亿字节的事故报告，实现自动理赔。
尽管人工智能系统潜力巨大，但它也有黑暗的一面。首先，系统的决策水平受到人类提供数据的限制。用来培训深度学习系统的数据虽在不断完善，却并不中立。成熟的算法扫描历史数据库后可能得出结论：白人男性最有可能当上首席执行官。无视偏见是人工智能系统的一项根本缺陷。当前应用的强大算法“没有为所谓公平进行数据优化，”加州大学伯克利分校技术伦理学教授迪尔德丽·穆里根表示，“只存在为完成某项任务进行的优化”。人工智能以前所未有的速度将数据转化为决策，但穆里根表示，科学家和伦理学家发现很多情况下“数据并不公平”。
让问题更加复杂的是，人工智能系统比之前应用的传统算法更加复杂，即便让经验最丰富的程序员理解人工智能系统做出某项决策的逻辑都十分困难。再者，由于系统的开发者们都在拼命保护数据和算法，担心专利技术泄露导致利益受损，外部监测机构很难发现系统里存在什么问题。
近年来最典型的一次人工智能失控案例是，2016年美国大选前期，脸书的新闻推送中出现了假新闻。
社交媒体巨头脸书并非故意散布假新闻，而是因为新闻信息流的推送机制并不会区分“真”和“假”，只会根据用户个人兴趣推送个性化内容。脸书没有公开算法的具体信息（涉及专利问题），但承认计算时会参考其他兴趣相近用户阅读和分享的内容。结果是，假新闻一出现就吸引了网友们的注意，由此一传十、十传百，数百万人的新闻信息流里都出现了假新闻。
脸书的例子正是个人选择与人工智能发生恶性互动的实例，但研究者更担心人工智能误读整体数据。提米特·葛布鲁曾在微软等公司研究算法伦理，她对人工智能影响保险市场的方式很担心，因为在保险市场上人工智能与数据结合后可能导致少数群体受到不公正待遇。假设有一组汽车事故索赔数据显示市中心交通事故发生率比较高，而市中心居住的少数族裔人数比较多。如果人工智能系统获取了相关数据，可能认为少数族裔与车祸之间存在联系，还可能给少数族裔司机贴上某种标签。简单来说，人工智能可能出现种族偏见。如果进一步回顾市中心附近车祸现场的照片和视频，人工智能系统更有可能认为，在涉及多名司机的事故中，少数族裔司机肇事的可能性更大。系统还可能建议向少数族裔司机收取更高保费，不管他之前的驾驶记录如何。
随着科技巨头们准备将人工智能系统嵌入其客户商业软件，上述问题便从学术界所讨论的“假如”命题变成急需考虑的事情。这一挑战的关键之处在于，科技公司所面临的两难境地并不在于创建算法或聘请员工来监视整个过程，而是在于人性本身。真正的问题并不在于技术或管理，而是关乎哲学。
技术伦理学教授迪尔德丽·穆里根指出，计算机科学家很难将“公平”编入程序，因为公平的意义会因人群的不同而发生变化。穆里根还指出，社会对于公平的认知会随着时间的变化而改变。而且对于大家广泛接受的理想状态的“公平”理念，也就是社会决策应体现社会每位成员的意志，历史数据存在缺陷和缺失的可能性尤为突出。
谷歌云计算部门的人工智能首席科学家李飞飞表示，技术偏见“如人类文明一样由来已久”，而且存在于诸如剪刀、扳手这类普通事物当中。她解释说：“几个世纪以来，剪刀都是由右撇子的人设计的，而且使用它的人大多都是右撇子。直到有人发现这一偏见，才意识到人们有必要设计供左撇子使用的剪刀。”全球人口中仅有约10%是左撇子，作为人类的一种天性，占主导地位的多数人群往往会忽视少数人群的感受。
事实证明，人工智能系统最近所犯的最为明显的过错也存在同样的问题。我们可以看看俄罗斯科学家利用人工智能系统在2016年开展的选美大赛。为参加竞赛，全球有数千人提交了自拍照，其间，计算机根据人们脸部对称性等因素来评价其美貌程度。然而，在机器选出的44名优胜者当中，仅有一名是深色皮肤。这一结果让全球舆论哗然，竞赛举办方随后将计算机的这一明显偏见归咎于用于培训电脑的数据组，因为数据组中的有色人种的照片并不多。计算机最终忽视了那些深色皮肤的人的照片，并认为那些浅肤色的人更加漂亮，因为他们代表着多数人群。
这种因忽视造成的偏见，在人工智能系统中尤为普遍。在这些系统中，图片识别是培训过程的重要组成部分。此类算法空白在线上选美比赛中看起来可能是微不足道的事情，但葛布鲁指出，此类技术可能被用于更加高风险的场景。葛布鲁说：“试想一下，如果一辆自动驾驶汽车在看到黑人后无法识别，会出现什么后果。想必后果是非常可怕的。”
葛布鲁的观点激起了不小的浪花。微软和IBM均表示，公司已采取针对性的措施来完善其图片识别技术。尽管这两家公司拒绝透露其举措的详情，但正在应对这一问题的其他公司则让我们窥见了如何利用科技来规避偏见。
亚马逊在部署用于筛除腐烂水果的算法时，公司必须解决抽样偏见问题。人们通过研究大量的图片数据库来培训视觉辨认算法，其目的通常是为了识别，例如，草莓“本应”具有的模样。然而，正如你所预料的那样，与完好浆果光鲜亮丽的照片相比，腐烂浆果的照片相对较少。而且与人类不同的是，人工智能系统倾向于不计算或忽视它们，而人类的大脑则倾向于注意这些异常群体，并对其做出强烈反应。
亚马逊的人工智能总监拉尔夫·荷布里奇解释道，作为调整，这家在线零售巨头正在测试一项名为“过采样”的计算机科学技术。人工智能工程师可通过增加不具充分代表性的数据的统计学权重，来主导算法的学习方式。在上述案例中便是腐烂水果的照片。结果显示，培训后的算法更为关注变质食物，而不是数据库中可能建议的食品关联性。
荷布里奇指出，过采样也可被应用于分析人类的算法（然而他拒绝透露亚马逊在这一领域的具体案例）。荷布里奇说：“年龄、性别、种族、国籍，这些都是特别需要测试采样偏见的领域，以便今后将其融入算法。”为了确保用于识别人脸照片的算法不会歧视或忽视有色、老龄或超重群体，人们可以为此类的照片增加权重，以弥补数据组存在的缺陷。
其他工程师正专注于进一步“追根溯源”——确保用于培训算法的基本数据具有包容性，且没有任何偏见。例如，在图形识别领域，在录入计算机之前，人们有必要对用于培训人工智能系统的数百万张图片进行审核和标记。数据培训初创企业iMerit首席执行官雷德哈·巴苏解释，公司遍布于全球的1400多名训练有素的员工会代表其客户，以能够规避偏见的方式对照片进行标记。iMerit在印度的员工可能会觉得咖喱菜不是很辣，而公司位于新奥尔良的员工可能会认为同样的菜很辣。iMerit会确保这两条信息均被录入这道菜照片的标记中，因为仅录入其中的一个信息会让数据的精确性打折扣。在组建有关婚姻的数据组时，iMerit将收录传统的西式白婚纱和多层蛋糕图片，同时还会收录印度或非洲精心策划、色彩绚丽的婚礼。巴苏表示：“良好的伦理政策不仅仅包含隐私和安全，还涉及偏见以及我们是否遗漏了某个观点。”而找出这个遗漏的观点已被更多科技公司提上了战略议程。
然而，在这一代更加多元化的人工智能研究人员进入劳动力市场之前，大型科技公司已然将人工智能系统融入其产品。而且即便顶级研究人员越发意识到该技术的缺陷，并承认他们无法预知这些缺陷会以什么样的方式展现出来，他们仍然认为人工智能技术在社会和金融方面的效益，值得他们继续向前迈进。
脸书高管坎德拉说：“我认为人们天生便对这种技术的前景持乐观态度。”他还表示，几乎任何数字技术都可能遭到滥用，但他同时也指出：“我并不希望回到20世纪50年代，体验当时落后的技术，然后说：‘不，我们不能部署这些技术，因为它们可能会被用于不良用途。’”
确实，很少有人依然持有“人工智能绝对可靠”的观点，这是一个进步。谷歌前任人工智能公共政策高管蒂姆·黄指出，在互联网时代初期，科技公司可能会说，他们“只不过是一个代表数据的平台而已”；如今，“这一观点已经没有市场”。
（留痕摘自财富中文，www.fortunechina，〔意〕马尔科·马里伦戈图）