新德里：一位美国科学家说，从诊断疾病到对哈士奇进行分类，（）有着无数的用途，但对该技术及其解决方案的不信任将持续存在，直到“最终用户”能够完全理解其所有过程。在费耶特维尔州立大学教授计算机科学的萨姆比特·巴塔查里亚说：“信任是人工智能的一个主要问题，因为人们是最终用户，如果他们不知道人工智能是如何处理信息的，他们永远不可能完全信任人工智能。”这位计算机科学家的工作包括使用机器学习（M L）和人工智能处理图像，他是最近在曼迪印度理工学院举行的第四届国际会议和第十九届全国机器和机制会议（iNaCoMM2019）的主旨发言人。为了支持他的观点，即用户并不总是信任人工智能提供的解决方案，Bhat tacharya引用了美国西奈山医院研究人员的例子，他们将ML应用于包含测试结果和医生访问等信息的大型患者记录数据库。根据《自然》杂志（Nature）2016年发表的一项研究，他们使用的“深度病人”软件在预测疾病方面具有非凡的准确性，它发现了隐藏在医院数据中的模式，表明患者何时会患上不同的疾病，包括癌症。然而，研究人员说，“深度病人”有一个黑匣子。它可以预测精神疾病的发作，如精神分裂症，研究人员说，这是很难预测的医生。但这一新工具没有提供任何线索说明它是如何做到这一点的。研究人员说，人工智能工具需要一定程度的透明度，以解释其预测背后的过程，使医生放心，并证明任何处方药的推荐变化是合理的。“许多机器学习工具仍然是黑匣子，在没有任何附带理由的情况下做出判决，”医生们在5月发表在BMJ临床研究杂志上的一项研究中写道。根据Bhat tacharya的说法，即使是基于AI的面部识别系统也可能带有黑匣子。“由于黑匣子问题，人脸识别引起争议。对于皮肤黝黑的人来说，它仍然失败，并且在与面部数据库匹配时会犯错误。有一些很好的例子，包括法律制度中使用案例的问题，”他解释说。并非所有的算法都是值得信赖的。巴塔查里亚提到了加州大学欧文分校的一个项目，一个学生在那里创建了一个算法来分类哈士奇和狼的照片。这位UCI学生的算法几乎可以完美地对这两只犬进行分类。然而，在后来的交叉分析中，他的教授萨梅尔·辛格（Sameer Singh）发现，该算法只是根据图像背景中的积雪来识别狼，而不是根据它对狼特征的分析。在引用另一个例子时，Bhat tacharya说：“如果你给出一个图像分类算法，一个猫图像，猫有一个背景。因此，算法可以说它是一只猫，基于它在背景中看到的与猫有关的东西。”他解释说，在这种情况下，“问题在于该算法没有将背景与前景完全正确地解耦”。有一个全新的领域处理“AI可释性”，试图解释算法如何做出决策。例如，在伦敦，来自谷歌母公司Alphabet的子公司DeepMind的研究人员使用深度学习来分配治疗优先位置，查看病人的眼睛扫描。他们发表在《自然》杂志上的研究报告指出，该系统进行了三维眼扫描、分析，并选择了需要紧急转诊的病例。根据DeepMind研究人员的说法，该模型给出了每种诊断的几种可能的解释，对每种诊断进行了评级，并显示了它是如何标记病人眼睛的部分的。Bhat tacharyya说：“谷歌在开发值得信赖的算法方面投入了大量精力，或者拥有更好的算法来仔细检查深度学习算法正在做什么。他补充说，本地可解释模型Agnostic解释（L IME）算法是克服人工智能黑匣子的一种很有前途的解决方案。Bhat tachary a说，LIME让研究人员分析人工智能系统用来得出结论的“输入值”。他说，这种算法提供了透明度，首先探索了人工智能用来得出结论的那种特征。”一般，我们感兴趣的是知道哪些特征是最有影响力的决策从ML算法。例如，如果它说一张照片是一只狗的照片，我们可能会发现尖尖的或松软的耳朵特征和典型的圆形狗鼻子的特征是
这是最重要的，而身体的头发不是很重要，“他解释说。尽管黑匣子问题的解决方案正在出现，但仍然需要人为干预来解释人工智能的决定。“我相信，在不久的将来，事情将远非完美。我们不能指望人工智能决策的自动解释是非常好的。我们将需要大量的人力监督解释本身，即。相信解释本身就会有问题，”巴塔查里亚说。PTI VIS