机器学习算法有可能在医疗保健领域带来巨大的好处，在某些情况下，可能比人类医生提供更可靠的诊断。但是，我们中的许多人都不愿意将我们的健康状况托付给算法，尤其是当算法的设计者甚至无法确切解释算法是如何得出结论时。
这促使人们要求提高AI设计的透明度，以便这些功能强大的工具可以解释其如何做出决策，这一想法被称为“可解释的AI”。
但是多伦多大学 的特尔蒂医学院(Temerty College of Medicine)和艺术与科学学院的计算机科学系的助理教授Marzyeh Ghassemi说，可解释的AI可能实际上使事情变得更糟，并指出她自己的研究表明可解释尽管准确性较低，但人们认为AI更值得信赖。
Ghassemi说：“人们倾向于在两种特定情况下过度使用AI系统，” Ghassemi专门研究健康的机器学习，并且是T的Schwartz Reisman技术与社会研究所的教职员工。
“第一是他们认为机器可以执行其无法执行的功能，第二是期望机器可以减轻某些风险。两者在许多医疗机构中都是非常正确的，尤其是在紧急和重症监护机构中。”
因此，Ghassemi说，提供算法医学建议的解释可能会导致医生过分相信这些建议，因此甚至过分依赖这些建议。
她的研究于9月30日在Schwartz Reisman每周一次的研讨会上进行了介绍，研究的是专家和非专家如何利用他们认为是机器生成的医学建议。专家倾向于将他们从人工智能那里得到的建议比人类的建议可靠性低，而非专家则倾向于平等地相信这两种建议。
但是，事实证明，专家们缺乏信任不会对他们受到该建议的影响或所产生的建议或措施的准确性产生太大影响。因此，与怀疑AI意见的专家一样，专家们也将最终决定基于该意见的可能性与认为该意见更值得信赖的新手一样。
加塞米(Ghassemi)的作品与指导施瓦茨·赖斯曼研究所(Schwartz Reisman Institute)的四个对话之间的许多交集有关。她的工作询问人工智能系统如何为人类带来最大的利益，以及如何合理地设计这些系统，以使处于不利地位的社区在系统出现故障时不会承受不公平的风险程度，以及如何将其用于消除偏见。在医疗系统中已经存在。
她的工作以及其他Schwartz Reisman研究人员的工作，超出了新技术的直接后果，探索了如何将其集成到现有社区中以及如何使这些社区变得更好或更坏。
在Ghassemi的工作中，如果AI建议不可靠，那么即使是经验丰富的临床医生也可能被误导提供错误的诊断。当AI工具针对特定条件下的数据进行训练时，以及这些条件发生变化时，这尤其成为问题。
Ghassemi说：“例如，当出现新疾病或发生大流行时，我们不知道会发生什么，而(人工智能)突然做出了错误的预测，因为我们没有足够快地更新模型。 ”
透明度似乎可以解决此问题，使我们能够知道何时信任AI，何时怀疑AI。但实际上，加塞米(Ghassemi)提出相反的结论。她着重介绍了一项名为“操纵和测量模型的可解释性”的研究，该研究表明，与捕获相同的错误相比，人们实际上不太可能发现透明模型所犯的明显错误(该模型给出了明确的权重公式以证明其决策合理)。一种“黑匣子”模型(该模型没有说明如何做出决定)。
Ghassemi认为，我们确实需要某种透明性，而不是传统上可解释的AI支持者所倡导的那种透明性。相反，医生需要知道何时该模型可能是错误的-可能是因为AI系统接受了培训，或者是由于受过培训的数据限制。
支持透明度的另一个论点是，它可以减少决策中的偏见。机器学习最终会导致针对弱势群体的编码偏见。但是，即使不使用先进技术，偏见显然也已成为医学领域的一部分。正如Ghassemi所说：“医生是人类，人类是有偏见的。” 机器学习模型可以从训练数据中继承这种偏见。知道模型是如何工作的不会自动捕捉这种偏见。它需要了解机器学习模型的工作方式以及临床数据中存在的偏见。
Ghassemi认为，我们需要对机器学习模型进行积极的审核，以发现潜在的偏见，而这正是透明度可以起到重要作用的地方。
从Ghassemi的工作中得出的总体结论是，我们需要适当怀疑所有建议，包括基于AI的建议，因为看起来透明的建议可能会导致过度自信。
她说，相反，可以并且应该使用AI解释来审核和监视这些系统，以发现它们的缺陷和偏见。