根据最新的研究结果，无论文章的质量如何，学术论文标题中简单连字符的存在都会对引文统计数据产生不利影响。这种现象适用于所有主要学科领域。因此，全世界大学通常用于教授评估的引用计数和期刊影响因子是不可靠的。
这一突破性发现对决定论文，期刊和教授的贡献的游戏规则提出了根本性的挑战。它是由Zhi Quan Zhou，TH Tse和Matt Witheridge撰写的题为“变形稳健性测试：在引文统计和期刊影响因子中暴露隐藏缺陷”的论文中公布的，最近发表于IEEE Transactions on Software Engineering，该领域的顶级期刊。
TH Tse是香港大学(HKU)的计算机科学荣誉教授。Zhi Quan Zhou获得香港大学博士学位，目前是澳大利亚卧龙岗大学软件工程副教授。Matt Witheridge是卧龙岗大学的博士生。
Scopus和Web of Science是两个主要的引文索引系统。Scopus提供引文统计数据，以支持泰晤士报高等教育世界大学排名和QS世界大学排名。Web of Science提供支持主要期刊排名的期刊影响因子。由于这两个索引系统的重要性，必须确保它们的质量。特别是，稳健性测试是指验证系统处理错误输入或意外情况的能力。例如，如果在引用纸质标题时出现轻微错字，索引系统是否可以正确处理引文?
谢教授和团队成员提出了一种名为“变形稳健性测试”的创新方法来验证Scopus和Web of Science。深入研究揭示了两个系统中的鲁棒性缺陷，这些缺陷可能会对标题中带有连字符的论文产生错误的引用计数，因此随后计算的期刊影响因子存在问题。
早在2015年，莱奇福德及其同事就Scopus进行了一项大规模的研究，发现较短标题的论文比那些标题较长的论文更容易被引用。他们的研究结果广泛报道的国际媒体，包括科学和自然。
相反，谢教授和现在的团队发现，实际上标题中连字符的数量是引用计数的主导因素。通常，连字符的数量与纸张的标题长度相关，因此误解了引用计数取决于标题长度。
引文实践因主题领域而异。某些领域的出版物可能比其他领域有更高的引用次数。例如，有人可能会争辩说，化学论文(论文题目通常带有连字符作为化学命名法的一部分)只能获得相对有限的引用次数，从而引起连字符和引文之间的虚假负相关。因此，该团队对特定学科领域的期刊进行了重点研究。结果表明，连字符对论文的引用次数产生不利影响，即使该研究仅限于某些特定学科。
为了在文章和学科层面的研究结果的基础上，该团队调查了连字符在期刊层面的纸质标题中的影响。期刊影响因子(JIF)是确定学术期刊引用频率的常用指标。它经常被用来表示期刊在其领域内的相对重要性。一项软件工程领域的研究表明，JIF排名较高的期刊发表较低比例的带有连字标题的论文。
该小组进一步对该研究的有效性进行了分析，以避免陷入将相关性与因果关系等同起来的陷阱。
“我们的研究结果质疑学术界，政府和资助机构的共同信念，即引用计数是对论文的贡献和重要性的可靠衡量标准。事实上，它们可能仅仅因为文章标题中存在连字符而被扭曲。与研究质量无关。同样，我们的研究结果也对期刊影响因子的有效性提出了挑战，“谢教授说。
“这些令人惊讶的结果不仅对寻求任期或晋升的教授感兴趣，而且对总统，院长和校长等高级管理层也有兴趣。它们适用于任何大学的所有院系，”他补充说。