逻辑

衡量研究人员

科学研究界的疯狂评估激起了方法的泛滥。 Hirsch指标已成为为研究人员评分的最快方法。

让·保罗·德拉海 对于科学N°401
本文仅供《 对于科学》的订户使用

评估研究人员的素质是合法且有用的。但是,当很少有人具备该技能时,您将如何做呢?如果我们求助于专家,我们将无法逃脱主观性,学校争吵甚至嫉妒。同行评议将仍然是必不可少的,但是鉴于“无论多少,总比没有好”,我们希望以具体和可衡量的方式来补充和控制人类的判断。

依靠研究人员的著作对它进行评分是很自然的。今天,有大量的书目数据库,其中列出了文章,会议和书籍,并考虑了大量出版物,从而计算出研究人员的论文数量N。

但是同音异义词,打字错误,重音字母,连字符和名字缩写造成的印刷障碍,书目数据库的不详尽性,所有这些都会产生有时会严重扭曲结果的错误(请参见以Grigori Perelman为例)。此外,某些期刊的要求要比其他期刊要高得多,并且用相同的方式来计数期刊中发表所有提交的文本的文章,而期刊中只保留100分之一的期刊是不公平的。 。

一种解决方案是基于该排名对研究人员的期刊和出版物以及权重列表进行分类。这种广泛使用的解决方案是不好的,因为如果期刊的分类是由为此目的而组成的委员会完成的,则存在高估委员会成员参加的期刊以及对与学校相关的期刊以及竞争性较差的期刊进行惩罚的风险。 。

计算期刊“影响因子”的解决方案似乎并不好,提议定义期刊的方法平庸,甚至荒唐。影响因子根据发表两年内被引用的文章数来确定期刊的价值。此计算确定日记帐的值,并因此确定与其发布的文章关联的系数。

这种方法是荒谬的:例如,在数学中,超过90%的引用与两年多以前发表的文章有关。影响因子的另一个荒谬之处是,它仅考虑主观确定的某些期刊,当然也考虑英语期刊:因此,影响因子包含了它声称的主观成分避免。

可疑的“影响因素”

文献计量学专家已经证明的另一个问题是严重的:“好的期刊”上的一篇文章,例如通过计算引文数量,可能比实际上的要好,而不是被认为是普通或中等的期刊上发表的一篇文章。 。因此,依靠委员会排名或期刊影响因素来判断研究者出版物的质量并不令人满意。 2007年,欧洲科学编辑协会(ease)发表了以下意见:“影响因素并不总是可靠的工具。因此,应谨慎使用它,仅用于比较期刊的影响,而不能用于评估文章,更不用说研究人员或研究计划了。 ”

一个更简单且可能更健康的想法是考虑对要评估的研究人员的工作进行的引用总数(NTC)。如果引用一位研究人员,那是因为他们的工作得到认可和赞赏。研究人员被引用的次数越多,他的CNT增加得越多,就越清楚他是有效的,具有影响力并产生相关想法和结果的。至少作为一个近似值,从他的NTC来评估研究人员似乎是合理的。

计算研究人员的CNT时,需要具有包含已发布文章列表的数据库,而且还需要包含每个出版物所提及的出版物列表的数据库。从所有这些列表中,我们使用计算机程序推断出引用给定出版物的引用次数。三个主要数据库归私人参与者所有:汤普森·路透(Thompson Reuters)通过SCI(科学引文索引)数据库 科学网 ; 爱思唯尔 2004年成立基地 斯科普斯 ; Google优惠 谷歌学术 与其他两个不同,访问是免费的。

计算报价

前两个主要包括精心选择的研究期刊,因此从狭义上衡量研究活动。基地 谷歌学术更广泛地讲,它将通过更好地考虑会议和代表大会的议事录(在计算机科学中非常重要)以及教学出版工作的一部分来给出研究人员的活动构想。根据区域和要测量的内容,您可以选择一个或另一个,但是这三个都很好,很少给出相互矛盾的评分。

考虑使用基数计算的一些示例 谷歌学术 和互联网页面,其中总结了结果(http://quadsearch.csd.auth.gr/index.php?lan=1&s=2)。

我们发现PaulErdös的著作被引用了15040次,这是一个可观的数字,但这并不奇怪,因为他可以说是20世纪所有数学家中最多产的。e 世纪,有超过1,500篇文章获得荣誉(系统识别了975篇)。 JeanDieudonné是Bourbaki集团的支柱之一,被他引用了12580次。颇具影响力的Nicolas Bourbaki获得16127,法国数学家亚历山大·格洛腾迪克(Alexandre Grothendieck)的NTC为9,110,2010年菲尔兹奖获得者之一塞德里克·比利亚尼(CédricVillani)的NTC为3,426。 NTC为1000。

对这些数字的一些测试和检查表明,ntc引用的总数是给研究人员的不完美分数。首先,印刷问题很难消除。查询“ N Bourbaki”得到25,642,几乎是查询“ Nicolas Bourbaki”得到的两倍。差距对其他研究人员而言并不大,可能是由于Bourbaki的作品并未充分显示Nicolas的名字。

另一个困难:为Bourbaki录制的一些报价应转移给JeanDieudonné,因​​为他是Bourbaki作品的匿名作者之一。当然,没有人知道如何进行这种推迟!对于百科全书,这次出现了同样的问题,规模更大了 维基百科 其影响已变得相当大……并且无法考虑。

这里提到的最年轻的研究人员塞德里克·比利亚尼(CédricVillani)处于劣势,因为他的职业生涯还远未结束。此外,从一门学科到另一门学科,出版和引文的用法有很大不同。因此,通过考虑他们的ntc来比较不同学科的研究人员是荒谬的(请参阅 图3)。例如,在数学中,发表的文章较少,而发表文章的频率更高,只有一位作者的名字发表;而在物理学中,有数十个签名者的文章并不罕见。稍后将在h索引中找到由几个人签名的文章问题。

通过逐一检查每篇文献的引用次数,可以发现,即使是最著名的科学家中,也有许多文章从未被引用过。诚然,认为从未被引用过的文章是没有用的,这是错误的,但是我怀疑许多研究人员知道,即使他们已经在著名的期刊上发表论文,也从未提及过他们工作的很大一部分。 。

研究人员对ntc的引用总数虽然可提供信息,但其变化范围非常大,并且存在一些缺点,因此不适合进行精细比较。在中心或时尚领域发表过一篇著作并突然间非常引人注目并被广泛引用的研究人员,将被视为等同于发表了一系列困难且更加专业化的著作的研究员。引用较少,而第二种的实际科学贡献可能更大。发表评论文章的研究人员将受到青睐,即使他不是很有创造力。书籍的作者通常处于不利地位,因为一方面,书籍比数据库中的文章没有被充分考虑,另一方面,编写书籍的工作通常要多得多。而不是一篇文章。

赫希氏h指数

也许这就是为什么在2005年,加利福尼亚大学圣地亚哥分校的物理学家豪尔赫·赫希(Jorge Hirsch)提出了一个新想法,此想法已成为评估研究人员的首选标准。 Hirsch指数的思想引起了如此多的研究和文献计量工作,以至于今天J.Hirsch于2005年发表的论文被引用了1,252次,而他在物理学中被引用最多的出版物并未被引用。是410次...但是还是很好!

指标 h (要么 h指数 Hirsch撰写的英文版)仅考虑研究人员的最佳出版物。研究人员的索引h是最大的整数k,因此该研究人员撰写的k条引用最多的文章至少被引用了k次。要使h索引为1,您必须将1个出版物引用1次。要使h索引为2,您必须至少有2个出版物各自被引用至少2次,以此类推。

因此,索引h通过研究人员的发表数量而增加:如果您仅发表了5篇文章,则索引h不能超过5。此外,如果您发表过多,则永远不会被引用,您的索引h将为零。该定义的另一个结果(由J. Hirsch表示):如果您有一个很好的ntc,但是由于只有一篇文章,您的h索引将为1。

我们前进得越多,增加指标h就越困难。达到索引k的最小引用次数为k2。通常,我们发现研究人员的CNT是其索引h的平方的3至5倍。在大量引用最佳作品的情况下,该系数远高于5,而杰出研究人员通常是这种情况。要使索引h倍增,必须多引用4次,再乘以10,则必须将工作的声望乘以100。该综合指标考虑了研究人员及其工作的强度。质量。

这是上述五位数学家的一张小桌子:

N NTC 指数 h
埃尔多斯 975 15 040 60
N·布尔巴基 355 16 127 47
迪乌多纳 310 12 580 39
格罗腾迪克 136 9 110 32
比亚尼 102 3 426 28

尽管有明确的反对者,但根据文献计量学专家的观点,h指数是一种有效且相当稳健的衡量标准,它为研究人员的工作效率和质量提供了一个粗略而即时的想法。然而:

-我们决不能忘记它取决于允许其计算的书目基础。

-特别是由于歧义消除和印刷困难,可能会出现错误。至少必须检查k个第一出版物的索引h等于k;这种检查比ntc容易,因为索引h仅取决于少量出版物。

-比较来自不同学科的研究人员是荒谬的,因为有关出版物和引用的实践在一个领域之间是不同的。我们尝试计算的纠正因素仍然不确定。

-许多偏见有利或不利于研究人员。特别是,必须考虑研究人员的年龄以及研究人员是否独自出版。

-一个人不能而且永远不能同时评估一个人的创造力,毅力,影响力,综合能力。结果,将所有内容简化为一个音符将永远无法对研究人员的个性和特定成就做出很好的评估。对于必须招募,授予晋升或决定资金的委员会而言,这一点至关重要。

J. Hirsch在其2005年的文章中提出了一系列支持他的发明的论据。据他说,由于h索引限制了命中的重要性(出版物多次被引用),因此h索引对研究人员的排名要比NTC(具有虚幻的辨别力)更公平。同样,它在出版数量N方面也没有缺陷(因为一个发表大量论文却从未被引用过的研究者可能不是一个好的研究者)。

与至少被引用K次的文章数量相比,索引h是一个更好的指标,后者也可以算出研究人员的优秀文章,但是取决于任意因子K。指数h。

研究人员的h指数只能增加。通过简单地假设研究人员的生产率和工作成果,我们得出了一个理论模型,该模型的索引h在整个职业生涯中呈线性增加,或者最大研究人员不再超过 图2)。

利弊

根据J. Hirsch的观点,索引h对自引现象和书目数据库必然包含的小错误不敏感(至少在它不太小的时候)。

例如,J。Hirsch研究了一系列诺贝尔物理学奖获得者,发现他们的h指数均大于20。其他测试也证实了其他学科中最杰出的人物所有良好的h指数(针对其学科)。

J. Hirsch还进行了一项统计研究,以评估h指数的预测能力。考虑到一系列科学家经过12年的研究后的h指数,他计算了指标预测未来12年工作质量的能力。他的研究似乎是结论性的。奇怪的是,12年后的h指数与24年后的NTC之间的相关性比12年后的ntc和24年后的ntc之间的相关性要好:在您的职业生涯的其余部分会很好(就ntc而言),最好是信任您当前的h指数而不是当前的ntc!在索引h的缺陷中,有一个不精确之处:它是一个整数,因此无法进行精细的比较。但是,许多试图给出更好(不是整体)分数的方法可能会产生虚幻的精度。

他还被指控是马修效应的受害者,之所以如此命名,是因为根据圣马太福音中的一句话:谁什么都没有,他将被全部拿走,即使他拥有了一切。换句话说,引用很多文章会更容易。

h指数的最严重缺陷是,它鼓励人们将本来应该是一篇文章的文章拆分成几篇小文章,而放弃写太少钱的书。它的使用会鼓励裙带关系:只要他们也这样做,您将在很大程度上引用您的朋友并让他们共同签名。最后,它的使用导致选择容易和时髦的主题,从而确保引用一个主题,甚至建议发表一些捍卫性的文章,这些文章不相信自己,但可以肯定它们将作出反应,因此将被引用。

我们可以添加另一条建议:发布有错误的文章并进行更正,您将同时发表两个文章:如果该文章出现在您的h索引中,那么引用该文章的人数将增加一倍,因为引用该文章的人还会提及固定。也不要忘记,当您引用自己的文章时,必须选择接近索引h阈值的文章:被引用过多的文章不需要更多,而被引用过多的文章则不需要。永远不够。

g指数有点复杂,但很有趣。它是最大的整数g,使得被引用最多的g个文章至少被引用了g个2 总次数。该指标始终大于或等于h指数,可以更好地考虑研究人员的命中率。让我们注意到一个小的自引用悖论:J. Hirsch可以更好地定义这个索引g,它比索引h更受青睐,因为他关于索引h的文章在他的出版物列表中很受欢迎...

被遗忘和作弊者

为了强调人们在h索引中必须存在的不信任,让我们提到两个极端情况。

证明庞加莱猜想的格里哥里·佩雷尔曼(Grigori Perelman)是现存的十大数学家之一。但它的索引h是用基数计算的 谷歌学术,是0。原因是我们在西方将其称为Grigory Perelman,而在此名称下,他被提及 维基百科,以名字Grisha注册!请注意,即使改正了名字,Perelman h指数仍然很低。

艾克·安特凯(Ike Antkare)的例子恰恰相反。艾克·安特卡雷(Ike Antkare)的h指数为95,使他成为有史以来最好的研究人员之一。但是,这一壮举并不具有科学性:艾克·安特卡(Ike Antkare)不存在!它的h指数是格勒诺布尔大学CyrilLabbé故意操纵的结果。 C.Labbé以Ike Antkare为作者创作了101条假文章。这些文章中有一百篇引用了所有其他文章,第101篇引用了Google学术搜索已经引用的实际文章,从而使Ike Antkare看起来与真实的学术世界联系紧密。 C.Labbé然后将放置这101篇文章的Internet页面放在网上。 谷歌学术,被困,考虑了这些页面和文章……至少几乎全部。因此,对于Google学术搜索,艾克·安特卡雷(Ike Antkare)发表了95篇文章,每篇文章在同年至少被引用过95次,因此必须为其分配h等于95的索引。

这一壮举说明了作弊是多么容易,并显示了使用h指数评估研究人员要提防的人。做好研究从未意味着要发表大量的小文章,四处散布点子以积累积分,例如驾车者在加油站累积积分以赚取高球杯。

主题

订阅和访问超过20年的档案!

订阅优惠

12期+ 4期特刊
纸质+数字版

+无限访问超过20年的档案

我订阅

订阅和访问超过20年的档案!

订阅优惠

12期+ 4期特刊
纸质+数字版

+无限访问超过20年的档案

我订阅

我们的最新出版物

回到顶部

已经有帐号了?

身份证明

标识自己可以访问您的内容

看到

还没有帐户 ?

注册

注册以激活您的订阅或订单问题。

创建我的账户