不該用期刊評價指標來評科研人員
發稿時間:2017-04-18 17:36:39 來源:澎湃新聞網 作者:羅昕
剛過世的“SCI之父”加菲爾德曾在中國親(qin) 自對“利用影響因子來評估科研”等問題作出回應:“用期刊影響因子來評估每個(ge) 人的科研表現和科研能力,包括他個(ge) 人的評估,獎金也好,讚助也好,都是不合理的。”
“按領域加權引用影響指數,世界科研文章的平均水平是1.0,中國科研文章的平均水平為(wei) 0.8,愛思唯爾發表的中國文章的質量水平與(yu) 愛思唯爾發表文章的平均質量都為(wei) 1.3。”4月11日,全球著名出版商、信息服務提供商愛思唯爾(Elsevier)在北京的學術期刊評價(jia) 圓桌討論會(hui) 上向媒體(ti) 分享了上述數據。
愛思唯爾全球期刊出版業(ye) 務總裁菲利普·德哈根(Philippe Terheggen)博士及Scopus內(nei) 容策略管理負責人維姆·梅斯特(Wim Meester)博士還就全球期刊評價(jia) 體(ti) 係、中國期刊的國際影響力、如何用好學術質量評價(jia) 指標展開討論。
“中國40萬(wan) 科研論文、38%中國作者引用的文章來自愛思唯爾旗下期刊。”菲利普稱,近幾年中國研究者發表文章在全球所占比重不斷增加,並逐漸接近美國所占比重。“中國科研人員在國際期刊上發表學術成果,對促進中國科研事業(ye) 的發展是非常有益的。科研成果越突出,我們(men) 就更應該關(guan) 注對它的評估,並思考如何以更多元的方式進行評估。”
近幾年中國研究者發表文章在全球所占比重不斷增加,並逐漸接近美國所占比重。
“引用”並不是唯一的學術指標
菲利普表示,目前評估科研影響力最經典、最常用的方式就是看它的被引頻次。“引用並不是唯一重要的信息,但它現在仍是比較重要的指標。”
“不可否認的是,沒有哪一項指標是完美的,它們(men) 都有不足。”維姆隨即介紹,在使用學術指標時,一般有兩(liang) 大黃金原則:第一個(ge) 原則是在決(jue) 策過程中既要有定量的指標,又要有定性的評價(jia) ,比如同行評議、采訪調研、對教學工作進行評價(jia) ;第二個(ge) 原則是在進行定量分析的時候,不能隻使用一種單一的指標,而需要多個(ge) 指標進行全麵評估。
維姆也展示了愛思唯爾旗下Scopus數據庫(全球最大的文摘與(yu) 索引數據庫)的一籃子指標,包括群體(ti) (相關(guan) 編委會(hui) 及作者)、貢獻(發表文章數量)、使用情況(被引用)、學術影響力(如學術成果在學術網站上被提及的次數)及社會(hui) 影響力(如學術成果在社交媒體(ti) 上被討論的次數)等方方麵麵。
愛思唯爾旗下Scopus數據庫的一籃子指標。
“這一籃子指標並不是由我們(men) 開發,而是各個(ge) 科研群體(ti) 長期提出的想法。”維姆稱,去年年底,愛思唯爾在這一籃子指標中增添了評價(jia) 學術期刊質量的CiteScore(CS)指標。CS是指某期刊前3年發表的文獻在統計當年的篇均被引頻次。
CS計算公式,分子為(wei) 出版物連續三年的出版文章在一年裏所獲得的篇均被引頻次,分母為(wei) 三年內(nei) 發表文章的所有類型出版物。
新提出的CS指標,避免影響因子的“可操弄性”
和我們(men) 最熟悉的影響因子(IF)類似的是,CS也為(wei) 評價(jia) 學術期刊影響力而生,分子是論文被引頻次,分母是文獻數量。
然而兩(liang) 者亦有很大不同。維姆強調,一是CS引證窗口期為(wei) 3年,IF為(wei) 2年;二是CS分母為(wei) 期刊全部文獻數量,而IF的分母為(wei) 可被引文獻(學術文本)數量。
換言之,對於(yu) 那些發展速度較慢的學科,CS的評價(jia) 更為(wei) 公平。CS的分母設定,也避免了上海交通大學科學史與(yu) 科學文化研究院院長江曉原之前在“破解Nature影響因子神話”中提及的“期刊通過布局文獻類型(減少學術文本),人為(wei) 操弄評價(jia) 指標”。
維姆在現場舉(ju) 例清華大學出版的《納米研究》,該期刊在2015年的CS值為(wei) 7.87,在中國期刊中目前是最高的。“在頁麵中,你還可以看到CS之外的指標,比如被引頻次、期刊發表文章總數以及其所在的排名百分位。”
清華大學出版的《納米研究》在2015年的CS值為(wei) 7.87,在中國期刊中是最高的。
“CS的優(you) 點一是全麵,數據源自Scopus數據庫,有超過22000種刊物,不僅(jin) 涵蓋期刊,還包括行業(ye) 刊物及會(hui) 議文集等;二是透明,我們(men) 網站上所有CS指標都是免費獲取的;三是時效性很強,除了有月追蹤,新收錄的連續出版物在一年後就能獲得CS年度值。”維姆透露,推出CS指標後,Scopus數據庫每個(ge) 月的獨立訪問用戶數量(非訂閱用戶)一度達到七萬(wan) 五千人次。
“和SNIP、SJR這兩(liang) 個(ge) 期刊評價(jia) 指標相比,CS算法更簡單。而對比影響因子,CS能彌補它的不足,而且覆蓋了更多刊物,更透明。”不過維姆也坦言,CS指標亦有局限性:“我們(men) 稱一些優(you) 秀的科研成果或文獻為(wei) ‘睡美人’。它們(men) 在剛發表的時候,可能並沒有很多引用。對於(yu) 這樣的學術成果,CS指標並不能很好地去反映它的影響力,所以這時候就要采用其他指標,所以我們(men) 強調一籃子指標的重要性。”
別用“期刊評價(jia) 指標”來評價(jia) 科研者
菲利普也表示,如同“睡美人”一般的學術研究要發揮影響力,可能需要十年、二十年,甚至更長的時間。
他舉(ju) 例CRISPR技術(基因組編輯工具)早在十年前就被Emmanuelle Charpentier博士提出了,但當時這份研究的影響力比較低,到後來才慢慢提高。菲利普也向澎湃新聞坦言,部分人文學科領域的學術成果還是“引用”這一指標無法體(ti) 現的。
“所以,我們(men) 不應該僅(jin) 僅(jin) 關(guan) 注引用這一個(ge) 方麵。雖然引用很重要,但它隻是我們(men) 達到目的的一個(ge) 工具,真正關(guan) 鍵的是我們(men) 對其中反映出來的信息的洞察,引用隻是次要信息。”菲利普說,人們(men) 需要正確使用“引用”指標,並保證指標是透明、全麵、綜合的。
“可以說,在指標使用上,我們(men) 有很多‘應該做’和‘不應該做’的。”
在年初,中國學界曾就“影響因子”、“量化評估”等問題展開爭(zheng) 議。其實剛過世的“SCI之父”加菲爾德曾在中國親(qin) 自對“利用影響因子來評估科研”等問題作出回應:“用期刊影響因子來評估每個(ge) 人的科研表現和科研能力,包括他個(ge) 人的評估,獎金也好,讚助也好,都是不合理的。”
菲利普同樣認為(wei) 學界不應該把對於(yu) 期刊的評價(jia) 指標用在評價(jia) 科研人員上:“比如一個(ge) 期刊有25%的被引率,但其中有的文章被引次數低很多。如果我們(men) 用該期刊的被引頻次來評價(jia) 該期刊的所有作者,顯然非常不準確。這對期刊和研究人員也是不公平的。”
“所以對應不同的評價(jia) 對象,我們(men) 需要有不同的評價(jia) 指標。”菲利普補充,“使用定量指標的同時也應該結合定性評價(jia) ,比如同行評議或采訪,對定量指標進行補充。”■
友情鏈接:




