日前，《中國科學基金》雜志刊發了國家自然科學基金委員會工程與材料科學部王國彪、彭芳瑜的文章《國家自然科學基金同行評議結果評價方法與專家遴選因素分析》。文章通過定義三個定量評價指標（項目熟悉度、項目資助度、項目綜合評價指標偏差），以同行評議專家的職稱、學位、年齡、當年是否申報項目作為主要影響因素，以2008年度機械學科基金項目的數據為樣本，定量分析了影響因素對評價指標的影響度，以期建立同行評議結果的評價方法和專家遴選的基本原則，為科學基金資助管理績效評估提供參考。
文章首先對同行評議專家評議結果的評價指標進行了分析。為反映同行評議專家評議結果的可信度、公正性、以及有效性，文章對應定義三個定量評價指標，即項目熟悉度、項目資助度、項目綜合評價指標偏差，以便定量計算與分析同行評議專家的評議結果。例如，2008年度機械學科共遴選了1194位同行評議專家，指派評議項目11405份，按期返回11247份評議結果。其中，對評議項目“熟悉”的有5993份，“較熟悉”的有4462份，“不熟悉”的有792份，可得，平均熟悉率為53.5%，平均較熟悉率為39.7%，平均不熟悉率為7.0%；對評議項目給出“優先資助”的有1421份，“可資助”的有3525份，“不予資助”的有6301份，可得，平均優先資助率為12.6%，平均可資助率為31.3%.，平均不予資助率為56.0%；可以計算平均評價值偏差為0.523。
文章又對同行評議專家的分布狀況及其對評價指標的影響進行了分析。
在2008年度機械學科遴選的1194位同行評議專家中，正高職稱871人，占72.9%.，副高職稱316人，占26.5%，中級及其他職稱7人，占0.6%。正高職稱的平均熟悉率為55.5%，平均較熟悉率為38.4%，副高職稱的平均熟悉率為47.1%，平均較熟悉率為43.1%，兩項合計比正高職稱的低3.7%。正高職稱的平均優先資助率較高，為13.5%，副高職稱的則較低，為10.3%；副高職稱的平均不予資助率較高，為57.9%，正高職稱的較低，為55.4%。正高職稱的平均綜合評價指標偏差較高，為0.533，副高職稱的則較低，為0.496。由此可知，正高職稱同行評議專家評議結果的可信度相對較高，對項目的資助度相對較松。而同行評議專家的職稱對評議結果的有效性影響不大。
2008年度機械學科同行評議專家以博士為主，共1041人，占87.2%，碩士87人，占7.3%，學士及其他66人，占5.5%，后兩者合并一起，暫稱為其他學位。博士學位的平均熟悉率為53.7%，平均較熟悉率為39.3%，合計為93.0%，僅比其他學位的高0.6%，說明學位對項目的平均熟悉程度影響不太；博士學位的平均優先資助率為12.3%，其他學位的則為15.3%，相差3%；博士學位的平均不予資助率為56.6%，其他學位的則為52.0%，相差4.5%。博士學位的平均綜合評價指標偏差為0.521，其他學位的則較高，為0.541，相差不大。由此可知，具有博士學位的同行評議專家對項目的資助度相對較緊，而學位對項目評議結果的可信度和有效性均影響不大。
同時，文章通過分析2008年度機械學科同行評議專家的年齡分布及其對評價指標的影響，得出，同行評議專家的年齡對評議結果評價指標的影響相對都較大。同行評議專家所處的年齡段不同，對項目的熟悉度、資助度以及綜合評價指標偏差都呈現較強的波動性。
另外，同行評議專家當年是否申報項目對評價指標也有一定影響。當年申報項目但申請代碼與被評議項目代碼不同的同行評議專家，在對項目的熟悉度、平均綜合評價指標偏差等指標上都較差。因此，為保證評議結果的合理性，要求盡可能選擇小同行專家（即專家庫中專家的學科代碼與被評議項目的申請代碼相一致）。
文章最后分析了同行評議專家遴選因素對評價指標敏感度。以平均不熟悉率為例，在本文考慮的4個因素中，年齡對平均不熟悉率的波動值最大，為111.13%，故年齡對平均不熟悉率的敏感度為4，學位對平均不熟悉率的波動值最小，為7.79%，故學位對平均不熟悉率的敏感度為1。同理，當年是否申報項目、職稱的敏感度分別為3、2。依此類推，可以得到各影響因素對各評價指標的敏感度。由此可知，年齡對評價指標的敏感度影響最大。
以2008年度機械學科同行評議專家遴選情況為例，文章得出結論：
（1）同行評議專家的年齡對所評議項目的熟悉度影響最大，年齡小于35歲的和年齡大于70歲的對所評議的項目的不熟悉程度相對較高，其次是同行評議專家當年是否申報項目，主要是當年申報項目但代碼與所評議項目的申請代碼不同的專家對所評議項目的不熟悉程度較大。
（2）同行評議專家對所評議項目資助意見的資助度而言，專家的年齡對這個指標影響最大，年齡大于45歲的優先資助率相對較高；其次是同行評議專家當年是否申報項目，沒有申報項目的同行評議專家的優先資助率較高，而當年申報了項目的優先資助率則相對較低。
（3）同行評議專家對所評議項目評價的有效性而言，同行評議專家的年齡對這個指標影響最大，具體表現為年齡超過66歲的同行評議專家對項目評價的有效性較低；其次是職稱的影響。
可以看出，年齡對評議結果各個指標的敏感度都為4，說明普遍影響較大，其次是當年是否申報項目和職稱，而學位的影響普遍較小。也即同行評議專家的年齡、當年是否申報項目對評議結果的可信度、公正性、以及有效性有較大影響。
