國家重點(diǎn)實(shí)驗室評估專(zhuān)家的若干問(wèn)題研究
四川華銳凈化 2019-05-03 16:52:13 閱讀
摘 要:在分析國內外基礎研究同行評議專(zhuān)家遴選狀況及其研究進(jìn)展的基礎上,提出了國家重點(diǎn)實(shí)驗室評估專(zhuān)家遴選原則;建立了實(shí)驗室評估專(zhuān)家評分產(chǎn)生偏差的若干效應概念。
國家重點(diǎn)實(shí)驗室是我國基礎科學(xué)研究自主創(chuàng )新的主要力量,實(shí)驗室評估則是國家重點(diǎn)實(shí)驗室宏觀(guān)管理的主要手段。2004年以來(lái),科技部調整了實(shí)驗室評估的政策,由過(guò)去定性與定量相結合并以定性評估為主,改變?yōu)橥耆揽繉?zhuān)家進(jìn)行定性評估。由此可見(jiàn),實(shí)驗室評估辦法一旦確定,評估專(zhuān)家就是實(shí)驗室評估工作的決定因素。深入地研究實(shí)驗室評估專(zhuān)家的有關(guān)問(wèn)題,避免非工作因素對評估工作的影響,從而正確發(fā)揮實(shí)驗室評估的導向作用,對于不斷提高國家重點(diǎn)實(shí)驗室整體水平具有重要的意義。
1 實(shí)驗室評估專(zhuān)家遴選
1.1 實(shí)驗室評估專(zhuān)家遴選的原則
1.1.1 學(xué)術(shù)權威性 國家重點(diǎn)實(shí)驗室是在我國自然科學(xué)領(lǐng)域和部分關(guān)系國民經(jīng)濟發(fā)展的重要領(lǐng)域選擇的學(xué)術(shù)水平最高的隊伍。評估專(zhuān)家選擇的首要原則是學(xué)術(shù)權威性,即評估專(zhuān)家在某個(gè)研究領(lǐng)域曾經(jīng)做出過(guò)或正在做比較有價(jià)值的研究工作,具有較高的學(xué)術(shù)水平和學(xué)術(shù)名望。
學(xué)術(shù)權威性有三個(gè)內涵,一是評估專(zhuān)家具有較廣博的專(zhuān)業(yè)知識,二是評估專(zhuān)家具有旺盛的創(chuàng )造力和較高的學(xué)術(shù)水平,三是評估專(zhuān)家對本領(lǐng)域的國際前沿和國內的研究工作狀況具有足夠的了解.三個(gè)內涵相輔相成,缺一不可,共同構成了學(xué)術(shù)權威性的范疇。較廣博的專(zhuān)業(yè)知識是評估專(zhuān)家具有學(xué)術(shù)權威性的基礎,旺盛的創(chuàng )造力和較高學(xué)術(shù)水平是評估專(zhuān)家具有學(xué)術(shù)權威性的關(guān)鍵,對國際前沿和國內相關(guān)研究工作狀態(tài)的了解是評估專(zhuān)家發(fā)揮學(xué)術(shù)權威性的前提。
1.1.2 來(lái)源廣泛性 評估專(zhuān)家都有自己的工作單位和所屬部門(mén),因此一般或多或少地都帶有一些部門(mén)色彩,個(gè)別評估專(zhuān)家的部門(mén)傾向還相當嚴重。為了消除這些因素可能給評估造成的影響,評估專(zhuān)家應該具有比較廣泛的來(lái)源,注意部門(mén)之間專(zhuān)家數量的平衡。不至于由于評估專(zhuān)家來(lái)源的偏頗使得實(shí)驗室評估結果出現偏差。
根據實(shí)驗室工作的性質(zhì)和特色,還應該邀請一些非參評實(shí)驗室所屬部門(mén)尤其是一些大型企業(yè)研究院所的專(zhuān)家參與實(shí)驗室評估工作。一是充分體現代表的廣泛性,二是能夠讓科研與生產(chǎn)相結合的企業(yè)的專(zhuān)家來(lái)評價(jià)實(shí)驗室的應用研究成果。
實(shí)驗室評估應該有一定數量的管理專(zhuān)家參加。管理專(zhuān)家應該懂得管理科學(xué)理論與方法,具有較豐富的管理實(shí)踐經(jīng)驗,特別是科學(xué)研究管理和組織行為學(xué)方面的專(zhuān)家。管理專(zhuān)家不能夠充分發(fā)揮作用,會(huì )使得在實(shí)驗室評估中擔當比較重要角色的管理專(zhuān)家變得無(wú)足輕重,使得管理專(zhuān)家的角色出現不到位甚至于缺位。
1.1.3 結構合理性 評估專(zhuān)家應該具有合理的年齡結構、知識結構和學(xué)緣結構。
年齡結構合理,即老、中、青專(zhuān)家相結合,評估專(zhuān)家中既有德高望重的學(xué)術(shù)權威,又有年富力強的中年學(xué)術(shù)帶頭人,也有頗具銳氣學(xué)有所成的青年學(xué)術(shù)骨干。學(xué)術(shù)權威具有較高的學(xué)術(shù)威望、廣博的知識面和對國內外同行研究狀態(tài)的了解,是評估專(zhuān)家中的核心力量,在實(shí)驗室評估中不可或缺;年富力強的中年評估專(zhuān)家學(xué)術(shù)水平較高,與實(shí)驗室同行有更多的合作與交流,因而更加熟悉實(shí)驗室的真實(shí)情況和研究工作的水平,是評估專(zhuān)家中的骨干力量;青年學(xué)術(shù)骨干則具有初生牛犢不怕虎的闖勁,敢于發(fā)表比較尖銳的意見(jiàn)。老中青相結合,互相補充,互相激勵,可以發(fā)揮不同年齡層次的優(yōu)點(diǎn),構成評估專(zhuān)家合理的年齡結構,是評估專(zhuān)家正確的年齡取向。
合理的知識結構是專(zhuān)家結構合理性的重要組成部分。實(shí)驗室一般具有3-4個(gè)或更多的研究方向,有的實(shí)驗室研究方向屬于交叉學(xué)科,有的研究方向較窄甚至基于三級學(xué)科?,F場(chǎng)評估一個(gè)小組有6-9個(gè)實(shí)驗室,評估專(zhuān)家只有10位,所以現場(chǎng)評估對評估專(zhuān)家知識結構的要求相當高,不僅要有本專(zhuān)業(yè)深厚的理論基礎和較高的學(xué)術(shù)造詣,而且要了解相鄰學(xué)科的知識內容。
合理的學(xué)緣結構,如一個(gè)小組的評估專(zhuān)家盡可能畢業(yè)于不同的學(xué)校,可避免由于評估專(zhuān)家對母校的某種情節而可能使評估結果出現不應出現的偏差。
1.1.4評估公正性 要求評估專(zhuān)家站在國家利益的高度,嚴格遵守科學(xué)研究同行評議行為規范,按照客觀(guān)公正的原則,公平、公正地對待任何―個(gè)實(shí)驗室,不因為任何原因偏袒任何―個(gè)實(shí)驗室。
遴選實(shí)驗室評估專(zhuān)家的上述原則可以在源頭上控制或減少不公正因素的出現或形成。評估專(zhuān)家來(lái)源的廣泛性,意味著(zhù)專(zhuān)家具有廣泛的代表性,可以維持部門(mén)或單位利益上的均衡;年齡結構的合理性,可以在一定程度上減少單一年齡結構固有的不足;合理的知識結構則可以避免在評估中出現對實(shí)驗室研究工作認識上的偏差。
1.2 實(shí)驗室評估專(zhuān)家數量的確定
一般地,評估專(zhuān)家的數量越多,專(zhuān)家個(gè)體對評估結果的影響越小,評估結果的可靠性越高。但是,評估專(zhuān)家越多,所付出的成本也越大。因此,在保證實(shí)驗室評估結果可靠性的基礎上,盡可能地減少評估專(zhuān)家的數量,是確定實(shí)驗室評估專(zhuān)家數量的主要任務(wù)??梢詰脭道斫y計理論確定容量的方法確定專(zhuān)家的數量。
即專(zhuān)家數量n與置信區間長(cháng)度的平方成反比,要有較短的置信區間長(cháng)度,就必須增大n的數量.通??梢圆捎迷嚥罘ù_定n的大小,即評估專(zhuān)家的數量。
2 影響實(shí)驗室評估專(zhuān)家評分的若干效應分析
根據對國家重點(diǎn)實(shí)驗室評估數據的分析,由于評估專(zhuān)家的學(xué)術(shù)背景、科研經(jīng)歷、心理特征、思維模式、標準把握等等都有可能存在差異,因此不同的評估專(zhuān)家對于同一客觀(guān)事實(shí)的認識和判斷就有可能不同,評估結果就不能夠準確地反映實(shí)驗室客觀(guān)情況。為了分析評估專(zhuān)家在評估過(guò)程中可能形成偏差的原因,建立以下有可能產(chǎn)生偏差的若干效應概念。
2.1 慣性思維效應
由于同行專(zhuān)家往往與實(shí)驗室有了較長(cháng)時(shí)間的交往,這些專(zhuān)家對實(shí)驗室價(jià)值的判斷已經(jīng)形成了固有的認識,因此在對實(shí)驗室進(jìn)行評估時(shí),有的專(zhuān)家并不是根據實(shí)驗室在一個(gè)評估周期內提供的新的判斷依據敏銳地進(jìn)行分析和判斷,而是“先人為主”,好的實(shí)驗室總是好的,差的實(shí)驗室總是差的,這種現象稱(chēng)作慣性思維效應。慣性思維效應產(chǎn)生的原因可能是由于某些人受事物第一印象的左右,不肯接受新信息而造成的,由此在實(shí)驗室評估時(shí)產(chǎn)生明顯的偏差。
2.2 個(gè)人偏好效應
個(gè)別評估專(zhuān)家在對實(shí)驗室進(jìn)行評估時(shí),往往不以評估指標體系等標準而是根據個(gè)人偏好的“標準”進(jìn)行判斷,這種現象稱(chēng)作個(gè)人偏好效應。如有的專(zhuān)家偏好論文及相關(guān)學(xué)術(shù)刊物的影響因子,只要在較高影響因子的刊物上發(fā)表論文就認定該實(shí)驗室是一個(gè)好的實(shí)驗室;個(gè)別專(zhuān)家甚至要求實(shí)驗室計算發(fā)表論文雜志的影響因子總和、人均影響因子等指標。偏離甚至廢棄實(shí)驗室評估指標體系,以專(zhuān)家個(gè)人偏好“標準”進(jìn)行評估,容易以偏概全,產(chǎn)生認識和判斷上的失誤。
2.3 同行偏好效應
評估專(zhuān)家對相同學(xué)科領(lǐng)域的實(shí)驗室表現出一定程度的偏愛(ài),由同行偏好所產(chǎn)生的效應稱(chēng)為 同行偏好效應。產(chǎn)生的原因可能是對相同研究領(lǐng)域的實(shí)驗室比較熟悉或由于熟悉而產(chǎn)生對小同行的好感;另外的原因可能是學(xué)科保護主義,即個(gè)別專(zhuān)家可能認為自己擔負著(zhù)為同行說(shuō)好話(huà)從而使這些實(shí)驗室不至于吃虧的責任,在評估時(shí)對同行的實(shí)驗室表現出一種偏袒的色彩,打分明顯高于其他專(zhuān)家的評分值。同行偏好屬于普遍性偏好,即一般意義上,評估專(zhuān)家都存在一定程度的同行偏好。
2.4 學(xué)術(shù)權威效應
在長(cháng)期的科學(xué)研究工作中,一些曾經(jīng)做出過(guò)重要貢獻的科學(xué)家在我國科學(xué)研究專(zhuān)家隊伍中脫穎而出,逐漸成為各個(gè)學(xué)科的學(xué)術(shù)權威。他們不僅在科學(xué)研究工作方面作出過(guò)杰出的貢獻,有的還具有較強的組織管理能力,對我國某個(gè)領(lǐng)域的科學(xué)研究工作的發(fā)展作出過(guò)重大貢獻。但個(gè)別學(xué)術(shù)權威逐漸成為某個(gè)研究領(lǐng)域的“學(xué)霸”,在對實(shí)驗室進(jìn)行評估時(shí)往往是“一言堂”。由于種種原因,別的專(zhuān)家在發(fā)言時(shí)也大多附和,不敢或不愿提出不同的意見(jiàn)。由此,專(zhuān)家集體對實(shí)驗室的評估有可能變?yōu)閷W(xué)術(shù)權威個(gè)體對實(shí)驗室的評估,專(zhuān)家組的集體作用未能得到正常和有效的發(fā)揮。當學(xué)術(shù)權威的評價(jià)意見(jiàn)與客觀(guān)事實(shí)相左時(shí),實(shí)驗室評估結果就有可能出現較大的偏差。
分析學(xué)術(shù)權威效應所以能夠產(chǎn)生不恰當的作用,一是有的專(zhuān)家盲目迷信權威,雖然同為評估專(zhuān)家,但是專(zhuān)家在學(xué)術(shù)界處于不同的層次,處于下層的青年學(xué)者有可能迷信處于上層的專(zhuān)家,所以不能夠發(fā)表不同的意見(jiàn);二是有的專(zhuān)家雖然有不同意見(jiàn),但由于種種顧慮而不敢發(fā)表。上述情形與學(xué)術(shù)權威霸道的行為相輔相成,形成一種惡性循環(huán),在實(shí)驗室評估中是極為有害的。
2.5 同情心理效應
由于個(gè)別學(xué)科領(lǐng)域參評實(shí)驗室較多,專(zhuān)家的評分值就有可能擠在一個(gè)較小的區域內,如有時(shí)專(zhuān)家評分的平均值在1分之間能夠排列5至6個(gè)實(shí)驗室之多,而這很難確定實(shí)驗室之間的差異,從而容易產(chǎn)生較大的偏差。產(chǎn)生這種偏差的原因是由于有關(guān)部門(mén)實(shí)行排序在后的若干實(shí)驗室要被淘汰這一政策后,有的專(zhuān)家“心慈手軟”不忍心給較差的實(shí)驗室打低分。同情心理效應有可能造成實(shí)驗室排序特別是末尾部分實(shí)驗室排序混亂的情況,有可能使得確實(shí)較差的實(shí)驗室死里逃生,而不至于被淘汰的實(shí)驗室卻遭遇厄運,嚴重影響實(shí)驗室評估的客觀(guān)性和公正性。
2.6 非共識效應
專(zhuān)家在評估實(shí)驗室時(shí),對某實(shí)驗室的判斷和其他專(zhuān)家的整體判斷出現不一致的現象。非共識效應的產(chǎn)生可能是以下幾個(gè)方面的原因造成的。
2.6.1 專(zhuān)家對個(gè)別實(shí)驗室不熟悉 雖然實(shí)驗室評估專(zhuān)家的研究工作屬于大的學(xué)科范圍,但是由于一些實(shí)驗室研究方向過(guò)于狹窄或過(guò)于寬泛等原因,評估專(zhuān)家可能對某實(shí)驗室的某些研究工作并不熟悉,對實(shí)驗室進(jìn)行評估時(shí),判斷發(fā)生失誤,形成了非共識偏差。
2.6.2 和實(shí)驗室關(guān)系的好惡 由于國內同行專(zhuān)家尤其是小同行專(zhuān)家的數量較少而難免在研究工作的各個(gè)方面的接觸中產(chǎn)生友誼或發(fā)生矛盾,這些可能使得專(zhuān)家們形成了各種錯綜復雜的關(guān)系。在實(shí)驗室評估時(shí),個(gè)別專(zhuān)家有可能不恰當地摻雜了一些個(gè)人感情色彩方面的因素,評分時(shí)表現出了異乎尋常的偏好或偏見(jiàn),由此產(chǎn)生了對實(shí)驗室判斷的嚴重偏差。
2.6.3 “真理在少數人手中”由于基礎研究工作的不確定性和風(fēng)險性,可能大多數專(zhuān)家的判斷有誤,而個(gè)別專(zhuān)家卻清醒地看到實(shí)驗室所具備的未來(lái)發(fā)展潛力或極有可能出現的重大創(chuàng )新性成果使實(shí)驗室能夠達到某種良好的態(tài)勢,由此產(chǎn)生了與大多數專(zhuān)家相偏離的判斷。一般地,此類(lèi)狀況需要通過(guò)長(cháng)期跟蹤來(lái)檢驗。
非共識偏好屬于非普遍性偏好,只在少數專(zhuān)家評分時(shí)出現。分析近幾年實(shí)驗室評估的數據,對優(yōu)秀實(shí)驗室的評估,由于事關(guān)重大,評估專(zhuān)家尚能謹慎從事,評分值起伏不大,非共識偏好對評估結果的影響較小。除此之外,非共識偏好對實(shí)驗室評估結果存在影響,有的影響還相當大。