소셜미디어와 언론에서 피어리뷰는 평판이 좋지 못합니다. 구글 검색창에 "피어리뷰는...(Peer review is...)"이라고 입력하면 추천 검색어로 가장 먼저 뜨는 항목은 "피어리뷰는 망가졌다(Peer review is broken)"입니다. 학계에서 쏟아져나오는 불만들이 피어리뷰를 통해 표현되는 경우가 많아 보입니다. 학계를 둘러싼 초경쟁과 '출판하거나 도태되거나(Publish of Perish)' 문화가 이를 도울리는 없죠.

하지만 저는 이런 현상이 피어리뷰라는 제도가 정말 무엇인지에 대한 깊은 몰이해를 드러낸다고 믿습니다. 일례로 피어리뷰에 대한 일반적인 관점은 학술저널의 품질검사 메커니즘으로 보는 것이고 흔히 그렇게 연구되어오곤 했습니다. 요약하자면, 논문이 객관적인 우수성을 내재하고 있고, 심사자와 편집인이 충분히 똑똑하고, 객관적이며 편향이 없다면 이를 알아볼 수 있다는 것이죠. 좋은 논문은 명망 있는 저널에, 중간 정도 논문은 그보다 낮은 평판을 가진 저널에, 이상한 연구는 필터를 통과하지 못하거나 온라인 약탈적 학술지에 먹힐 겁니다. 많은 연구가 이 과정이 얼마나 잘 수행되고 있는지를 심사자 간 의견차가 어느 정도로 발생하는지로 측정하곤 합니다: 의견차가 클수록 심사자의 주관적 편향이 있다고 볼 여지가 큰 것이죠. 즉, 세 명의 전문가는 논문에 대해 다른 의견을 가져서는 안된다는 것입니다. 우수성은 자명하게도 논문에 내재하는 특성이기 때문이죠. 전문가의 판단과 결정에는 일관성이 있어야 합니다. 이것이 모두가 전문가에게 기대하는 강건하고 견고한 피어리뷰입니다. 이런 관점에도 옳은 점이 있고, 최소한 학술적 명성과 가치가 계층적 구조를 이루고 있다는 사실만큼은 반영하고 있죠.

그러나 피어리뷰에는 그 이상의 무언가가 있습니다. 그 무언가가 처음 봤을 때 아예 다른 것처럼 느껴지지는 않더라도 말이죠. 피어리뷰는 품질관리 장치 말고도 논문의 가치를 알아보고 증가시키기 위한 광범위한 노력이라 할 수 있으며, 따라서 이는 본질적으로 '구성적'입니다. 동시에 이는 전문가들이 [게재 여부] 결정을 내리는 기준을 만들거나 조정하고 요구하는 맥락이기도 하며, (직접적이거나 간접적인) 연결과 협력의 방식이면서, 일정 규율과 "안전한" (물론 자주 지리멸렬하고 불분명하곤 하지만) 환경 아래 전문가 간 매개된 담화이기도 합니다. 따라서 본질적으로 '사회적'이기도 하죠. 이것이 사실이라면, 피어리뷰는 단순히 논문의 객관적 우수성을 '맞추는 게임'으로만 볼 수는 없을 겁니다. 1900년대 초 영국 과학자 Francis Galton이 흥미로워했던 소 무게를 맞추는 사람들의 활동과 달리, 연구논문에는 이미 정해지거나 모호하지 않은 중요성 혹은 가치가 매겨져있지 않습니다.

우리는 최근 PEERE(http://www.peere.org/)라는 대규모의 협력 프로젝트에서 이와 같은 피어리뷰에 대한 대안적 관점을 모색하고 복잡한 사회적 제도로서의 피어리뷰가 가진 여러 기능과 지지자들을 두고 토론을 활발히 해왔습니다.

한 예로, Scientometrics에 실린 논문에서 우리는 한 학술지[역주: JASSS; Journal of Artificial Societies and Social Simulation]에서 게재 거절 판정을 받은 논문들을 모두 추적하여 이후 어디에 실렸는지 파악했습니다. 우리는 게재 거절된 이후 다른 학술지에 게재된 논문들이 피인용횟수를 기준으로 거절 전 한번 이상의 심사를 통해 더 나아졌다는 것을 확인했습니다. 그 논문들은 더 자세한 심사보고서를 받았고, 무엇보다도 거절한 학술지에서 더 심한 수준의 심사자간 의견 불일치에 시달렸습니다. 그 중 일부는 원 저널보다 더 높은 임팩트팩터를 가진 학술지에 게재되기도 했습니다. 이는 피어리뷰가 '가치 증대 역할'을 할 수 있다는 것, 그리고 심사자 간 의견 불일치나 더 많은 횟수의 심사가 심사자의 의사결정에 일관성이 없다는 걸 보여주는게 아니라 오히려 저자가 논문을 발전시킬 수 있도록 도와줄 수 있다는 사실을 알려줍니다.

보다 최근에 Journal of Informetric에 출판된 논문에서 우리는 피어리뷰 과정이 식견있는 학자들간의 연결로 시작됨을 설명하기 위해 "보이지 않는 손"이라는 용어를 썼습니다. 우리는 이중맹검 원칙을 엄격히 지키는 한 다학제적 학술지에 논문을 제출하거나 심사한 학자들 간의 연결망을 그렸습니다. 이는 이중맹검 피어리뷰로 접점이 생긴 전후로 그들의 학문 네트워크 상 위치가 어떻게 달라지는지 확인하기 위해서였습니다. 학술지 편집장이 그들을 이어주기 전에는 심사자가 본인의 협업 네트워크 상에서 세 다리 안에 있는 저자가 쓴 논문일 경우 게재 가능 판정을 더 잘 내리는 경향이 있었습니다. 또한 이렇게 가까운 사이의 심사자가 주된 내용 수정을 요구하는 등의 더 깐깐한 태도를 보였을 때 논문들이 출판 후 더 많이 인용된 것을 확인할 수 있었습니다. 더 흥미롭게도, 우리는 피어리뷰 후 심사자와 논문 저자들 간 공저자 네트워크 상의 거리가 무작위적인 변화에서 예상할 수 있는 것보다 훨씬 빠르게 줄어든다는 사실을 발견했습니다. 피어리뷰 이전에는 전혀 모르는 사이였던 심사자와 논문 저자가 이후 함께 연구를 수행한 사례 역시 찾아볼 수 있었습니다. 논문이 출판되지 않은 경우에서도 이러한 피어리뷰 이후 협력연구 경향성이 나타났고, 오히려 논문이 결과적으로 게재 거절되어 심사자들이 논문 저자들의 이름을 모르는 상태에서 협업이 더 자주 일어났습니다. 이는 피어리뷰가 단순히 학문공동체 활동을 드러내는 것만이 아닌 실질적 협력을 만들어내고 촉진한다는 것을 보여줍니다. 그렇다면 진짜 문제는 전문가 판단의 주관성이 아닌 심사자 선택에 있어 다양성과 대표성이 부족한 일일테죠.

지금까지 언급한 사례들은 피어리뷰를 보다 그 제도의 역사적 및 사회적, 정치적 차원을 드러내기 위한 시도들이었습니다. Alex Czizar와 같은 역사학자들은 피어리뷰가 학문의 공적 지위를 드러내며 언제나 여러 기능과 차원을 갖고 있었다고 주장합니다. 단순히 연구우수성 심사라는 맥락에서만 연구하는 것은 피어리뷰라는 학문의 자율성과 정당성, 신뢰성을 바로세우는 핵심 제도가 가진 복잡성을 충분히 고려하지 못합니다. (원문 링크)