SCI 와 피인용지수를 이용해서 연구자와 그의 연구를 평가하는 방식은 그것이 가진 위험에도 불구하고 여러 곳에서 이용되고 있습니다. 그리고 그러한 방법이 이용되고 있는 이유는 그것이 쉽고 간단하기 때문입니다. 앞서의 글에서 이러한 숫자가 가진 함정에 대해서 이야기했습니다만 한 사람의 연구자와 그가 행한 연구를 제대로 평가하기 위해서는 숫자를 보는 것 뿐만 아니라 그 사람의 연구를 제대로 읽고 평가자는 자 신의 머리로 생각해야 합니다. 하지만 교수의 승진이나 임용를 결정하는 사람들 그리고 연구비를 지원하는 기관의 심사위원들이 지원자들의 연구를 하나하나 읽고 자신의 머리로 생각하기에는 시간이 없겠지요. 그래서 가장 쉬운 방법으로 이용하는 것이 눈에 드러나는 수치를 가지고 비교하고 순서를 매겨서 그 연구자나 연구 혹은 저널의 가치를 결정지어버리는 방법일 겁니다.

어찌보면 초등학교에서부터 대학교까지 학생들과 학교를 일렬로 세우고 그 순위를 매기는 것이 자연스럽게 받아들여지고 있는 우리 교육계에서 이 방법은 당연한 일일런지도 모르겠습니다. 그러나 SCI 에 등재된 저널에 몇 편의 논문을 실었고 그 저널의 피인용지수가 어떻다 하는 것은 결국 숫자를 이야기하는 것일 뿐입니다. 그 숫자들이 의미가 있는 것은 분명한 사실이지만 그것이 모든 것을 말해주지는 않습니다. 과연 우리 학계에서 선택한 ‘숫자의 편리함’ 때문에 정말 중요한 것들이 희생되고 있지는 않는지 생각해 볼 일입니다.

최근 대부분의 대학에서 “SCI 급 저널”이라는 학술지에 글을 실으라고 연구자들을 독려하고 있습니다. 심지어 지원금 곱하기 저널의 인용지수라는 공식으로 보너스를 지급하는 대학들도 있고 승진과 정년을 심사하는 과정에서 “SCI 급 저널에 몇 편 이상의 논문을 게재해야 한다”는 규정을 만드는 대학들도 있지요. 더구나 정부에서도 나서서 “SCI 급 저널”에 논문을 실으려는 학자들을 국가적으로 지원할 뿐만 아니라 한국에서 출판되는 저널을 SCI 에 실리게 만들려고 애를 쓰고 있습니다.

현재 SCI 를 만들고 있는 톰슨 로이터사에 교육부와 학계 대표단을 파견하여 “한국 학술지를 SCI 데이터베이스 대상으로 진입시킬 수 있는 제도적 협력 기반을 마련”하는 시도까지 하고 있는 실정입니다. 과연 그런 “제도적 협력 기반”이 뭔지는 아무도 모르지만 말입니다. 그리고 학술 저널을 출판하는 국내 여러 학회에서도 SCI 에 실리기 위해 국제적인 출판사를 통해 저널을 출판하려는 노력을 하고 있고 그래서 학회지가 SCI 에 등재되면 ‘쾌거’라는 표현으로 널리 알리고 있지요.

그러다보니 남들이 인정하고 사회에 도움이 될 수 있는 좋은 연구를 하려는 것이 아니라 SCI 에 등재된 저널에서 받아줄 연구를 하고 또 그런 논문을 쓰기 위해 기를 쓰고 있는 것이 아닌가 하는 생각마저 드는 형국입니다. 심지어 어떻게 하면 우리 학술지가 SCI 에 등재 될 수 있을지를 연구한 논문도 있을 지경이니 말입니다. 도구로 만들어진 SCI 에 실리기 위해 연구의 방향까지 그에 맞추는 것을 보면 앞 뒤가 뒤바뀐 것은 아닌가 하는 생각마저 듭니다. SCI 등재지가 되기 위한 방법을 알려주는 세미나와 “SCI 논문 쓰기” 같은 워크숍이 열리고 그것들을 진행하는 사람들이 톰슨사의 직원이라는 사실을 보고 나면 과연 우리 학계가 어디로 가고 있는가하는 걱정이 앞섭니다. 더구나 이 과정에서 인용지수를 올리기 위한 방법까지 이야기되고 있는 것을 보면 참 안타깝다는 생각마저 듭니다.

이 글을 준비하고 있던 오늘 아침 저는 제가 일하고 있는 학교에서 열린 교수들의 종신 임기(테뉴어, Tenure) 심사와 관련된 워크숍에 참가했습니다. 저희 사서들 역시 임용 후 6년 이내에 그 심사를 받아야 하기 때문에 모두를 관심을 가지고 있는 부분이지요. 마침 그 워크숍 자리에서 테뉴어 심사의 최종 과정을 담당하고 있는 몇 분들을 만날 기회가 있어 인용 색인에 대한 질문을 할 수 있었습니다. 이 분들 역시 각 학과의 교수님들로서 이미 테뉴어를 받은 분들이지요. 이 분들에게 SCI 와 피인용지수에 대해 물었을 때 대답은 그런 것도 평가 방법의 한 가지로 이용한다는 것이었습니다. 하지만 무엇보다 중요한 것은 같은 분야에 있는 동료들의 평가가 가장 중요하다고 합니다.

물론 학교마다 상황이 다르기 때문에 미국의 모든 대학에서는 이렇게 한다는 것은 아닙니다만 저희 학교에서는 한 사람의 연구 업적을 평가할 때 교내,외의 평가자(Reviewer) 들로부터 평가서를 받습니다. 특히 학교 밖에 있는 평가자는 그 분야의 전문가 중 평가를 받는 사람과는 어떤 이해 관계도 얽히지 않는, 그리고 개인적인 친분이 없는 사람을 엄격하게 선발해서 그 사람들에게 평가를 부탁합니다. 그리고 평가자의 레주메와 평가서가 같이 첨부되어 심사위원회에 전해집니다. 그래야 심사위원회에서는 평가하는 사람이 정말 제대로 평가할 수 있는 능력이 있는지를 알 수 있지요.

이렇게 여러 사람의 평가자들로부터 평가서를 받아서 검토하다 보면 간혹 서로 평가가 엇갈리는 부분이 있습니다. 예를 들면 평가를 받는 사람이 논문을 발표한 학술지가 그 분야에서는 최고의 학술지라고 평가자 A 가 이야기하는 반면 평가자 B 는 그 학술지가 이류의 학술지라고 이야기합니다. 이 경우 심사위원회에서 심사를 담당하는 사람들 중에는 그 분야의 비전문가가 있을 수 있기 때문에 누구의 말이 맞는지 정확한 판단을 내릴 수가 없지요. 이 경우 저널의 피인용지수를 참고로 봅니다. 그러나 그것은 참고일 뿐입니다. 평가서를 엄격하게 검토하고 그 안에서 모순되는 내용들은 없는지 그리고 평가 내용이 논리적이고 객관적이며 또 합리적인지 등을 먼저 따져봅니다.

아울러 당연한 이야기이지만 종신 임기를 받기 위해 SCI 급 저널에 논문을 몇 편 실어야 한다는 그런 규정은 어디에도 없습니다. 학문 분야에 따라서는 논문이 아니라 학술 대회에서 발표하는 발표문에 더 치중하는 경우도 있고 또 단행본에 더 큰 점수를 주는 분야도 있기 때문입니다.

이런 방식으로 여러 명의 교내외 평가자가 보낸 평가서 그리고 평가를 받는 사람들이 제출한 각 종 서류 및 논문들을 모으면 종신 임기 평가용 서류가 몇 백페이지가 됩니다. 그 서류들을 모두 읽은 후 각 학과 별로 회의를 거친 후 의견서를 단과 대학에 제출하고 단과 대학에서는 그 의견서를 바탕으로 다시 서류들을 검토하고 단과 대학의 의견서를 첨부하여 학교 중앙에 올립니다. 그 후 학교 전체를 총괄하는 위원회에서 다시 이 서류들을 검토하여 최종적으로 총장의 승인을 얻습니다.

이렇게 하나하나 단계를 거쳐가며 심사하는 과정이 최소한 몇 개월이 걸립니다. 그리고 그 과정에서 다른 사람들이 미처 찾지 못한 문제점들이 지적되기도 하고 위원회에서 의견이 엇갈려 격렬한 토론이 벌어지기도 합니다. 하지만 이런 과정은 반드시 필요한 것이라고 누구나 인정하고 있습니다. 왜냐하면 한 사람의 연구자와 그의 연구를 평가하는 일이 그리 간단한 일이 아니기 때문입니다. 더구나 종신 임기를 보장하는 경우 학자로서 그 사람의 미래까지도 어느 정도 예상을 해야하므로 더욱 힘든 일이지요. 그러나 그렇게 긴 과정을 거치며 평가해야 제대로 된 판단을 내릴 수 있을 것이라 생각됩니다.

단지 피인용지수 얼마 이상의 “SCI 급 저널”에 논문을 몇 편 실었다는 것만으로 그 연구자의 모든 것을 판단한기에는 무리가 있습니다. 설사 그러한 방식이 겉으로는 공정하고 객관적으로 보인다고 하더라도 그 방식에 포함된 한계와 문제점을 인식하고 있어야 합니다. 그리고 누차 이야기한 사실이지만 피인용지수와 SCI 의 등재 여부를 보는 것은 하나의 도구일 뿐입니다. 그 도구를 얼마나 정확하게 그리고 제대로 사용하느냐는 사용하는 사람들에게 달린 일입니다. 실제 피인용지수에 대한 논의들을 다룬 한 논문에서는 피인용지수의 측정 과정이나 그것에 치중하는 연구자보다 더 큰 문제점으로 꼽고 있는 사실이 한 가지 있었습니다. 즉, 자신이 심사하고 있는 연구자들의 연구 분야와 연구 과정에 대한 지식이 없는 비전문가가 자신이 사용하는 도구(피인용지수)에 대한 제대로 된 이해도 없이 맹목적으로 숫자에 매달려 그것으로 모든 판단을 내리는 사실이 가장 큰 문제라는 것이지요. 혹시 우리 나라에서 일어나고 있는 일이 이와 같지는 않은지요?

SCI 에 치중하는 학계의 활동이 가져오는 문제점은 연구자에 대한 제대로 된 평가를 어렵게 만드는 것 이 외에도 더 있습니다. 언젠가 저널 가격의 상승과 도서관의 어려움에 대한 글에서도 말씀드린 일이 있지만 SCI 에 등재된 대부분의 저널들이 해외의 큰 출판사를 통해 출판이 되는 저널들이다 보니 그 저널에 실린 논문을 우리가 읽기 위해서는 막대한 돈을 주고 그것들을 구독해야 합니다. 그 말은 우리 연구자가 발표한 논문을 우리 도서관에서 읽기 위해서 외국의 출판사에 돈을 지불해야 한다는 말입니다.

더구나 국가에서는 BK21 같은 사업을 통해 막대한 자금을 지원하여 우리 연구자들의 연구를 돕고 또 그것을 공식적으로 “SCI 급 저널”에 싣도록 하고 있습니다. 그러나 이 과정을 통해 우리 국민의 세금으로 지원된 연구와 그 연구의 결과가 국외의 학술지에 발표가 되고 우리 나라 대학에서 그 학술지에 실린 논문을 보기 위해서는 다시 외국의 출판사에 돈을 지불해야하는 일이 생기고 있습니다.

외국의 거대 출판사에서 펴내는 세계적인 저널, 그리고 그 저널에 실린 한국 연구자들의 논문을 보면 뿌듯한 마음이 들 때가 있습니다. 그러나 그 논문의 말미에 이 논문은 한국 정부의 BK21 사업의 지원을 받아 연구된 논문이라는 사실을 읽고 나면 허탈합니다. 왜 우리 국민의 세금이 다른 나라 출판사의 수입을 올려주는데 이용되고 있을까요? 그리고 SCI 의 웹버전이라 할 수 있는 Web of Knowledge 나 최근 등장한 Elsevier 사의 Scopus 같은 인용 색인 데이터 베이스를 구입하기 위해 지출되는 돈도 일반인들의 상상을 초월합니다. 심지어 피인용지수를 알려주는 JCR(Journal Citation Report)도 결코 싼 물건이 아닙니다.

이와 함께 연구자들이 너도나도 SCI 에 논문을 발표하려함에 따라 국내의 학술지들은 투고 논문이 없어 고사 직전이 라는 이야기들도 나오고 있습니다. 이것 역시 우리에도 도움이 되는 상황은 아닙니다. 연구자들의 논문이 영어로 발표되어 세계 여러 사람들이 읽고 연구자 개인과 우리 나라의 이름을 알리는 것도 중요한 일이겠지만 그 연구들 중에는 한글로 국내에서 발표된다면 더 유용하게 쓰일 수 있는 논문은 없을까요? 그리고 국내 연구자들간의 소통이 반드시 SCI 에 등재된 외국의 저널을 통해서 이루어져야 할 필요가 있을까요? 각 저널은 저마다의 편집 방향이 있고 그들이 싣고자 하는 유형의 연구들이 있습니다. 물론 제가 실제적인 자료 없이 추정하는 것이라 부정확할 수도 있습니다만 그 외국 저널의 편집자들이 좋아할 만한 논문들이 모두 우리 한국의 상황에 적용가능한가 하는 문제 역시 쉽게 그렇다고 말할 수는 없을 것 같습니다.

SCI 가 국내 학계 가져온 긍정적인 요소들도 무시할 수는 없습니다. 계량화되어 수치로 표시되는 연구 업적 때문에 안일하게 시간만 때우고 월급을 받아가는 그런 연구 인력을 줄이는데 큰 도움을 주었지요. 그리고 우리 학문의 수준을 국제적으로 알리는데도 많은 도움을 주었습니다. 하지만 언제나 그렇듯 새로운 제도가 만들어지만 그것을 교묘하게 이용하여 자신의 이익을 찾는 사람들도 나오게 되지요. 그러다 보니 실제 연구는 하지 않으면서 논문에 이름만 얹는 그런 연구자들도 있고 또 SCI 등재 학술지에 실린 논문과 금전적인 보상이 연결되다 보니 연구의 내용과 그것을 읽을 연구자들을 고려하지 않은채 더 많은 돈을 받을 수 있는 저널에 논문을 투고하려는 일도 일어나고 있습니다. 그리고 이런 상황 속에서 정작 대학생들에 대한 교육이 소홀해 질 수도 있다는 문제까지 생각하다 보면 SCI 를 통해 우리가 얻은 이익보다는 손해가 더 많지 않나 싶은 생각이 들 정도입니다.

한국 학문 연구의 국제화라는 문제와 관련해서도 SCI 에 등재된 저널들이 그 일을 위한 중요한 통로가 될 수 있지만 반드시 그 저널들이어야만 하는 것은 아닙니다. 최근 들어 세계적으로 연구자들이 자료를 입수하는 통로는 다양해졌습니다. 인용 색인만 하더라도 SCI 의 독주에서 벗어나 SCOPUS 라는 또 다른 색인이 만들어졌고 Google Scholar 등을 통해 입수할 수 있는 정보의 양도 많아졌습니다. 그래서 피인용지수뿐만 아니라 다운로드 지수(h-index)를 이야기하는 사람들도 있고 피인용지수와 같이 이용할 수 있는 다른 종류의 인덱스들도 등장하고 있습니다. 그렇다면 우리가 굳이 SCI 에만 목을 맬 필요는 없을 것 같습니다. SCI 에 등재되기 위해서 국가적으로 나설 것이 아니라 다른 방법으로 우리의 학술 연구 성과를 해외에 알리는 방법도 깊이 있게 고민해보아야 한다고 생각합니다.

그런 방법 중의 하나는 인터넷을 통해 우리 연구 결과를 누구에게나 공개하는 것입니다. 서울대학교에서 제공하고 있는 기관 학술연구물 아카이빙 시스템인 S-Space 가 그 좋은 예이고 비슷한 종류의 서비스로서 카이스트에서 몇 년 전부터 해오고 있던 KOASAS(KAIST Open Access Self-Archiving System) 이 또 다른 예입니다. 이와 같은 방식으로 온라인으로 공개된 우리 학술 정보들은 인터넷 검색을 통해 전세계의 누구나 이용할 수 있고 한국의 학술 연구 수준을 알리는데 도움을 줄 수 있습니다. 이런 작업을 확대하여 국가의 지원 아래 좀 더 체계적으로 진행하면 어떨까요? SCI 에 등재되기 위해 머리를 싸매고 고민하는 것 보다는 이런 작업을 통해 당당하게 우리의 손으로 우리 학문을 세계에 내 놓고 알릴 수 있다면 그것이 훨씬 더 우리에게 도움이 되는 일이 아닐까요?

분명 이제는 제대로 생각하고 판단할 때입니다. 아직 제대로 공부를 한 것은 아니지만 저는 공부하는 사람이 기본적으로 가져야 할 태도는 기존의 진리를 있는 그대로, 무비판적으로 받아들이는 것이 아니라 언제나 의심을 가지고 질문하며 자신의 머리로 그 대답을 생각하는 것이라 배웠습니다. SCI 와 피인용지수도 마찬가지가 아닐까요? 그것들이 가진 단점과 한계가 분명한데도 불구하고 단지 그것이 편리하다는 이유에서 무비판적으로 받아들인다면 결국 그로 인해 피해는 우리가 입을 것이고 또 우리 아이들에게 이어질 것입니다.

비록 교육 행정을 담당하는 사람들이 그런 문제를 인식하지 못 하고 숫자에만 매달린다고 하더라도 공부를 하시는 연구자들께서 그 부분을 지적해 주셔야 하지 않을까요? 행정을 담당하는 사람들이 잘 모른다면 이 도구가 가진 문제점은 무엇이고 한계는 무엇인지 그리고 그것을 어떻게 이용해야 하는지 가르쳐 주셔야지요. 그래야 제대로 된 평가가 이루어지고 제대로 능력을 발휘할 연구자들에게 적절한 지원이 이루어지지 않을까요?

혹시나 오해가 있을까 하여 말씀드립니다만 제가 이 글에서 SCI 나 피인용지수 같은 도구들이 쓸모가 없으므로 쓰지 말자고 주장하는 것은 아닙니다. 제가 드리고 싶은 말씀은 그것들이 유용한 도구 중의 하나일 뿐이라는 사실입니다. 도구를 얼마나 유용하게 사용하는가 하는 것은 다루는 사람에게 달린 문제입니다. 그리고 그 도구에 우리를 맞추는 것이 아니라 그 도구를 이용해서 판단을 하고 결정을 내리는 것이 우리가 할 일입니다. 이제는 과연 우리가 도구를 사용하고 있는지 아니면 우리 스스로 그 도구에 맞추어 나가고 있는지 생각해 볼 때가 되었습니다.