앞의 글에서 말씀드렸듯이 SCI는 논문의 인용 정보들을 서로 연결하여 과학 관련 학술 정보를 쉽게 파악하기 위해서 만들어진 도구였습니다. 그리고 피인용지수(Impact Factor)는 SCI 에 수록할 저널들을 선정하는 과정에서 만들어진 도구입니다.

1961년에 SCI의 최초 모델이라 할 수 있는 Genetics Citation Index 가 만들어지고 3년 후인 1964년에 마침내 SCI 가 상업적인 출판물로 나왔을 때 이것에 대한 학계와 도서관계의 관심은 그리 많지 않았습니다. 실제 Genetics Citation Index 는 미국 정부의 지원을 받아 시작한 일이었지만 미국 정부는 SCI 에 대해서는 큰 관심을 기울이지 않았습니다. 결국 SCI 를 제작하기 위해 가필드 씨는 은행 대출은 물론 월스트리트의 투자자들을 모아야 했습니다.

당시 50 만달러를 가필드씨의 ISI 에 투자해서 SCI 의 제작을 지원했던 투자자들은 선견 지명이 있었나 봅니다. 왜냐하면 서서히 SCI 는 학계에서 그 지명도를 높여갔고 80년대에서 90년대로 넘어 가는 동안 과학계에서 발표되는 논문들이 늘어나면서 SCI 를 찾는 기관들도 늘어났지요. ISI 는 과학 관련 논문에 대한 인용 색인만을 출판하던 것에서 범위를 넓혀 사회 과학(Social Science Citation Index)과 인문학(Art and Humanities Citation Index) 을 포함하는 인용 색인을 만드는 회사로 성장해갔습니다. 그러면서 이들이 만들어내는 인용 색인은 학계의 표준처럼 자리잡게 되었고 그 과정에서 최초에 만들어졌던 목적과는 다르게 사용되기 시작했습니다.

정보를 쉽게 찾기 위한 도구에서 이제는 연구자와 연구 단체 혹은 저널을 평가하는 도구로 사용되기 시작한 것입니다. 그러한 상황이 나타나게 된 배경에는 “인용(Citation)”이 많이 된 논문은 우수한 논문이고 그런 논문을 많이 실은 저널 역시 우수한 저널이라는 막연한 믿음이 자리잡고 있습니다. 즉, 피인용지수가 높은 저널은 우수한 저널이라는 것이지요. 그러다보니 초기에 SCI 가 그리 큰 관심을 받지 못 했을 때는 SCI에 대한 비판적인 의견도 적었지만 SCI 가 마치 하나의 표준이 되고 그것을 바탕으로 연구자들에 대한 평가가 이루어지고 또 그 평가 결과를 토대로 각 종 연구비의 지원이나 연구자의 임용 및 승진이 결정되자 SCI 와 피인용지수가 가진 문제점에 대한 비판적인 의견들이 등장하기 시작했습니다.

먼저 피인용지수에 대한 의견부터 소개해 보겠습니다. 앞의 글에서 이야기했습니다만 만일 어떤 저널의 2008년 피인용지수가 10 이라고 한다면 그 말은 지난 2006년과 2007년에 그 저널에서 출판된 논문들이 2008년 한 해 동안 다른 논문들에 의해서 평균적으로 10번 인용되었다는 의미입니다. 그런데 이 평균 10 이라는 숫자를 주의깊게 생각해 보셔야 합니다. 이 숫자는 산술 평균일 뿐입니다.

예를 들어 지난 2년 동안 10편의 논문을 발표한 저널이 있는데 그 저널에 실린 논문들이 다른 논문에 의해 인용된 횟수가 총 100회라서 10 이라는 피인용지수를 받은 저널이 있다고 칩시다. 피인용지수를 놓고 볼 때는 그 10 편의 논문들이 각 각 10번씩 인용되었다고 볼 수 있지만 실제는 그렇지 않은 경우가 대부분입니다. 10 편의 논문 중에는 60-70 회 인용된 논문이 있는 반면 한 번도 인용되지 못한 논문도 있습니다. 하지만 어쨌든 전체 인용 횟수는 100 회이고 그래서 인용지수는 10이 되었습니다.

반면에 10 편의 논문을 발표했는데 총 50 회의 인용이 이루어져서 5 라는 피인용지수를 받은 저널이 있다고 가정해 보지요. 그런데 이 저널에 발표된 10 편의 논문들은 약간의 차이는 있지만 모든 논문이 3-7회씩 골고루 인용되었습니다. 그렇다면 10 편 중에 2-3 편의 논문이 특별하게 많이 인용되고 나머지는 전혀 인용되지 않았지만 절대적인 숫자 때문에 10 이라는 피인용지수를 받은 저널과 절대적인 숫자는 적지만 10 편의 논문이 골고루 인용되어서 5 라는 피인용지수를 받은 저널, 둘 중 어느 것이 더 우수한 저널이라고 할 수 있을까요? 쉽게 대답할 수 없는 질문입니다.

이 계산 방식에 사용되는 2년이라는 기간도 문제입니다. 학문 분야에 따라서는 최신의 논문들이 빨리빨리 인용되고 또 연구의 결과들이 단기간에 발표되는 분야도 있지만 1-2년 이상의 긴 연구 기간을 필요로 하는 분야도 있습니다. 그래서 인용을 할 때에도 2년 혹은 그 이상 지난 논문들을 인용할 수 밖에 없는 분야들도 있지요. 그리고 논문에 따라서는 몇 년의 시간이 지난 후에 가치를 인정받아 다른 연구자들에 의해서 인용되는 논문들도 있지요. 그렇게 본다면 천편일률적으로 2년이라는 기간을 두고 측정한 피인용지수는 학문 분야와 주제에 따라 다르게 받아들여져야 하고 또 매우 조심스럽게 이용해야합니다.

그래서 가필드 씨 역시 피인용지수로 저널들을 살펴볼 때는 같은 학문 분야의 저널들을 따로 모아서 보아야 한다는 말을 했습니다. 연구 기간이 짧은 분야의 저널과 상대적으로 긴 분야의 저널을 동시에 놓고 그 두 저널의 피인용지수만을 가지고 저널을 평가해서는 안된다는 말입니다.

그리고 계산에 사용되는 인용의 횟수와 발표 논문의 통계에도 문제의 여지가 있습니다. 지난 2년 사이에 출판된 논문의 수를 계산할 때에는 그 저널에서 출판된 연구 논문들만을 계산합니다. 저널의 서두에 들어가는 편집자의 사설(Editorial) 이나 편집자에게 보내는 편지 혹은 짧은 연설문이나 의견, 서평 등은 이 계산에서 제외됩니다. 하지만 인용된 횟수를 계산할 때에는 이런 짧은 글들이 인용된 횟수도 인용 횟수에 들어갑니다. 따라서 연구 논문 이외에 다른 짧은 글들이 많이 실린 저널의 경우 상대적으로 피인용지수가 높아질 개연성이 있는 거지요.

이런 기술적인 문제 이외에 “인용”이라는 행위 자체도 여러 가지 면에서 생각해 보아야 합니다. 연구자들이 논문을 쓸 때 왜 인용을 할까요? 블로그에 글을 포스팅 하면서 다른 사람의 글을 링크하거나 트랙백을 다는 경우를 생각해 보시면 이해가 쉬우리라 생각합니다. 어떤 이의 글에 동의하고 거기에 자신의 의견을 첨가하기 위해 링크를 하는 경우도 있고 다른 사람의 말을 이용해서 자신의 글에 무게를 싣기 위해서도 링크를 합니다. 하지만 그 반대의 경우도 있지요. “누가 누가 이런 말을 했는데 그건 말도 안되는 소리다” 혹은 이 사람의 “이런 저런 말은 요점을 제대로 이해하지 못 해서는 그렇다”는 말을 하기 위해 링크를 하는 경우도 있습니다. 그렇다면 이런 경우 링크가 많이 된 포스팅이라고 해서 반드시 질이 좋은 포스팅이라고 할 수는 없습니다.

논문도 마찬가지이지요. 일반적으로 논문에 실린 자료와 아이디어가 어디에서 왔는지를 밝히기 위해서 인용을 합니다. 그러나 반드시 그런 것만은 아니지요. 기존에 나와있는 연구 중에서 잘못된 부분을 지적하기 위해서 그 잘못된 연구를 인용하는 경우도 있지요. 그리고 한 연구에 따르면 인용의 가장 큰 목적은 다른 논문을 평가하려는 것이 아니라 자신의 의견을 보강하기 위해 사용한다고 합니다. 즉, 인용하는 논문들을 평가하기 위해서가 아니라 자신의 논문을 읽는 독자들을 설득하기 위해 다른 사람들의 글을 인용한다는 것이지요.

그런데 이와 같은 인용의 질적인 맥락은 피인용지수를 계산하는데 전혀 고려 대상이 아닙니다. 실제로도 불가능하겠지만 수 백만건의 인용을 하나하나 살피면서 그 성격을 통계에 포함시키는 일은 막대한 전문 인력과 시간이 필요한 일입니다. 설사 그런 인력과 시간이 있다고 하더라도 인용의 성격을 파악하는 것은 읽는 사람의 주관적인 판단이 개입되는 것이니 완벽할 수 없는 일입니다.

아울러 논문의 성격에 따라 인용되는 횟수의 차이도 생기지요. 아직 남들이 아무도 하지 않은 새로운 주제에 대한 연구를 시작한 경우 그 논문이 인용되는데는 시간이 걸릴 겁니다. 반면에 현재의 학계의 연구 동향에 대한 개괄적인 상황을 알려주는 이른바 Review Article 의 경우 그 논문 자체로서 새로운 연구 발표를 한 것은 아니지만 다른 논문들에 의해서 인용될 확률이 더 많습니다. 또 한 가지 주제에 대한 이론적인 사항을 이야기하는 논문은 그것을 실제에 적용한 사례를 이야기하는 논문에 비해 인용될 확율이 높습니다.

더구나 피인용지수를 계산하고 SCI 에 포함되는 연구물들은 대부분이 저널에 실린 논문들입니다. 단행본이 전혀 포함되지 않은 것은 아니지만 그 수가 극히 미미합니다. 그리고 단행본 안에서 이루어진 인용은 전혀 고려 대상이 아닙니다. 이 점은 학문 분야에 따라서 큰 문제가 될 수도 있는 것이지요. 논문보다는 단행본을 통해서 더 많은 연구 결과를 발표하는 학문 분야가 있고 또 발표된 논문에서 주로 인용하는 자료들도 논문이 아니라 단행본이나 기타 자료인 학문 분야도 있습니다.

연구자가 한 편의 논문을 발표하는데 들이는 노력과 한 편의 단행본을 발행하는데 드는 노력 중 과연 어느 것이 더 의미가 있을지는 쉽게 대답할 수 없는 문제입니다. 하지만 거의 논문만을 이용하는 SCI 의 세계에서 단행본을 발표하는 것은 큰 의미가 없습니다. 이처럼 질적인 구분이 되지 않은 상태에서 통계적으로 계산한 인용 횟수에 따라 피인용지수가 결정이 되고 그것이 표준이 되어 연구자들과 연구 기관을 평가하게 되었습니다. 그러다보니 피인용지수를 높이기 위한 여러 가지 변칙적인 방법도 나타나게 되었지요.

그래서 일부 저널들은 주제의 독창성을 떠나 Review Article 처럼 남들의 인용이 많을 것이라 예상되는 논문들 즉, 피인용지수를 높일 수 있는 논문들을 중점적으로 발표하는 현상도 나타났습니다. 아울러 피인용지수를 측정하기 위해 계산하는 인용횟수는 그 인용이 이루어진 저널을 따지지는 않기 때문에 같은 저널에서 발표된 논문들을 더 많이 인용하게 만드는 방법도 있습니다.

예를 들어 Science 지의 2008년 판에서 Science 지의 2007 년 판에 발표된 논문을 인용하는 경우 이것은 Science 지의 피인용지수를 높이는데 이용될 수 있습니다. 그 외에도 자신이 이전에 발표한 글을 자신의 다른 글에서 인용하는 경우가 있지요. 한 연구에 의하면 이와 같은 자기 인용의 비율이 논문에 따라 5-20%에 달한다고 합니다. 그리고 논문을 이해하는데 큰 관계가 없는 다른 저작들을 형식적으로 인용하는 경우도 있다고 합니다. 분야에 따라 다르지만 이와 같은 형식적인 인용이 20%-40%까지 된다고도 합니다. 또 친한 연구자들끼리 당장 논문과 관계가 없음에도 불구하고 서로의 논문을 인용해 주는 행위 등도 일어나고 있지요. 이와 같은 비양심적인 인용이 아니더라도 당장 주위에 있는 학술 논문을 한 편 구해서 읽어 보십시오. 특히 인용된 논문들과 그 논문들이 인용된 맥락을 살펴보시면 과연 이러한 ‘인용’ 이라는 행위가 인용된 논문의 가치를 결정지을 수 있을지 의문이 드는 경우를 상당히 많이 발견하실 겁니다. 2003년 Medical Journal of Australia 에 짧은 글을 발표한 조지 런더버그(George Lundberg) 박사는 이런 말을 했습니다.

“ 내가 JAMA, The Journal of American Medical Association의 편집장이 되었던 1982년 JAMA 의 피인용지수는 3-4 였다. 몇 몇 사람들이 이것을 수치스러운 일로 보았기에 우리는 우리 저널의 질을 높이는 작업의 일환으로 피인용지수를 높이기 위한 작업에 착수했다. 그 결과는 성공적이어서 1999년 내가 편집장에서 물러날 무렵 피인용지수는 10-11 정도가 되었다.

이상하게 들릴지는 모르겠지만 90년대 중반이 되면서 나는 JAMA 의 피인용지수가 올라가는 것을 의도적으로 막으려했었다. 왜냐하면 나는 JAMA 의 근본적인 목적, 즉 현직에 있는 모든 의사들에게 도움이 되는 저널이라는 그 목적이 변질되어 연구자들끼리 서로의 의견을 교환하기 위한 연구 저널로 JAMA 가 변해가는 것 같아 걱정 스러웠기 때문이다.”

이 글에서 런더버그 씨는 지난 1982년 있었던 일화를 소해했는데요. 그는 JAMA 의 창간 100 주년 기념 사업의 일환으로 JAMA 가 처음 발간된 1884년부터 당시까지 발표된 논문들 중 50개의 가장 중요한 논문들을 선정했다고 합니다. 이 선정 작업에는 JAMA 의 편집진들을 비롯한 그 분야의 전문가들이 참가했다고 합니다. 그런데 그 논문들과 SCI 를 통해 파악한 JAMA 에서 가장 많이 인용된 100 편의 논문들 비교해 보니 50 편의 중요 논문 중 단지 13편 만이 가장 많이 인용된 100 편의 논문에 들어가 있더라는 겁니다. “인용 횟수”와 논문의 질이 반드시 일치하지는 않는다는 것이지요.

이처럼 ‘인용’ 횟수를 기준으로 피인용지수가 매겨지고 그것을 바탕으로 또 SCI에 실릴 저널들이 결정되다 보니 SCI 에 실린 저널들은 미국 혹은 영어에 편중되었다는 비판도 있습니다. 아래의 표를 보시면 당장 그 사실을 쉽게 아실 수 있는데요. 전세계에서 발간되는 각 종 저널과 일반 정기 간행물들에 대한 정보가 실려있는 울리히 국제 정기 간행물 목록(Ulrich’s International Periodicals Directory)을 통해서 각 국가 그리고 각 언어별로 현재 발간되고 있는 저널의 숫자와 그 중 SCI 에 등재된 저널의 숫자를 비교해 보았습니다. 저널에 따라서는 복수의 발행 국가와 언어가 등록된 경우도 있습니다만 전체적인 상황을 파악하는데는 큰 무리가 없으리라 생각합니다.

영어가 전세계에서 마치 공용어처럼 쓰이고 있는 현실에서 위와 같은 상황은 어찌 보면 당연한 일일런지도 모릅니다. 인용 횟수가 중요한 역할을 하는 SCI 와 피인용지수 측정 방식이다보니 당연히 전세계에서 많은 사람들이 읽을 수 있는 영어로 된 논문과 저널의 비율이 높게 나오는 것이겠지요. 그러나 이것은 영어로 된 논문이 다른 언어로 된 논문보다 질적으로 높은 수준에 있다는 것은 의미하지는 않습니다. 위에서도 말씀드렸지만 많이 인용되었다고 해서 반드시 질이 높은 것은 아니라는 말입니다.

이와 같은 비난에 대해 SCI 와 JCR 을 옹호하는 사람들은 그 비난 자체가 무의미한 것은 아니라고 말합니다. 분명 그와 같은 문제점은 존재하지만 그것이 전체적인 상황을 변화시킬 만큼 큰 변수는 아니라고 이야기하고 있습니다. 그러나 이들 역시 피인용지수를 도구로 연구자나 연구 기관을 평가하는 것이 매우 위험하다는 말을 하고 있습니다. 지난 2006년 JAMA 에 발표한 가필드 씨의 글에서는 피인용지수에 대해 이야기하며 이에 대한 Hoeffel 박사의 의견을 소개하고 있습니다.

“피인용지수는 논문의 질을 평가하는데 완벽한 도구는 아니다. 그러나 그보다 더 나은 도구는 현재 존재하지 않는다. 피인용지수는 이미 존재하고 있다는 장점이 있고 따라서 과학적인 평가를 내리기 위해 좋은 기술이다. (Impact Factor is not a perfect tool to measure the quality of articles but there is nothing better and it has the advantage of already being in existence and is, therefore, a good technique for scientific evaluation.)

경험적으로 보았을 때 각 분야에서 최고의 저널들은 논문을 싣기 가장 힘든 저널들이고 그 저널들이 피인용지수도 높다. 이러한 저널의 대부분은 피인용지수가 등장하기 전부터 있어왔고 (논문의) 질을 평가하는데 피인용지수를 이용하는 방법은 이미 널리 퍼져있는데 그것은 각 분야에서 최고의 저널에 대해 우리가 가지고 있는 생각과 잘 들어맞기 때문이다.”

실제로 최근 여러 편의 글에서 가필드 씨는 Hoeffel 박사의 의견을 인용하고 있는데요. 불완전하지만 더나은 도구가 없기 때문에 그리고 이미 존재하고 있기 때문에 좋은 방법이라는 말은 쉽게 받아들이기 힘든 말입니다. 그런데 이 말은 제외하고라도 가필드 씨 역시 오래 전 부터 피인용지수만으로 한 연구자의 연구를 평가해서는 안된다고 여러 차례 이야기하고 있습니다. 피인용지수는 단지 하나의 도구일 뿐이므로 한 연구자와 그가 행한 연구의 질을 평가할 때에는 다른 평가 방법과 함께 사용되어야 한다고 말이지요.

그러나 실제 일어나고 있는 일들은 가필드 씨의 주장과는 반대로 진행되고 있습니다. 그리고 이와 같은 가필더 씨의 주장에 비추어 볼 때 우리 나라에서 최근 벌어지고 있는 일들은 정말 걱정스럽습니다. 마지막으로 다음 글에서는 이러한 SCI 와 피인용지수에 치중한 평가 방법이 가져올 수 있는 문제점들을 한국 상황에서 살펴보고 과연 해결책은 없는지 적어보겠습니다.