1. 서 론
정부출연연구소(출연연)는 구조 개편, 제도 개선 등 발전을 위한 노력을 기울여왔으나 R&D 환경 및 수요에 역동적으로 대응하지 못한다는 지적과 더불어 출연연의 역할과 성과에 대한 논쟁이 여전히 지속되고 있다. 이것은 임무중심 관점의 출연연에 대한 고찰은 다양한 견해로 나타나지만, 보다 발전적인 역할을 찾고 성과를 제고하기 위해서는 기존의 운영시스템을 비롯한 제도 전반에 새로운 변화가 필요하다는 공감대가 형성되어 있다. 부처별로 출연연을 관리하던 시기에는 각 부처 정책의 밀착 지원이라는 미션을 효율적으로 추진할 수 있는 반면, 부처별 정책적 정당성 강화에 맹목적으로 치우치게 되었다.
정부 출범 및 정부조직 개편마다 출연연 소관 부처, 연구회 조직 등이 바뀌어 출연연 운영에 부정적 영향을 미치게 되었다. 과학기술행정체제 개편은 거버넌스 영역의 문제이긴 하나 종합조정기구와 과학기술 전담부처의 변화는 소속 조직인 연구회 구조에 영향을 주어 결국 연구 안정성과 독립성이 필요한 연구조직에 부정적인 요소로 작용하였고 출연연 조직의 경직성은 환경변화에 능동적으로 대응하는 데 한계로 작용하였다(박소희 외 2017).
출연연은 초기 경제발전을 견인하는 기술혁신 주체로 명확한 임무가 있었으나 점차 그 역할이 확대되면서 핵심 기능이 모호해지는 현상 초래하였고 국가의 주요 연구개발을 담당하는 주체여야 하나 부처의 R&D과제 수주 주체로 인식되는 현상도 발생하였다. 그리고 정부의 R&D 전략을 가감 없이 수용해야 하는 구조로 인해 중장기적 발전보다는 단기 임무 완수에 매몰되는 경우가 다수 존재하였으며 역량이 확대된 기업과 대학 사이에서 적절한 역할 찾기에 고전하게 되었다. 또한 출연연 과제들이 단기성과 위주로 구성되어 중장기 방향성 및 수요자 필요에 부합하는 과제기획은 정작 미흡한 실정이었고 단기 성격의 수탁과제 기획에 익숙해진 결과 출연연에 필수적인 장기적 관점의 과제 기획역량이 부족하여 미래성과 창출에 대한 우려가 제기되었다.
출연연의 특성이 충분히 감안되지 않은 출연연 운영 정책 추진으로 연구회 운영, 기관장의 리더십, 예산, 인사, 평가 등의 제도 추진 시, 당초 정책 의도의 실현에 어려움 발생하였다. 또한 성과 평가 시 기관 평가 준비와 운영에 드는 노력에 비하여 결과의 활용은 미흡하여 출연연의 실질적인 변화와 혁신을 효과적으로 유도하지 못하였다. 그리고 기관의 성과 평가는 기관 및 연구원의 업무와 연계성이 부족하고 기관장 임기 기준으로 평가가 이루어져 단기적 성과가 중심이 진행되었고 논문, 특허 등 정량지표 이외에 기관 미션에 의거한 연구성과를 측정할 수 있는 실효성 있는 평가가 부족하다는 문제가 발생하였다.
이번 연구의 목적은 첫째, 정부출연연구소에 적합한 R&D 성과 평가가 진행될 수 있도록 관련 현황 분석 및 지표를 연구하여 이에 적합한 성과 평가 모형을 제시하는 것이다. 그리고 제시된 성과 평가 모형이 현실을 반영하여 체계적이고 효율성 있는 적용을 위해 AHP(Analytic Hierarchy Process)를 활용하여 성과 평가 모형의 지표별 가중치를 연구하고 이를 적용한 종합적인 모형을 제안하는 것이다. 이를 통해 향후 정부출연연구소에서 적절한 성과 평가 모형을 활용한 실질적인 발전을 도모할 수 있는 기틀을 마련하는 것이다.
2. 이론적 배경
정부출연연구소 평가에 대한 다양한 방식으로 평가가 이루어졌으나 여러 가지 문제점이 발견되었다. 지금까지 출연연 체제의 조직 구성과 거버넌스는 주로 임무 중심성으로만 구성되었다. 개별 정부출연 연구소들의 거버넌스 뿐 아니라 동일 유사 인접 분야 연구소들 간의 거버넌스 문제에 대한 검토가 필요하며 기관의 임무중심성에 대한 개념 재정의를 하는 것이 필요하다. 그리고 기초, 원천, 응용형 연구소들의 유형 구분 및 예산 규모 대비 운영 거버넌스의 유형화에 대한 추가 검토 등이 필요하다.
지금까지 출연연에서는 주로 PBS(Project Base System) 제도로 운영이 되었으며 여기에서도 여러 문제점이 발견되었다. PBS 구조에서 인건비 확보 등을 위해 연구 과제 수주 경쟁이 과열화되고 이를 통해 연구 시간의 부족과 단기 과제 양산으로 심층 연구가 위축되었다. 따라서 PBS 제도 개선을 위해 연구 주제 기획 및 예산 배정에 대한 원칙이 수정되어야 하며 기관장 책임 하에 성과도출 및 연구 자율성 제고가 검토되는 것이 중요하다. 또한 기관 고유 미션에 기반한 중장기 계획 수립 추진과 기초·원천 및 전략 연구분야에 전념할 수 있도록 연구소 유형화를 검토하여 주어진 미션에 몰입할 수 있는 연구 환경이 구축되는 것이 필요하다. 그리고 평가 제도 상의 문제점으로 출연연 거버넌스와 PBS 제도 개선은 평가제도의 전체 틀에 대한 변경되는 것 없이는 불가하다. 따라서 관련 제도 개혁이 이루어지고 있으며 이를 바탕으로 추가적으로 변경되어야 하는 방향성을 검토하는 것이 필요하다.
출연연 기관에 대한 성과 평가에 대해서는 다양한 접근 방법이 시도되고 있다. 조직 구조적인 접근 방법은 합리적 목표모형을 설정하는 것으로 조직의 목표달성 능력에 초점을 두고 있으며, 평가기준은 조직이 달성해야 할 목표에 대한 정의로부터 도출된다. 시스템 자원모형은 조직이라는 시스템은 하위시스템들이 조화를 이뤄 효과적으로 기능하도록 하는 것으로 희소한 가치있는 자원을 획득하기 위해 환경을 개척해 나갈 수 있는 조직의 능력을 포함한다. 또한 조직 기능적 접근법으로는 균형 모형이 있으며 외부환경과의 균형을 유지하고 조직과 구성원 간의 균형을 유지하기 위한 협상관계를 중시하며 조직의 성과는 의사결정자들이 그들의 협상과정에서 선택하는 특정전략들의 함수를 활용한다. 기능 모형은 조직활동의 사회적 결과에 의해 결정되며 조직 유효성 평가는 조직의 활동들이 조직의 목표를 달성하는데 있어서 제대로 기능을 하는지에 초점을 맞추었다.
인적자원 접근법으로 관리과정모형은 조직의 유효성을 관리기능, 의사결정, 기획, 예산편성 등과 같은 관리기능을 효과적으로 수행하는 능력으로 평가한다. 인적자원모형은 조직의 가치에 대해 인적자원에 의해서 결정되며 인적자원의 가치가 증대할수록 조직의 유효성도 증대한다는 것을 활용하였다. 생태학적 접근법으로 생태학적 모형은 조직 내·외부의 이해관계자 집단 사이에서 요구되는 상호독립성을 관리할 수 있는 능력과 이에 적응하는 능력에 의해서 조직의 유효성이 결정된다는 것을 강조하였다.
성과 평가 모형에 대한 다양한 연구가 진행되었으며, 우선 Kaplan and Norton(1996)은 새로운 기업의 성과측정 및 관리도구로써 균형성과표(BSC : Balanced Score Card)를 개발하였다. 이 기법은 기업뿐만 아니라 비영리조직에서도 많이 사용되고 있으며 연구개발 분야에도 적용되고 있다. 또한 Werner and Souder(1997)는 바람직한 성과평가 방향으로 연구개발평가에 있어서 정량적 평가와 정성적 평가의 혼합 방식을 제안하였고 이것은 가장 정확하고 효과적이고 융통성 있는 평가 방법이라고 평하였다.
Ruegg and Feller(2003)는 미국 NIST(National Institute of Standard and Technology)의 ATP(Advanced Technology Program)에 대해 연구하여 이를 크게 자원(resource)과 영향(impact), 산출 (output)과 성과(outcome)의 4개 요소로 모형화하여 이를 평가 기준으로 개발하였다. Taylor and Powell(2005)은 프로그램의 구성 요소틀 크게 투입물(input), 성과 영향(outcome and impact), 산출물(output)로 정의하였다. 그리고 성과 영향은 단기와 중기, 그리고 장기로 크게 세분화하였고 산출물은 활동(activity)과 참여(participation)로 구분하여 평가하였다.
전문가 평가를 활용한 다양한 연구도 진행되었다. Pouris(1988)는 전문가 평가의 순기능에 대해 분석하였고 이에 대한 장점으로 공공자금 사용에 대한 정당성을 제시해 주고, 전문분야에서 과학계의 자율권을 보장해 준다고 언급하였다. 그리고 일반 대중이 과학기술 발전을 이해하는 데에 기여하고 이와 더불어 연구 결과의 신뢰성을 보장해주고, 지식 축적을 위한 기반을 제공하다고 주장하였다. Kostoff and Geisler(1999)는 전문가 평가에 대해 연구하여 기술 지식 이전의 발전과 과학자들의 자체적인 노력과 집단적 활동의 자율성을 부여함으로써 긍정적인 효과를 가져왔다고 언급하였다. 그러나 전문가 평가를 이용할 때 주의할 한계점으로 연구 주제와 관련해서는 개별 전문가마다 각기 다른 해석과 평가의 주관적인 기준이 적용될 수 있다고 이야기하였다.
R&D 연구개발에 대한 다양한 성과 평가 연구도 진행되었다. 임길환(2016)은 정성적이고, 정량적인 심층 분석 강화를 통한 중장기적 R&D 투자에 대한 성과와 이에 대한 효율성을 제고해야 한다고 언급하였다. 연구지원 R&D 사업의 상위정책과 이와 연계된 상세 투자전략을 함께 연계할 수 있도록 관련 정책과 성과 체계를 정비할 필요가 있다고 주장하였다. 그리고 연구 분야에 대한 통합적인 정책을 계획하고 실행하기 위해 이와 관련된 R&D 관련 법정 정책을 우선 정비하고 R&D 사업의 목적과 범위를 현실적으로 핵심 항목을 보완하여 재정의하는 것이 필요하다고 언급하였다. 그리고 R&D 연구개발 관련 내용을 알맞게 적용할 수 있도록 분야별 특징을 반영한 전체적인 재원 배분 방안을 동시에 고려하는 것이 중요하다고 주장하였다. 전익진(2017)은 로 R&D 연구개발 평가와 관련하여 동시 인용 및 동시 출현 단어 분석을 기반으로 기술경영 연구 주제를 분석하여 반영하는 것이 필요하다고 언급하였다. 이에 DEA(Data Envelopment Analysis)를 기반으로 R&D 사업화 성과를 평가하는 모형을 연구하였고 연구 분야인 R&D 사업화 성과 평가틀 공공기관과 기업으로 구분하여 평가하는 모형을 제안하였다. 손은일과 백창화(2022)는 DX 시대의 특성을 반영한 R&D 프로세스를 개발함으로써 기업과 기관은 고객에게 맞춤형 제품과 서비스를 제공하여 효율성과 만족도를 높일 수 있는 방안을 제시하였고 이에 대한 평가 방법의 아이디어도 제안하였다.
이문영과 이찬구(2016)는 R&D 성과 평가 지표의 구성요건을 선정함에 있어서 적시성 여부를 충족하는가에 대해 피인용 반감기와 즉시성 지수를 이용하였으며, 양적인 체계에서 질적인 성과 평가체계로 전환하기 위하여 임무중심 기관 평가에 대한 개선 방안을 연구하였다. 연구를 진행하면서 기술의 발달로 학문의 변화 속도도 빠르게 변화하고 있으나, 공공기술은 이에 대한 반응속도가 느리고 기업은 반응 속도가 빠른 것을 확인하였다. 이에 임무중심 연구기관 평가의 체계적이고 타당한 질적 평가를 진행하기 위한 정책 전략을 단기적으로 개선해야 하는 평가 기준적인 관점으로 연구하여 제안하였다. 라영재(2020)는 R&D 연구개발에 대한 주요한 성과 평가제도의 평가모형에 대해 연구하여 평가 지표체계의 특성과 구조에 대해 분석하였다. 성과 평가 이론과 성과 평가 실제의 차이가 있는 원인을 분석하고 기관 단위 평가 제도 내에서 평가모형을 재설계하고 관련 성과 평가 프로그램의 논리 모형을 반영할 수 있는 평가 지표체계를 개편하여 관련 성과 평가 방법을 상황에 적합하게 보완하는 개선 방안을 제안하였다. 그리고 기관 단위의 종합적인 성과 평가 모형과 평가 지표체계에 대한 평가 프레임워크을 분석하여 성과 평가의 경우에 관련 프로그램 논리나 성과 평가의 모형에 대한 결과를 제시하였다. 김경수와 조남욱(2021)은 국방 분야 정부출연연구기관의 R&D 특허 성과를 중심으로 국방과학기술의 발전 동향 및 융합 현상을 분석하였고 정보 엔트로피 분석, 사회연결망 분석, 연관규칙 분석을 활용하여 첨단 국방과학기술 역량 강화를 위해 연구를 추진 중인 국과연의 보유 특허를 기반으로 평가 모형의 체계를 제안하였다.
3. 연구 방법
3.1 AHP 평가 방법 이론
지금까지 연구개발 활동은 독특하고 창의적이며 비구조화된 과정으로 이루어지기 때문에 통제하기가 어려운 것으로 간주되었으며 연구개발 활동은 결과에 대한 불확실성이 높기 때문에 통제가 불가능한 것으로 인식되었다. 그러나 기술적 성과가 경쟁력의 중요한 원천으로 등장하면서 연구개발활동에 대한 통제의 필요성을 인식하게 되었고 나아가 성과측정에 대한 관심도 높아지게 되었다. 그러나 전통적인 성과측정은 재무적 성과 위주로 측정되어 지적자산의 중요성과 가치를 충분히 포함하지 못하고 있다. 그리고 연구개발 활동은 그 특성을 고려하여 비재무적인 측정치만으로 성과를 측정하고 있지만 기술이 시장에서의 성과로 연계되어야 하는 상황에서 충분한 성과 측정 및 평가 정보를 제공해 주지 못하고 있다. 따라서 연구개발 조직에서의 효과적인 성과측정 및 평가가 이루어지기 위해서는 비재무적인 성과와 재무적인 성과에 대한 균형적 접근이 이루어지는 것이 필요하다. 연구개발 조직의 종합적인 성과를 측정하고 평가하기 위해서는 비재무적인 성과만을 측정하기 보다는 재무적인 성과와 비재무적인 성과를 균형적으로 측정하여 평가하는 것이 바람직하다. 따라서 이를 가장 잘 활용할 수 있는 AHP를 이용한 평가 방법을 적용하는 것이 매우 적절하며 이를 활용하는 것이 필요하다.
계층분석과정인 AHP는 1970년대 초반에 의하여 개발된 다속성 의사결정기법의 하나로서 이론의 단순성과 명확성, 적용의 간편성과 범용성으로 인하여 자원배분, 비용 대 효과분석 및 기타 이해가 상충되는 문제의 해결도구로 많이 활용되고 있다. AHP는 복잡한 의사결정 문제를 계층구조(Hierarchy)로 표현하고 그 성분들에 대한 쌍대비교를 통하여 계층구조 내의 관계를 비율척도로 표시하고 최선의 대안을 도출해 낸다(Saaty, 2004).
일반적으로 의사결정문제는 서로 상반된 기준과 불완전한 정보 및 제한된 자원 하에서 최적의 대안을 선택해야 하는 문제를 내포하고 있다. AHP는 이러한 다수 기준 하에서 평가되는 대안들의 우선순위를 선정하는 문제를 다룬다. AHP는 먼저 각 의사결정기준 간의 계층을 설정하고 각 상위계층에 있는 요소를 기준으로 하위계층에 있는 각 요소들 간의 가중치를 측정한다. 이를 통하여 상위계층 요소 하에서 각 하위요소가 다른 하위요소에 비하여 우수한 정도를 나타내 주는 수치로 구성되는 쌍대비교행렬(pairwise comparison matrix)을 작성하게 된다. 행렬로부터 고유치 방법(eigenvalue method)을 이용하여 계층의 각 수준마다 정규화 된 하나의 우선순위벡터를 산출한다. 계층의 최상위에 위치한 의사결정의 목적을 달성할 수 있도록 도와주는 최하위 단계에 있는 대안들의 상대적인 우선순위를 나타내주는 전체 계층에 대한 하나의 복합 우선순위벡터(priority vector)를 산출하게 된다.
AHP 기법은 최근 많은 학자 및 기업의 의사결정 담당자들로부터 많은 관심을 받고 있으며 사용범위를 넓혀가고 있는 연구 분석 기법이다. 이 기법은 주어진 의사결정 문제를 계층화한 후, 상위계층에 있는 한 요소 또는 기준의 관점에서 직계 하위계층에 있는 요소들의 상대적 중요도 또는 가중치를 쌍대비교에 의해 측정하는 방식이며, 궁극적으로는 최하위 계층에 있는 대안들의 가중치 또는 우선순위를 구할 수 있도록 도와준다. AHP 기법은 전문가의 오랜 경험이나 직관 등을 평가의 바탕으로 하고 있기 때문에 수치로 표현할 수 있는 정량적 평가기준은 물론 흔히 의사결정문제에서 다루기 곤란하면서도 반드시 고려하지 않으면 안 될 정성적 평가기준들도 비교적 쉽게 처리할 수 있다.
AHP는 다기준의 평가결정에 적합하며 평가결정의 전 과정을 여러 단계로 나눈 후 이를 단계별로 분석하고 해결함으로써 최종적인 평가결정에 도달한다. 다수의 기준을 계층적으로 분류하여 각 기준들의 가중치를 설정하고 각 기준 또는 하위 기준 간의 중요도, 그리고 그 하위 기준이 상위 기준에 기여하는 정도를 이원비교를 통하여 일관성 있게 유도한다.
AHP 기법의 장점으로는 다양한 품질척도를 추정하는 가중치 산정에 적합하며 복잡한 상황을 체계적으로 구조화 할 수 있다. 평가결정 문제를 구성하고 있는 모든 요소를 나열하여 여러 단계의 상이한 레벨로 분류하고 각 레벨에 있는 유사 요소끼리 그룹핑하는 인간의 자연적인 사고과정을 반영한다. 논리적 일관성을 검증 할 수 있는 장치 마련함여 결과에 대한 신뢰성을 높이고 평가결정 문제와 관련된 정보의 변화에 따른 민감도를 분석할 수 있다. 또한 지식, 경험, 감정의 통합으로 문제해결을 위한 포괄적인 틀을 제공하여 무형의 것을 측정할 수 있는 척도의 우선순위를 설정하기 위한 방법을 제공한다. 평가자의 직관적이고 합리적인 판단을 근거로 정량적인 요소와 더불어 정성적인 요소까지도 고려가 가능하다. 이에 따라 결과의 타당성 및 객관성 제고가 가능하고 과학적 우선순위 도출 등의 다양한 장점을 지니고 있다.
AHP 기법의 주요 절차는 문제의 구조화, 중요도 측정, 가중치 설정, 대안 평가의 순서로 전개된다. 우선 상호 관련되어 있는 여러 평가결정 기준들을 몇 개의 계층 또는 네트워크 형태로 구조화한다. 최상층에는 가장 포괄적인 평가결정의 목표가 놓여지며 그 다음의 계층들은 평가결정의 목표에 영향을 미치는 다양한 요소들로 구성된다. 낮은 계층에 있는 것일수록 구체적인 것이 되며, 한 계층 내의 각 요소들은 서로 비교 가능해야 한다. 평가결정의 계층을 몇 단계로 할 것인가 하는 것은 해결하고자 하는 문제의 복잡성의 정도와 해결하고자 하는 문제가 분석적으로 분해될 수 있는 정도 등에 따라 결정한다. 각 계층에는 동질적인 성질의 요소들만이 나열되어야 하며 이들은 바로 상위의 계층에 있는 평가기준들에 의하여 둘씩 짝을 지어 비교할 수 있어야 한다. 각 계층에 포함되어 있는 요소들을 이원비교를 통하여 목표 또는 바로 상위에 있는 평가기준들에 비추어 그 상대적인 중요도를 측정한다. 만약 요소들의 수가 n개이라면 이원비교의 수는 nC2, 즉 n(n-1)/2개로 정해진다. 각 계층의 중요도가 완료되면 평가 항목별 각 대안의 개별 평가를 실시하여 쌍대 평가 비교를 실시한다. 이러한 AHP를 활용한 연구 사례로 김영현과 하진식(2022)은 정량평가 모형의 신뢰성 및 타당성을 확보하기 위하여 국방품질경영체제 전문가들을 대상으로 AHP를 적용하여 평가지표별 배점의 신뢰성 및 타당성 검증하였고 국방품질경영체제의 정량평가 모델 및 제도화 방안을 제안하였다.
3.2 해외 선진국의 조직성과 평가 사례
해외 선진국의 다양한 조직성과 평가 사례 중에서 우선 미국의 과학공학지표(SEI : Scienceand Engineering Indicators)는 1971년 이후 성과지표에 대하여 수집하여 이를 체계화하였다. SEI의 경우 연구개발 자원지표에 높은 비중을 부여하고 있으며, 그 다음으로 과학기술인력 및 과학기술의 경제적 성과지표에 높은 비중을 부여하고 있다. 이들 항목은 연구개발 투입지표 및 일부 연구개발 성과지표에 해당하는 것으로 정기적인 조사를 통하여 축적된 데이터나 기타 경제통계를 토대로 구축된 데이터로 구성되어 있다. 과학기술 학술 성과지표 및 과학기술영향지표는 연구개발 활동에 대한 평가 및 사회적 측면에서의 영향을 측정하는 지표로 상대적으로 낮은 비중을 차지하고 있는 바, 해당 지표의 경우 일관된 기준에 의한 정량적 측정이 제한된 것으로 인지되고 있다. 점차 문헌분석 및 특허분석 등 정량적인 분석기법의 개발로 대체되는 성향을 보이고 있다. 또한 기술예측 등 다양한 연구기법이 개발·적용되고 있는 추세로 과학기술 학술 성과지표 및 과학기술영향지표 등에 대한 비중이 확대되고 있다.
SEI를 중심으로 과학기술체계를 검토해 보면 과학기술지표들이 연구개발 활동의 다양한 측면을 포괄할 수 있도록 점차 세분화되고 있으며, 새로운 지표들이 지속적으로 개발되고 있다. 전통적 측면에서의 연구개발 자원관련 지표로 볼 수 있는 연구개발비, 정부 및 민간 연구개발투자, 부문별 연구개발 사용 등은 최근에도 높은 비중을 차지하고 있는 지표로 볼 수 있으나, 최근 연구개발 인력 관련 지표인 과학기술자 양성 및 인력개발 인력 지표 등에 대한 비중이 높아지고 있는 추세이다. 이것은 연구개발 인력의 축적 및 유동성(mobility)에 대한 정책적 관심의 증대가 반영된 것으로 볼 수 있다. 이에 대한 상세 내용은 Table 1로 정리하였다. 세계화 및 과학기술의 사회적 영향에 대한 관심이 증대되면서 과학기술의 국제화 및 과학기술에 대한 사회적 인식과 관련된 지표의 비중이 증가하는 것으로 나타났다(이길우, 2009; 김병목·오세홍, 2003).
미국 상무부 산하 국립표준기술원(NIST : National Institute of Standard and Technology)이 추진해 온 첨단기술개발사업(ATP : Advanced Technology Programs)에서는 단기, 중기, 장기로 구분하여 성과를 측정한다. 단기 평가는 회사배경, 프로젝트자금, 고용기회, 혁신기술 개발 등에 중점을 둔다. 중기 평가는 진보성이 확보된 표본 및 제품, 공정, 사업 기회, 제휴, 특허, 학술성과의 신규성 및 회사의 성장 등을 평가한다. 장기 평가의 경우 사업화 상황, 매출 기술을 이용한 산업의 변화, 경제적·사회적 파급효과 등에 중점을 둔다. 이에 대한 상세 내용은 Table 2에 정리하였다.
투입관련 지표 4종(이학사 수, 공학자 수, 연구자 수, 연구개발비), 성과관련 지표 6종(논문 수, 논문피인용수, 국내 특허출원 수, 국외 특허출원 수, 공업제품 부가가치액, 첨단제품 생산액), 기술무역 관련 지표 2종(기술수입액, 기술수출액)등 총 12개 개별 지표로 이루어진다. 일본 신에너지산업기술개발기구(NEDO : New Energy and Industrial technology Development Organization)는 경제산업성이 주관하는 연구개발과제에 대하여 평가를 수행함에 있어 성과의 보급 및 홍보, 성과의 공공성, 성과의 파급효과, 사업화까지 시나리오 등을 주요 평가항목으로 설정하고 있다. 성과의 보급·홍보는 논문 발표 수, 특허, 성과의 규격화 대응 등 세분화하여 적용, 성과의 파급효과에서는 당초 상정하지 않은 파급적인 성과는 여부와 프로젝트의 실시 자체가 해당분야의 연구개발을 촉진하는 등의 파급효과가 있는지를 평가기준으로 하고 있다. 이에 대한 내용은 Table 3으로 정리하였다.
4. 연구 결과
4.1 성과 평가 모형
해외 주요 사례를 중심으로 성과 평가 모형에 필요한 지표를 도출하기 위해 전문가 25명을 대상으로 집단심층면접인 FGI(Focus Group Interview) 면담 형식으로 조사를 진행하였고 세부적으로 KJ(Kawakita Jiro)법을 활용하였다. KJ법은 1967년에 일본의 가와키타 지로(川喜田二郎)가 제안한 연구 방법으로 정성적인 자료의 정리와 통합을 수행할 때 많이 활용되고 있다. KJ법은 다양하게 수집된 자료를 연구자의 선입견 없이 최종 해석하고 고찰하여 전체적으로 정리하는 방법을 말한다(박애스더, 2018).
KJ법에 활용된 전문가는 연구원, 교수, 연구기관 경영진, 경영 담당부서장, 전문직 종사자가 참여하였으며 근무기간을 살펴보면 20년 이상이 22명, 15년이상 20년 미만이 2명, 10년 이상 15년 미만이 1명으로 정부출연 연구소에 대하여 잘 알고 있는 전문가를 대상으로 설문이 실시되었다. 해외 사례를 중심으로 평가 모형에 필요한 지표를 살펴본 결과 13개 평가 항목을 도출하였다. 13개 항목을 각 3개의 항목으로 묶고 필요한 항목은 다시 세부 항목으로 나누어 평가하는 모형으로 구성하였다. 이에 따라서 묶음의 3개 항목을 구조 1단계로, 13개 항목을 2단계, 세부 항목을 3단계로 평가 모형을 설정하여 Table 4에 정리하였다.
정부출연 연구소 성과 평가 모형을 3단계로 세부적으로 살펴보면, 우선 1단계는 과학적/기술적 연구 결과의 우수성, 경영 우수성, 사회적 공익 우수성으로 구성된다. 2단계는 과학적 우수성은 연구개발 분야의 필요성, 연구개발 분야 목표의 도전성/혁신성, 연구결과의 우수성(논문/지적재산권), 기술사업화 가능성으로 분류한다. 경영우수성은 경영자의 혁신의지/전략, 연구 활동 수행 타당성, 예산운영 효율성, 인력운영 효율성으로 분류한다. 사회적 공익 우수성은 공익성, 인프라 확산성, 미래변화 대응성, 국가발전 기여도로 분류한다. 3단계는 연구결과의 우수성은 연구원당 논문수/특허수, 연구결과의 수익성, 연구결과의 성장으로 분류하고 연구활동자원 효과성은 R&D 집약도와 R&D 인력비중으로 분류한다. 연구활동 수행 타당성은 R&D 협력비중과 신제품/신공정 R&D 투자비중으로 분류하고 예산운영 효율성은 조직관리 예산 효율성과 R&D운영 예산 효율성으로 분류한다.
4.2 AHP 기반 중요도 분석
본 연구에서 성과 평가 모형의 지표별 가중치를 결정하기 위하여 AHP를 활용하였다. 가중치를 결정하는 방법은 설문이나 투표 등 주관적인 방법이 대부분이나 AHP는 이원비교를 통하여 객관성과 일관성 확보가 용이하다. 이에 따라 정부의 출연기관의 특성상 공익성을 배제할 수 없으며, 기관의 성취를 파악할 수 있는 경제적 부분과 운영적 측면을 모두 고려하여 평가하는 방식이 필요하였다. 각 평가 지표를 이용한 평가 방식의 가중치를 산정하고 각 대안에 대한 가장 일반적인 평가 방법인 AHP를 이용한 평가 방법을 진행하였다. 대안 평가는 각 성과평가 항목별로 정부출연 연구소에 대한 개인의 평가를 100점 만점으로 평가하였다. AHP 설문조사는 성과 평가 모형에 참여한 전문가 25명으로 대상으로 이메일과 대면 설문을 통한 AHP 설문 작성을 활용하였고 2018년 9월 7일부터 9월 29일까지 2차에 걸친 AHP 설문을 실시하였다.
설문 결과에 대한 종합 중요도의 형태를 살펴보면, 전체를 100%의 중요도로 파악할 때 중요도의 비율로 판단해본 결과, 과학적 기술적 연구결과 우수성이 66.93%의 중요도를 가지고 있으며, 경영우수성은 12.56%, 사회적 공익 우수성은 20.51%로 과학기술적 연구 결과가 우수해야 하며 이후 사회적 공익성이 필요하며 경영 우수성이 제일 낮은 것으로 나타났다. 2단계와 3단계의 중요도는 1단계 결과에 2단계와 3단계 결과의 가중치를 곱하여 계산하였다. 이에 대한 결과를 Table 5에 정리하였다.
1단계 중요도를 살펴보면 과학적 기술적 연구결과 우수성이 66.93%의 중요도를 가지고 있으며, 사회적 공익 우수성은 20.51%, 경영우수성은 12.56%로 과학적 기술적 연구 결과가 가장 중요하다는 결과를 도출하였다. 따라서 과학적 기술적 연구의 우수성이 가장 중요하다고는 결과를 도출하였다.
2단계 중요도에서 과학적/기술적 연구결과 우수성 부분의 세부 항목을 살펴보면, 연구 개발 분야 목표의 도전성이 31.97%, 연구결과의 우수성이 29.83%로 높게 나타났으며, 연구개발 분야 필요성은 23.78%, 기술사업화 가능성은 14.41%로 가장 낮게 나타났다. 기술사업화 이외에 연구개발분야 목표의 도전성과 연구결과의 우수성, 연구개발 분야의 필요성이 중요하다는 결과를 도출하였다. 2단계 중에서 경영 우수성의 세부 결과 중요도를 살펴보면, 경영자의 혁신의지/전략이 16.19%, 인력운영 효율성이 22.97%로 높게 나타났으며, 연구활동 수행 타당성이 21.16%로 3순위로 나타났다. 예산 운영 효율성과 연구활동자원 효과성은 각각 14.91%, 14.78%로 비교적 낮게 나타났다. 따라서 경영자의 혁신의지와 전략의 구축 및 인력 운영 효율성, 연구활동 수행 타당성이 중요하다고 결과를 도출하였다. 사회적 공익 우수성의 세부 결과 중요도를 살펴보면, 미래변화 대응성이 37.53%로 가장 높게 나타났으며, 국가발전 기여도가 26.83%, 공익성이 25.08%로 중요하게 판단하고 있고 인프라 확산성이 10.57%로 가장 낮게 나타났다. 따라서 미래변화의 대응성과 국가발전, 공익성이 중요하다는 결과를 도출하였다.
3단계 중요도에서 연구결과의 세부 결과 중요도를 살펴보면, 연구결과 성장성이 57.95%로 가장 높게 나타났으며, 연구 결과의 수익성이 21.93%로 나타났고 연구원당 논문수/특허수는 20.12%로 가장 낮게 나타났다. 따라서 논문과 특허의 양이 중요한 것이 아니라 연구 결과의 성장성이 가장 중요하다는 결과를 도출하였다. 연구활동 자원의 효과성의 세부 중요도를 살펴보면 R&D 집약도(57.94%)가 인력비중(42.76%)보다 중요하다고 판단하는 것으로 나타났다. 연구활동 수행 타당성의 세부 중요도를 살펴보면 R&D 협력비중(52.27%)이 신제품 신공정 R&D 투자비중(47.73%)보다 중요하다고 판단하는 것으로 나타났다. 예산운영 효율성의 세부 중요도를 살펴보면 R&D 운영예산 효율성(79.37%)이 조직관리 예산 효율성(20.63%)보다 중요하다고 판단하는 것으로 나타났다.
5. 결론
이번 연구는 정부출연연구소에 대한 성과 평가의 현황을 조사하고 여러 가지 문제점을 개선할 수 있는 R&D 출연연에 적합한 성과 평가의 핵심 지표를 도출하여 이를 3단계 세부적인 모형화를 통해 제시하였다. 그리고 이를 기반으로 AHP 기법을 활용하여 각 지표별 중요도를 기반으로 가중치를 산정하였고 향후 정부출연연구소를 체계적이고 객관적으로 성과 평가할 수 있는 현실적인 모형으로 제안하였다.
연구 결과의 중요 내용으로 1단계의 과학적 기술적 연구결과 우수성 가장 높은 중요도를 가지고 있으며, 그 다음으로 경영우수성과 사회적 공익 우수성이 높게 나타났으며 이에 대한 가중치를 산출하여 제시하였다. 2단계에서 과학적/기술적 연구결과 우수성 부분의 세부 항목에서는 연구 개발 분야 목표의 도전성, 연구결과의 우수성, 연구개발 분야 필요성, 기술사업화 가능성 순서로 가중치를 도출하였다. 경영 우수성의 세부 항목에서는 경영자의 혁신의지/전략이 인력운영 효율성, 연구활동 수행 타당성 순서로 가중치를 산출하였다. 사회적 공익 우수성의 세부 항목에서는 미래변화 대응성, 국가발전 기여도, 공익성, 인프라 확산성 순서로 가중치를 도출하였다.
이번 연구 과정과 결과를 통해 정부출연연구소의 가중치를 포함한 성과 평가 모형을 제시하였고 향후 제시된 성과 평가 모형을 활용하여 정부출연연구소를 평가 시, 좀 더 체계적이고 객관적인 성과 평가 수행을 진행할 수 있을 것이라 판단된다. 향후 이번 연구 결과를 활용하여 실제 정부출연연구소를 대상으로 성과 평가를 수행하여 이를 검증하는 것이 필요하다. 즉, 정부출연연구소에 성과 평가를 실시하고 가중치를 적용하여 최종 결과를 도출하고 결과를 분석하여 정부출연연구소의 성과를 공정하게 평가하고 실질적인 발전으로 연계하는 것이 필요하다.
추후 진행할 연구 과제로는 정부출연연구소를 대상으로 실제 성과 평가를 진행하여 보완사항을 도출하고 현실에 적합한 모형으로 발전시키는 것이다. 정부출연연구소의 가중치를 포함한 성과 평가 모형을 제시하였으나 다양한 정부출연연구소의 세부적인 특성까지 반영하기 위해서는 추가 연구가 필요하다. 정부출연연구소에 관련 성과 평가 모형을 적용해 보고 특성에 따라 분류하거나 그룹핑하여 각 집단의 특성에 맞게 세부적인 사항에 대한 보완하는 것이 필요하다. 이를 통해 정부출연연구소나 관련 기관들의 특성에 맞춰 세분화도 가능하며 이에 적합한 세부 모형들에 대한 연구도 진행하는 것이 필요하다. 그리고 성과 평가 항목이나 지표별 가중치에 대한 다양한 형태의 적용과 추가적인 연구를 진행하는 것이 필요하다. 그리고 이를 기반으로 정부출연연구소 뿐만 아니라 다양한 형태의 기업이나 산업 연구소에 이를 적용하여 확대하는 모형으로 발전시키는 연구가 필요하다.
PDF Links
PubReader
Full text via DOI
Download Citation 
Print 
