국내 R&D 전문관리기관의 R&D 기획ㆍ평가ㆍ관리비의 효율성 분석에 관한 연구
A Study on the Efficiency Analysis of R&D General Management Cost for Domestic R&D Agency Institutes
Article information
Trans Abstract
Purpose:
This study is aimed to develope effective guidelines of R&D institute with regard to general management cost, by analyzing the management characteristics of 14 domestic R&D institutes general management costs.
Methods:
The bootstrapping method is applied to obtain the average general management cost of 14 R&D institute and the effective R&D institutes are presented by comparing the general management costs of R&D and the rate of inflation.
Results:
The results show that the average R&D general management cost of 14 R&D institutes is 3.32% and, in general, it turns out that the R&D general management costs do not reflect the inflation rate after a comparative analysis of the variation of the R&D general management costs. In addition, the results of cost-effective analysis show that only 5 R&D institutes are efficient in R&D activities.
Conclusion:
Applying a uniform standard of R&D general management costs although their management characteristics are different, can cause the impediment to the independence and transparency of R&D institutes. Therefore it is recommended a strict implementation with respect to the monitoring system of each R&D institute and the budget policy methods which are reflected management characteristics.
1. 서 론
2000년 이후 정부의 R&D 투자규모는 10여 년간 연평균 10.1% 증가하였으며 2013년 정부 연구개발 예산은 전년대비 5.3%(8,533억 원) 증가한 약 16조 8000억으로 편성되어 정부 지출 중 비교적 높은 비중을 차지하고 있다(KISTEP. 2013). 이러한 국가 연구개발 예산의 증가는 경제적 불확실성이 가중되고 있는 상황에서 국가의 잠재적 성장 동력의 확충을 위한 투자의 일환으로 매년 꾸준하게 증가하는 있는 추세이다.
R&D 투자 규모가 늘어남에 따라 각 부처는 부처 소관의 R&D 사업의 기획ㆍ평가ㆍ관리 등의 업무를 수행하기 위한 전문기관을 지정하여 운용하고 있으며 정부는 R&D 전문관리기관의 R&D과제 기획ㆍ평가ㆍ관리 및 성과활용 등 R&D 전주기에 대한 효율적 관리를 위해 전담기관에 기획ㆍ평가ㆍ관리비를 지원하고 있지만 R&D사업의 기획·평가·관리비를 개별사업과 분리하여 운영하지 않아 과제 운영에 대한 전문성과 독립성 제고 측면에서 여러 문제들이 야기되고 있는 실정이다. 이러한 제반문제들에 대해 조사한 Lee et al.(2010) 연구에 의하면 대부분의 연구전문 관리기관은 기관운영비를 부처협의에 의해 연구기획평가비로 지원받고 있으며 안정적인 인건비 및 경상경비를 조달하는데 어려움이 있는 것으로 나타났다. 특히, 기관운영비의 큰 비중을 차지하는 연구기획평가비의 책정에 부처의 자의적 판단이 개입될 우려가 있어 전문관리기관의 독립적 운영이 어려운 실정이며 기관의 운영예산 확보차원에서 다수의 R&D 관리 사업을 확보하여 기획업무보다는 관리업무에 치중하고 있는 것으로 나타났다. 이렇게 전문 관리기관이 주로 관리업무에 치중하는 것은 경상비용을 많이 확보하기 위한 방법으로 관리업무가 늘어남에 따라 예산지출이 늘어나게 되고 이는 기관의 운영예산의 확충으로 연결되는 구조가 반복되기 때문에 R&D과제의 기획·평가·관리비에 대한 투명성과 효율성 저해의 요인으로 제시하고 있다.
R&D전문 관리기관 예산 운영에 대한 문제점들을 해결하기 위한 방법으로 제안된 방법이 기관별 운영예산의 특정 비율을 선정하여 획일화된 예산을 집행하는 방법이 제기되었다. 하지만 이러한 획일화된 기획평가관리비 지원체계는 예산규모, 과제규모, 수행기간, 사후관리 등 기관별 상이한 관리 및 평가기준들로 인해 기관별 과제관리의 전문성 및 R&D수행의 질적 저하를 초래할 수 있어 관리기관의 전문성과 역량제고를 위한 취지에도 부합하지 않는 방법이라 할 수 있다. 따라서 경제 환경의 변화에 맞추어 R&D 기획ㆍ평가ㆍ관리비의 합리적인 가이드라인을 제시하고 R&D 전문관리기관의 운영예산을 현실화하기 위한 연구의 필요성이 제기되고 있다. 이러한 측면에서 본 연구의 목적을 제시하면 다음과 같다.
첫째, R&D 전문기관의 운영특성을 분석하기 위해 유사기관별/사업규모별 등 R&D 운영특성을 비교분석하여 기관별 기획·평가·관리비 운영현황을 비교하고자 한다. 특히, R&D 전문기관에 지원하는 정부예산금액과 물가상승률과의 비교를 통해 연도별 예산변화에 대한 특성을 분석하고자 한다.
둘째, R&D 전문기관의 기획·평가·관리비 운영 실태에 대한 효율성 분석을 통해 효율적인 기관을 제시하고 효율적인 기관의 예산운영 현황을 베스트 프렉티스로 제시하고자 한다. 이를 기반으로 적정 수준의 운영예산 범위를 제시하고자 한다.
셋째, 앞서 제시한 분석결과를 기반으로 R&D 전문관리기관의 예산운영에 대한 합리적인 대안을 도출하고 기관별 기획·평가·관리비에 대한 가이드라인을 제시하는데 있다. 이를 위해 국내 14개 R&D전문 관리기관을 표본으로 선정하였으며 2010년부터 2013년까지의 총사업비와 기획·평가·관리비를 분석ㆍ비교하고자 한다. R&D 전문관리기관의 효율성 분석은 비모수적인 방법인 DEA(Data Envelopment Analysis, DEA)기법을 이용하였다.
전체 연구 진행은 3부분으로 진행되는데 우선 14개 기관의 2010부터 2013년까지의 사업비 대비 기획·평가·관리비의 비율을 산출한 후 부트스트랩을 통해 편의(bias)가 수정된 평균 비율을 추정하고자 한다. 또한 4년간(2010~2013) 변화된 기관별 기획·평가·관리비율과 실제 물가 변동비율을 비교하여 실제 물가상승률을 반영하고 있는지를 비교하였다. 끝으로 이러한 분석결과를 투입 및 산출변수로 선정한 후 효율성 분석을 실시하여 기관별 효율성 수준을 제시하였다.
2. 기존연구 분석
국가 R&D 운영에 관한 연구는 크게 조직의 R&D 역량 평가에 관한 연구와 R&D 가치평가 모델 등 주로 R&D 추진의 핵심적인 요인을 추출하거나 조직의 특성에 관한 연구들이 주를 이루고 있다(Park et al. 2003; Kim et al. 2012; Yim and Jung. 2014). 하지만 R&D 운영기관의 합리적인 예산 배분이나 기관 운영에 관련된 연구는 R&D 과제의 효율적인 관리차원에서 매우 중요한 연구임에도 불구하고 많은 연구가 이루어지지 않고 있다.
정부의 「국가연구개발사업의 관리 등에 관한 규정」의하면‘연구관리전문기관’이란 연구개발 사업에 대하여 기획하고, 평가하는 일련의 관리 업무를 위탁하여 보다 전문적으로 수행하기 위해 중앙행정기관장이 지정하거나 설립한 기관을 의미하며 연구전문 관리기관이 집행하는 기획·평가·관리비의 개념은 인건비, 직접비(여비, 연구관리비, 기술정보활동비), 간접비 등 연구관리전문기관이 각 부처 R&D 사업의 기획·평가·관리, 성과 활용촉진 등의 업무를 수행하기 위하여 필요한 제반 소요경비를 의미한다(Lee et al.,2010;KISTEP, 2013).
R&D 기획·평가·관리비의 구성요소는 전문기관 기획·평가·관리비는 대개 인건비, 직접비, 간접비로 구성되며 직접비는 연구 장비나 재료구입비, 연구 활동비, 출장여비, 수수료 등으로 활용되며 비목별 비율이 가장 높게 나타나고 있다(Lee, 2012).
이러한 R&D 기획·평가·관리비에 관한 연구는 2010년 이후 정부 예산의 효율적 운영이 강화되면서 유사 연구들이 나타났고 있다. 대표적인 연구로는 Um(2009), Lee et al.(2010), Lee(2012), KISTEP(2013) 등이 연구가 있으며 주로 공공연구기관이 수행한 연구가 주를 이루고 있다.
우선 Lee et al.(2010)의 연구에서 전문관리기관의 기획·평가·관리비에 대한 선진 주요국의 현황을 제시하였으며 국내의 경우 기관별 연구 기획·평가 관리비의 책정방식이 서로 상이하여 획일화된 방법을 적용하는 것이 어렵다는 것을 제시하였다. 또한 각국의 기획·평가·관리비율을 제시하였는데 미국 NSF의 경우 4~5% 비율로 나타나고 있으며 일본의 경우 3.5%로 나타났다. 선진 주요국의 유사기관별 기획·평가·관리 비율이 3.5%~ 4.5%로 나타났다. 한국과 미국, 일본의 기획·평가·관리비를 비교한 결과를 제시하면 다음과 같다.
각국의 연구관리비에 대한 비교에 이어 국내 전문관리기관의 기획ㆍ평가ㆍ관리비에 대한 주요 문제점을 제시하였는데 우선 전문관리기관의 안정성과 독립성이 미흡하다는 점과 기획ㆍ평가ㆍ관리비의 운영 효율성 저하와 예산 운영의 투명성 부족을 핵심 문제로 제시하였다. 또한 이러한 문제 해결방안으로 정부의 지원을 강화하는 한편 기획ㆍ평가ㆍ관리비의 공동관리 규정을 엄격하게 적용할 것을 제시하였다.
Lee(2012)는 R&D 수행부처별, 전문기관별로 상이하게 추진되고 있는 기획평가 등을 포함한 기획ㆍ평가ㆍ관리체계를 분석하고 국내ㆍ외 사례 분석을 기반으로 전문기관의 기획ㆍ평가ㆍ관리제도의 운영 효율화 및 중장기 발전 방향을 제시하였다. 분석에는 전체 25개 기관의 사업예산과 기획ㆍ평가ㆍ관리의 비율을 비교하여 기관별 특성을 분석하였다. <Table 2>는 Lee(2012)에서 제시된 각 기관별 기획평가관리비의 분석결과이다.
Compare R&D General Management Costs of R&D Agency Institutes(2011)
Lee(2012)는 분석결과를 기반으로 기획ㆍ평가ㆍ관리비의 효율적 운영을 위한 정책적 제언을 제시하였는데 전문관리기관의 단순한 관리업무보다 연구기획역량을 강화해야 한다고 주장하였으며 이를 위해 전문기관의 운영안정성과 독립성을 확보하기 위한 법제도적 정비를 제시하였다. 또한 기획ㆍ평가ㆍ관리 업무의 범위를 명확하게 규정하여 예산의 차용이나 용도를 구체적으로 명시할 것을 주장하였다. Um and Ahn(2009)은 정부연구개발 예산의 편성 현황과 투자추이를 분석하였다. 특히 기술, 기능, 경제사회 등 분야별 연구개발사업의 예산 변화추이를 비교하여 분야별 특성을 분석하였다. 이와 유사한 연구로 KISTEP(2013)의 연구가 있으며 Um and Ahn(2009)의 연구와 달리 신성장 동력, 녹색기술, 국제협력, 인문사회, 서비스 R&D 등 정부 연구 예산의 전 분야 특성을 분석하였다.
MIC(1999)가 수행한 연구에서는 앞서 제시한 연구들과 달리 정보통신부에서 수행한 연구개발비 예산의 원가현황을 분석하고 1996년부터 1997년의 예산정보를 기초로 비목별 평균적 수준을 비교하였다. 특히, 연도별 예산뿐만 아니라 개별 과제의 예산 정보를 기준으로 항목별 특징을 분석하였다. 이러한 분석결과를 기반으로 여비, 기자재 및 시설비, 기술정보활동비 등 항목별 산출기준을 제시하였다.
지금까지 제시된 여러 연구들의 경우 주로 기획ㆍ평가ㆍ관리비의 비율분석을 통해 기관별 상대적인 수준을 비교한 연구가 주를 이루고 있으며 기관별 기획ㆍ평가ㆍ관리비의 적정 수준을 분석한 연구가 거의 이루어지지 않고 있다. 특히, 기존의 연구에서 제시된 전문관리기관의 주요 문제점은 지원예산의 적정성 여부로서 기존 연구에서는 이러한 기관별 고충에 대한 분석이 이루어지지 않았다. 즉, 기존 연구에서 제시된 접근방법은 주로 기관별 상대적인 운영예산의 비교만 이루어졌으며 과제 수나 직원 수 등 기관별 운영특성이 반영된 분석방법을 적용하지 못하는 한계점이 있다. 따라서 본 연구에서는 기존에 제시된 연구와 달리 규모별 특성과 운영특성이 반영된 분석방법을 적용하여 적정 예산 수준을 제시하고자 한다.
3. 연구 설계
R&D 전문기관의 기획ㆍ평가ㆍ관리비의 운영특성을 분석하여 합리적인 기획ㆍ평가ㆍ관리 수준을 제시하기 위해 3단계에 분석을 실시하였다. 분석대상인 14개 R&D 전문관리기관의 특성은 표 3에 제시하였으며 전체 분석과정은 <Figure 1>과 같다.
14 R&D Agency Institutes characteristics of R&D General Management Cost
Research procedure
합리적인 기획ㆍ평가ㆍ관리비의 수준을 제시하기 위한 방법으로 3단계 분석과정을 통해 이루어지는데 우선 14개 유사 관리기관의 기획ㆍ평가ㆍ관리비 수준을 분석하기 위해 부트스트랩을 활용하여 편의가 수정된 연도별 기획ㆍ평가ㆍ관리비 수준을 제시하고자 한다. 두 번째 분석은 2010년부터 2012년까지 제시된 물가상승률과 기획ㆍ평가ㆍ관리비의 변동을 비교하여 총사업비와 기획ㆍ평가ㆍ관리비의 변동이 실제 물가상승률을 반영하는지를 분석하였다. 이러한 물가상승률과의 비교분석은 기획ㆍ평가ㆍ관리비의 전체 구성이 소모성 지출비용이기 때문에 물가 변동에 민감한 특징이 있어 물가상승률과 상대적인 비교를 통해 예산 운영 수준에 대한 상대적인 변동성을 분석하였다.
끝으로 효율성 분석에서는 인당 기획평가관리비, 인당 사업비, 과제당 평균 사업비, 기획평가관리비율을 투입요소로 선정하고 연간 수행한 과제수와 과제당 평균 기획평가관리비율을 선정하여 효율성을 분석하였다. 이러한 분석과정을 <Figure 1>로 제시하였으며 각 기관의 총사업비와 기획ㆍ평가ㆍ관리비에 관한 정보는 <Table 3>에 제시하였다.
3.1 14개 전문관리기관의 기획ㆍ평가ㆍ관리비 비교 분석
14개 R&D 전문관리기관의 사업예산규모와 기획ㆍ평가ㆍ관리비 비율의 상대적인 수준을 비교하여 연도별 각 기관의 예산변동을 비교ㆍ분석하였다. 또한 14개 R&D 전문관리기관의 기획ㆍ평가ㆍ관리비 비율을 부트스트랩핑(bootstrapping)을 통해 연도별 기획ㆍ평가 관리비의 평균을 추정하였다.
14개 기관의 연도별 기획ㆍ평가ㆍ관리비의 평균적인 수준을 측정함에 있어 단순한 산술평균을 활용하지 않고 부트스트랩핑(Bootstrapping)에 의한 평균과 신뢰구간 추정방법을 적용한 것은 추정의 정확도를 높이기 위한 방법으로 활용하였다.
부트스트랩핑(Bootstrapping)에 의한 평균과 신뢰구간 추정방법은 모수통계(parametric statistics)기법들이 모집단의 확률적 분포에 대한 가정을 토대로 연구자가 얻은 표본의 분포가 모집단의 분포와 동일하다는 가정을 전제로 표본에 대해 통계분석을 하고, 더 나아가 모집단의 분포를 추론하데 되는데 연구자가 모집단의 확률적 분포를 사전(priori)에 알지 못하는 경우가 많아 관측된 표본자료만으로 모수들을 추정할 수밖에 없으며 이 때 표본을 가지고 모수를 추정하는 방법은 계산과정이 매우 쉽고 간단하지만 분석 자료의 불확실성으로 인해 모수추론의 가장 큰 제약으로 작용하고 있다. 따라서 이러한 모수통계기법의 단점과 표본의 제약 조건을 극복하기 위한 접근방법으로 비모수적인 추론방식을 적용한 부트스트랩기법은 Efron(1979)에 의해 처음으로 소개된 이후 표본크기의 한계를 극복하고 모수 통계기법의 비현실성을 극복하기 위한 대안으로 폭넓게 사용되고 있다.
Efron(1981), Efron and Tibshirani(1993)는 부트스트랩 기법을 통해 추출된 모수 추정치들의 시뮬레이션 분포가 실제 모수의 분포에 매우 유사한 근사치를 제공한다는 것을 제시하였으며 부트스트랩 기법은 모집단에서 추출된 n개의 관측치를 가지고 있는 하나의 표본을 새로운 가상의 모집단으로 간주하고 반복적으로 복원추출에 의한 재표본 추출(Resampling)을 통하여 원래 모집단의 특성을 추론하는 대안적 방법으로 인식되고 있다.
본 연구에서는 부트스트랩 기법과 BCa 기법을 적용하여 14개 R&D 전문관리기관의 기획·평가·관리비 비율에 대한 부트스트랩을 실시한 후 연도별 기획평가 관리비의 평균을 추정하였다.
제한적인 소수의 표본을 근간으로 극단적인 재표집과정을 몬테카를로 시뮬레이션을 통해 추론한 평균과 신뢰구간은 일반적인 산출평균 추정 값보다 정확하다는 장점이 있다. 이러한 평균추정 방법은 기존 연구인 Lee(2012), Lee et al.(2010), MIC(1999)의 연구에서 제시된 산술평균 방법의 단점을 보완하기 위해 적용하였다.
3.2 물가 상승률을 반영한 기획ㆍ평가ㆍ관리비 분석
14개 R&D관리 전문기관의 사업비와 기획ㆍ평가ㆍ관리비의 연도별 증감에 대한 실태조사를 비교한 후 실제 증감 변화량 추이와 물가상승률을 비교하여 어떠한 관련성이 있는지를 분석하였다. 연도별 물가상승률은 e-나라지표에서 제시한 연도별 소비자 물가지수를 활용하였다.
기획·평가·관리비의 변화에 물가상승률을 반영한 것은 기획ㆍ평가ㆍ관리비의 가장 큰 비중을 차지하고 있는 직접비 비중이 실제 물가 변동에 매우 밀접하게 변동하는 특성이 있기 때문에 물가상승률을 반영하여 분석하였다.
e-나라지표에서 제시한 소비지 물가지수는 2009년에 2.8%, 2010년에 3.0%, 2011년에 4.0%, 2012년은 2.2%로 나타났다. 즉, 2009년의 소비자 물가지수는 2010년에 발표되며 2010년의 기획평가관리비의 상승폭은 전년도 물가 상승폭을 반영하여 산출하게 된다. 여기서 추정된 예산과 실제 예산과의 비교를 통해 기관별 특성을 분석하였다. 이러한 분석방법은 기존 연구에서 적용한 단순한 증감분석의 문제점을 보완하고 예산증감의 타당성을 제시하기 위한 측면에서 적용하였다.
3.3 R&D 전문관리기관의 효율성 분석
14개 R&D 전문 관리기관 운영효율성 분석을 위해 투입/산출요소를 선정하고 이를 기반으로 효율성 분석을 실시하였다. 또한 효율성 분석을 기반으로 비효율적인 기관의 투입/산출요소에 대한 과잉 혹은 과부족 요소에 대한 관리적 정보를 제시하였다. 또한 비효율적 기관이 효율적으로 변하고자 할 경우 참조할 수 있는 벤치마킹 기관의 정보를 제공하여 단기간에 효율적으로 변화하기 위한 접근방법을 제시하였다. 이러한 효율성 분석은 DEA(Data Envelopment Analysis)을 활용하였으며 DEA기법은 다수의 투입물과 다수의 산출물을 가진 효율성 측정에는 주로 DEA에 의한 상대적 효율성 측정방법이 유용하게 활용되고 있다. 이러한 효율성의 평가는 설정된 비교ㆍ기준과의 상대적 성과차이를 통하여 효율성을 판정할 수 있는데 동일한 산출량을 생산하면서 비교ㆍ기준보다 상대적으로 더 많은 자원을 소비하였는지, 역으로 동일한 자원을 투입하여 상대적으로 적은 산출량을 기록하였는지의 여부로서 효율성의 정도를 판단할 수 있다.
4. 분석결과
4.1 14개 전문관리기관의 기획ㆍ평가ㆍ관리비 운영특성
2010년부터 2013년까지의 총사업비와 기획ㆍ평가ㆍ관리비의 비율을 기반으로 부트스트랩을 활용하여 기획ㆍ평가ㆍ관리비와 95% 신뢰구간과 추정 비율을 분석하였다.
2010년도 사업예산별로 기획·평가·관리비를 분류하면 전체 기관 중 가장 큰 규모는 2조 이상으로 나타난 A기관으로 기획·평가·관리비 비율은 2.7%로 나타났으며 1조 7,000억 규모인 K기관의 경우 기획·평가·관리비 비율은 3.3%로 나타났다. 또한 7,000억 규모인 G기관의 경우 기획·평가·관리비 비율은 2.3%로 나타났으며 그 외 2,000억대의 기관의 경우 2.1%로, 2,000억 미만의 경우는 1.8%~4.5% 규모로 나타나 기획·평가·관리비의 비율이 사업예산규모에 비례하지 않는 것으로 나타났다. 이러한 특성은 R&D 관리기관의 운영특성이 반영된 결과로 유추할 수 있으며 총사업비를 대상으로 부트스트랩을 적용할 경우 기관별로 bias가 너무 커서 왜곡된 정보가 산출될 수 있어 총사업비에 대한 표준화 비율인 기획·평가·관리비 비율을 선정하여 극단적인 영향을 최소화하여 분석하였다.
2010년 총사업비의 기획·평가·관리비의 비율을 기반으로 부트스트랩을 활용하여 기획·평가·관리비와 95% 신뢰구간을 분석한 결과 2.61%~3.89%로 나타났으며 부트스트랩에 의해 추정된 기획·평가·관리비의 평균 비율은 3.24%로 나타났다. 추정평균에 대한 오차는 0.024%로 나타났다.
2011년 14개 기관의 총사업비와 기획·평가·관리비의 비교한 결과 사업비 규모가 2조 이상인 기관(A, K)의 경우 기획·평가·관리비가 2~3%로 나타났으며 5,000억 이상 1조 미만인 경우 기획·평가·관리비는 2.6~3.9%로 나타났다.
5,000억 미만 기관의 경우 기획·평가·관리비는 1.7~5.0%로 나타났으며 예산규모가 가장 작은 G기관의 경우 기획·평가·관리비는 5%로 나타나 다른 기관보다 비교적 높게 나타났다.
2011년 기획·평가·관리비 기관별 변동비율은 1.7~5.0%로 나타났으며 추정평균에서 발생할 수 있는 오차는 0.018%로 나타났다. 2011년 14개 기관의 기획·평가·관리비를 신뢰구간과 평균을 추정한 결과 95% 신뢰구간에서 기획·평가·관리비는 2.96~3.90%로 나타났으며 평균은 3.45%로 나타나 전년인 3.24%보다 0.21%가 상승한 것으로 나타났다. 14개 기관의 총사업비 합계의 경우 2010년 60,577억에서 2011년 82,335억으로 전년대비 약 36% 상승한 것에 비해 기획·평가·관리비의 경우 1,803억에서 2,349억 약 30% 상승한 것으로 나타났다.
2012년 기획·평가·관리비 변동비율은 1.8~5.0%로 나타났으며 추정평균에서 발생할 수 있는 오차는 0.017%로 나타났다. 2012년 기획·평가·관리비의 95% 신뢰구간을 추정한 결과 2.75~3.81%로 나타났으며 추정한 기획·평가·관리비 평균 비율은 3.3%로 나타났다.
2013년 분석결과 기획·평가·관리비 변동비율은 1.2%~5.0%로 나타났으며 기획·평가·관리비에 대한 신뢰구간을 추정한 결과 2.69~3.66%로 나타났으며 최종 추정된 기획·평가·관리비의 평균 비율은 3.2%로 나타났다. 이러한 개별 기관의 연도별 분석에 이어 2010년부터 2013년까지 기획·평가·관리비 비율에 대해 부트스트랩 기법을 적용하여 95% 신뢰구간과 평균을 추정하였다.
분석결과 4개년 기획·평가·관리비의 경우 95% 신뢰구간을 제시하면 3.03 ~3.56%로 나타났으며 평균 추정비율은 3.32%이며 오차는 0.002%로 나타났다.
부트스트랩에 의한 재표집 샘플링의 경우 1,000번의 반복적인 몬테카를로 시뮬레이션 추출을 통해 극단적인 값의 영향을 보정한 결과로서 추정 결과에 대한 오차가 0.002%로 나타난 것은 신뢰도가 매우 높다고 할 수 있으며 신뢰 구간을 벗어난 기획·평가·관리비의 경우는 매우 이례적인 기관 운영의 사례로 판단 할 수 있다.
추가적으로 연도별 총사업비와 기획·평가·관리비의 비율을 활용하여 상관분석을 실시하였다. 상관분석시 총사업비와 기획·평가·관리비를 직접 분석할 경우 규모에 의해 기획·평가·관리비가 상승하기 때문에 상관계수는 상대적으로 규모에 따라 일치성이 증가하면서 상관계수도 매우 높게 나타나게 된다. 따라서 이러한 분석 방법보다는 표준화된 값을 통해 비교하는 것이 총사업비와 기획·평가·관리비의 관련성을 분석하는데 합리적인 방법이라 할 수 있다.
분석결과 14개 기관의 총사업비와 기획·평가·관리비율간의 유의적인 상관관계가 없는 것으로 나타났다. 즉, 기관의 총사업비와 기획·평가·관리비 간에는 유의적인 관련성이 없으며 기획·평가·관리비의 규모는 기관의 운영특성에 따라 달라진다고 할 수 있다. 이러한 분석결과를 기반으로 전체 14개 기업의 4개년의 총사업비와 기획·평가·관리비율의 평균을 비교하면 다음과 같다.
2조원 이상의 예산을 집행하는 두 기관의 기획·평가·관리비는 2.2%~3.1%로 나타났으며 5,000억 ~ 1조미만 기관에서는 기획·평가·관리비 2.6% ~ 2.9%, 5000억 미만에서는 2000억 이상에서는 2.3%~3.9%, 1000억대는 3.2%~4.2%, 1000억 미만은 1.6%~4.3% 로 나타나 상관분석에 나타난 결과처럼 기관의 전체적인 규모와 별도로 운영되고 있는 것을 알 수 있다. 즉 기관의 운영특성을 고려하지 않고 획일화된 비율로 정부 예산을 지원할 경우 기관의 특성이 반영되지 않아 기관운영의 어려움과 더불어 전반적인 연구 관리의 질적 하락이 문제될 수 있다. 따라서 획일화된 지원정책보다는 기관의 특성을 고려한 합리적인 방안을 도출할 필요가 있다.
4.2 물가상승률을 고려한 R&D 기획·평가·관리비 분석
14개 R&D관리 전문기관의 사업비와 기획·평가·관리비의 연도별 증감에 대한 실태조사를 비교한 후 실제 증감의 변화량 추이와 물가상승률을 비교하여 어떠한 관련성이 있는지를 분석하였다. 즉, 연도별 물가상승률은 e-나라지표(www.index.go.kr)에서 발표한 소비자 물가지수를 활용하였다.
기획·평가·관리비의 변화에 물가상승률을 반영한 것은 기획·평가·관리비가 실제 물가 변동에 매우 밀접하게 변동하는 항목들로 구성되었으며 분석을 통해 정부가 기관별 지원하는 예산이 현실적인 수준을 반영하고 있는지를 분석하였다.
A기관의 2010-2011년의 경우 총사업비는 줄어들었지만 실제 기획·평가·관리비 지출은 5.53% 늘어난 것으로 나타났으며 이는 실제 소비자 물가의 상승폭보다 더 높은 수준으로 나타났다.
2011-2012년의 경우 총사업비는 5.8%가 증가하였지만 실제 기획·평가·관리비 지출은 14.5% 정도로 높게 나타났는데 이러한 변화는 기관의 정보화 시스템 구축 예산이 반영되어 나타난 것으로 유사기관과는 다른 소요예산구조로 인해 나타난 결과로 판단된다.
전반적으로 A기관의 경우 전년도 소비자물가상승률을 반영하여 총사업비와 기획·평가·관리비를 분석한 결과 실제 총사업비는 소폭 증가하거나 감소하는 특성이 나타나고 있으며 사업비가 전년대비 감소하였을 때 기획·평가·관리비도 감소하는 특성이 나타났다.
전체 14개 기관의 특성을 분석한 결과 전반적으로 물가 상승률과 일치성은 나타나지 않고 있으며 총사업비가 전년도에 비해 줄어들었을 경우 기획·평가·관리비의 비율이 전반적으로 높게 나타나고 있는데 이러한 결과는 예산이 줄어들어도 전체 과제 수나 관리업무는 전년도에 비해 크게 변동되지 않고 그대로 유지되면서 나타난 결과로, 줄어든 예산에서 기획·평가·관리비가 도리어 높은 비중을 차지하기 때문에 상대적인 비율이 높게 나타나게 된 결과로 볼 수 있다.
4.3 14개 R&D 전문관리기관의 효율성 분석
14개 R&D 전문 관리기관 운영효율성 분석을 위해 투입/산출요소를 선정하고 이를 기반으로 효율성 분석을 실시하였다. 또한 효율성 분석결과를 기반으로 비효율적인 기관의 투입/산출요소에 대한 과잉 혹은 과부족 요소에 대한 관리적 정보를 제시하였다. 효율성 분석은 Charnes et al.(1978)이 제시한 상대적인 기술적 효율성을 평가한 CCR모델과 Banker et al.(1984)이 제시한 BCC모델을 활용하였다.
14개 전문관리기관의 운영예산에 대한 효율성 분석을 위해 투입 및 산출요소를 선정하였다. 일반적으로 효율성을 분석할 경우 종업원 수, 금액 등 주로 물량변수를 사용하여 분석표본의 상대적인 특성을 분석하는 것이 일반적인 방법으로 알려져 있지만 본 연구에서는 각 기관별 특성에 의한 편차가 크게 발생하고 있어 분석대상의 변수를 특정 단위당 비율로 변환하여 투입 및 산출요소를 선정하였다. 이러한 투입 및 산출요소의 선정은 규모에 의한 효율성 값의 영향을 최소화하기 위해 적용하였다.
R&D관리에 대한 성과지표로 주로 활용되는 변수는 특허, 논문 등이 주로 성과관련변수로 활용되고 있지만 14개 기관의 특허 및 논문 정보에 대한 정보가 불완전하여 성과변수는 기관의 특성을 나타내는 과제수로 선정하였다. 특히, 효율성 분석의 목적이 기관의 운영특성을 분석하기 위한 목적이 있으므로 과제수로 선정하는 것이 합당하다고 할 수 있다. 또한 4년간 정보가 불완전하여 가장 최근 자료인 13년 자료를 기반으로 투입요소와 산출요소를 선정하였다.
최종 선정된 투입요소는 13년 기준 1인당 기획·평가·관리비, 1인당 사업비, 과제당 사업비, 기획·평가·관리비 비율로 선정하였으며 산출변수로는 연간 과제건수, 과제당 기평비로 선정하여 효율성 분석을 실시하였다.
CCR 모델을 이용한 효율성 분석결과의 특징은 기관의 규모적 운영특성에 따라 비효율적인 결과가 야기될 수 있다는 단점을 가지고 있다. 특히, CCR모델에 의해 제시되는 효율성 값은 종합적 기술적 효율성 값과 순수한 기술적 효율성 값이 혼재된 효율성 값으로 규모특성에 따라 투입을 산출로 변환하는 능력인 기술적 효율성에 영향을 받는 특성이 있다. 하지만 CCR모델의 경우 효율성 분석의 가장 기본이 되는 모델로 규모의 효율성인 scale efficiency를 산출하기 위해서는 반드시 분석해야 한다. 또한 규모의 효율성(scale efficiency) 값에 의해 산출되는 결과는 벤치마킹 기관의 정보와 투입 및 산출의 slack을 산출할 수 없다는 단점이 있다. 따라서 본 연구에서는 모델을 통해 효율성을 분석하고 투입 및 산출에 대한 slack을 제시하기 위해 CCR모델을 통해 효율성 분석을 실시하였다.
14개 기관의 투입지향적인 효율성 분석 결과 효율적인 기관은 14개 기관 중 5개 기관으로 나타났으며 베스트 프렉티스 기관은 L기관으로 나타났다. 이러한 베스트 프렉티스 기관의 선정은 전체 참조회수를 기반으로 선정하였다.
효율적인 기관이면서도 참조횟수가 적은 C, E, I, K 등은 비효율적인 기관의 기관운영특성과는 이질적인 운영특성으로 인해 전체 비효율적인 기관들의 참조횟수가 적어진 것으로 나타났다. 전체 14개 기관의 효율성 수준을 비교하면 다음과 같다.
DEA는 산업 내에서의 효율적인 기관의 투입물과 산출물의 상대적 비교를 통해 비효율적 기관의 과잉투입 또는 과부족투입에 대한 양을 제시할 수 있는데 Target값은 투입요소 또는 산출물의 이상적인 투입 및 산출량을 의미하며 개선 수준은 투입 요소 또는 산출요소의 개선정도를 나타내는 수치로 이상적 투입에 비해 실제 투입량이 과잉투입인지 과부족투입인지를 나타내는 값이다. 즉, 개선수준이 ‘+’인 경우는 과부족 투입임을 뜻하며 ‘-’인 경우는 과잉투입을 의미한다. 이러한 개선수준을 산출하기 위한 식은 (이상치-실제투입량)/실제투입량의 비율로 나타낼 수 있다.
비효율적인 9개 기관들의 개선수준 분석결과를 통해 볼 때 B기관의 경우 동일한 산출물을 나타내기 위해 B기관에서 투입한 요소의 모두가‘–’로 나타나고 있어 4개 요소의 과잉 투입 상태임을 나타내고 있다. B기관의 경우 1인당 기획·평가·관리비는 4.5천만 원을 투입하고 있지만 이상적인 투입량은 1천만 원으로 나타나 약 80%의 과잉투입상태인 것으로 나타났다.
<Table 9>를 보면 비효율적인 기관의 투입요소에 대한 개선수준을 %로 나타내고 있어 비효율적인 기관이 효율적으로 변하고자 할 경우 우선적으로 어떠한 변화과정을 거쳐야하는지에 대해 구체적인 관리적 시사점을 제공하고 있다.
Inefficient institutions’ input factor analysis
CCR모델에 이어 BCC모델을 이용한 효율성 분석을 실시한 후 규모의 효율성 분석을 실시하고자 하였다. 앞서 제시한 CCR모델의 경우 투입을 산출로 변환하는 기술적 효율성 능력이 전문기관의 규모영향으로 나타날 수 있기 때문에 순수한 기술적 효율성(pure technical efficiency)을 분석하여 규모의 영향요인을 제거하면 scale efficiency를 산출할 수 있다.
규모효율성 점수대별 기관비율을 산출하면 규모효율성 점수가 1.0인 기관은 5개 기관(35.7%)으로 나타났으며 0.9점대인 기관은 3개 기관(21.4%), 0.8점대는 1개 기관(7.1%), 0.7점대는 4개 기관(28.6%), 0.6이하는 1개 기관(7.1%)으로 나타났다.
이러한 효율성 분석결과를 기반으로 규모의 효율성 점수와 산출변수인 과제수를 축으로 4가지 유형의 기관분류 도구를 제시하였다. 여기서 효율성 점수의 높고 낮음은 좋거나 나쁨의 의미가 아니라 기관의 운영특성에 따른 분류 기준으로 활용하였으며 산출변수인 과제수의 경우도 많으면 좋고 적으면 나쁘다는 의미가 아닌 기관의 운영특성을 분류하기 위한 기준으로 선정하여 기관 유형을 분석하였다.
1번 유형에 해당하는 연구관리전문기관은 사업비, 과제수, 직원수가 타 연구관리전문기관에 비해 높은 유형으로 다양한 사업을 관리하는 기관으로 전문성 확보를 위해 PD, 전문위원 등 외부 전문가의 활용을 전문적으로 활용하고 있어 추가 비용이 많이 소요되고 있다. 또한 관리과제 중 소액과제와 대형과제의 수행시 관리비용의 차이는 크지 않기 때문에 소액과제의 많을수록 사업비대비 고정비가 타 유형의 연구 관리기관보다 높게 나타나고 있는 유형으로 특수 인건비 및 사업비대비 높은 고정비를 반영하여 효과적으로 운영할 수 있도록 기관 수입 구조를 개선하여 기관 운영전문성을 높이는 방법이 필요하다고 할 수 있다.
2번 유형에 해당하는 연구관리전문기관은 과제수는 많으나 총사업비수준은 14개 기관 중 중하위권인 유형으로 과제관리의 질적 고도화를 도모하기 위해 인프라 구축이 우선적으로 선결 되어야 한다. 특히 본 유형에 해당되는 3개 기관의 경우 기관의 다양한 자산취득비와 사업의 효율적인 전주기 관리를 위한 예산 지출이 타 유형에 비해 높은 수준으로 나타나고 있다. 따라서 본 유형에 해당되는 기관의 자산 확충 비용과 성과관리를 위한 예산의 안정적인 지원이 필요하다고 할 수 있다.
3번 유형에 해당하는 연구관리전문기관은 과제수가 상대적으로 적고 사업비 예산도 상대적으로 적은 기관으로 사업비를 반영하여 기획·평가·관리비를 산출할 경우 고정비(인건비, 건물임대료 등)가 반영되지 않아 안정적 운영이 어려운 상황이다. 따라서 실제 소요예산을 기준으로 기획·평가·관리비를 편성하여 예측 가능한 운영을 통한 안정적인 운영환경에서 전문적인 사업관리를 수행할 수 있도록 제도적 지원책이 필요하다고 할 수 있다.
4번 유형에 해당하는 연구관리전문기관은 과제수가 적고 사업비예산이 중간정도인 기관으로 전체 14개 기관 중 가장 많은 6개 기관이 포함되며 상대적으로 기획·평가·관리비의 비율이 높은 유형으로 일부 기관의 경우 기획·평가· 관리비에 의해 운영되는 기관의 구조적 특성으로 인해 기관의 안정적인 운영을 위한 최소한 지원정책이 필요하다. 따라서 기관운영을 위한 예산과 사업관리에 필요한 예산을 구분하여 사용할 수 있는 제도적 보완이 필요하다고 할 수 있다.
<Table 11>은 유형별 직원수, 기획·평가·관리비율, 총사업비에 평균을 통해 유형별 특징을 제시하였다.
14 R&D Agency Institutes type analysis
5. 요약 및 결론
14개 R&D 전문관리기관의 기획·평가·관리비 비율을 2010년부터 2013년까지 연도별로 추정하기 위해 부트스트랩에 의해 추정한 결과 2010년에는 3.24%로 나타났으며 매년 기획·평가·관리비가 증가하다 2013년에는 소폭 감소하는 것으로 나타났다.
부트스트랩에 의한 기획·평가·관리비의 추정은 기존 연구에서 제시한 단순한 산술평균 추정의 문제점을 보완한 방법으로 총사업비에 대한 기획·평가·관리비의 상대적이 비교가 아닌 총사업비 대비 기획·평가·관리비율을 선정하여 추정한 값으로 극단적이 값의 영향을 최소화하여 추정 값의 신뢰성을 높였다. 또한 추정 값의 변동 폭을 고려하여 99% 유의수준의 신뢰구간을 제시하였다.
또한 4개년 동안 변동한 기관별 총사업비와 기획·평가·관리비율의 관련성을 분석하기 위해 상관분석을 기관별 총 사업비와 기획·평가·관리비율은 유의적인 상관관계가 없는 것으로 나타났다. 즉, 규모와 예산을 고려한 기획·평가·관리비의 지출이라기보다 개별기관의 운영적 특성에 따라 기획·평가·관리비가 집행된다고 할 수 있다. 이러한 결과는 기관의 총사업비 규모와 기획·평가·관리비율을 비교한 분석에서도 규모와 관련성이 적은 결과가 나타났다. 따라서 정부의 지원예산 규모를 획일화된 비율로 지원할 경우 기관의 특성이 반영되지 않아 기관운영의 어려움과 더불어 전반적인 연구 관리의 질적 하락이 문제될 수 있다. 따라서 획일화된 지원정책보다는 기관의 특성을 고려한 접근방법이 필요하다고 할 수 있다. 즉, 총사업비의 특정 비율로 기관의 운영예산이 책정되면 사업비 변동에 따라 운영예산이 변동하여 체계적이고 미래지향적인 기관운영이 어려워 질 수 있다. 따라서 사업비 규모와 상관없이 기관의 운용 특성에 따라 최소한의 기관운용예산을 지원하는 것이 합리적인 방법일 수 있다. 최소한의 기관운용예산을 보장할 경우 기관의 독립성 확보와 사업수행의 전문성을 높일 수 있는 방법이라 할 수 있다.
합리적인 기획·평가· 관리비 추정을 위해 물가상승률과 비교한 결과 현재 기획·평가·관리비에는 물가상승률이 반영되지 못하고 있어 대부분의 기관들이 총사업비 변동 폭과 기획·평가·관리비 변동 폭이 유사한 추이를 나타내지 않은 것으로 나타났다. 기획·평가·관리비에 물가상승률이 반영되지 못했다는 것은 기획·평가·관리비 책정시 물가 상승률의 영향을 받는 고정비용에 대한 고려가 이루어지지 못하고 있음을 의미한다고 할 수 있다. 즉, 개별기관에 지급되는 기획·평가·관리비에는 물가상승률이 반영되지 못하기 때문에 전문적인 기관운영을 저해하는 요소로 작용한다고 할 수 있다. 따라서 기관 운영효과를 높이고 합리적인 예산 집행을 위해 기획·평가·관리비 책정시 물가상승률을 반영하는 것이 합리적이라 할 수 있다.
14개 연구 관리기관의 효율성 분석에는 투입요소는 1인당 기획·평가·관리비, 1인당 사업비, 과제당 사업비, 기획·평가·관리비 비율 선정하였으며 산출변수는 연간 과제건수, 과제당 기획·평가·관리비로 선정하여 효율성을 분석하였다.
효율성 분석에는 CCR 모델의 단점으로 제기된 규모에 의한 효율성 평가문제를 해결하기 위하여 BCC 모델로 효율성 분석을 하여 효율성 값이 규모에 의한 영향요인을 제거한 규모 효율성을 값을 이용하여 비교하였다.
규모 효율성 분석결과 규모효율성 점수가 1.0인 기관은 5개 기관(35.7%)으로 나타났으며 0.9점대인 기관은 3개 기관(21.4%), 0.8점대는 1개 기관(7.1%), 0.7점대는 4개 기관(28.6%), 0.6이하는 1개 기관(7.1%)으로 나타났다. 이러한 분석결과를 기반으로 기관의 운영특성 유형을 4가지 유형으로 제시하였으며 각 유형별로 직원수, 기획·평가·관리비율, 총사업비의 평균을 제시하였다.
분석결과를 종합하면 연구 관리기관의 기획·평가·관리비의 지원규모 결정에 있어 부트스트랩에 의해 제시된 신뢰구간 범위에서 물가상승률을 반영하는 것이 기관의 운영독립성과 연구 관리업무의 질적 고도화의 선결조건이라 할 수 있다. 특히, 효율성 분석에서 제시된 유형별로 기획·평가·관리비의 규모 차이가 나타나고 있어 획일화된 지원보다는 차별적 지원방안을 위한 법제도적 장치를 마련하는 것이 발전을 위한 대안이라 할 수 있다. 이러한 정책적 대안 개발 시 단기적인 임시방편보다 장기적인 측면에서 계획을 수립하여 국가 연구사업체계를 정비할 필요가 있다. 또한 정부의 지원과 더불어 전문기관별 기획·평가 업무에 대한 체계적인 성과평가모델을 구축하여 우수한 성과를 달성한 기관에 대하여 지원을 강화하는 positive 방법으로 전환해야 할 것이다. 게다가 각 기관별 독립적으로 운영되는 정보화 예산의 효율적인 운영을 위해 연구 관리기관의 통합 정보시스템을 구축하는 것이 정보관리와 향후 이용측면에서도 효율적이 방법이라 할 수 있다. 이러한 정부의 지원정책과 더불어 연구기획평가비의 편성과 집행현황에 대하여 전문기관별로 모니터링 제도를 강화하여 기관의 운영특성을 지표화하기 위한 엄격한 평가제도 도입이 시급하다고 할 수 있다. 이상에서 설명한 결과를 토대로 본 연구의 의의를 정리하면 다음과 같다.
우선 기존 연구에서 분석한 단순한 평균분석 수준에 그치지 않고 합리적인 기획·평가·관리비의 추정을 위해 부트스트랩에 의한 추정방법, 물가상승률의 비교분석과 효율성 분석 등 체계적인 접근 방법을 제시한 점은 기존 연구와 차별화 되는 기여점이라 할 수 있다. 특히, 정부 연구예산의 합리적인 배분과 운영에 관한 체계적인 접근방법을 제시한 점은 중요한 의미가 있다고 할 수 있다. 끝으로 본 연구에서 실시한 R&D 전문관리기관의 효율성 분석은 투입/산출 변수에 민감한 상대적인 효율성의 특징이 있어 투입변수와 산출변수의 특성을 면밀하게 분석해야 하지만 기관별 필요정보 습득의 어려움으로 인해 다양한 변수들을 활용하지 못한 점과 시계열적인 분석을 면밀히 수행하지 못한 점은 연구의 한계점으로 제시하고자 한다.
14 R&D Agency Institutes type
Compared to the Korea, US and Japan(R&D General Management Cost)
R&D General Management Cost estimates
14 R&D Agency Institutes average expense
Variation of R&D General Management Cost
Input and output factor for efficiency analysis
Efficiency classification - CCR model
Scale Efficiency Score