국가 기후위기 적응대책 평가체계의 객관성과 관대함에 관한 연구

1. 문제 제기

최근 제3차 국가 기후위기 적응대책 및 적응 강화대책의 이행점검 결과에 따르면, 2021년부터 2023년까지 모든 세부시행과제가 정상 추진되었으며, 평가 등급 또한 대부분 우수로 나타났다(환경부, 2022, 2023, 2024). 그러나 같은 기간 동안 집중호우, 산불, 폭염 등 기후 재해의 강도와 빈도는 오히려 증가하고 있고, 실제 피해 역시 감소하지 않고 있다(기상청, 2023; Intergovernmental Panel on Climate Change(IPCC), 2022). 이처럼 문서상 성과와 현실의 괴리는 국가 기후위기 적응대책이 실제로 효과적으로 작동하고 있는지에 대한 근본적인 의문을 제기하게 한다.

이러한 괴리는 크게 세 가지 방식으로 해석해 볼 수 있다. 첫째, 기후위기 적응대책 자체가 문제 해결보다는 기존 부처 사업을 재배열하는 방식으로 설계되어 실효성이 낮을 가능성이다(명수정･심창섭･정휘철･황선훈, 2013; 송영일, 2019; 송영일･하혜민･김시현, 2019). 둘째, 기후변화가 정책 수립 당시의 예측보다 빠르고 급격하게 진행되어 정책 효과가 충분히 발현되지 못했을 가능성이다(기상청, 2023, IPCC, 2022). 셋째, 실제 이행 수준과 무관하게 이행점검 및 평가 과정에서 성과가 과대평가되는 구조적 문제가 존재할 가능성이다(이병철, 2025).

앞서 언급한 첫 번째와 두 번째 가능성, 즉 정책 자체의 구조적 한계와 기후변화 예측의 불확실성은 정책의 실효성을 제약하는 근본적 요인으로 작용할 수 있다. 이러한 요인들 역시 기후위기 대응을 위해 심도 있게 다루어져야 할 중요한 과제임이 분명하다. 하지만 본 연구는 설계된 정책이 실제 집행되는 과정에서, 이를 진단하고 교정해야 할 평가체계가 객관성을 확보하지 못한다면 정책의 학습과 환류(feedback) 기제가 정상적으로 작동하지 않을 수 있다는 점에 주목한다. 따라서 본 연구는 정책 수립 단계의 내재적 한계와 외부 환경의 불확실성을 인정하는 인식적 토대 위에서, 현행 평가체계 내부에 존재하는 성과 왜곡 및 구조적 편향성을 규명하는 데 분석 역량을 집중하고자 한다.

현재 국가 기후위기 적응대책은 기후에너지환경부와 2050 탄소중립녹색성장위원회를 중심으로 자체평가와 외부전문가 평가를 병행하는 이중평가 구조를 채택하고 있다. 자체평가는 내부적 실행 과정에 대해 빠르고 구체적인 점검을 가능하게 하나(김주환･이윤식･제갈돈･제갈욱･박병식, 2006), 주관성과 관대화 경향으로 객관성이 저하될 우려가 있다. 반면, 외부전문가 평가는 객관적 관점을 제공하지만(라영재, 2020; 송건섭･이윤식･제갈돈, 2006), 정책의 맥락을 충분히 이해하지 못하거나 높은 비용이 소요되는 한계가 있다(김주환 등, 2006; 제갈돈, 2014). 기존 연구들에서도 이러한 평가 간 불일치와 관대화 경향이 지적되었으나, 구체적 문제와 원인에 대한 논의는 제한적이었다(조현정･이삼열, 2015).

2. 연구의 필요성 및 목적

기후변화는 전 세계적으로 심각한 영향을 미치고 있으며, IPCC 보고서는 전 지구적 온도 상승과 자연재해 증가가 장기적인 영향을 미칠 것으로 예측하였다(IPCC, 2022). 이에 국제사회는 기후변화의 부정적 영향을 줄이고 적응하며 지속가능한 발전을 실현하기 위해 노력하고 있다(문진영･오수현･박영석･이성희･김은미, 2020; 윤순진, 2022; 이지순, 2016). 우리나라도 2008년 기후변화 종합계획을 시작으로 ｢저탄소 녹색성장 기본법｣ 및 ｢기후위기 대응을 위한 탄소중립･녹색성장 기본법(이하 탄소중립기본법)｣에 따라 제3차 국가 기후위기 적응대책(2021~2025)을 이행 중이다(기후에너지환경부, 2008).

정책이 성공하려면 체계적인 평가와 피드백이 필수적이다(우창빈, 2013; 이윤식, 2007; 이형우, 2005). 왜냐하면 정책을 평가하는 것은 정책이 올바른 방향으로 가고 있는지, 어떤 효과가 도출되었는지 확인하는 과정이기 때문이다(이아영, 2021). 국가 기후위기 적응대책 평가는 2012년 법적 명문화 이후(저탄소 녹색성장 기본법, 2012), 제2차 대책부터 구체적 평가지표가 도입되었고(송영일･신지영･박진한･박송미･김미래, 2021; 장훈･송영일･김윤정･김미래･박진한･박송미, 2020; 장훈･송영일･김윤정･신지영･정휘철, 2019), 제3차 대책에서는 이행 준비성, 추진 과정 적절성, 성과 목표 및 정책 효과, 주류화 기반 구축 등을 평가하고 있다(송영일 등, 2021; 환경부, 2022, 2023, 2024).

본 연구는 기후위기 적응정책 평가체계의 객관성과 관대함을 실증적으로 검토하고, 자체평가와 외부전문가 평가 간의 차이를 분석하여 구조적 문제를 규명하는 데 목적이 있다. 이를 위해 “자체평가는 외부전문가 평가보다 더 관대하게 점수를 부여하는가?”, “평가 결과의 차이는 실행력과 피드백 체계에 어떤 영향을 미치는가?”, “소관 부처의 특성은 평가 결과에 어떤 영향을 미치는가?”라는 연구 질문을 설정하였다.

자체평가의 관대함은 이론적으로 수용되고 있으나(조현정･이삼열, 2015; 현정훈, 2021), 이것이 실제 기후위기 적응정책에서 어느 정도 수준으로 나타나는지 실증적으로 점검하는 것은 중요한 의미를 갖는다. 이를 통해 기후위기 적응정책뿐만 아니라 유사한 평가체계를 가진 정책 분야에도 시사점을 제공할 것이다.

1. 정책평가의 개념 및 기후위기 적응정책 평가의 국내외 동향

정책평가는 정책 목표 달성도를 점검하고 개선 가능성을 파악하는 과정으로(이윤식, 2014; Nachmias, 1979), 정책 순환의 핵심 절차이자 정책 학습과 행정 역량 강화의 기제로 기능한다(김종호, 2016; 최예나, 2017). 평가 논의는 평가 기준 설정, 평가 주체와 구조, 평가 활용이라는 세 차원에서 전개된다. 특히 자체평가와 외부평가를 결합한 이중평가 구조는 상호보완적 설계를 통해 공정성과 신뢰성을 확보하려는 제도적 장치로 이해되어 왔다(김주환 등, 2006; 안채명･강근복, 2018).

기후위기 적응정책은 다부처 협업, 장기성과 불확실성이라는 특성을 갖는다. 이에 국제적으로도 정량･정성 지표를 결합한 다층적 평가체계를 운영하고 있으며(European Environment Agency(EEA), 2020; IPCC, 2022), 한국 역시 제3차 국가 기후위기 적응대책을 중심으로 자체평가와 외부전문가 평가를 병행하는 구조를 채택하고 있다(명수정 등, 2013; 송영일 등, 2019). 최근 평가체계는 평가지표의 구체화, 평가단 운영의 전문화, 이행점검 절차의 표준화 등 지속적 개선을 거쳐왔다.

그럼에도 불구하고, 평가 결과의 신뢰성과 환류 기능에 대해서는 여전히 문제 제기가 존재한다. 특히 자체평가가 조직 내부에서 수행된다는 구조적 특성으로 인해 평가 결과가 체계적으로 상향 편향될 가능성이 반복적으로 지적되어 왔다. 한편, 평가 결과가 정부업무평가나 예산 배분과 완전히 분리되어 있지 않다는 점에서 환류 구조가 약하든 강하든 평가가 조직의 전략적 행위와 무관하다고 보기 어렵다. 즉, 환류 기능이 제한적이어서 관대함이 발생하는지, 혹은 환류가 강해질수록 오히려 성과관리 경쟁 속에서 전략적 평가가 강화되는지에 대한 이론적･실증적 검토가 필요하다.

이러한 맥락에서 본 연구는 국가 기후위기 적응대책 평가체계 내에서 평가주체 간 점수 격차가 체계적으로 나타나는지, 그리고 그 격차가 어떤 제도적･조직적 조건과 관련되는지를 분석 대상으로 설정한다.

2. 평가주체 간 점수 격차의 이론적 설명

평가주체 간 점수 차이는 단일 요인으로 설명되기 어렵다. 본 연구는 이를 인지적 제약, 제도적 정체성, 조직 행태적 동기의 상호작용으로 이해한다.

첫째, 제한된 합리성 이론에 따르면 인간의 판단은 완전한 정보와 무한한 인지 능력을 전제로 하지 않으며, 복잡하고 불확실한 환경에서는 만족할 만한 수준의 판단에 의존한다(Simon, 1957). 기후위기 적응정책은 성과의 장기성, 정량화의 어려움, 다부처 협업 구조라는 특성을 갖기 때문에, 평가자 역시 제한된 정보와 인지적 부담 속에서 판단할 수밖에 없다. 내부 담당자는 과정 정보와 맥락 정보를 풍부하게 보유하고 있어 이를 평가에 반영하려는 경향이 있으며, 외부전문가는 상대적으로 가시적 지표와 제출 자료에 의존하는 판단을 내릴 가능성이 있다.

둘째, 사회학적 제도주의는 행위자가 이익 극대화보다는 적절성의 논리에 따라 행동한다고 설명한다(March and Olsen, 2009; Meyer and Rowan, 1997). 자체평가를 수행하는 내부 관료는 정책의 지속성과 조직의 정당성을 보호하는 것이 적절한 행동이라고 인식할 수 있으며, 외부전문가는 비판적 검증과 엄격한 판단을 자신의 역할로 인식할 수 있다. 이러한 역할 정체성의 차이는 점수 격차로 나타날 수 있다.

셋째, 조직행태 및 책임성 이론은 평가를 정치적 의미를 지닌 과정으로 본다(박정호, 2019; Cheng, Hui, and Cascio, 2017; Hood, 2010). 평가 결과가 조직의 평판, 예산, 성과관리와 연결될 경우, 조직은 부정적 결과를 최소화하려는 전략적 행동을 취할 유인을 갖는다. 특히, 평가결과에 대한 책임성이 부여될 때 평가자는 관대화된 점수를 부여하는 경향이 있다(Mero and Motowidlo, 1995). 이 경우 자체평가는 학습적 기능과 동시에 정당화 기능을 수행하게 되며, 점수의 상향 편향이 구조화될 가능성이 있다.

이 세 관점은 평가 주체 간 점수 차이가 단순한 오류나 우연만으로 설명되기 어렵고, 정보 환경･제도적 역할･조직적 유인이 복합적으로 작용한 결과일 가능성을 시사한다.

3. 핵심 개념의 정의

본 연구에서 객관성(objectivity)은 동일 과제에 동일 평가지표가 적용되는 조건에서 평가주체에 따른 체계적 편향이 최소화되는 상태를 의미한다. 즉, 평가 결과가 평가자의 위치나 이해관계와 무관하게 일관되게 산출될수록 객관성이 높다고 본다.

관대함(leniency)은 동일 과제에 대해 동일한 평가기준이 적용되었음에도 내부 평가(자체평가) 점수가 외부전문가 평가보다 통계적으로 유의하게 높게 나타나는 체계적 상향 편향을 의미한다. 본 연구는 단일 시점에서 관찰되는 평가주체 간 점수 차이를 분석 대상으로 하며, 시간의 경과에 따른 관대화(leniency increase)를 검증하는 연구는 아니다. 따라서 본 연구는 특정 연도 평가체계 내에서 관찰되는 구조적 편향에 대한 실증적 검토로 한정된다.

4. 기존 연구의 한계와 본 연구의 차별성

기존 연구들은 자체평가의 형식화, 환류 기능의 약화, 점수 상향 경향 등 구조적 한계를 지적해 왔다(Heinrich, 2002; Pollitt, 2006; Vedung, 1997). 그러나 다수의 연구는 중앙부처 단위의 정부업무평가와 자체평가 간 연계성 분석에 초점을 맞추었으며, 다부처･장기성과 중심의 중장기 정책 프레임워크에서 평가주체 간 체계적 편향을 실증적으로 검증한 연구는 제한적이다.

본 연구는 국가 기후위기 적응대책이라는 특수 정책 영역을 사례로 하여, 평가체계 내 자체평가와 외부평가 간 점수 격차의 존재 여부와 그 조건을 실증적으로 분석한다는 점에서 기존 연구를 확장한다. 특히 평가체계의 제도적 구조와 조직적 유인이 평가 결과에 미치는 영향을 분석함으로써, 단순한 제도 설계 비판을 넘어 평가주체 간 구조적 편향의 메커니즘을 규명하고자 한다.

1. 연구 가설 및 모형

본 연구는 국가 기후위기 적응대책의 평가체계에서 동일 과제에 대해 산출된 자체평가와 외부전문가 평가 간 점수 격차가 체계적으로 존재하는지 확인하고, 그 격차가 과제 특성에 따라 달라지는지를 실증적으로 검토한다. 이를 위해, 본 연구는 평가주체 간 점수 차이를 ‘관대함(leniency)’으로 조작화하고, 관대함의 존재 여부와 변동 요인을 단계적으로 분석한다.

• 가설 1(H1): 동일 과제에 대한 자체평가 점수는 외부전문가 평가 점수보다 유의하게 높을 것이다.

자체평가는 정책 실행 당사자가 수행하는 평가라는 점에서 자기평가(self-evaluation)의 속성을 가지며, 선행연구는 이러한 구조가 관대함을 유발할 수 있음을 지적해 왔다(조현정･이삼열, 2015; 서영빈･이윤식, 2022). 제한된 합리성 관점에서 내부 담당자는 과정 정보와 제약 조건을 풍부하게 인지하고 있어 이를 성과 판단에 반영하는 과정에서 긍정적 평가로 기울 수 있으며(Simon, 1957), 제도주의 및 조직행태 이론은 내부 조직이 성과의 정당화와 책임 회피의 유인을 가질 수 있음을 시사한다(Hood, 2010; March and Olsen, 2009). 따라서 평가주체의 위치 차이는 동일 과제에 대한 점수 격차로 관찰될 가능성이 있다.

• 가설 2(H2): 관대함은 기후에너지환경부 소관 과제 여부에 따라 달라질 것이다.

국가 기후위기 적응대책은 기후에너지환경부가 총괄하는 다부처 협업 체계에서 운영된다. 총괄부처가 평가체계의 설계･운영에 관여하는 동시에 일부 과제의 수행 주체가 된다는 점은 제도적 중첩을 발생시킬 수 있으며, 이러한 제도적 위치 차이는 평가 결과의 형성 과정에 영향을 미칠 가능성이 있다. 이에 본 연구는 기후에너지환경부 소관 여부에 따라 관대함의 크기가 달라질 수 있다는 가설을 설정한다.

• 가설 3(H3): 관대함은 국민체감형 과제 여부에 따라 달라질 것이다.

국민체감형 과제는 정책적 가시성이 높고, 평가 과정에서 외부적 관심과 감시 강도가 상대적으로 높을 수 있다. 책임성 관점에서 외부 감시와 공개성이 강화될수록 조직은 성과관리와 대응성을 강화할 유인이 존재하며(Cheng et al., 2017), 이는 자체평가의 상향 편향을 완화하거나 혹은 다른 방식으로 작동할 가능성이 있다. 이에 국민체감형 여부에 따른 관대함의 차이를 검증한다.

본 연구는 위 가설을 검증하기 위해, (1) 평가주체 간 점수 차이의 존재 여부를 확인한 뒤, (2) 관대함(diff)의 집단 간 차이를 검정하고, (3) 다중 변수 통제 하에서 관대함의 조건부 요인을 분석한다.

2. 분석 자료 및 변수 정의

분석 대상은 ‘제3차 국가 기후위기 적응 강화대책(2023~2025)’의 2023년도 17개 중앙부처 세부시행과제 294개 중 외부평가가 수행된 290개 과제이다. 자료는 ‘2023년도 국가 기후위기 적응대책 이행점검 결과보고서’를 기반으로 구축하였다(기후에너지환경부, 2024).

본 연구의 핵심 종속변수는 ‘관대함(diff)’이며, 동일 과제(id)에 대해 산출된 자체평가 점수와 외부전문가 평가 점수의 차이로 정의한다. 구체적으로 관대함(diff)은 다음과 같이 산출된다.

따라서 diff가 양(+)의 값을 가질수록 자체평가가 외부평가보다 상대적으로 높게 산출된 정도가 크며, 이는 관대함이 더 크게 나타난 것으로 해석한다.

자체평가 점수와 외부전문가 평가 점수는 동일한 평가지표와 기준에 따라 산출되며, 동일 과제에 대해 두 평가주체가 부여한 점수라는 점에서 paired 구조를 갖는다. 본 연구는 이러한 paired 특성을 반영하여 점수 수준(score)의 단순 비교를 넘어, 과제별 점수 차이(diff)에 초점을 두어 객관성과 관대함을 분석한다.

첫 번째 독립변수인 기후에너지환경부 소관 여부(m_dummy)는 기후에너지환경부 및 소속기관 과제 여부를 나타내는 더미변수로 구성한다. 구체적으로 기후에너지환경부 및 그 소속 기관이 담당하는 과제를 0으로, 그 외 부처가 담당하는 과제를 1로 코딩하였다. 이는 총괄부처의 제도적 위치가 관대함에 미치는 차이를 검증하기 위한 변수이다.

둘째, 국민체감형 과제 여부(p_dummy)는 일반과제(0)와 국민체감형 과제(1)로 구분하여 H3를 검증한다.

셋째, 과제의 예산(budget)은 과제 규모와 수행 범위의 차이를 반영할 가능성이 있으므로 통제변수로 포함한다. 예산 변수는 분포의 비대칭성을 완화하기 위해 자연로그 변환(log_budget)을 적용하였다.

넷째, 정책 유형(kind) 등 과제의 성격을 나타내는 분류 변수는 보조적으로 포함하여 관대함의 조건부 차이를 점검한다.

3. 분석 방법

본 연구는 세 단계 분석을 통해 가설을 검증한다. 첫째, 동일 과제에 대해 자체평가 점수와 외부전문가 평가 점수의 평균 차이가 유의한지 확인하기 위해 짝지어진 표본 t-검정(paired sample t-test)을 수행한다. 본 연구 자료는 동일 과제(id)에 대해 두 평가주체가 점수를 부여한 paired 구조이므로, 독립표본 검정이 아닌 paired t-test가 적절하다. 이를 통해 H1을 기초 단계에서 검증한다.

둘째, 관대함(diff)의 단순 평균 차이를 확인하기 위해 일원분산분석(one-way ANOVA)을 수행한다. 구체적으로 국민체감형 여부(p_dummy), 기후에너지환경부 소관 여부(m_dummy), 정책유형(kind) 등에 따라 관대함(diff)의 평균이 달라지는지 검정한다. 이 단계는 과제 특성별 관대함의 기초적 차이를 확인하는 절차로서, 이후 다중회귀 분석의 해석을 보완한다.

셋째, 관대함(diff)을 종속변수로 설정한 Ordinary Least Squares(OLS) 회귀분석을 수행하여, 여러 과제 특성을 동시에 통제한 조건부 효과를 추정한다. 회귀모형은 다음과 같이 설정한다.

여기서 Xᵢ는 기후에너지환경부 소관 여부(m_dummy), 국민체감형 여부(p_dummy), 예산(log_budget), 정책 유형(kind) 등을 포함한다. 이 분석은 단순 평균 차이 검정을 넘어, 과제 특성이 관대함에 미치는 영향을 조건부로 검증하기 위한 것이다.

마지막으로, 본 연구는 강건성 점검(robustness check)으로서 점수 수준(score)을 종속변수로 하는 대체모형을 추가 제시한다. 구체적으로 290개 과제에 대해 자체평가와 외부평가 점수를 결합한 2배수 표본(580개)을 구성하고, 평가주체 더미(g_dummy: 자체평가=0, 외부평가=1)를 포함한 회귀모형을 추정하되, 동일 과제(id)에 대한 반복 관측을 고려하여 과제 단위 클러스터 표준오차(cluster-robust standard errors)를 적용한다. 이 대체모형은 분석 단위와 질문이 상이하나, 평가주체에 따른 점수 격차가 구조적으로 존재한다는 핵심 결론이 유지되는지 확인하기 위한 보조적 절차이다.

또한 정책이 대상으로 하는 환경의 성격 구분은 IPCC와 Organisation for Economic Co-operation and Development(OECD)의 접근(IPCC, 2022; OECD, 2014)에 근거하여 인위적 환경(Human System)과 자연적 환경(Natural System)으로 구분하였으며, 필요 시 동일한 분석틀을 적용하여 하위표본 분석을 수행한다.

1. 기술통계 및 평균값 차의 t-검정

모든 독립변수는 더미변수로 측정되어 기술통계 분석의 의미가 없으므로 종속변수와 통제변수에 관한 기술통계 분석을 수행하였다.

기후위기 적응대책 평가 점수를 평가그룹별로 나누어 살펴보면, 평균 평가 점수는 90.42점으로 확인되었으며, 자체평가의 평균 점수는 93.60점, 전문가평가의 평균 점수는 87.23점으로 나타났다.

기후위기 적응대책의 평가 점수를 기후에너지환경부 과제와 타 부처 과제로 나누어 살펴보면, 기후에너지환경부 소관 과제의 평균 점수는 90.84점, 타 부처 소관 과제의 평균 점수는 87.23점으로 기후에너지환경부 소관 과제의 평가 점수가 소폭 높게 나타났다. 가장 높은 점수는 기후에너지환경부, 타 부처 관계없이 100.00점으로 확인되었으나, 가장 낮은 점수의 경우 기후에너지환경부 소관 과제는 70.50점, 타 부처 소관 과제는 57.00점으로 기후에너지환경부 소관 과제의 최저 점수가 다소 높은 것으로 확인되었다<표 1>.

<표 1>

제3차 국가 기후위기 적응대책 평가 점수의 기술통계

통제변수인 예산의 주요 기술통계를 살펴보면, 하나의 세부시행과제 당 평균 667.30억 원의 예산이 투입되는 것으로 나타났으며, 기후에너지환경부 소관 과제는 평균 254.04억 원, 타 부처 소관 과제는 평균 891.52억 원의 예산이 투입되는 것으로 나타났다. 가장 많은 예산을 투입하는 과제는 2조 2,300억 원이 투입되었으며, 비예산 과제를 제외하고 가장 적은 예산이 투입되는 과제에는 1억 원의 예산이 투입되었다<표 2>.

<표 2>

제3차 국가 기후위기 적응대책 세부과제별 예산의 기술통계(단위: 억 원)

동일 과제에 대해 부여된 두 점수의 차이가 우연한 변동이 아니라 체계적 방향성을 가지는지 확인하기 위해 짝지어진 표본 t-검정(paired sample t-test)을 수행하였다. 검정 결과, 자체평가 점수는 외부전문가 평가 점수보다 통계적으로 유의하게 높게 나타났다(t = 11.55, p < 0.001). 이는 자체평가가 외부평가보다 일관되게 높은 점수를 부여하는 ‘관대함’이 존재함을 의미하며, 가설 1(H1)을 지지한다<표 3>. 더불어, 아래의 <그림 1> 산포도에서 확인할 수 있듯이 대다수의 과제가 자체평가 점수와 외부평가 점수가 동일한 수준을 나타내는 Y=X 기준선의 우측 하단에 밀집되어 있다. 이는 대부분의 과제에서 자체평가 점수가 외부평가 점수보다 높게 나타났음을 의미한다. 즉, 평가체계 전반에 걸쳐 외부전문가 평가보다 자체평가 점수가 상대적으로 높게 부여되는 관대함이 존재함을 시각적으로 나타낸다.

<표 3>

짝지어진 표본 t-검정 결과

<그림 1>

자체평가와 외부전문가 평가 점수 산포도

2. 일원분산분석 결과

본 연구는 관대함을 과제별 점수 차이(diff = 자체평가 − 외부평가)로 조작화하고, 과제 특성에 따라 관대함의 크기가 달라지는지 단순 평균 차이를 검정하였다. 이는 복수 요인을 동시에 통제하는 회귀분석에 앞서, 변수별로 관대함의 기초적 차이가 존재하는지 확인하는 절차이다.

관대함(diff)에 대한 일원분산분석 결과, 국민체감형 여부(p_dummy)에서는 10% 유의수준에서 제한적인 차이가 관찰되었으나(F = 2.887, p = 0.090), 기후에너지환경부 소관 여부(m_dummy) 및 정책유형(kind)에서는 관대함의 평균 차이가 통계적으로 유의하지 않았다. 이는 관대함이 특정 과제 유형에 국한된 현상이라기보다는 비교적 광범위하게 나타나는 경향일 가능성을 시사한다<표 4>.

<표 4>

관대함에 대한 일원분산분석 결과 요약

3. 다중회귀분석 결과

앞서 수행한 일원분산분석은 개별 요인의 평균 차이를 확인하는 데 유용하나, 여러 특성을 동시에 통제하지 못한다는 한계가 있다. 이에 본 연구는 관대함(diff)을 종속변수로 설정한 OLS 회귀분석을 통해 과제 특성을 동시에 통제한 조건부 효과를 추정하였다. 관대함(diff)을 종속변수로 하는 회귀분석은 이분산 가능성을 고려하여 이분산 강건 표준오차를 적용하였다.

모형 전체는 통계적으로 유의하지 않았는데(F = 1.766, p = 0.136), 이는 관대함의 존재와 다르게 그 크기를 설명하는 요인은 제한적임을 의미한다. 즉, 관대함은 특정 과제, 특정 변수에 의해 체계적으로 분해되기보다는 평가자나 제도 설계 요인에 더 밀접하게 관련될 가능성을 시사한다.

분석 결과, 국민체감형 여부와 예산 규모는 10% 유의수준에서 관대함을 감소시키는 방향의 제한적 경향을 보였으나, 기후에너지환경부 소관 여부 및 정책 유형은 통계적으로 유의하지 않았다. 이는 관대함이 특정 과제 유형에 집중된 현상이라기보다는 평가체계 전반에 구조적으로 나타나는 특성일 가능성을 시사한다<표 5>.

<표 5>

다중회귀분석 결과

한편, 일원분산분석에서는 국민체감형 여부에 따른 관대함의 평균 차이가 통계적으로 유의하지 않았으나, 다중회귀분석에서는 다른 과제 특성을 동시에 통제한 조건에서 국민체감형 여부가 10% 유의수준에서 관대함을 감소시키는 경향이 나타났다. 이는 국민체감형 과제가 예산 규모 등 다른 공변량과 결합되어 있어 단순 평균 비교에서는 효과가 상쇄 되거나 희석될 수 있으며, 공변량을 동시에 통제한 조건부 분석에서는 해당 효과가 더 분명하게 드러날 수 있음을 의미한다.

이러한 결과는 ‘관대함이 존재하는지(H1)’와 ‘관대함의 크기가 과제 특성으로 설명되는지(H2, H3)’를 구분하여 해석할 필요가 있음을 의미한다. 즉, 관대함은 통계적으로 명확히 존재하지만, 그 크기는 특정 과제 특성보다는 평가체계의 운영 방식이나 평가주체의 제도적 위치 차이와 같은 제도적 맥락에서 형성된 요인에 더 가깝게 나타날 가능성을 시사한다.

4. 강건성 점검: 원점수 기반 580개 표본 회귀(클러스터 보정)

추가적으로, 분석 결과의 강건성을 점검하기 위하여 원점수(score) 기반 전체 580개 표본을 대상으로 회귀분석한 결과, 평가 주체 변수(g_dummy)는 –6.369(p < 0.001)로 나타나 외부 평가가 자체평가보다 점수가 낮음을 재확인했다. 기후에너지환경부 소관 여부(m_dummy)는 –0.906(p < 0.1)으로 분석되어 기후에너지환경부 과제가 타 부처 과제보다 다소 높은 점수를 받는 경향을 보였다. 과제 유형(p_dummy)은 –1.398(p < 0.05)로 나타나, 예상과 달리 국민체감형 과제가 일반과제보다 낮은 점수를 받았다. 예산 규모(log_budget)는 0.176(p < 0.1)으로, 예산이 클수록 평가 점수가 다소 높게 나타나는 경향을 보였다<표 6>.

<표 6>

전체 표본 대상 다중회귀분석 결과

다른 한편으로, 정책이 대상으로 하는 환경의 성격에 따라 과제를 인위적 환경과 자연적 환경으로 구분한 후, 580개 표본을 대상으로 동일한 회귀모형을 반복 추정하였다. 분석 결과, 두 영역 모두에서 평가주체(g_dummy) 변수는 일관되게 통계적으로 유의하게 나타났으며, 이는 평가주체 간 점수 차이가 정책 대상 환경의 성격과 무관하게 관찰됨을 재확인하는 결과이다.

다만, 세부 설명요인의 작동 방식에서는 부분적인 차이가 확인되었다. 인위적 환경을 대상으로 하는 과제에서는 평가주체 변수만이 유의하게 나타난 반면, 자연적 환경을 대상으로 하는 과제에서는 기후에너지환경부 소관 여부(m_dummy), 과제 유형(p_dummy), 예산 규모(log_budget) 등 일부 변수들이 추가적으로 유의하게 나타났다.

이러한 결과는 자연적 환경 부문에서 정책 성과의 불확실성과 외생적 요인이 상대적으로 크기 때문에 평가 과정에서 다양한 구조적 요인이 동시에 고려될 가능성을 시사한다. 그러나 해당 분석은 보조적 강건성 점검 차원에서 수행된 것으로, 그 해석에는 신중할 필요가 있다.

<표 7>

정책 유형을 구분한 다중회귀분석 결과

1. 평가 편차의 성격

본 연구에서 가장 일관되게 확인된 결과는 동일 과제에 대해 자체평가 점수가 외부전문가 평가 점수보다 유의하게 높다는 점이다. 짝지어진 표본 t-검정과 보조적 일원분산분석 결과는 평가주체에 따른 평균 점수 차이가 매우 강하게 존재함을 보여준다. 이는 국가 기후위기 적응대책 평가체계에서 ‘관대함(자체평가−외부평가)’이 우연한 변동이 아니라 평가체계 전반에 걸쳐 나타나는 경향임을 의미한다.

다만 본 연구가 추가로 확인한 중요한 사실은, 관대함(diff)의 크기가 과제 특성 변수들에 의해 강하게 설명되지는 않는다는 점이다. 관대함(diff)을 종속변수로 설정한 분산분석과 회귀분석에서, 국민체감형 여부 등 일부 변수는 제한적인 수준에서만 경향을 보였으며, 기후에너지환경부 소관 여부나 정책유형 등은 관대함의 크기를 일관되게 설명하지 못하였다. 이 결과는 관대함의 ‘존재’와 관대함 ‘변동’을 구분할 필요가 있음을 시사한다. 즉, 관대함은 분명히 존재하지만, 그 크기의 차이는 개별 과제 특성보다는 평가체계의 운영 방식, 평가자 역할, 정보 환경 등 보다 구조적인 요인에 더 밀접할 수 있다.

이러한 해석은 본 연구의 이론적 틀과 정합적이다. Simon(1957)의 제한된 합리성 관점에서, 기후위기 적응정책은 장기성과･정성지표･다부처 협업 등으로 인해 성과의 객관적 측정이 어려우며, 평가자는 제한된 정보에 기초해 만족화된 판단을 할 수밖에 없다. 내부 담당자는 수행 과정의 맥락과 제약을 상세히 인지하고 있기 때문에 성과 판단에서 노력･과정･제약조건을 자연스럽게 포함할 가능성이 높고, 외부전문가는 문서화된 지표와 제한된 근거자료에 의존해 상대적으로 보수적 잣대를 적용할 가능성이 있다. 이때 평가주체 간 점수 차이는 개인의 기질이나 단순한 ‘점수 부풀리기’로 환원되기보다는 서로 다른 정보 환경과 인지적 부담이 결합된 구조적 결과로 해석할 수 있다.

사회학적 제도주의의 적절성 논리는 평가 편차의 재생산 메커니즘을 보완한다(March and Olsen, 2009). 내부 담당자는 “정책을 정당하게 제출하고 지속성을 확보하는 것”을 적절한 역할 수행으로 인식할 수 있고, 외부전문가는 “객관성과 독립성에 기반한 검증”이 자신에게 요구되는 역할이라고 인식할 수 있다. 이처럼 역할 정체성의 차이는 동일한 정보를 보더라도 해석과 평가 기준을 다르게 구성하게 만들며, 그 결과 평가주체 간 점수 격차가 반복적으로 관찰될 수 있다.

조직행태 및 책임성 이론 역시 관대함을 구조적으로 설명한다(Cheng et al., 2017; Hood, 2010). 평가 결과는 조직의 책임성, 이미지, 향후 자원 배분과 연계될 수 있기 때문에, 내부평가 과정에서는 부정적 정보를 축소하고 긍정적 정보를 강조하는 방향의 방어적 행태가 강화될 수 있다. 본 연구는 이러한 맥락에서 자체평가의 상향 편차를 ‘전략적 평가 행위’의 가능성으로 해석할 수 있으나, 동시에 본 연구의 분석 결과는 그 전략성이 과제 특성 변수로 명확하게 분해되어 설명되기보다는 평가체계 전반의 작동 조건 속에서 폭넓게 나타날 가능성이 크다는 점을 보여준다. 요컨대 본 연구의 결과는 “평가체계의 객관성 문제는 특정 부처나 특정 과제의 문제가 아니라, 평가제도의 구조적 속성과 평가자 역할 차이에 의해 광범위하게 발생할 수 있다”라는 점을 시사한다.

<표 8>은 위 논의를 정리한 것으로, 관대함의 발생을 인지적 요인(정보 접근성과 맥락 이해 차이), 제도적 요인(역할 정체성과 적절성 논리), 행태적 요인(책임성･정당화･방어 기제)의 결합으로 설명한다.

<표 8>

평가 편차 발생의 이론적 메커니즘 종합

2. 관대함 변동에 관한 변수의 제한적 설명

본 연구는 관대함의 ‘존재’뿐 아니라 관대함의 ‘크기(diff)’가 과제 특성에 따라 달라지는지도 검토하였다. 이를 위해 관대함(diff = 자체평가−외부평가)을 종속변수로 설정하고, 예산(log_budget), 국민체감형 여부(p_dummy), 기후에너지환경부 소관 여부(m_dummy)를 포함한 다중회귀분석을 수행하였다.

분석 결과, 국민체감형 여부(p_dummy)는 관대함(diff)을 감소시키는 방향(음의 계수)으로 나타났으며, 이는 국민체감형 과제에서 자체평가와 외부평가 간 점수 격차가 상대적으로 축소될 가능성을 시사한다. 반면 기후에너지환경부 소관 여부(m_dummy)는 관대함의 크기를 설명하지 못했고, 예산(log_budget) 역시 관대함을 일관되게 설명하는 강한 근거로 확인되지는 않았다. 전반적으로 관대함의 변동은 본 연구에서 포함한 과제 특성 변수들만으로는 강하게 설명되지 않는 것으로 나타났다.

이 결과는 관대함이 특정 유형의 과제에서만 심화되는 현상이라기보다는, 평가체계 전반에서 폭넓게 나타나는 구조적 특성일 가능성을 시사한다. 다시 말해, 평가주체 간 점수 격차는 존재하되, 그 격차의 크기를 과제 특성으로 세분해 설명하는 데에는 한계가 있으며, 관대함의 핵심 원인은 과제 자체의 속성보다 평가자 역할, 정보 환경, 평가제도의 운영 방식과 같은 구조적 요인에 더 가까울 수 있다.

3. 예산 규모와 전략적 평가

강건성 점검으로 수행한 580개 표본(score) 회귀에서는 예산 규모가 점수 수준과 양(+)의 관계를 보인 반면, 관대함(diff) 회귀에서는 예산 규모가 관대함의 크기를 설명하지 못했다. 이는 고예산 과제가 ‘높은 점수’를 받을 수 있다는 관찰과 고예산 과제가 ‘더 관대하게 평가된다(자체−외부 격차 확대)’는 주장 사이에는 직접적인 등치가 성립하지 않음을 의미한다. 즉, 예산이 큰 과제가 높은 점수를 받더라도 그것이 곧 평가주체 간 편차(관대함)의 확대를 의미하지는 않는다.

그럼에도 불구하고, 예산은 조직행태적 맥락에서 중요한 해석 단서를 제공할 수 있다. 예산은 과제 규모와 정치적 주목도를 반영할 수 있고, 높은 예산은 실패 시 부담과 외부 감시를 증가시킨다. 이때 내부 담당자는 성과를 ‘정당화 가능한 방식’으로 제시하려는 유인을 가질 수 있으며, 외부평가자는 정보 비대칭과 책임성 요구 사이에서 극단적 판단을 회피하려는 경향을 보일 수 있다. 다만 본 연구의 분석결과는 이러한 행태가 과제 특성 변수로 명확하게 포착되기보다는, 평가체계 전반의 평가자 역할 차이에 기인한 체계적 패턴일 가능성을 시사한다. 따라서 예산과 관련한 전략적 평가 논의는 “확정된 인과”라기보다 “구조적 가능성”과 “해석적 함의”의 수준에서 제시하는 것이 통계적 결과와의 정합성 측면에서 더 안전하다.