본문 바로가기
정보 e음

KLID가 만난 사람

판단·검증·책임이라는 인간 영역,
AI 행정의 경쟁력을 재정의하다

AI가 행정 전반으로 확산되는 시대, 공공부문에 필요한 역량도 달라지고 있다. 지난 3월 지방정부 AX 역량강화 특강의 첫 번째 연사로 나선 김상윤 교수는 AI 시대 인간의 가치는 더 많이 아는 데 있지 않다고 말한다. 중요한 것은 AI를 활용하고 검증하며, 사회적 맥락 속에서 책임 있는 판단을 내릴 수 있는 능력이라는 것이다. 그렇다면 AI 전환의 문턱에 선 공공은 무엇을 준비해야 할까? 기술과 인간, 효율과 책임의 균형에 대한 이야기를 들어봤다.

  • 정리_편집실
  • 사진_ 김병구

김상윤
경희대학교 경영대학원 겸임교수,
한국 AI리터러시 아카데미 원장

Q AI가 인간의 능력을 대체하거나 보완하는 시대다. 그럼에도 인간만이 판단하고 책임져야 할 영역은 존재할 것 같다. AI 시대 인간의 가장 본질적인 역할은 무엇일까?

AI의 발전이 인간의 역할을 없애는 방향으로만 흘러간다고 보지는 않는다. 오히려 기술이 고도화될수록 인간에게 요구되는 역할은 더욱 분명해지고 있다고 생각한다.
AI는 주어진 질문에 답을 찾고 방대한 정보를 분석하는 데는 매우 뛰어나다. 하지만 어떤 질문을 던져야 하는지, 무엇이 진짜 문제인지를 정의하는 ‘맥락의 주권’은 여전히 인간에게 있다. 특히 이해관계자가 복잡하고 사회적 맥락이 중요한 공공 영역에서는 문제를 어떻게 바라보고 규정하느냐에 따라 해법의 방향 자체가 달라진다.
이 지점에서 요구되는 또 하나의 역할이 ‘비판적 수용’이다. AI는 제시하는 답이 그럴듯하더라도 그 근거와 한계를 검토하고, 사회적으로 수용할 수 있는 판단인지 확인하는 과정이 필요하다. AI 리터러시의 본질이 바로 여기에 있다. AI를 무조건 믿기보다는, 그 결과물을 합리적으로 의심하며 검증할 줄 알아야 한다.
또 AI의 결과를 자신의 전문성과 현장 경험, 그리고 사회적 맥락과 연결하는 ‘도메인 지식의 결합’도 인간만이 할 수 있는 일이다. AI가 정보를 제공한다 해도 그것을 현실의 문제 해결로 이어지게 만드는 것은 여전히 인간의 몫이기에 그렇다. 결국 인간의 역할은 기술이 만들어낸 결과를 해석하고 판단하며, 그 선택에 책임을 지는 일이라고 볼 수 있다.

Q 인간의 역할이 판단과 책임에 있다면, 이를 수행하기 위해 공공부문 종사자에게 가장 필요한 역량은 무엇이라고 보는가?

지금 단계에서는 단연 ‘AI 리터러시’다. 다만 이때 AI 리터러시는 단순히 AI를 사용할 줄 아는 능력을 의미하지 않는다. 그보다는 AI가 제시한 결과를 검증하고, 그 신뢰도와 한계를 판단할 수 있는 능력에 가깝다. 결국 AI를 안다는 것과 잘 활용한다는 것은 다른 차원의 문제다. AI가 제시한 답을 그대로 받아들이는 것이 아니라, 어떤 근거로 그런 결론에 도달했는지 검토하고 검증할 수 있어야 한다. 공공부문일수록 이러한 역량의 중요성은 더욱 커질 수밖에 없다.
또 하나 중요한 것은 ‘AI 시대의 마인드셋’이다. 새로운 기술에 대한 막연한 거부감이나 두려움을 내려놓고, 변화 자체를 학습의 대상으로 받아들이는 태도가 필요하다. 공공조직은 민간에 비해 변화 수용 속도가 상대적으로 느린 경향이 있는데, AX(AI Transformation) 전환기에는 이러한 속도 차이가 곧 행정서비스 품질의 격차로 이어질 수 있다.
결국 기술 교육에 앞서 필요한 것은 변화에 대한 조직적 공감대다. AI를 도입할 것인가의 문제가 아니라, AI와 함께 어떻게 일할 것인가에 대한 공통의 인식이 먼저 형성돼야 한다고 본다.

Q 지난 3월 강연 내용 중 “수행자는 감독자가 된다”는 표현이 인상적이었다. 이러한 변화는 행정 조직에 어떤 영향을 미칠까?

조만간 공공 영역에서도 상당수의 업무가 AI 에이전트의 자율적인 판단과 수행으로 진행되는 시대가 열릴 것이다. 즉, 공무원의 역할이 ‘업무 수행자’에서 ‘AI 감독자·검증자’로 이동할 것이라는 뜻이다. 이러한 변화는 행정 조직의 운영에도 적지 않은 영향을 미칠 것으로 보인다.
우선 AI가 만들어낸 결과를 검토하고 책임질 수 있는 새로운 역량과 체계가 필요하다. AI가 판단을 지원하는 수준을 넘어 실제 업무 과정에 깊이 관여하게 될수록, 결과를 검증하고 최종 책임을 지는 역할의 중요성도 커질 수밖에 없다.
조직 구조의 변화도 불가피하다. 지금까지의 위계적이고 분업화된 방식으로는 빠르게 변화하는 환경에 대응하기 어렵다. 앞으로는 보다 작고 유연한 단위에서 신속하게 판단하고 협업할 수 있는 조직으로의 전환을 마련해야 한다.
무엇보다 중요한 것은 AI와 인간의 역할을 구분하는 기준을 마련하는 일이다. 어떤 업무를 AI에게 맡기고, 어떤 사안은 인간이 최종 판단해야 하는지에 대한 원칙과 거버넌스가 필요하다. 단순히 인력 재배치의 문제가 아니라, 행정 조직이 일하는 방식 자체를 재설계하는 문제다.

Q AI가 점점 더 인간처럼 말하고 판단하는 시대다. 그렇다면 과연 우리는 어떤 방식으로 인간다움을 증명해야 할까?

최근에는 AI 에이전트끼리 소통하는 과정에서조차 “당신이 AI가 아님을 증명하라”는 역설적인 요구가 등장하고 있다. 이는 기존의 창의성이나 감성, 언어 능력만으로는 더 이상 인간다움을 설명할 수 없다는 뜻이기도 하다. 즉, 인간다움에 대한 고민이 점점 구체화되는 것이다.
최근 책 한 권을 출간했는데, 바로 이 같은 고민이 시작이었다. “인간다움을 증명하는 단 기준은 하나가 아니다”라는 것과, “변화하는 환경 속에서 인간의 가치를 새롭게 정의해가야 한다”는 메시지를 담았다. 중요한 것은 결국 변화 가운데 스스로 증명해 나가는 ‘과정’인 것 같다.
어쩌면 퀴블러로스의 죽음 수용 5단계로 이 과정을 설명할 수 있겠다. 사람들은 AI를 마주했을 때 처음에는 “저 기술이 나를 대체할 리 없다”고 ‘부정’한다. 이후 위협을 느끼며 ‘분노’하다, 일부 영역을 내어주면서 ‘타협’하고, 자신의 한계를 체감하며 ‘좌절’하기도 한다. 그러다 마침내 AI와 공존하는 새로운 인간상을 ‘받아들이는’ 단계에 이르는 것이다.
결국 ‘인간다움’이란 한 번의 선언이나 증명으로 끝날 수 있는 성질의 것이 아니다. AI와 함께 살아가는 시대에 인간으로서의 역할과 가치를 끊임없이 갱신해 나가는 과정에 가깝다.

Q 재난 현장에서는 “이 정도 비가 오면 저 마을부터 확인해야 한다”거나 “이 지역은 방송보다 이장이 직접 알리는 것이 효과적이다”와 같은 경험적 판단이 중요한 역할을 하기도 한다. 이러한 현장의 직관과 경험은 AI와 어떤 방식으로 공존하게 될까?

AI가 가장 접근하기 어려운 영역 가운데 하나가 바로 현장의 직관과 경험이다. 제조 현장의 장인이나 오랜 경험을 가진 공무원의 직관처럼, 문서나 매뉴얼로 설명되기보다 몸과 경험 속에 축적된 지식(암묵지)이기 때문이다.
그렇다고 해서 암묵지가 AI와 완전히 분리된 영역으로 남아있는 것은 아니다. 판단의 근거와 기준을 데이터로 기록하고 축적하면 AI 역시 이를 학습하고 일정 부분 모방할 수 있다. 실제로 많은 조직이 경험과 노하우를 데이터로 전환하는 작업을 진행하고 있으며, 이는 앞으로 더욱 중요해질 것이다.

예를 들어 “비가 오기 전에 새가 낮게 난다”는 경험적 지혜도 실제로는 습도와 기압 변화에 따른 현상이다. 관련 데이터를 충분히 확보할 수 있다면 AI 역시 같은 결론에 도달할 수 있다. 결국 데이터화할 수 있는 경험과 지식은 상당 부분 AI가 학습하고 활용할 수 있게 될 것이다.
그러나 세상의 모든 암묵지를 완벽하게 형식지1)로 전환하는 것은 현실적으로 불가능하다. 재난 현장에서 “이 마을은 방송보다 이장이 직접 알리는 것이 효과적이다”라는 판단은 강수량이나 지형 데이터만으로 설명되지 않는다. 그 지역의 신뢰 관계와 역사, 공동체 문화처럼 관계 속에서 형성된 맥락이 함께 작동하기 때문이다. 이러한 지식은 명시적 데이터로 남기기 어렵고 지역마다 고유하기 때문에 일반화도 쉽지 않다.
이 점은 공공 영역에도 중요한 시사점을 준다. 재난 대응이나 민원 처리 과정에서 축적된 현장의 경험은 매우 중요한 자산이지만, 상당수는 여전히 개인의 경험 속에만 존재하기 마련이다. 따라서 판단의 과정과 근거를 체계적으로 기록하고 사례화하는 일이 AX 시대 공공기관의 중요한 과제가 될 것이다. 동시에 데이터로 환원되지 않는 관계와 신뢰, 그리고 마지막 순간의 판단과 책임은 앞으로도 인간의 몫으로 남지 않을까 한다.
1) 말·글·도표 등으로 표현되어 여러 사람에게 쉽게 전달·공유할 수 있는 지식 유형

Q Human in the Loop(HITL), 즉 AI가 제안하더라도 인간이 “최종 검토와 결정을 담당해야 한다”는 원칙이 강조되는 것 같다. 이 원칙이 중요한 이유는 무엇이라고 생각하나?

AI 에이전트가 단순 정보 제공을 넘어 제안과 실행까지 맡게 되면서 부작용에 대한 안전장치가 필요해졌기 때문이다.
AI는 학습 데이터의 편향을 그대로 재생산할 수 있고, 확신을 가진 채로 틀린 답을 내놓는 환각(hallucination) 문제도 있다. 민간 영역의 실수는 매출이나 평판 손실로 그치는 경우가 많지만, 공공 영역의 실수는 시민의 권리와 안전, 때로는 생명에 직결된다.
그런 면에서 HITL은 단순한 절차가 아니라 책임의 소재를 명확히 하는 장치와도 같다. AI가 제안하고 인간이 최종 결정한다는 원칙이 있어야 결과에 대한 책임 주체가 분명해지고 시민도 행정에 대한 신뢰를 유지할 수 있다. EU 인공지능법(EU AI Act)이나 우리나라 AI 기본법에서 고위험 AI에 대해 ‘의미 있는 인간의 감독’을 요구하는 것도 같은 맥락이다.

Q AI 분석 결과가 오히려 과도하게 신뢰될 위험도 있을 듯하다. 공공이 AI를 활용하면서도 ‘AI 의존’에 빠지지 않으려면 어떤 태도와 원칙이 필요할까?

AI를 활용하는 것과 AI에 의존하는 것은 전혀 다른 문제다. 공공이 AI 의존에 빠지지 않기 위해서 가장 먼저 필요한 것은 ‘업무의 재설계’다. AI를 기존 업무에 단순히 덧붙이는 것이 아니라, 무엇을 AI에게 맡기고 무엇을 인간이 맡아야 하는지 기준을 세우는 일이다.
또 하나 중요한 것은 ‘판단 근거의 투명성’이다. AI가 어떤 데이터와 논리를 바탕으로 결론에 도달했는지 설명할 수 있어야 하며, 그 근거를 검증하는 절차도 함께 마련돼야 한다. 결과만 받아들이고 과정을 검토하지 않는 순간 AI 의존은 시작될 수밖에 없다.
아울러 ‘인간-AI 작업 전환의 기준 마련’이다. 예를 들어 AI의 신뢰도가 일정 수준 이하로 떨어지거나 예외적인 상황이 발생했을 때는 자동으로 인간 검토 단계로 전환되는 원칙이 마련돼야 한다. 특히 공공 영역에서는 이런 기준이 더욱 중요하다.
결국 AI 의존은 막연한 경계심만으로 막을 수 있는 문제가 아니다. AI를 어디까지 활용하고, 어떤 순간에 인간이 개입할 것인지에 대한 구체적인 원칙과 절차를 제도화하는 것이 중요하다고 할 수 있겠다.

Q AI는 평균적인 패턴을 학습하지만, 실제 재난은 늘 예측 밖에서 발생한다. 이런 점에서 인간의 직관과 경험은 앞으로 어떤 의미를 갖게 될까?

AI는 데이터를 통해 반복적으로 나타난 패턴을 학습한다. 하지만 재난은 본질적으로 평균에서 벗어난 예외 상황인 경우가 많다. 따라서 데이터가 충분하지 않거나 전혀 새로운 유형의 위기가 발생하면 AI의 예측력에도 한계가 생기기 마련이다.
이때 중요한 역할을 하는 것이 인간의 직관과 경험이다. 과거 현장에서 축적된 경험은 수치로 설명되지 않는 위험 신호를 포착하게 하고, 예상치 못한 상황에서도 신속한 판단을 가능하게 한다. 재난 대응에서는 데이터가 말해주지 못하는 현장의 맥락과 변수를 읽어내는 능력이 특히 중요하다.
결국 AI 시대의 재난 대응은 AI와 인간의 경쟁이 아니라 역할 분담의 문제에 가깝다. AI가 방대한 데이터를 분석하고 위험을 예측한다면, 인간은 예외 상황을 판단하고 최종 결정을 내리는 역할을 맡아야 한다. 따라서 공공부문은 AI 활용 역량뿐 아니라 현장 경험과 상황 판단 능력을 함께 갖춘 인재를 육성하고, 다양한 시나리오 훈련과 현장 경험 축적을 제도화하는 것이 AI 시대 재난 대응 역량의 핵심이 되지 않을까 한다.

Q AI가 공공행정의 핵심 도구로 자리 잡아가면서 효율성과 생산성이 더욱 중요해지고 있다. 하지만 공공은 공익과 인간의 존엄을 지켜야 하는 영역이기도 한데, 과연 공공은 이러한 효율성과 인간성 사이에서 어떤 균형을 추구해야 하나?

공공과 민간의 가장 큰 차이는 ‘목적’이라는 함수에 있다. 민간이 이윤을 최우선 가치로 삼는다면, 공공은 공익을 최우선으로 추구한다. 따라서 공공은 필요하다면 효율성이나 경제성을 일부 감수하더라도 사회적 약자와 예외적 상황을 보호해야 하는 책임을 지닌다.
AI는 행정의 속도와 효율을 크게 높여줄 수 있다. 하지만 효율만을 기준으로 삼을 경우, 데이터로 설명되지 않는 시민과 복잡한 사정을 가진 사람들이 행정의 사각지대로 밀려날 위험도 존재한다. 공공이 경계해야 할 지점이 바로 여기에 있다.
중요한 것은 AI가 만들어낸 효율을 다시 인간을 위해 사용하는 것이다. 반복 업무를 줄여 확보한 시간과 자원을 공감이 필요한 민원, 복합적 상황에 놓인 시민, 예외적 사례에 대한 세심한 지원에 재투자해야 한다. 결국 AI 시대의 공공은 효율성과 인간성 사이에서 선택하는 것이 아니라, 효율을 바탕으로 더 많은 공감과 배려를 실현해야 한다.
기술이 발전할수록 공공은 더욱 사람을 향해야 한다. 인간의 존엄과 공익의 가치를 끝까지 지켜내는 것, 그것이 AI 시대 공공의 가장 중요한 역할일 것이다.

Q AI 공공서비스가 확대되면서 디지털 취약계층의 소외와 사회적 약자의 목소리가 데이터 밖으로 밀려날 수 있다는 우려도 제기된다. AI 시대에 공공은 이러한 새로운 불평등에 어떻게 대응할 수 있을지 궁금하다.

AI는 확실히 양날의 검인 것 같다. 한편으론 디지털 격차를 확대할 수 있고, 다른 한편으로는 사회적 약자를 더 세밀하게 지원하는 도구가 되기도 한다. 불과 얼마 전만 해도 스마트폰과 키오스크가 디지털 격차의 큰 요인이더니, 이제는 일상에서 ‘나보다 똑똑한 AI’를 상대해야 한다. 격차의 성격이 ‘접근성’에서 ‘AI 리터러시’로 상향 조정된 것이다.
AI를 적극적으로 활용하는 사람과 그렇지 못한 사람 사이의 차이는 앞으로 더욱 커질 것으로 보인다. 문제는 이것이 단순한 불편의 문제가 아니라 공공서비스와 정책 혜택에서의 배제로 이어질 수 있다는 점이다.
그러나 AI는 사회적 약자와 관련된 데이터를 분석해 더 정교한 정책을 설계하는 데도 활용될 수 있다. 예를 들어 복지 사각지대를 더 빠르게 발견하거나, 장애인과 고령자의 이동·생활 데이터를 바탕으로 맞춤형 서비스를 제공하는 것도 가능하다. 다만 사회적 약자의 경험과 데이터가 충분히 수집되고 정책 설계 과정에 반영될 수 있도록 의도적으로 노력해야 한다.
결국 핵심은 기술 자체가 아니라 공공의 역할이다. AI 서비스를 설계할 때부터 디지털 취약계층을 고려하고, 비대면 채널뿐 아니라 사람이 직접 안내하고 지원하는 체계도 함께 마련해야 한다. 포용성은 사후 보완의 문제가 아니라 설계 단계부터 반영되어야 할 원칙이다. AI가 누군가를 배제하는 도구가 아니라 더 많은 시민을 연결하는 도구가 되도록 만드는 것, 그것이 AI 시대 공공의 중요한 과제라고 생각한다.

Q 최종적으로, AI 시대의 공공은 어떤 조직이 되어야 하는지를 묻고 싶다. 지방정부와 공공기관이 가장 먼저 준비해야 할 것은 무엇인가?

가장 시급한 것은 역시 AX(AI Transformation), 즉 행정 전반의 AI 전환이다. 구체적으로는 네 가지를 준비하면 좋을 것 같다.
첫째, 구성원의 AI 역량 강화다. 일부 전담 조직만이 아니라 모든 공직자가 AI를 이해하고 활용할 수 있는 기본 역량을 갖춰야 한다. 둘째, 데이터 인프라 확충이다. AI 활용의 출발점은 데이터인 만큼, 흩어져 있는 행정 데이터를 정비하고 AI가 활용할 수 있는 형태로 구축하는 노력이 필요하다. 셋째, AI 기반 공공서비스의 발굴이다. 단순히 기존 업무를 자동화하는 수준을 넘어 AI가 가능하게 만드는 새로운 행정서비스와 정책 모델을 적극적으로 찾아야 한다. 넷째, 조직 구조와 일하는 방식의 변화다. AI 시대에는 위계적인 조직보다 빠르게 학습하고 협업하며 책임 있게 판단하는 유연한 조직이 더 중요해질 것이다.
다만 기술보다 더 중요한 것은 사람과 조직의 변화다. 아무리 뛰어난 기술을 도입해도 이를 활용할 준비가 되어 있지 않다면 성과로 이어지기 어렵다. 결국 AI 시대 공공의 경쟁력은 기술 자체가 아니라, 변화에 적응하고 학습하는 조직의 역량에서 나온다. 그리고 그 출발점은 기술이 아니라 사람과 조직의 변화에 있다.

SNS 공유하기

홈으로 이동 인쇄하기 주소복사 공유