삶은 정답보다
해법을 원한다

AI는 이제 단순한 정보 검색 도구를 넘어 인간의 판단과 의사결정을 지원하는 단계로 빠르게 진화 중이다. 실제로 공공행정과 의료, 금융, 제조업 등 다양한 분야에서 AI는 방대한 데이터를 분석하고 최적의 답을 제시하는 역할을 수행한다.
AI의 가장 큰 강점은 계산과 예측, 분석에 있다. 인간이 처리하기 어려운 규모의 데이터를 짧은 시간 안에 분석하고, 패턴을 찾아내며, 여러 선택지 가운데 가장 가능성이 높은 결과를 제안할 수 있다. 이러한 능력은 업무 효율성과 생산성을 크게 높여 주었고, AI가 미래 사회의 핵심 기술로 주목받는 이유이기도 하다.
그러나 AI가 모든 문제의 해답이 될 수 있는 것은 아니다. AI는 데이터를 기반으로 판단하지만, 그 데이터가 담고 있지 않은 맥락과 가치, 윤리까지 이해하지는 못한다. 실제로 생성형 AI는 사실과 다른 정보를 그럴듯하게 만들어내는 ‘환각(Hallucination)’ 현상²⁾을 보이기도 하며, 학습 데이터에 내재된 편향을 그대로 재현하는 문제도 안고 있다. 과거 일부 AI 채용 시스템이 특정 성별이나 집단에 불리한 결과를 내놓았던 사례나, 자율주행차가 사고 상황에서 어떤 선택을 해야 하는지를 둘러싼 윤리적 논쟁 역시 이러한 한계를 단적으로 보여준다.
AI는 답을 제시할 수는 있어도 그 결과에 대한 책임까지 질 수는 없다. 누군가에게 혜택이나 불이익을 주는 결정, 사회적 가치와 윤리가 개입되는 판단, 예외적인 상황에 대한 최종 선택은 여전히 인간의 몫이다.
AI 시대에 인간이 필요한 이유 역시 여기에 있다. 기술이 아무리 발전하더라도, 책임과 판단의 마지막 자리는 여전히 사람의 몫이다. 2) https://oortcloud.kr/21

마지막 버튼은
사람이 누른다

그렇다면 AI 시대에 인간은 어떤 역할을 해야 할까. 최근 AI 거버넌스와 공공행정 분야에서 주목받는 개념이 바로 Human in the Loop(HITL)다. 직역하면 ‘반복 과정 속 인간의 개입’정도로 해석되지만, 쉽게 말해 AI가 모든 것을 자동으로 결정하는 것이 아니라 인간이 의사결정 과정에 참여해 검토하고 최종 판단을 내리는 구조를 의미한다.
Human in the Loop의 기본 원리는 단순하다. AI가 데이터를 분석해 결과를 제안하면, 인간이 이를 검토하고 최종 결정을 내리는 것이다. AI가 복지 수급 대상자를 추천하더라도 최종 선정은 공무원이 담당하고, AI가 재난 위험을 예측하더라도 실제 대응 여부와 방식은 현장 책임자가 결정하는 식이다. 즉, AI는 조력자이지만 결정권자는 인간인 셈이다.
이와 유사한 개념으로는 ‘Human on the Loop’³⁾와 ‘Human in Command’⁴⁾가 있다. Human on the Loop는 AI가 대부분의 업무를 수행하되 인간이 이를 감시하고 필요할 때 개입하는 구조를 의미한다. 여기서 한 단계 더 나아간 Human in Command는 인간이 시스템 전체를 통제하고 운영의 최종 권한을 갖는 개념이다. 표현은 다르지만 세 개념 모두 AI의 자율성을 인정하면서도 인간의 감독과 책임을 유지해야 한다는 공통된 원칙을 담고 있다.
이는 단순히 기술을 통제하기 위한 장치가 아니다. AI가 아무리 발전하더라도 사회적 가치와 윤리, 예외적인 상황에 대한 판단까지 완전히 대신할 수는 없기 때문이다. 특히 공공행정과 재난 대응처럼 사람의 삶에 직접적인 영향을 미치는 영역에서는 더욱 그렇다. 중요한 것은 AI를 배제하는 것이 아니라, 인간이 개입해야 할 지점을 남겨 두는 것이다. 결국 Human in the Loop란 기술을 믿지 못해서가 아니라, 기술을 더 책임 있게 활용하기 위한 원칙이라 할 수 있다. 3) https://blog.naver.com/myungjip/224240333870
4) https://blog.naver.com/eroumkr/224232003537

데이터는 계산하지만,
사람은 공감한다

Human in the Loop가 중요한 이유는 단순히 인간이 최종 결정을 내려야 하기 때문만은 아니다. AI가 아무리 발전하더라도 인간만이 할 수 있는 역할이 존재하기 때문이다. 그것은 바로 감수성과 공감, 그리고 맥락을 이해하는 능력이다.
AI는 방대한 데이터를 분석하고 패턴을 찾아낼 수 있다. 그러나 숫자와 통계만으로는 설명되지 않는 현실의 맥락까지 완전히 이해하지는 못한다. 같은 정보라도 누구에게 전달되는지, 어떤 상황에서 활용되는지, 누가 소외될 수 있는지를 살피는 일은 여전히 인간의 몫이다. 특히 공공서비스는 효율성뿐 아니라 형평성과 포용성까지 함께 고려해야 하기 때문에 이러한 감수성이 더욱 중요하다.
대표적인 사례가 재난 대응이다. 재난 문자의 목적은 단순히 정보를 빠르게 전달하는 데 있지 않다. 고령자와 장애인, 외국인 주민을 포함한 다양한 사람들이 그 내용을 이해하고 실제 행동으로 옮길 수 있어야 비로소 의미가 있다. 문자 발송 속도만큼 중요한 것은 표현의 명확성, 접근성, 그리고 수신자의 상황을 고려한 설계인 셈이다. “얼마나 빨리 보냈는가”보다 “누가 이해할 수 있는가”가 중요한 이유다.
이는 장애인 접근성과 고령자 서비스에서도 마찬가지다. AI는 이용 패턴을 분석해 최적의 서비스를 추천할 수 있지만, 이용자가 어떤 불편을 겪고 있는지, 어떤 지원이 필요한지를 온전히 이해하기는 어렵다. 데이터는 평균을 설명할 수 있지만, 사람은 예외를 발견한다. 그리고 공공서비스는 종종 그 예외적인 상황들을 위해 존재한다.
말하자면 인간의 감수성은 단순한 감정이 아니다. 데이터와 통계가 놓칠 수 있는 사람을 발견하고, 기술이 미처 고려하지 못한 목소리에 귀 기울이는 능력이다. AI 시대에 Human in the Loop가 필요한 이유 역시 여기에 있다. 기술의 계산이 세상을 더 효율적으로 만든다면, 인간의 감수성은 그 효율이 누구를 위한 것인지를 끊임없이 묻기 때문이다.

효율보다
중요한 것은 ‘신뢰’

Human in the Loop는 기업의 AI 활용을 넘어 공공행정 분야에서도 중요한 원칙으로 작용한다. 최근 AI는 민원 응대와 복지 서비스, 재난 예측 등 다양한 행정 영역으로 빠르게 확산되고 있다. 반복 업무를 자동화하고 방대한 데이터를 분석해 의사결정을 지원하는 등 효율성을 높이는 효과도 기대된다. 다만 공공서비스는 단순히 빠르고 정확한 결과만으로 평가되지 않는다. 시민들은 결과만큼이나 그 과정이 공정했는지, 왜 그런 결정이 내려졌는지를 중요하게 생각한다.
이러한 이유로, AI 행정에서는 설명 가능성(Explainability)과 책임성(Accountability)이 핵심 가치로 꼽힌다. AI가 어떤 근거로 특정 결과를 도출했는지 설명할 수 있어야 하며, 그 결과에 대한 최종 책임 역시 분명해야 한다는 의미다. 실제로 유럽연합(EU)은 AI Act를 통해 복지와 의료, 고용, 공공서비스 등 시민의 권리에 영향을 미치는 AI를 '고위험 AI'로 분류하고, 인간 감독(Human Oversight)을 의무화하고 있다. 기술의 성능만큼 인간의 개입과 책임을 중요하게 본 것이다.
재난 대응 분야에서 이러한 원칙은 더욱 중요하다. AI는 위험 지역을 분석하고 피해 규모를 예측할 수 있지만, 실제 현장에는 데이터로 설명되지 않는 변수들이 존재한다. 갑작스러운 기상 변화, 취약계층의 이동 여건, 지역 주민의 특수한 생활환경 등은 현장 담당자의 경험과 판단이 더해질 때 비로소 정확하게 파악될 수 있다. 최근 주목받고 있는 암묵지가 바로 이러한 맥락과 연결된다. 데이터가 포착하지 못하는 현장의 감각과 경험은 여전히 인간의 영역에 속한 것이다.
결국 공공행정에서 Human in the Loop는 기술을 통제하기 위한 장치가 아니라 시민의 신뢰를 확보하기 위한 원칙인 셈이다. AI가 더 빠른 결정을 내릴 수는 있지만, 시민들이 원하는 것은 단순히 빠른 결정이 아니다. 왜 그런 판단이 내려졌는지 이해할 수 있고, 필요할 때 책임을 물을 수 있는 결정이어야 한다. AI 시대의 공공서비스가 지향해야 할 목표 역시 효율성 그 자체가 아니라 신뢰받는 효율성에 있을 것이다. 결국 기술의 계산이 세상을 움직인다면, 인간의 감수성은 그 방향을 결정한다고 할 수 있다.