KLID가 만난 사람
AI 행정, 기술을 넘어
‘책임의 구조’를 묻다
AI가 행정의 보조 수단을 넘어 의사결정 과정에까지 관여하기 시작했다. 효율성과 편의성이라는 장점은 분명하지만, 그만큼 새로운 질문도 함께 떠오른다. 이 결정의 책임은 누구에게 있는가, 그리고 그 판단은 과연 우리가 지켜온 행정의 원칙에 부합하는가.
AI 행정이 본격화되는 지금, 기술을 넘어 ‘책임의 구조’를 다시 묻는 목소리가 커지고 있다. 이에 윤종수 변호사1)를 만나, AI 행정이 마주한 책임의 문제와 제도적 한계를 짚어봤다.
1) 윤종수 변호사는 가상자산, 테크놀러지에 대한 이해가 높다고 정평이 나 있다. 그는 1993년부터 판사로 재직하면서 2005년부터 비영리단체 크리에이티브 커먼즈 코리아(CCKorea) 대표로 활동한 바 있다. 크리에이티브커먼즈는 저작권이 더 손쉽게 공유되고 이를 바탕으로 새로운 창작 활동이 이뤄질 수 있도록 노력하는 단체다.
- 정리_편집실
- 사진_ 홍승진
윤종수
크리에이티브 커먼즈 코리아 프로젝트 리드
법무법인(유한) 광장 변호사
Q AI가 행정의 보조 수단을 넘어 의사결정 과정까지 관여하는 단계에 이르렀다. 이러한 변화 속에서 AI와 행정의 관계는 어떻게 재정의되어야 한다고 보는가?
AI의 도입은 단순히 유용한 도구의 업그레이드로 보기 어렵다. 이는 행정의 구조 자체가 변화하는 과정이라고 생각한다.
과거 정보화는 행정의 효율성을 높이는 데 초점이 맞춰져 있었다. 업무 속도를 개선하고 절차를 간소화하는 역할에 머물렀다. 반면 AI는 그보다 한 단계 더 나아가 개인 맞춤형 서비스나 예측 행정처럼, 이전에는 구현하기 어려웠던 새로운 방식의 행정을 가능하게 한다.
특히 주목해야 할 점은 AI가 단순한 보조를 넘어 의사결정 과정에 점차 깊이 관여하고 있다는 부분이다. 반복적인 판단을 자동화하는 수준을 넘어, 경우에 따라서는 AI가 사실상 결정을 내리는 상황까지도 충분히 예상할 수 있다.
이 경우 행정은 새로운 질문과 마주하게 된다. 그 결정에 대한 책임은 누구에게 있는지, 또 그 판단이 법치주의와 민주주의라는 기본 원리에 부합하는지에 대한 문제다. 이는 단순한 기술적 이슈를 넘어 헌법적 차원의 논의로 이어질 수밖에 없다고 본다.
결국 AI는 어디까지나 행정을 지원하는 도구일 것이다. AI가 행정 그 자체를 대체할 수는 없다. 앞으로 중요한 것은 기술의 발전 속도가 아니라, AI에 대한 인간의 통제를 제도적으로 어떻게 보장할 것인가에 대한 논의다.
Q AI가 행정의 의사결정 과정에까지 관여하면서 ‘책임의 구조’가 중요한 쟁점으로 떠오르고 있다. 행정에서 AI를 활용할 때 말하는 ‘책임’은 무엇을 의미하며, 기존의 행정 책임과는 어떤 차이가 있을까?
기존의 행정 책임은 기본적으로 사람을 중심으로 작동해 왔다. 행정기관과 공무원이 행정행위를 수행할 때, 그 과정과 결과에 대해 책임을 지는 구조다. 문제가 발생할 경우에는 행정심판이나 행정소송과 같은 불복 절차를 통해 처분의 근거와 이유, 절차가 법에 부합하는지 판단하고, 그에 따라 책임의 주체가 명확히 가려진다.
AI가 행정에 도입된 이후에도 이러한 기본 구조가 완전히 달라지는 것은 아니다. 여전히 최종적인 책임은 행정기관과 공무원에게 있다. 다만 실제 현장에서는 이전과 다른 양상이 나타나지 않을까 한다.
우선 AI에 대한 의존도가 높아질수록 공무원의 책임 의식이 약화될 수 있다. 판단 과정에서 AI의 권고나 결과를 그대로 따르게 되면, 문제가 발생했을 때 책임이 공무원과 시스템 사이에서 서로 전가되는 상황이 생길 수 있다. 이른바 책임의 분산이나 공백이 발생할 우려다.
또 하나 중요한 문제는 AI의 불투명성이다. 흔히 ‘블랙박스’라고 불리는 특성 때문에, 어떤 과정을 거쳐 특정한 결과가 도출됐는지 명확히 설명하기 어려운 경우가 많다. 이 경우 책임의 소재를 판단하는 것 자체가 훨씬 복잡해질 수밖에 없다.
이러한 변화 속에서 기존의 인적 책임 중심 구조를 보완하는 방향으로, 보다 ‘시스템적인 책임 구조’가 필요하다고 생각한다. 단순히 결과에 대한 책임을 묻는 데 그치는 것이 아니라, AI를 도입하기 전 단계에서의 적정성 검토, 운영 과정에서의 데이터 편향성 관리, 그리고 결과에 대한 설명 가능성과 투명성 확보에 이르기까지, 전 과정에 걸쳐 책임을 나누어 설계해야 한다는 의미다.
결국 AI 시대의 행정 책임은 “누가 책임지는가”라는 질문을 넘어, “어떤 과정에서 어떻게 책임을 나눌 것인가”로 확장될 필요가 있다.
Q 현재 우리나라의 법·제도는 행정에서 AI를 활용하기에 충분한 기준과 근거를 갖추고 있다고 보는가? 한계가 있다면 어떤 부분을 보완해야 할까?
현재 행정에서의 AI 활용과 관련해 일부 법률에 규정이 마련돼 있기는 하지만, 전반적으로 체계적이지 못하고 내용도 충분하지 않은 수준이라고 본다.
우선 AI 거버넌스의 기본 틀을 제시하는 인공지능기본법의 경우, 공공서비스 제공 과정에서 국민에게 영향을 미치는 의사결정을 ‘고영향 인공지능’으로 규정하고, 이에 대한 안전성과 신뢰성 확보를 요구하고 있다. 다만 어떤 범위의 행정이 이에 해당하는지 기준이 명확하지 않다는 한계가 존재한다.
행정기본법도 자동화된 처분의 근거를 두고 있지만, 실제로 이를 어떻게 운영할 것인지에 대한 절차적 기준이나 불복 절차에 대한 규정은 부족하다. 개인정보 보호법 역시 완전히 자동화된 결정에 대해 국민의 거부권과 설명 요구권을 인정하고 있지만, 이것이 행정처분 전반에 어떻게 적용되는지는 여전히 불명확한 상황이다.
최근 개정된 「인공지능 및 데이터 기반 행정 활성화에 관한 법률」도 데이터 관리나 표준화와 같은 기반을 다루고는 있지만, 책임 구조를 구체적으로 설계하는 데까지는 나아가지 못한 것으로 보인다.
결국 현재의 제도는 일부 요소들을 개별적으로 다루고 있을 뿐, AI 행정 전반을 포괄하는 통합적인 기준을 제시하지는 못하고 있다. 앞으로는 국민의 권리 보호를 위한 설명 요구권과 같은 장치를 보다 명확히 하고, 알고리즘에 대한 검증 절차, 조달 단계에서의 품질 기준 등 행정의 전 과정에 걸쳐 적용될 수 있는 절차적 규범을 체계적으로 마련할 필요가 있다.
Q AI가 행정 의사결정에 관여할 경우, 판단의 책임은 누구에게 있는가? 공공기관, 개발자, 시스템 등 다양한 주체 사이에서 책임은 어떻게 설계되고 분배되어야 한다고 생각하는가?
앞서 말한 것처럼 AI 시대의 행정 책임은 단순히 결과에 대한 책임에만 국한되지 않는다. AI 도입 이전 단계에서의 적정성 판단, 운영 과정에서의 데이터 편향성 관리, 그리고 결과에 대한 설명 가능성과 같은 투명성 확보까지, 전 과정에 걸쳐 책임을 나누어 설계할 필요가 있다. 이 과정에서 각 주체의 역할도 구분되어야 한다.
우선 AI 개발사는 시스템 결함이나 데이터 편향으로 인해 오류가 발생한 경우, 하자담보나 계약 책임과 같은 민사적 책임을 부담하게 된다. 반면 공공기관과 담당 공무원은 해당 시스템을 도입하는 과정에서의 적합성 검토와 설계에 대한 책임을 지게 된다. 다만 아무리 AI 기술이 고도화되더라도, 행정 행위에 대한 최종적인 법적 책임은 처분을 내린 행정기관과 공무원에게 귀속될 수밖에 없을 것 같다. 행정 책임의 기본 원칙이 유지되어야 한다는 점과도 연결된다.
결국 중요한 것은 책임의 주체를 흐리는 것이 아니라, 각 단계에서의 역할과 책임을 명확히 나누는 일이다. 동시에 공무원이 책임을 회피하는 수단으로 AI를 사용하는 것을 막고, AI는 어디까지나 보조 도구로 활용하되 실질적인 판단과 결정은 공무원이 하도록 해야 한다.
Q AI가 도출한 결과가 정책으로 이어지기 위해서는 사회적 신뢰와 합의가 중요하다. 이를 위해 어느 수준의 투명성과 설명 가능성이 확보되어야 하는가?
AI의 투명성은 무조건 높을수록 좋은 것이 아니라, 상황에 맞는 적절한 수준으로 확보되는 것이 중요하다. 극단적인 수준의 투명성을 요구할 경우 시스템의 취약점이 노출되거나, 기업의 영업 비밀이 침해되는 등의 문제가 발생할 수 있기 때문이다. 따라서 일률적인 기준을 적용하기보다는, 대상과 목적에 따라 차등적인 투명성을 설계할 필요가 있다.
우선 행정 처분의 상대방인 국민에게는, 어떤 데이터가 중요한 판단 근거로 사용됐는지, 그리고 어떤 기준에 따라 결론이 도출됐는지를 이해할 수 있는 수준이면 된다. 이때 중요한 것은 기술적인 설명이 아니라, 일반 시민이 납득할 수 있는 언어로 전달되는 것이다.
반면 감독기관에는 보다 높은 수준의 정보 공개가 필요하다. 알고리즘의 작동 원리나 판단 기준, 학습 데이터에 편향이 없는지에 대한 검증 결과까지 확인할 수 있어야 한다. 나아가 독립적인 감사기관이 관여하는 경우에는, 필요에 따라 소스코드나 데이터셋과 같은 보다 민감한 정보까지도 검증의 범위에 포함될 수 있을 것 같다.
결국 AI 행정에서의 투명성은 “얼마나 많이 공개할 것인가”의 문제가 아니라, “누구에게 무엇을 어떻게 공개할 것인가”에 대한 기준과 절차를 정교하게 마련하는 문제일 것이다.
Q 해외에서는 공공부문 AI 활용과 관련해 책임과 기준을 어떻게 설정하고 있는가? 참고할 만한 사례가 있다면 소개해 달라.
각국은 행정에서의 AI 활용뿐 아니라 전반적인 AI 거버넌스 차원에서 법률과 가이드라인을 마련하며 진흥과 규제를 함께 추진하고 있다. 국가마다 접근 방식에는 차이가 있지만, 공통적으로는 AI가 가져올 수 있는 위험을 관리하면서도 활용 가능성을 열어두는 방향으로 제도를 설계하는 분위기다.
그중에서도 EU는 비교적 엄격한 규제 체계를 갖춘 사례로 평가된다. 네덜란드의 아동수당 사건이나 영국의 호라이즌(Horizon) 사건2)과 같이 알고리즘의 오류나 오작동으로 인해 시민에게 큰 피해가 발생한 경험이 있기 때문이다. 이러한 사례를 계기로, 공공행정에서 AI가 활용될 때 발생할 수 있는 기본권 침해와 오남용을 예방하는 데 초점을 맞추고 있다.
EU의 「인공지능법(AI Act)」은 이러한 접근을 대표적으로 보여준다. 이 법은 공공행정과 관련된 상당수 AI 시스템을 ‘고위험(High-Risk) AI’로 분류하고, 이에 대해 강도 높은 의무를 부과하고 있다. 예를 들어 사회보장 급여와 같은 공공서비스 접근, 범죄 또는 재범 위험성 평가와 같은 법 집행 분야, 비자 심사 등 이주·망명·국경관리, 그리고 판결 보조와 같은 사법 행정 영역이 이에 포함된다.
이러한 고위험 AI에 대해서는 사전에 기본권 영향 평가를 실시하도록 하고, 인간의 감독을 의무화하며, 처분의 상대방에게는 설명을 요구할 수 있는 권리를 보장하고 있다. 단순히 기술의 정확성을 높이는 데 그치지 않고, 그 활용 과정이 시민의 권리와 충돌하지 않도록 제도적으로 통제하는 장치를 마련한 것이다. 결국 EU의 사례는 공공부문에서 AI를 활용할 때 기술의 효율성만이 아니라, 기본권 보호와 책임성 확보를 함께 고려해야 한다는 점을 보여준다. 우리나라의 제도 설계에도 중요한 참고가 된다.
2) 우체국 전산 시스템 오류로 인해 다수의 우체국장이 회계 부정 혐의를 뒤집어쓴 사건이다. 실제로는 시스템의 결함으로 발생한 문제였음에도 불구하고 장기간 개인의 책임으로 전가되었고, 이후 재심을 통해 무죄가 밝혀지며 공공 시스템에 대한 신뢰와 책임 구조의 문제를 드러낸 대표적 사례로 평가된다.
Q 행정 현장에서 AI를 안정적으로 활용하기 위해 공공이 우선적으로 준비해야 할 요소는 무엇인가?
무엇보다 시급한 것은 데이터와 거버넌스의 문제다. 양질의 데이터를 확보하고 편향성을 최소화하기 위한 데이터 거버넌스를 구축하는 한편, AI 도입과 운영 과정에서의 권한과 책임을 명확히 하는 내부 거버넌스 체계를 마련할 필요가 있다.
특히 전 부처에 걸쳐 AI 활용 기준의 일관성을 확보하는 것이 중요하다. 동일한 기술을 사용하더라도 부처마다 기준이 다르게 적용된다면 행정 전반의 신뢰성과 안정성이 흔들릴 수 있기 때문이다.
AI를 실제로 사용하는 공무원의 역량도 중요한 요소다. AI를 무비판적으로 수용하기보다는 그 결과를 이해하고 검증할 수 있는 역량, 즉 AI 리터러시를 갖출 필요가 있다. 이를 통해 공무원이 스스로 판단의 주체로 기능할 수 있도록 해야 한다고 본다.
아울러 사후적인 관리 체계도 반드시 필요하다. AI 시스템 도입 이후에도 결과에 대한 지속적인 모니터링과 검증이 이루어져야 하며, 오류가 발생할 경우에는 즉시 AI 사용을 중단하고 인간에 의한 판단으로 전환할 수 있는 보완 체계를 사전에 마련해야 한다. 결국 AI의 안정적인 활용은 기술 자체보다, 이를 둘러싼 데이터, 조직, 그리고 운영 체계를 얼마나 정교하게 갖추느냐에 있다.
Q 앞으로 AI 행정이 본격화되는 과정에서 가장 중요하게 다뤄야 할 과제는 무엇인가?
자동화 편향에 대한 제도적 통제가 핵심이라고 본다. 신뢰할 수 있는 AI 시스템을 구축하고, 사회적 불평등을 방지하기 위한 장치를 마련하는 것도 중요하지만, 실제 현장에서 소홀히하면 안되는 것은 인간의 판단이 AI에 종속될 가능성에 대한 고민이다.
이른바, 인간이 자동화된 시스템의 판단이나 권고를 비판 없이 수용하는 경향을 의미하는 ‘자동화 편향(Automation Bias)’이다. 원칙적으로는 인간이 최종적인 의사결정과 책임을 지는 구조를 전제로 하고 있지만, 현실에서는 이 원칙이 제대로 작동하지 않을 가능성도 적지 않다. 판단 권한이 사실상 알고리즘으로 이전되는 ‘알고리즘의 권위’ 문제 역시 같은 맥락에서 이해할 수 있다.
이러한 현상은 단순히 개인의 윤리 의식이나 태도의 문제가 아니라, 구조적인 요인에서 비롯된다고 볼 수 있다. AI의 판단 과정이 충분히 드러나지 않는 정보 비대칭성과 불투명성, 업무 과정에서의 인지부하와 피로, 그리고 AI와 다른 결론을 내리기 어려운 조직 내 의사결정 구조 등이 복합적으로 작용하기 때문이다.
따라서 자동화 편향을 통제하기 위해서는 제도적 장치가 필요하다. 예를 들어 AI의 결과를 보기 전에 공무원이 먼저 자신의 판단을 형성하도록 하는 메커니즘을 도입하거나, 최종 결론이 아니라 판단에 참고할 수 있는 자료 형태로 AI의 출력을 제공하는 방식도 고려해 볼 수 있다. 또한 의사결정 과정과 근거를 기록하도록 의무화해 책임 구조를 명확히 하고, 공무원의 업무 과부하를 줄이는 동시에 전문성을 유지할 수 있도록 하는 지원 체계도 함께 마련되어야 한다.
결국 AI 행정의 과제는 기술을 얼마나 빠르게 도입하느냐가 아니라, 인간의 판단과 책임이 실제로 작동할 수 있는 환경을 어떻게 제도적으로 보장할 것인가에 달려 있다고 생각한다.
Q AI를 도입·활용하려는 공공기관과 정책 담당자에게 전하고 싶은 조언이나 메시지가 있다면?
AI가 행정의 효율성을 크게 높이고, 이전에는 구현하기 어려웠던 새로운 서비스를 가능하게 하는 등 중요한 혁신을 가져올 것은 분명하다. 다만 행정의 본질은 기술이 아니라 책임에 있음을 기억해야 한다. 행정기관과 공무원이 법률과 윤리에 따라 판단하고, 그 결과에 대해 국민의 비판을 감수하는 것, 즉 행정의 핵심은 책임을 다하는 데 있다.
따라서 AI가 행정에 성공적으로 도입되기 위해서는 이를 어디까지나 도구로 활용하겠다는 원칙이 일관되게 유지되어야 한다. 동시에 기술을 통제할 수 있는 제도적 장치가 충분히 마련되고, 실제로 작동해야 한다.
AI 행정은 결코 책임을 회피하는 수단이 되어서는 안 되며, 국민의 권리 구제 절차를 약화시키는 방향으로 이어져서도 안된다. 결과적으로 AI 행정의 성패는 기술의 수준이 아니라, 책임과 통제를 중심으로 한 제도적 기반을 얼마나 확고히 마련하느냐에 달려 있다.
