AI 미래를 위한 ‘AI 거버넌스’,
안전하고 윤리적인 길을 찾다
지난 5월, 한국과 영국이 공동 개최한 ‘AI 서울 정상회의’는 AI 기술의 발전에 따른 글로벌 거버넌스 구축을 논의하는 자리였다. 이는 단순한 기술 논의가 아닌, AI가 인류 공동의 미래에 어떤 영향을 미칠지 고민하는 ‘글로벌 거버넌스’의 첫걸음으로, 그 무게 중심은 전 세계가 직면한 기술적, 윤리적 도전과제에 대한 공감대 형성에 있다.
AI 시대, 신뢰와 책임 위한 AI 거버넌스
바야흐로 ‘AI가 어디에나 존재하는’ 시대다. AI는 우리의 일상과 업무, 비즈니스 의사결정에 깊숙이 스며들며 그 영향력을 확대하고 있다. 그러나 이에 따라 윤리적 문제와 보안 위험 같은 새로운 과제를 마주해야 함 또한 피할 수 없는 현실이다. 이러한 상황에서 신뢰할 수 있고 책임 있는 AI의 중요성은 그 어느 때보다 두드러진다.
최근 이러한 도전과제를 해결하기 위해 데이터 분석과 거버넌스의 중요성이 부각되면서, 비즈니스 상황에 최적화된 데이터 및 분석(D&A) 거버넌스의 수립이 필수 조건으로 자리잡고 있다. 가트너(Gartner) 역시 2025년 ‘10대 전략 기술 트렌드’ 보고서에서 “2027년까지 AI 거버넌스는 전 세계 모든 주권적 AI 법률 및 규정의 핵심 요구 사항이 될 것”이라고 예측했다.
가트너는 종합적 ‘AI 거버넌스 플랫폼’을 구축하는 기업의 경우 2028년까지 AI 기술과 관련된 ‘윤리적 사고’를 현재 기준 약 40% 이상 줄일 수 있을 것으로 전망하면서, 이러한 플랫폼은 AI 시스템의 법적·윤리적·운영적 성과를 종합적으로 관리하도록 설계돼 있다고 설명했다. 또한 AI 거버넌스 플랫폼을 활용하는 기업은 AI 관련 위험을 관리하기 위한 보다 견고한 프레임워크를 갖추게 될 것이며, 이는 AI 기술이 법적 및 윤리적 경계를 준수하도록 보장, 책임 있는 AI 사용을 촉구할 것이라고 내다봤다.
AI 거버넌스의 역할
AI 거버넌스는 기업 내에서 AI를 적용하는 것에 대한 책임, 의사 결정 권한, 리스크, 정책 및 투자 결정을 할당하고 확인하는 프로세스를 의미한다. 결국 AI 거버넌스의 핵심적인 역할은 AI 툴과 시스템이 안전하고 윤리적으로 운영될 수 있도록 보장하는 것이며, 이를 위해 AI의 연구·개발·활용에 대한 명확한 프레임워크·규칙·표준 설정을 통해 안전성과 공정성 및 인권 존중을 실현하는 것이다.
AI 거버넌스는 혁신을 촉진하고 신뢰를 쌓는 동시에, 편향성 및 개인정보 침해·오용과 같은 위험을 관리하는 감독 메커니즘을 포괄한다. 이러한 거버넌스는 윤리적인 AI 개발을 위해 마련한 기준을 토대로 AI 개발자·사용자, 정책 입안자, 윤리학자 등 다양한 이해관계자들의 협력을 강조한다. 이로써 AI 관련 시스템이 사회적 가치와 부합하도록 개발되고 사용될 수 있도록 보장하는 것이다.
또한, AI 거버넌스는 인간의 개입으로 인한 내재적 결함을 해결하려는 구조적 접근을 제공하기도 한다. 고도로 엔지니어링된 코드와 머신 러닝의 결과물인 AI는 인간의 편견과 오류에 취약할 수 있다. 이때 알고리즘을 지속적으로 모니터링, 평가 및 업데이트하는 프로세스를 통해 위험을 최소화하고, 결함이 있거나 유해한 결정을 방지하는 것이 바로 거버넌스의 역할이다.
AI 솔루션은 책임감 있고 윤리적으로 개발됨은 물론, AI가 초래할 수 있는 편향·차별·개인정보 침해와 같은 위험을 해결하는 것을 의미한다. 때문에 AI 거버넌스는 효과적인 AI 정책과 규제, 데이터 관리, 그리고 잘 학습되고 지속적으로 유지되는 데이터 세트 마련함으로써 해당 위험을 완화할 필요가 있다. AI 거버넌스 의 목표는 결국 AI의 행동이 윤리적 기준과 사회적 기대에 부합하도록 하고, 잠재적인 부정적 영향으로부터 사회를 보호할 수 있는 필요한 감독을 구축하는 것이라 할 수 있다.
AI 거버넌스의 필요성
AI 기술의 개발과 적용에서는 규정 준수뿐 아니라 신뢰성과 효율성을 확보하는 것이 필수적이며, 이로 인해 AI 거버넌스의 중요성이 더욱 강조되고 있다. 하지만 AI가 조직과 정부의 운영에 점점 더 많이 통합됨에 따라 그로 인한 부정적인 영향이 현실화될 가능성이 존재하는 것 또한 사실이다. 가령, 마이크로소프트(Microsoft)의 챗봇 테이(Tay)가 인종차별 등 심각하게 부적절한 발언을 쏟아 내다가 24시간 만에 퇴출당한 사건이나, 컴퍼스(COMPAS) 소프트웨어가 양형 결정을 내리는 데 있어 편향된 결과를 제시한 사례는 AI에 대한 적절한 감독 부족이 불러올 수 있는 문제를 보여준다.
이러한 사례들은 AI가 적절한 관리 없이 사회적·윤리적 해를 끼칠 수 있음을 경고하며, AI 거버넌스의 필요성을 다시금 상기시킨다. 이에 따라 AI 거버넌스는 기술 혁신과 안전성을 조화시키는 가이드라인과 프레임워크를 제공해야 하며, AI 시스템이 인간의 존엄성과 권리를 침해하지 않도록 설계되어야 한다. 이를 위해 투명한 의사결정 과정과 설명 가능성, 즉 AI가 내린 결정의 이유와 근거를 명확히 이해할 수 있는 능력이 필수적이다. 이는 AI의 신뢰성을 높이고, 사용자와 사회가 AI의 결정을 수용할 수 있도록 돕는다.
또한 AI는 광고 표시나 대출 승인 같은 중요한 의사결정을 수행하기 때문에 시간이 지나도 출력 품질과 안정성이 저하되지 않도록 지속적으로 관리할 필요도 있다. 이러한 배경이 바로, 최근 AI 거버넌스가 ▲AI의 사회적 책임을 다하고(책임성) ▲재정적·법적·평판적 위험으로부터 사람들을 보호하며(신뢰성) ▲AI 기술의 활용과 적용 방식을 더욱 다양화하는 방향으로 발전해 가는 (다양성) 이유다.
AI 거버넌스의 실천 사례
AI 거버넌스는 조직과 정부가 AI 기술을 책임감 있게 활용할 수 있도록 다양한 정책, 프레임워크, 관행을 통해 중요한 역할을 수행한다. 이를 보여주는 몇 가지 대표적인 사례로는 일반 데이터 보호 규정(GDPR), 경제협력개발기구(OECD) AI 원칙, 그리고 기업 AI 윤리 위원회가 있다.
먼저, GDPR은 AI 시스템에서 개인 데이터를 처리하는 방식을 규정하여 데이터 보호와 개인정보 보호를 보장하는 중요한 기준을 제시한다. 물론 GDPR이 AI에만 초점을 맞춘 것은 아니지만 많은 조항이 AI 시스템, 특히 유럽 연합 내 개인의 개인 데이터를 처리하는 시스템과 깊이 관련되어 있다.
OECD의 AI 원칙은 40여 개국이 채택한 신뢰할 수 있는 AI 구현 가이드라인이다. 이는 AI 시스템의 투명성, 공정성, 책임성을 강조함으로써 정부와 기업이 AI의 사회적 책임을 다하면서도 공정하고 투명한 시스템을 구축해 가도록 유도한다. 마지막으로, 많은 기업이 윤리 이사회 또는 위원회 설립을 통해 AI 이니셔티브를 감독하고 AI가 윤리 기준과 사회적 가치에 부합하는지 확인하고 있다. 새로운 AI 제품과 서비스가 자사의 AI 원칙을 준수하는지 검토하기 위해 기업은 운영하는 AI 윤리 위원회는 법률, 기술, 정책 분야의 전문가들과의 협력을 통해 AI 시스템의 윤리적 개발과 사용을 감독한다.
AI 거버넌스가 다양한 분야에서 효과적으로 적용되고 있음을 보여주는 이러한 사례들로 AI 기술이 사회적 책임을 다할 수 있도록 하는 데 필수적인 역할을 하고 있음을 알 수 있다.
그러나 AI의 윤리적 사용에 대한 지속적인 감시와 개선이 필요하다는 점에서 AI 거버넌스의 존립을 위해서는 지속적인 발전과 조정이 요구된다. 결국 AI 기술의 잠재적 위험을 최소화하고, 사회적 기대에 부합하는 방향으로 기술을 활용하기 위한 지속적인 노력과 협력이 중요하다.
한편, UN사무총장 인공지능고위급자문기구(HLAB-AI)는 지난 9월 19일(현지 시간) 「Governing AI for humanity(인류를 위한 AI 관리)」 보고서를 발표, 글로벌 AI 거버넌스를 위한 7개 과제를 제시했다. 그 내용은 ▲ AI에 대한 신뢰할 수 있는 과학적 지식을 제공하는 국제 과학 패널 설립 ▲ UN에서 정부 간 및 다자 이해관계자 회의를 통해 AI 거버넌스에 대한 새로운 정책 대화 시작 ▲ 표준화 기구, 기술 기업, 시민사회 대표들이 참여하는 AI 표준 교환 ▲ AI 거버넌스 역량을 강화하기 위한 글로벌 AI 역량 개발 네트워크 설립 ▲ 글로벌 AI 기금을 통한 역량 및 협력 격차 해소 ▲ 데이터 관련 정의, 원칙, 관리 방식을 표준화해 AI 시스템의 투명성과 책임성을 보장하는 글로벌 AI 데이터 프레임워크 ▲ UN 사무국 내 AI 사무국 설립 등이다.
AI의 윤리적 사용에 대한 지속적인 감시와 개선이 필요하다는 점에서
AI 거버넌스의 존립을 위해서는 지속적인 발전과 조정이 요구된다.
결국 AI 기술의 잠재적 위험을 최소화하고,
사회적 기대에 부합하는 방향으로 기술을 활용하기 위한
지속적인 노력과 협력이 중요하다.
