I.
개요

생성형 AI가 제공하는 유용한 기능은 궁극적으로 인간의 독립적인 사고와 의사결정 능력이 아닌 알고리즘에 따라 결정을 내리는 과정으로 이루어진다. 알고리즘은 정보 지식의 활발한 교류와 인터넷 환경의 변화와 확대가 자유로운 환경에서 산출물에 대한 기대효과를 가져오지만, 공공분야의 경우 급변하는 환경을 통제하기는 쉽지 않다. 특히, 정보관리 절차는 개인의 영역과 밀접한 관계가 있는 것으로 간주하면서, 정보 생성과 관련한 디지털 기술의 발전과 도덕성에 관한 이슈 발생은 디지털 사회에서 중요한 화두로 부상하고 있다.
이 글은 지역의 발전을 위해 생성형 AI를 활용할 때 발생할 수 있는 여러 윤리적 이슈들과 그 이슈들이 어떻게 다루어져야 하는지에 대한 제언을 담고 있다. 구체적으로는 생성형 AI의 정보보호 측면, 서비스 제공의 측면, 가치 창출 측면에서의 이슈를 고찰해 보고 윤리적 이슈에 대한 대응책을 제안해 본다.

II.
생성형 AI 활용의
윤리적 이슈

1. 개인정보 보호, 저작권, 정보유출 측면의 이슈

캘리포니아의 소비자보호법(CCPA), EU의 일반 개인정보 보호법(GDPR), 호주의 프라이버시 법(Privacy Act) 등 전 세계적으로 개인정보 보호의 중요성을 인지하고, 강화하는 데 도움이 될 수 있는 규정이 제정되었다. 그러나 알고리즘 기반의 개인행동 추적 기술에 의한 개인정보보호, 저작권, 중요정보 유출 등의 윤리적 문제는 법적 장치만으로는 부작용을 해결할 수 없는 실정이다.
인터넷상에 공개된 개인정보가 당사자의 동의 없이 ChatGPT의 학습 내용에 포함된다는 점은 개인정보보호 규정 위반 논란을 불러일으켰다. 이에 이탈리아는 법적 근거 없이 개인정보를 수집 및 처리한 사실을 확인하고, 국가 차원에서 ChatGPT 사용을 차단하고 조사에 착수했다.
또한 인터넷 기사, 웹사이트 게시글이 작성자의 허가 없이 수집·이용되면서 저작권 문제가 제기되기도 했다. 이에 따라 미국에서는 유·무료 기사에 대한 인공지능이 학습이 저작권을 침해한다는 소송이 제기됐으며, 우리나라는 인공지능의 저작물 학습을 위한 법적 근거 마련을 추진 중이다.

<오픈AI, 국내 첫 개인정보 보호 위반 제재>²⁾ 작년 7월, 개인정보보호위원회는 ChatGPT를 만든 오픈AI에 과태료 360만 원을 부과했다. 같은 해 3월, ChatGPT 플러스에 접속한 전 세계 이용자 중 일부 이름이나 e메일, 신용카드 번호 등 한국인 600여 명의 개인정보가 다른 이용자에게 노출되었다는 것이다. 우리나라뿐만 아니라 전 세계 이용자 일부의 성명, 이메일, 결제지, 신용카드 번호 4자리와 만료일이 다른 이용자에게 노출되었으며, 유출 원인은 서비스 속도 증가 중에 발생한 오류로 밝혀졌다. 문제는 개인정보 유출 사고가 발생했음에도 우리나라 정부에 알리지 않았다는 것이 이슈였다. 이에 재발 방지 대책 수립 및 국내 보호법 준수, 개인정보 위의 사전 실태점검에 협력해 줄 것을 권고했다.

2) 오픈AI, 국내 첫 개인정보보호 위반 제재. (2023.11.27.) ZDNET Korea. (https://zdnet.co.kr/view/?no=20230727111411)

데이터 관리와 관련, 정보 유출에 대한 이슈도 존재한다. 이용자들은 웹사이트에서 제공되는 서비스 이용 또는 교류를 위해 디지털 환경 영역에서 약관(terms and conditions)을 통해 개인정보 이용에 대해 법적 정보를 제공하고, 이해관계 보호를 목적으로 동의하여 이용 계약을 체결한다. 그러나 정보 이용 조건들은 복잡하고 난해하게 제시되고 있어, 이용자 대부분이 프라이버시 정책을 온전히 이해하지 못하더라도 서비스 접속을 위해 정보 이용조건을 받아들인다. 이는 데이터 관리를 약화하는 결과를 초래하며, 디지털 영역에서 자주권, 통제권이 보장되지 못하고 있음을 설명한다.
ChatGPT의 경우에도 입력하는 정보는 저장되어 제공되는 서비스의 성능 개선을 위해 학습자료로 활용할 수 있다. 이용약관에 따르면 개인 계정 설정에서 사용자가 입력한 정보는 30일간 저장되며, 성능개선을 위한 학습 자료로 활용하지 않도록 하기 위해서는 선택기능을 추가해야 한다. 이러한 이슈에 대응하여, 국내 일부 대기업은 ChatGPT에 기업의 중요한 정보를 입력한 사실의 여부를 확인, 주의 안내하여 일부 이용을 제한하고 있다.

<ChatGPT 이용약관>³⁾ ChatGPT
When you use our non-API consumer services ChatGPT or DALL-E, we may use the data you provide us to improve our models You can switch off training in ChatGPT settings (under Data Controls) to turn off training for any conversations created while training is disabled or you can submit this form Once you opt out, new conversations will not be used to train our models.

3) Open AI ChatGPT. (2023.12.12.) (https://openai.com/policies/terms-of-use)

2. 서비스 제공 측면의 이슈

(1) 신뢰성
생성형 AI는 학습한 단어의 패턴 및 관계성을 분석하여 답변을 생성하는 언어 모델이기 때문에 환각(Hallucination) 등의 문제가 대표적으로 꼽히기도 한다. 진실과 거짓을 판단하는 과정은 없으므로 답변을 생성할 때, 그럴듯한 잘못된 답변을 제공하여 신뢰성과 관련한 문제를 일으킨다.
실제 ChatGPT에 경제 개념에 대해 질문하였을 때, 아래 그림과 같이 3번 연속 잘못된 답변을 제시하였다. 사용자가 잘못된 정보를 인지하지 못하였거나, 지적하지 못하였다면 생성형 AI의 그럴싸한 답변으로 인해 잘못된 정보를 채택할 가능성이 크다는 우려가 발생한다.

<실제 GPT 질문 내용> 제가 이전에 제공한 답변 중에서 혼동을 드린 것 같습니다. 죄송합니다. 여기서 개념을 명확하게 설명하겠습니다.
‌죄송합니다. 이전 답변이 부정확했습니다. 독점 시장에세 가격 결정은 MR=MC가 아닌, 일반적으로 MR이 MC보다 크면서 이윤을 최대화하는 생산량에서의 가격에서 이루어집니다. MR=MC는 최적 생산량을 결정하는데 사용되며, 그 후 가격은 수요 곡선을 통해 결정됩니다.
보다 정확한 설명을 제공하기 위해 다시 설명하겠습니다.
‌죄송합니다, 혼동을 드리는 부문이 있었던 것 같습니다. 한계 수입(Marginal Revenue, MR)은 기업이 한 단위를 판매하여 얻는 추가 수익을 나타내는 것이 맞습니다. 그러나 한계 수입은 가격과는 일반적으로 다릅니다.

따라서 사용자가 생성형 AI 알고리즘에 기반한 콘텐츠를 이용하면서, 올바른 정보를 판단하는 기준이 무엇인지, 자신의 선택에 따라 어떠한 영향이 발생하는지 등에 대한 주체적 능력이 약화 될 수 있다. 예를 들어 지방행정에서 공무원이 생성형 AI가 제공하는 콘텐츠에 의존하여 신뢰성이 낮은 정보를 활용할 경우, 사회적 위험을 초래할 수 있다. 이는 공무원이 주민에게 제공하는 답변의 신뢰성뿐만 아니라 생성형 AI의 활용에 대한 주민의 불신 문제로 이어질 수 있다. 의심으로 점철된 정책이 순조롭게 추진되기는 어려우며, 정책의 질과 상관없이 성공하기 어려울 것이다.

편향의 문제도
지방정부가 생성형
AI를 활용하는 데
고려해야 할 중요한
윤리적 이슈이다.

(2) 편향성
편향의 문제도 지방정부가 생성형 AI를 활용하는데 고려해야 할 중요한 윤리적 이슈이다. 생성형 AI는 사용하는 학습 데이터에 의해 영향을 받으며 알고리즘이 특정 지역, 성별, 연령대에 대한 편향을 가질 수 있으므로 사회의 불평등을 증가시키는 원인이 될 가능성이 농후하다. 불공평한 결정에 근거한 정책이 수립되고 집행될 가능성은 언제나 존재한다. 따라서 지방정부의 정책결정자는 AI의 분석 결과를 직접 활용하기 전에 그 결과가 편향에 의한 것은 아닌지 면밀하게 살펴보는 태도를 견지해야 하며, 생성형 AI를 학습시키는 과정에서도 활용 데이터의 편향성에 대해 사전적으로 검토할 필요가 있다.
그중에서도 특정 이슈에 대한 생성형 AI의 분석 결과와 주민 다수의 결정이 상충할 상황에 대한 사전 대비가 필수적이다. 객관적 데이터에 근거한 결론이 사람의 주관적인 선택과 다를 수 있기 때문이다. 예를 들어, 고속도로 노선 결정에 관한 사안에서 생성형 AI를 활용하여 도출한 최적의 노선과 주민투표에 의해 결정된 최적의 노선의 의견이 일치하지 않는 경우가 충분히 발생할 수 있는 것이다. 이에 의견 갈등의 발생에 대비한 사전에 프로토콜의 준비가 필요해 보인다. 프로토콜의 내용은 주민투표의 결과를 우선한다는 내용이 될 수도 있고, AI의 결론과 주민투표의 결과가 일치할 때까지 조정의 과정을 거친다는 내용이 될 수도 있을 것이다.

(3) 책임성 및 귀책성
지방행정 차원에서 생성형 AI를 활용한 서비스가 원인이 되어 사고가 발생할 경우, ‘누가’ 책임을 져야 하는가의 책임 체계와 귀책사유의 판단에 대한 논쟁이 발생할 수 있다. 예를 들어 응급환자를 이송할 병원에 대한 정보를 생성형 AI에 근거하여 활용하였지만, 병원이 닫혀 있어서 치료의 골든타임을 놓치게 되어 응급환자가 사망한 경우를 생각해 볼 수 있다. 이때 유가족이 잘못된 정보 제공에 대한 책임을 물을 당사자는 누가 되어야 하는가와 같은 문제가 발생한다. 이런 경우를 대비하여 사전에 다양한 사례를 상정하고, 각 상황에 적용할 수 있는 법적 규정을 사회적으로 확보할 필요가 있다.

3. 가치 창출 측면에서의 이슈

생성형 AI 기술은 윤리적 관점에서 적정 여부를 판단하는데 사용자의 편의, 사회복지, 시장의 생산성을 높여 사회경제의 혜택을 촉진하기 위해 발전되는 경우가 많다. 이처럼 기술은 합법적이고, 이로우며, 안전하게 이용될 수 있지만, 최종적으로 대중의 좋은 삶과 환경에 긍정적으로만 기여하고 있지는 않다. 새로운 가치 창출을 위해 새로운 기술의 채택 범위와 의사결정에서의 인간-기술의 적정수준 등의 면밀한 논의가 필요하며, 다양한 법적, 규제적 체계뿐만 아니라 문화적 기준을 고려해야 하며, 모든 과정에서 인간의 판단과 통제로 최종의사결정이 이루어져야 하는 것이 핵심이다. 최근 UN에서 엔지니어와 기술 전문가들이 인권과 관련하여, 다양한 AI 기술의 개발, 운영, 테스트, 검증 방법을 반영할 수 있는 AI 윤리 위험 평가 요소를 마련하고 있다. 따라서 지역사회에서도 최선의 노력으로 관련 표준, 기관 등의 거버넌스 체계가 수립되어야 할 것이다.

III.
생성형 AI 활용의
윤리적 이슈와
지자체의 대응

1. 거버넌스 접근의 연구와 교육
생성형 AI에 윤리적 이슈의 대응책을 마련하기 위해서는 사회과학, 공학, 인문학 등 다양한 학문을 아우르는 다학제적 접근 방식이 필요하다. 기계를 설계하고 학습하는 기술적 업무에서는 복잡한 윤리적 고려사항을 항상 철저하게 검토하기는 어렵다. 알고리즘과 기계학습에 대한 무수한 공식들과 표현을 윤리적인 기준안에서 표현하기란 쉽지 않기 때문에 윤리적인 이슈들을 모두 반영하지 못하고 축소하거나 단순화되는 경우가 많다. 생성형 AI가 생성하는 콘텐츠의 궁극적인 활용 목적은 절차의 간소화와 객관적이고 명확한 의사결정에 도움을 받기 위함이다.
이는 실제 생활에 직접적으로 적용할 수 있으며, 다양한 분야의 사례들로 반영될 수 있음을 의미하기 때문에, 윤리를 기반으로 하는 기술교육, 공학 개발 과정에서 윤리적 원칙들이 반영된 체계적인 교육과정을 개발 및 제공하는 것도 필요하다. 먼저, 생성형 AI에 대한 맞춤형 교육과 홍보가 필요하다. 지방자치단체의 적절한 활용을 위해서는 지방자치단체의 맥락에 맞는 정보생산의 수요와 공급에 대한 적절한 이해가 동반되어야 하는 것이다. 현재, 중앙행정기관과 지방자치단체 종사자를 대상으로 생성형 AI 활용 방법에 대한 교육 및 홍보가 이루어지고는 있지만 현장에서 얼마나 준수하고 있는지에 대한 파악이 부족하다. 더불어 일부 지역을 제외하고는 주민을 대상으로 하는 교육이 없는 경우도 많다.
또한 지방자치단체별로 지역의 특색에 맞게 공무원과 주민들을 대상으로 차별화된 교육 커리큘럼을 마련해야 하며 실습 위주의 교육을 지원하여 역량 강화를 도모해야 한다. 구체적으로는 지역사회에서 지역 구성원들을 대상으로 초급에서 고급 과정에 이르기까지 생성형 AI 활용의 핵심 주제로 교육과정이 신설되어야 한다. 민간차원에서는 다양한 문화·교육적 지식과 배경을 가진 전문가들이 윤리를 접목한 교육과정 신설에 참여해야 한다.
마지막으로 대학, 공공기관 등 적절한 인정기관에서 기술을 설계하고 관리하는 전문가들에게 본인들의 의사결정이 지역사회와 국가 차원에서 어떠한 영향을 미치는지에 대한 윤리 교육을 제공해야 한다. 교육이 이루어지기 위해서는 지속적이고, 체계적으로 교육에 참여할 수 있도록 많은 제도적 지원과 인센티브가 제공되어야 할 것이다. 또한 통합적 접근을 통해 관련 전문가들이 교류할 수 있는 웹사이트와 온라인 강좌를 개설하여 자원을 공유할 필요가 있다.

2. 조직의 윤리적 문화와 실무 가이드라인 제공
행정안전부는 지난 5월, 공공부문에서 초거대 생성형 AI 서비스인 OpenAI사의 ChatGPT에 대한 활용 및 주의사항을 안내하며, ChatGPT 외의 AI 서비스를 올바르게 활용할 수 있도록 중앙행정기관과 지방자치단체 약 300개 기관에 「ChatGPT 활용 방법 및 주의사항 안내서」를 배포하였다. 공공에서 활용할 수 있는 분야를 ‘정보탐색 능력’, ‘언어능력’, ‘컴퓨터 능력’ 등 3가지 분야로 나눠 7가지의 세부적인 활용 방법을 예시와 함께 안내했으며, 이와 함께 주의해야 할 사항을 전달하였다(행정안전부, 2023). 공공부문에서는 인공지능 기술을 활용해 업무효율성을 높이는 방안에 대해 활발히 논의되고 있지만, 한편으로는 생성형 AI의 한계로 인해 다양한 문제점에 노출될 수 있다. 특히, ‘저작권·개인정보 보호’, ‘중요정보 유출’, ‘답변의 신뢰성·윤리성·편향성’ 등에 주의해야 한다고 강조한다. 공공분야에서 반드시 지켜야 하는 주의사항으로는 질문에 대해 의사결정이 완료되지 않거나, 공표되지 않은 정보, 외부 반출이 허용되지 않은 정보 등 ‘비공개 정보’ 및 개인정보를 입력하지 않도록 주의를 당부하고, ChatGPT가 내놓은 답변은 반드시 사실 여부 등 검증과 확인을 거치도록 제시하였다.

기술적 이슈와
윤리적 이슈를
종합적으로 고려할
방법 또한 정부
차원에서 마련되어야
할 것으로 보인다.

반면, 생성형 AI 활용에 대한 지방자치단체의 높은 관심에 비해 실제 지방자치단체가 기술을 도입하는 데 필요한 법·제도적 측면의 준비가 부족하다는 부분이 지적된다. 우리나라는 중앙정부 수준에서 다양한 문제에 대한 대안이 마련되고 있지만, 지방자치단체 관점에서의 대안 마련은 미비한 상황이다. 이에, 지방자치단체가 생성형 AI를 안전하고 효과적으로 활용하기 위해서는 예상되는 한계에 적극적으로 대응해야 한다. 이와 관련한 구체적인 권고안은 다음과 같다.
첫째, 개인정보를 보호하고 잘못된 정보를 차단하는 것이 최우선의 과제라고 할 수 있다. 생성형 AI가 논란이 될 때, 꼬리표처럼 따라다니는 문제이다. 지방자치단체는 주민과 가장 가까운 곳에서 주민이 행복한 삶을 영위하게 하는 데 막대한 영향을 미친다. 이를 반대로 생각하면, 지방자치단체의 생성형 AI를 통해 개인정보 혹은 잘못된 정보가 노출될 때, 주민들이 직접적으로 가장 위험해질 수 있다. 따라서 정기적인 보안·점검 시스템을 갖추고 암호화 등을 통해 사용자의 접근을 통제할 수 있어야 한다.
둘째, 지방자치단체는 생성형 AI에 관한 관심을 가지면서도 실질적으로 활용하는데, 어려움을 겪고 있다. 앞서 논의한 바와 같이, 대부분 지역에서는 중앙정부의 권유에 따라 강연이나 교육을 진행하는 데 그치고 있으며, 가장 적극적인 사례가 챗봇(Chatbot)을 활용하는 정도이다. 생성형 AI는 기존 업무의 시간과 비용을 절약하여 주민들을 대상으로 정책을 홍보할 수 있는 수단이다. 이를 통해 주민과의 긴밀한 상호작용이 이루어지면, 지방자치단체에 대한 신뢰도도 제고될 것이다.
셋째, 지방자치단체에서는 특히 단체장 혹은 (중간)관리자의 권한이 크게 작용하므로 이들의 올바른 리더십 활용이 중요하다. 생성형 AI 활용과 구현을 위해 반영되어야 하는 가치들과 법적 기준들에 대한 지침을 혁신 담당자들과 전문가들에게 제시하는 것을 의미한다. 조직은 윤리적, 협력적, 실용적 이행을 위하여 구성원들이 담당해야 하는 역할들도 명확하게 정해 두어야 하며, 유사한 역할을 수행하는 인력을 충원하는 것도 필요하다. 이때 성공적으로 리더십을 발휘하기 위해서는 윤리적인 조직문화를 구축해야 하며, 관리자들이 조직의 윤리문화를 개선하는 데 도울 수는 있겠지만, 윤리적 책임을 관리자들에게만 위임해서는 안 되며, 구성원들의 의견을 수렴하여 상시로 반영할 수 있어야 한다.

3. 책임과 권한
기술적 측면에서 생성형 AI에서 도출되는 결론이 어떤 알고리즘이나 시스템을 기반으로 한 것인지에 대해 사용자는 전혀 알지 못할 뿐만 아니라 현재까지는 일관적인 표준화에 따라 평가되고 있지 않기 때문에 문제가 발생한다. 알고리즘의 경우 앞서 논의한 바와 같이 투명성과 신뢰성이 매우 중요하지만, 실제 상세사항은 지적 재산으로 의미가 포함되어 일반 대중에게 공개할 의무가 없으며, 공개하는 것은 현실적으로 어렵다. 그러나 알고리즘 기반의 결과물에 의한 피해와 부정적인 결과를 방지하기 위해서는 생산 및 관리 과정의 표준 또는 기준 정립이 필요하다. 다시 말해 ▲사용자 보호를 위한 적절한 표준 제시 ▲책임 강화를 위한 영향평가 시행 ▲일반 사용자들의 의견 반영 ▲최종 평가의 결과 공개 등이 필요해 보인다. 아울러 정부 차원에서는 기술적 이슈와 윤리적 이슈를 종합적으로 고려할 방법을 마련해야 할 것이다.

IV.
마치는 글

전국의 지방자치단체들이 ChatGPT 열풍에 합류하고 있지만 아직 극복해야 할 다양한 과제에 앞으로 나아가지 못한 채 봉착해 있다. 고도의 신뢰도가 요구되는 지방행정에 활용하기에는 ChatGPT가 잘못된 답변을 제공하는 사례도 있으며, 공공부문에서 가장 예민한 이슈인 윤리의식 관련 우려도 맞물려 있다.
생성형 AI 사용자의 경우, 항상 윤리의식을 가지고 사용하는 것이 중요하다. 생성형 AI를 통해 범죄를 일으키거나 부당한 목적을 위해 정보를 활용하는 경우는 없어야 하며, 사용자 스스로가 윤리의식을 가져야 한다. 기술적인 측면에서는 생성형 AI 설계과정과 설계 및 관리하는 전문가들의 윤리적 교육 또한 체계적으로 이루어져야 한다. 더불어, 지방자치단체는 중앙정부의 정책 흐름에 맞춰 나아가면서도 지역만의 생성형 AI 활용 조직·윤리 문화를 형성해야 한다.
생성형 AI는 지방정부의 효율적·윤리적인 의사결정을 지원하는 한편, 주민 삶의 질을 높이고 안녕을 지키는 유용한 수단이 될 수 있다. 다만 그러기 위해서는 학습에서 활용에 이르는 과정 중 예상되는 윤리적 문제를 면밀하게 검토, 지역의 산업 및 환경에 맞는 대응책을 마련해야 한다.