초거대 AI의 개념과 구성요소

초거대 AI는 수천억에서 수조 개 이상의 매개변수(Parameter)를 활용해 기존 인공지능(AI)보다 훨씬 방대한 데이터를 처리할 수 있는 대규모 모델이다. 대규모 인공신경망 알고리즘을 기반으로 뛰어난 추론과 이해 능력을 갖추고 있어 자연어 처리, 이미지 인식, 코드 작성 등 다양한 분야에 폭넓게 활용된다. 별도의 학습 없이 간단한 설명이나 예시만으로 새로운 작업에 빠르게 적응할 수 있다는 점도 특징이다.
이러한 초거대 AI 가운데 특히 주목받는 초거대 언어 모델(LLM, Large Language Model)은 방대한 데이터와 매개변수를 바탕으로, 뛰어난 언어 이해와 생성 능력을 발휘한다. 이 외에도 이미지 생성, 음성 인식, 로봇 제어 등 다양한 형태의 모델이 초거대 AI의 범주에 포함된다. 1) 이 기사는 디지털플랫폼정부위원회(위원장 고진)가 발행하고, 한국지능정보사회진흥원(원장 황종성)이 지원한 자료를 바탕으로 작성되었습니다.

초거대 AI는 데이터, 모델, 컴퓨팅 인프라, 학습 알고리즘, 윤리적 고려 사항 등 다양한 요소가 결합된 복합적인 시스템이다. 이 가운데 특히 데이터의 양과 품질은 AI 성능을 좌우하는 핵심 요소로 작용하며, 방대한 데이터를 처리하고 학습하기 위해 막대한 연산 능력을 필요로 한다. 이에 따라 고성능 하드웨어의 활용은 필수적이다. 하지만 모든 기관이 자체 인프라를 구축하기에는 비용과 효율 면에서 한계가 있어, 클라우드 컴퓨팅 서비스가 대안으로 떠오르고 있다.
이와 더불어, 모델 학습을 위한 알고리즘과 최적화 기술의 정교함도 성능 향상에 중요한 역할을 하며, 초거대 AI가 사회적으로 안전하고 윤리적으로 운영될 수 있도록 설계와 관리 측면에서도 세심한 접근이 필요하다.

초거대 AI는 여러 학습 단계를 거치며 점차 실사용 가능한 수준으로 발전한다. 그 출발점인 파운데이션 모델 학습은 초거대 AI의 기본 뼈대를 만드는 과정으로, 대규모 텍스트 데이터를 기반으로 기본적인 언어 패턴과 지식을 학습한다. 주로 다음에 올 단어를 예측하는 방식으로 자연어 생성 능력을 익히게 된다.
이어지는 사후학습(Post-training) 단계는 사전 훈련된 AI의 응답을 개선하고, 인간의 의도에 더 잘 맞도록 조정하는 과정이다. 이때는 인간의 피드백을 기반으로 한 강화학습(RLHF, Reinforcement Learning from Human Feedback) 기법이 활용되어, AI가 보다 친절하고 논리적이며 윤리적인 응답을 생성할 수 있도록 돕는다.
다음으로는 파인튜닝(Fine-tuning) 과정이 이어진다. 이는 특정 업무나 전문 분야(예: 의료, 법률, 금융 등)에 AI를 최적화하기 위한 단계로, 자체 데이터셋을 사용해 모델의 가중치를 미세하게 조정함으로써 해당 작업에 대한 성능을 높인다.
마지막으로 검색 증강 생성(RAG, Retrieval-Augmented Generation) 기술이 적용되면, AI는 외부 데이터베이스에서 실시간으로 정보를 검색해 최신 정보가 반영된 보다 정확하고 신뢰할 수 있는 답변을 제공할 수 있게 된다.
이러한 학습 과정은 언어 능력 습득, 인간 친화적 조정, 분야 특화, 최신 정보 반영이라는 각기 다른 목적을 지니며, AI의 성능을 정교하게 고도화하는 데 핵심적인 역할을 한다. 특히 RAG는 정보의 정확성과 시의성을 보완하는 데 있어 중요한 기술로 평가된다. 이처럼 고도화된 초거대 AI 기술은 공공부문에서도 혁신적인 서비스 제공과 효율성 증대를 위해 적극 도입되고 있다.

공공서비스 혁신 위한 3대 AI 전략

디지털플랫폼정부(Digital Platform Government)는 최신 디지털 기술을 활용해 다양한 데이터를 통합·연계·분석하는 디지털 플랫폼을 기반으로, 국민·기업·정부가 함께 사회문제를 해결하고 새로운 가치를 창출하는 것을 목표로 한다. 이에 인공지능과 데이터를 기반으로 디지털 기술과 민간의 혁신 역량을 적극 수용, 국민의 일상 속 불편을 해소하는 데 주력한다.
아울러 정부는 효율적이고 신속한 혁신을 추진하는 한편, 기업에는 성장 기회를 제공하는 데 집중하고 있다. 특히 AI가 디지털플랫폼정부 구현의 핵심 수단으로 자리 잡으면서 AI의 도입과 활용은 공공부문 전반에 걸쳐 점점 확산되는 추세다.
공공부문에 AI를 도입하는 것은 행정의 일하는 방식을 보다 과학적이고 효율적으로 바꾸는 기반이 되며, 이를 통해 대국민 서비스의 혁신이 가능해진다. 또한 점차 복잡하고 다양해지는 사회문제에 대해, 기존 방식으로는 풀기 어려웠던 과제들을 해결할 새로운 실마리를 제시한다.

이를 정책적으로 뒷받침하기 위해, 국가인공지능위원회는 2024년 9월 발표한 「국가 AI 전략 정책방향」에서 2030년까지 공공부문 AI 도입률 95% 달성을 목표로 설정하고, 공공 AI 범용기반 조성과 활용 확산을 주요 과제로 제시한 바 있다.
그보다 앞선 2023년 4월에는 「디지털플랫폼정부 실현계획」을 통해서는 인공지능, 데이터, 서비스의 융합 기반 마련을 위한 ‘DPG 허브’ 구축과 함께, 범정부 차원의 초거대 AI 공통기반 조성 및 민간 초거대 AI의 적극 활용을 위한 인프라 구축을 추진해 왔다.
공공부문 AI 도입은 국민의 삶의 질과 직접적으로 연결되는 만큼, 국민이 체감할 수 있는 성과 창출을 중심에 두고 범정부 차원의 AI 3대 전략목표가 <표 2>와 같이 제시됐다. 특히, 공공기관별로 무분별한 AI 도입은 지양하며, AI 도입에 따른 명확한 성과 목표를 설정하고 이를 3대 전략목표 및 가이드라인에 따라 체계적으로 추진할 필요가 있다.
공공부문 AI 도입의 세 가지 전략적 목표는 다음과 같이 정리될 수 있다.
첫째, AI 기술을 활용해 국민 개개인에게 맞춤형 서비스를 제공하고, 정보 접근성의 장벽을 제거함으로써 초개인화되고 무장애(無障碍)한 대국민 서비스를 실현하는 데 있다.
둘째, 점점 더 복잡하고 다양해지는 사회문제에 효과적으로 대응하기 위해, AI 기반의 데이터 분석 능력과 실시간 대응 역량을 강화함으로써 사회문제 해결에 기여하는 것을 목표로 한다.
셋째, 반복적이고 일상적인 행정업무는 AI와의 협업을 통해 효율화하고, 정책 수립 과정에서는 AI의 분석과 예측 역량을 바탕으로 보다 정교하고 최적화된 의사결정을 지원하는 방향으로 일하는 방식을 혁신하고자 한다.

범정부 초거대 AI 공통기반 구현

공서비스 혁신을 위한 3대 AI 전략목표를 효과적으로 달성하려면, 각 부처와 기관의 역할을 명확히 정립하고, 범정부 차원의 통합된 추진체계를 마련하는 것이 필수적이다. 이에 정부는 공무원이 보안에 대한 우려 없이 생성형 AI 서비스를 손쉽게 활용할 수 있도록, 정부 전용 초거대 AI 공통기반 플랫폼 구축을 추진하고 있다. 이를 통해 다양한 AI 모델과 서비스를 누구나 쉽게 사용할 수 있는 체계를 마련하고, AI 자산의 공유 및 재활용을 통해 중복 개발과 AI 사일로(silo) 현상을 방지하고자 한다. 또한 신속하고 효율적인 서비스 개발 환경 조성을 핵심 취지로 삼고 있다. 더 나아가 ‘디지털플랫폼정부(DPG) 허브’와 연계해 공공 및 민간의 데이터·플랫폼·서비스를 통합 제공함으로써, AI 학습에 필요한 데이터를 보다 효과적으로 확보하고 활용할 수 있는 기반도 마련할 계획이다.
이러한 서비스형 AI(AI-SaaS) 제공은 공무원의 업무 생산성과 서비스 품질을 높이는 데 크게 기여할 것으로 기대된다. AI-SaaS는 행정문서 작성, 민원 응대, 정책 자료 검색 등 반복적이고 시간이 많이 소요되는 업무를 AI가 신속하게 지원해, 공무원이 보다 창의적이고 전략적인 업무에 집중할 수 있도록 돕는다. 아울러 각 기관의 업무 특성과 수요에 맞춰 AI 기능을 유연하게 확장하거나 조정할 수 있도록 모듈형 서비스 구조를 채택, 다양한 행정 환경에서의 실질적인 활용도를 높일 계획이다. 이를 통해 공공부문 전반에서 AI 기반 업무 혁신이 본격화되고, 궁극적으로는 국민이 체감할 수 있는 행정서비스 개선으로 이어질 것으로 보인다.

이러한 이중 구조 설계는 공통 서비스와 특화 서비스로 구분되며, 이는 공공부문의 다양한 수요를 효과적으로 충족하기 위한 전략적 방안으로 기능한다. 공통 서비스는 문서작성, 회의록 요약, 민원 응답 초안 생성 등 범정부적으로 자주 발생하는 반복 업무의 효율화를 지원하며, 공무원 누구나 일정 수준의 AI 기능을 즉시 활용할 수 있도록 설계된다. 반면, 특화 서비스는 기관별 업무 특성과 데이터를 반영해 맞춤형 기능을 구현할 수 있어, 보다 정교하고 전문화된 행정서비스를 가능하게 한다. 특히, 기관별 특화 서비스 개발을 위해 필요한 기술 지원, 데이터 연계, 보안 인프라도 함께 구축되어, 개별 기관이 AI 역량을 지속적으로 축적하고 자율적으로 발전시켜 나갈 수 있는 환경이 조성된다.

공공부문 초거대 AI 활용 사례

거대 AI를 공공서비스에 적용하는 방식은 크게 기술적 관점과 사용자 관점으로 나눌 수 있다.
기술적 관점에서의 적용 방식은 데이터 활용과 구현 방법에 따라 세 가지로 구분된다. 첫째, 별도의 추가 학습 없이 파운데이션 모델을 그대로 활용하는 방식이다. 이 방식은 비교적 단순하고 기본적인 성능만 요구되는 반복 업무나 단일 기능 서비스에 적합하다. 둘째, 각 기관이 자체 보유한 데이터를 파운데이션 모델에 추가 학습시켜, 해당 기관의 업무 환경과 특성에 맞춘 보다 정교한 서비스를 구현하는 방식이다. 이 방식은 고유한 행정 수요를 반영할 수 있다는 장점이 있다. 셋째, 초거대 AI를 민간 애플리케이션이나 외부 서비스와 연계해 활용하는 방식이다. 이를 통해 AI는 독립된 기능에 머무르지 않고, 외부 시스템과의 상호작용을 통해 언어모델의 한계를 보완하며 보다 복합적이고 완결성 있는 서비스를 제공할 수 있다.

한편, 사용자 관점에서는 초거대 AI가 실제 공공업무에 어떻게 적용되는지를 기준으로 서비스 유형을 여섯 가지로 분류할 수 있다. 이는 공무원이 AI 서비스를 어떤 방식으로 활용하고, 그 결과를 어떻게 체감하는지를 중심으로 한 분류다. 각 유형은 업무 목적과 필요에 따라 선택적으로 적용되며, 업무의 성격에 따라 두 가지 이상이 복합적으로 쓰이기도 한다. 실제 각 기관에서 추진 중인 AI 과제들을 살펴보면, 단순한 정보 분류나 식별 기능을 수행하는 AI부터 복잡한 행정 데이터를 기반으로 한 예측형 AI까지 다양한 수준의 서비스가 혼합되어 활용되고 있음을 알 수 있다.
결국 초거대 AI의 도입은 고정된 틀보다는, 기술 발전과 행정 수요 변화에 따라 유연하게 적용될 수 있는 구조로 설계되어야 한다. 앞으로도 이러한 다양성과 확장 가능성을 고려한 체계적인 운영이 중요해질 것이다.

초거대 AI 도입 시 고려사항 및 실행 지침

초거대 AI의 도입은 「디지털플랫폼정부 실현계획(’23. 4월)」에 명시된 정책 방향과 연계하여 추진해야 하며, 이에 따라 도입 시 준수해야 할 원칙들이 제시됐다.

초거대 AI 기술은 여전히 발전 중인 미완의 기술로, 새로운 기술이 지속적으로 등장하고 있기 때문에 무분별한 도입은 지양해야 한다. 기술의 한계와 위험성을 충분히 인지하고, 사전 계획과 준비를 바탕으로 도입을 추진해야만 실제 성과를 창출할 수 있다.
도입 절차는 다음과 같다. 먼저, 초거대 AI 도입 여부는 해당 업무의 추진 현황, 목표, 문제점을 분석한 뒤 정부 정책 방향과 신기술 적용에 따른 적합성, 기대효과 등을 종합적으로 고려해 결정해야 한다. 이후 기관별로 데이터 학습 및 서비스 구현에 필요한 AI 자원의 효율적 확보·관리를 위한 인프라 구축 방안을 마련하는 게 좋다. 이 방안은 범정부 초거대 AI 공통기반 활용, 자체 인프라 구축, 민간 클라우드 서비스 활용 중 하나를 선택하거나 조합하는 방식으로 추진될 수 있다.

범정부 초거대 AI 공통기반을 활용하는 경우, 정부의 공공 AI 정책 방향과 기관의 내부 데이터를 안전하게 학습시키고 비용 효율성을 높일 수 있다. 이때 기관들은 검증된 민간 AI 모델을 복수로 제공받아 업무에 적합한 모델을 선택하여 활용할 수 있으며, 사용자에게는 ‘싱글-원-윈도우’ 방식의 통합 대화창이 제공되어 요청, 질의, 답변 확인 등 서비스 이용이 편리하게 이루어진다. 또한 내부 자료 검색, 보고형 문서 제공, 전문 통·번역, 민원 상담 등 공통 서비스도 함께 제공된다. 아울러 기관 고유 데이터를 반영한 특화 AI 서비스 개발이나 기존 시스템(API 등)과의 연계도 가능하다. 다만, 이후 도입 절차와 고려사항은 공통기반의 구체적 구현과 운영 상황에 따라 보완·변경될 수 있다.
업무의 특수성이 있는 기관, 예를 들어 외교·국방·안보 분야는 자체 AI 인프라 구축이 가능하다. 이 경우에도 범정부 공통기반과의 연계·연동이 가능하도록 설계하는 것이 바람직하다. 실제로 외교부는 2025년부터 ‘지능형 외교안보 데이터 플랫폼’ 구축을 추진하고 있다.
한편, 도입 대상 업무의 데이터 보안등급이 ‘공개정보(O)’로 분류되는 경우에는 민간 클라우드 서비스도 활용할 수 있다. 다만, 내부 데이터 보안 문제나 기관 간 시스템 연계의 어려움이 있을 수 있으므로, 외부 인터넷 환경과 데이터 또는 질의(query)가 직접 연결되지 않도록 설계해야 한다.

궁극적으로는 초거대 AI 학습에 사용될 데이터의 성격을 명확히 정의하고, 민감하거나 비공개 데이터를 외부 서비스 제공자나 모델에 유출되지 않도록 설계하는 것이 중요하다. 이를 위해 데이터의 보안등급에 따라 적절한 보안대책을 마련하고, 그에 따른 서비스 구조 및 도입 방식을 신중히 검토해야 한다.