딥페이크란?

딥페이크(Deepfake)란, 인공지능 기술을 활용해 기존 인물이나, 특정부위를 합성한 가짜 이미지, 오디오, 비디오를 의미한다. 그 어원에는 딥러닝(deep learning)과 ‘가짜’를 의미하는 단어인 페이크(fake)의 합성어로, 최초 딥페이크의 영상 제작자 이름이 딥페이크였다는 견해와 딥러닝(Deep Learning) 기술과 페이크(Fake, 가짜)의 합성어라는 견해가 있다.
딥페이크의 기반은 2014년에 등장한 머신러닝 기술인 ‘적대관계생성신경망(Generative Adversarial Networks, GAN)’으로 알려졌다. AI 모델을 생성모델1과 분류모델2로 구분하는 GAN은 각 모델의 학습을 반복하는 과정을 거치면서 생성모델과 분류모델을 서로를 적대적 경쟁자로 인식, 상호 발전하게 된다. 생성모델은 실제와 유사해지는 반면, 분류모델은 데이터의 진위여부를 구별할 수 없게 되는 이 과정을 반복하면서 만들어지는 합성 영상은 원본 영상과의 구별이 거의 불가능하다.
인공지능 기술 진위 여부를 구별하기 어려운 가짜 이미지나 영상물인 딥페이크는 2017년 미국의 소셜네트워크 플랫폼 레딧에서 ‘Deepfakes’라는 아이디의 회원이 유명 배우의 얼굴로 조작된 음란 동영상을 올리면서 사용되기 시작했다.

딥페이크 기술의 활용[陽]

영상 산업에서 가장 많이 활용되고 있다. 보다 쉽고 간편하게 특수효과를 만들어 내거나 AR 영상을 제작하는 등 산업 전반의 가능성을 키우는 데 톡톡한 역할을 한다. 또 의료 분야에서는 환자의 얼굴, 또는 음성 데이터를 사용해 진단 및 치료 연구에 활용할 수 있다.

01 제미니 맨 - 디지털 디에이징

2019년 10월 개봉한 영화 <제미니 맨>. ‘제미니(Gemini)’는 ‘쌍둥이 같은 복제인간’을 말하는 것으로, 영화는 주인공 헨리(51세의 윌 스미스)가 자신과 똑 닮은 의문의 요원(23세의 윌스미스)에게 쫓기는 장면을 실감나게 보여준다. 이 영화가 헨리의 젊을 시절을 그럴 듯하게 재현해 낼 수 있었던 비밀이 바로 딥페이크에 있다. 포토샵의 필터와 브러시로 배우를 더 젊게 복원하는 데 주력했던 CG 기법과는 달리, 딥페이크 기술은 얼굴 인식 장비와 동작 포착 장비를 동원함으로써 젊음을 보다 ‘정교하게’ 만들어 준다.

02 신변보호 - 버추얼 휴먼

2021년 2월 방송된 SBS의 ‘그것이 알고 싶다’에서는 딥페이크가 범죄에 악용되는 이야기를 다뤘다. 제보자들은 SNS 메시지를 통해 어떤 성관계 영상과 함께, 이를 빌미로 한 돈을 요구 받았다. 영상 속 인물이 본인은 아니었지만 유포 협박, 유출 피해를 입기도 했다.
‘그것이 알고 싶다’ 측은 당시 제보자의 동의하에 버추얼 휴먼(가상 인간)을 만들어 방송에 냈음을 밝히기도 했다. 이로써 제보자의 익명성을 보장하면서도 시청자에게는 그들의 감정을 생생하게 전달할 수 있었다.

03 질병 예방 - 이미지 패턴 매칭

독일 뤼벡대(University of Lübeck) 의료정보학연구소는 지난 2019년 7월 CT, MRI, X선 이미지에 성공, 다양한 암의 징후와 이상신호를 탐지 모델을 공개했다. 이는 ‘적대관계생성신경망’을 적용해 진위여부를 가릴 수 없을 정도의 정확한 의료 영상을 확보하는 데 도움을 준다.
이로써 질병에 대한 올바른 학습과 정확한 진단이 가능해진 것은 물론 환자의 개인 정보 유출을 막아주기도 한다. 인공지능이 충분히 학습할 수 있는 데이터 생성이 가능해진 것이다.

04 마이헤리티지 - 새로운 추모 방식

그런가 하면 가족의 역사를 찾고 공유·보존하는 웹사이트 마이헤리티지(MyHeritage)는 사용자에게 온라인, 모바일 및 소프트웨어 플랫폼으로 제공한다. 사용자가 가족의 생전의 모습이 담긴 사진이나 그림 등을 마이헤리티지 플랫폼에 업로드하면 플랫폼 내에서 화질을 개선 한 후 사진이나 그림을 잘게 분할하고, 분할된 각 조각에 맞는 각도와 표정을 원본에 덮어씌우는 방식이다.
이는 정지된 사진 속 주인공에게 생명을 불어넣어 사진 속 인물이 웃고, 눈을 깜박이고, 고개를 돌리는 모습을 섬세하게 구현한다. 실제로 지난 2021년 3.1절 무렵 유관순 열사, 윤봉길 의사 등 우리나라 독립운동가들의 공개사진이 영상으로 전환 소개되며 많은 사람들에게 감동을 선사한 바 있다.

05 신기술 접목 - 재회

다시는 만날 수 없을 것만 같던 이들과의 만남도 이룰 수 있다. 딥페이크 기술에 VR/AR, 음성 복원 등의 기술을 더해 그리운 이들의 목소리, 그리고 그룹의 완전체를 만들어 내는 것이다. 2021년 엠넷은 AI 프로젝트를 통해 그룹 가수 ‘거북이’ 멤버 터틀맨과 김현식, 김광석 등을 무대에 세웠다. AI 터틀맨은 거북이 멤버들과 함께 춤추며 드라마 ‘이태원클라쓰’ OST인 ‘시작’ 편곡 버전을 불렀으며, AI 김현식은 박진영의 ‘너의 뒤에서’를 자신만의 음색으로 소화했다. 이후 지난 2022년 故 임윤택을 복원, 울랄라세션의 완전체를 선보였던 홀로그램 형식의 무대 또한 가족과 많은 팬들에게 뭉클한 감동을 선사한 바 있다.

딥페이크기술의 폐해[陰]

AI 초창기 시절 몇몇 숙련 기술자들만이 사용할 수 있었던 딥페이크 기술은 점점 악의적인 목적으로 사용되고 있다. 딥페이크 기술이 가장 빈번하게 발생하는 분야는 ‘음란 영상물 제작’이다. 지난 1월 미국의 팝스타 테일러 스위프트의 음란 이미지가 온라인상에서 확산된 바 있다. 유포된 지 하루도 안 돼 7,000만 명이 조회하는 등 새로운 유형의 허위 조작 정보가 플랫폼을 통해 생성되고 빠르게 확산 되면서 딥페이크 악용에 대한 우려는 보다 심각해졌다. 우리나라에서는 지난 2021년 K팝 가수 등 유명 연예인들의 얼굴을 합성한 음란물을 유포한 6명이 경찰에 붙잡혔는데, 그중 4명이 10대인 것으로 밝혀져 충격을 주기도 했다.
금융권에서도 딥페이크로 인한 보이스피싱을 우려하는 분위기다. 딥페이크 보이스피싱은 딥페이크 기술을 이용하여 목소리를 조작, 사람들을 속여 금전적인 이익을 얻기 위한 사기 행위를 말한다. 목표로 하는 사람의 목소리를 모방하여 전화나 음성 메시지로 상대방을 속이는 경우가 많은데, 공격자는 딥페이크 기술로 목표의 목소리를 분석·학습한 후 그 목소리와 유사한 가짜 음성을 생성한다. 일반적인 보이스피싱에 비해 더욱 현실적이고 속임수가 뛰어나기 때문에 감지하는 데 있어 어려움은 더욱 클 수밖에 없다.

수법도 다양하다. 실제로 해외에서는 지난 2019년 영국의 한 에너지 회사는 최고경영자(CEO)의 음성 지시로 25만 유로를 송금해 피해를 본 기업이 있었다. 또 2023년 3월 캐나다에서는 “아들이 미국 외교관을 숨지게 했다”는 내용의 보이스피싱 범죄에 당한 사례가 있었다. 당시 범인은 딥페이크 기술이 적용된 ‘가짜’ 목소리를 들려줬고, 감쪽같이 속은 부모는 결국 2만 1,000 캐나다 달러를 송금했던 것으로 전해진다.
딥페이크 악용 사례는 우리나라에도 있다. 지난 4월 방송된 <그것이 알고 싶다> ‘빼앗긴 얼굴과 가짜의 덫, 화면 속 그들은 누구인가’ 편은 딥페이크를 활용한 신종 피싱범죄의 심각성을 조명했다. 전 코미디언이자 현재 개인투자자로 활동 중인 황현희는 자신의 얼굴과 이름을 도용, 누군가 SNS와 동영상 플랫폼에서 정체불명의 투자 광고를 진행하고 있었음을 밝혔다. 코미디언 송은이, 스타강사 김미경, 김영익 서강대 교수 등도 온라인 플랫폼에서 횡행하는 딥페이크 사기 범죄의 희생자다.

딥페이크 범죄에 대한 처벌 및 규제

딥페이크 범죄로 인한 심각한 문제점으로 인해 세계 각국에서는 대책을 속속 마련하고 있다. 미국은 지난해 AI 생성 콘텐츠의 워터마크 표시 등 AI에 대한 행정명령을 공개했으며, 유럽연합(EU)의 경우 실존 인물 등과 유사하게 생성·조직된 정보에 대해서는 별도 표시하도록 의무화했다.
우리나라의 경우에는 기존 명예훼손이나 음란물 유포죄로 처벌을 받아왔다. 그러나 명예훼손의 경우 입증이 어려워 적발되더라도 음란물 유포죄를 적용, 법정형이 1년 이하 또는 천만 원 이하의 벌금에 그쳤다. 하지만 2020년 도입된 ‘딥페이크 처벌법([성폭력범죄의 처벌 등에 관한 특례법 제14조의2])’에 따라 이제는 “반포할 목적으로 성적 수치심을 유발할 수 있는 허위 영상물을 제작하거나 퍼뜨리면 5년 이하의 징역 또는 5천만 원 이하의 벌금, 영리 목적이었다면 7년 이하의 징역으로 가중 처벌”할 수 있게 됐다.
아울러 지난 3월 27일 정부는 불법사금융 척결 범정부 실무 태스크포스(TF) 회의를 열고 “유명인 사칭 광고에 대해 무관용 원칙을 적용, 철저히 수사할 것이다”고 밝혔다. 이날 회의에는 국무조정실, 과학기술정보통신부, 방송통신위원회, 방송통신심의위원회, 금융위원회, 금융감독원 등 관계자가 참석했다. 정부는 이번 회의를 통해 신속하고 효율적으로 온라인 불법 광고 차단 조치를 하고, 관계기관 협조 체계를 공고화해 불법 행위를 철저히 적발·단속하는 방안을 집중적으로 논의했다. 이에 경찰청은 올해 더욱 특별 단속을 강화하고 악질적·조직적 범죄에 대해 무관용 원칙으로 철저히 수사하는 한편, 정부는 사기 조직을 범죄단체조직죄 및 범죄수익에 대해 은닉규제법으로 단속을 강화할 것으로 보인다.