Update : 2026-10-27 00:33
뉴스 > IT·인터넷
감쪽같은 딥페이크 음성… 4명 중 1명 구별 못한다
영국 유니버시티 칼리지 런던 교수팀 딥페이크 음성 실험 결과 발표
20만 유로 ‘딥페이크 음성 사기’ 사례 등 딥페이크 음성 이용 범죄 우려
AI 음성 활용 노래 커버·유튜브 영상 등 일반인 접근성 커져
양준규 기자 기자페이지 + 입력 2023-08-03 17:35:15
▲ 스트리머들의 목소리를 이용한 AI 커버를 모아놓은 'AI 커버 월드컵'. PIKU 사이트 캡쳐
 
딥페이크 기술을 활용한 음성과 실제 음성을 일반인에게 들려준 결과 어느 것이 진짜 음성인지 구별하지 못한다는 연구 결과가 나왔다. 인공지능(AI) 기술이 발전하고 이에 대한 인지도가 높아짐에 따라 범죄에 악용될 수 있다는 우려가 커지고 있다.
 
영국 유니버시티 칼리지 런던의 루이스 그리핀 교수팀은 과학 저널 ‘플로스 원’에 영어와 중국어 딥페이크 음성을 들려주고 진짜와 가짜를 찾아내는 실험을 진행한 결과를 3일 발표했다.
 
해당 실험에서 연구팀은 영어와 중국어 데이터세트로 훈련된 텍스트 음성 변환 알고리즘을 사용해 각각의 언어로 된 딥페이크 음성 샘플 50개씩을 만들고 이를 529명의 참가자에게 들려주고 음성이 진짜인지 가짜인지 구분하게 했다.
 
실험 결과 참가자들은 딥페이크 음성의 27%를 구분하지 못했다. 이후 실험 참가자들에게 딥페이크 음성의 예시를 제시하고 구분법을 훈련한 뒤 다시 실험을 진행했으나 딥페이크를 구분하는 능력이 약간 개선되는 것에 그쳤다.
 
논문 제1 저자인 킴벌리 마이 연구원은 “실험에 사용된 샘플이 비교적 오래된 알고리즘으로 만들어진 점을 고려하면 사람들이 현재와 미래의 정교한 기술로 만든 딥페이크 음성을 얼마나 감지해낼 수 있을지 의문이 든다”고 말했다.
 
광고
딥페이크는 실제 인물의 영상이나 음성을 토대로 AI를 훈련한 후 원본 음성이나 이미지를 재현하는 기술이다. 초기 딥페이크 음성 알고리즘은 오디오 생성을 위해 수천 개의 음성 샘플이 필요했으나 최신 사전학습 알고리즘은 약 3초 분량의 음성 클립만으로도 사람 음성을 재현할 수 있다.
 
연구팀은 해당 연구 결과를 토대로 사람들이 딥페이크 음성과 실제 음성을 제대로 구별하지 못하며 딥페이크 음성과 이미지의 위협에 대응하기 위한 대응 전략이 필요하다고 주장했다.
 
실제로 기술이 발달하면서 딥페이크를 활용한 범죄에 대한 위험성도 꾸준히 지적돼 왔다. 2019년 영국의 한 에너지 회사에서는 한 직원이 AI 기술로 제작된 상사의 딥페이크 음성 메시지를 받고 헝가리 회사의 20만 유로를 송금하는 사건이 발생하기도 했다.
 
특히 생성형 AI 열풍으로 AI에 대한 접근성이 커지면서 인터넷을 중심으로 일반인들이 딥페이크 음성을 활용하는 사례가 늘어나고 있다. 유튜브에서는 유명인들의 음성 AI와 게임 영상을 결합해 유명인들이 같이 게임을 하는 콘셉트 영상이 올라오기도 했으며 인터넷 스트리머의 목소리로 노래를 부르게 하는 ‘스트리머 AI 커버’ 영상 또한 큰 화제를 모으고 있다.
 
해당 콘텐츠들은 재미를 위해 소비되고 있기 때문에 사회적인 문제로는 번지지 않았으나 이미 범죄 사례가 있고 이미 특정 인물의 음성을 자신의 원하는 방법으로 가공할 수 있는 것이 일반인들에게도 알려진 이상 AI를 이용한 범죄가 크게 늘어날 수도 있다는 전망이 나오고 있다.
 
그리핀 교수는 “생성형 AI 기술이 발달하고 이중 상당수가 공개돼 누구나 사용할 수 있게 되면서 이점뿐만이 아니라 위험도 목격하게 됐다”며 “정부와 기관들은 이런 기술의 남용에 대처하기 위한 전략을 개발해야 할 것”이라고 말했다.
후원하기
  • 정기 후원
  • 일반 후원
  • 무통장입금: 하나은행 158-910019-39504 스카이데일리
  • 스카이데일리는 공공성에 기반해 독자가 만들어 가는 언론을 지향합니다. 정기 또는 일반 후원시 맞춤형 뉴스, 독자에게 할당하는 지면 서비스, 동행하는 홍보, 유상증자시 참여기회 제공(법인에 한함) 등의 혜택을 받을 수 있습니다
이 기사에 대해 어떻게 생각하시나요?
추천해요
0
좋아요
0
감동이에요
0
화나요
0
슬퍼요
0
댓글 : 0
방문수(PC&모바일)
오늘(실시간) 3,180 ▶
어제 158,532 ▶
최근 7일 ▶
대한민국 명사들
대면 기회를 가져보세요.
팬클럽 가기
오늘자 스카이데일리



주요 섹션 기사
주소 : 서울시 서초구 방배천로2안길 82(방배동 463-18) 청송빌딩 3,4층 | 전화 : 02-522-6595~6 | 팩스 : 02-522-6597
종합일간지 등록번호 : 서울시 가50131, 인터넷신문 등록번호 : 서울시 아01703, 등록일 : 2011년 7월 18일
발행·편집인: 민경두, 편집국장 : 주경준, 사업자 번호 : 214-88-81099 후원계좌 : 158-910019-39504(하나은행)
copyrightⓒ2011, All rights reserved. Contact : skyedaily@skyedaily.com | 청소년보호책임자 : 김진강
본지는 한국신문윤리위원회의 서약사로서 신문윤리강령을 준수합니다.