[기술 보고서] 삼성 SDS 인사이트 리포트 - 딥페이크란 무엇이고, 기업에 어떤 영향을 미치는가?

딥페이크란?

딥페이크(deepfake)란 실제로 행동하지 않았거나 말하지 않은 것을 한 것처럼 조작한 이미지 또는 영상입니다. 

딥페이크(deepfake)는 "deep learning"과 "fake"의 합성어로, 인공지능 기술을 사용하여 현실에 존재하지 않는 것이나 발생한 적이 없는 사건을 이미지, 비디오, 오디오 등을 합성하여 만들어냅니다. 

[출처] https://m.khan.co.kr/culture/culture-general/article/202402191121001

딥페이크는 딥러닝 알고리즘을 통해 대량의 데이터를 학습하고, 특정 인물의 얼굴, 목소리, 제스처 등을 모방하여 가상의 이미지나 동영상을 생성할 수 있습니다. 요즈음에는 딥페이크 프로그램이 발달하여 1분 안에 딥페이크 이미지를 만들 수 있을 정도로 기술이 발전하였습니다. 

 

딥페이크를 만드는 방법

1. Autoencoders 

An autoencoder is a type of artificial neural network used to learn efficient codings of unlabeled data. An autoencoder learns two functions: an encoding function that transforms the input data, and a decoding function that recreates the input data from the encoded representation. 

 

즉, 입력값을 출력값으로 최대한 비슷하게 내보내는 신경망 모델입니다. 

 

위의 그림을 참고하면, x라는 데이터가 encoder를 통해 높은 차원에서 낮은 차원으로 뽑아내는 과정을 거치는데, 데이터가 크면 클수록, 차원이 높으면 높을수록 데이터를 다루기 복잡해지고, 처리해야 하는 데이터의 양이 늘어난다는 문제가 있습니다. 오토인코더(autoencoder)는 이때, 이 데이터를 적은 수의 뉴런이나 뉴런 층만을 이용해서 최대한 효율적이고 정확하게 x의 핵심 부분만 추출합니다. 이후, 추출된(압축된) 데이터를 다시 풀어서 원래의 상태의 가깝게 만드는 것을 재구성이라고 합니다. 

 

그러면 오토인코더를 쓰는 이유는 무엇일까요? 바로 차원이 감소된다는 것에 있습니다. 같은 데이터가 있을 때, 요약된(핵심 내용)만 있으면 데이터 처리량도 줄고 모델도 단순해지기 때문입니다. 

 

이 오토인코더가 딥페이크에서 어떻게 쓰일까요? 딥페이크에서는 특정 인물의 얼굴 특징을 학습하고 이를 변형하거나 다른 인물의 얼굴에 적용하여 실제처럼 보이는 합성 이미지를 생성하는 데 사용됩니다. 

 

2. Generative Adversarial Networks (GANs)

생성적 대립 신경망(GAN)은 딥 러닝 아키텍처입니다. 훈련 데이터 세트에서 더 확실한 새 데이터를 생성하기 위해 두 신경망을 서로 경쟁하도록 훈련시키는 겁니다. 예를 들어, 기존 이미지 데이터베이스에서 새 이미지를 생성하거나 노래 데이터베이스에서 원본 음악을 생성할 수 있습니다. GAN은 서로 다른 두 신경망을 훈련하고 경쟁시키기 때문에 대립적이라고 불립니다.

1. 생성자 신경망은 훈련 세트를 분석하고 데이터 속성을 식별합니다.
2. 판별자 신경망도 초기 훈련 데이터를 분석하고 속성을 독립적으로 구별합니다.
3. 생성자는 특정 속성에 노이즈(또는 임의 변경)를 추가하여 일부 데이터 속성을 수정합니다.
4. 생성자는 수정된 데이터를 판별자에게 전달합니다.
5. 판별자는 생성된 출력이 원본 데이터 세트에 속할 확률을 계산합니다.
6. 판별자는 다음 주기에서 노이즈 벡터 무작위화를 줄이기 위한 몇 가지 지침을 생성자에 제공합니다.

 

그러면 GAN은 어디서 사용되나요? 대표적으로 이미지 생성, 다른 모델을 위한 훈련 데이터 생성, 누락된 정보 생성 등이 있습니다. 딥페이크에서 생성자는 진짜와 구분할 수 없는 가짜 이미지를 만들어내고, 판별자는 이 이미지가 진짜인지 가짜인지를 판별하려고 합니다. 이 과정을 통해 생성자는 점점 더 정교한 가짜 이미지를 생성할 수 있게 됩니다.

 

딥페이크 위협으로부터의 대응 방안

딥페이크는 공공의 이익을 위해서 쓰일 수도 있지만 가짜 뉴스나 불신을 야기하는 딥페이크 기술은 사회적으로 큰 문제를 방생시킬 수도 있습니다. 우리는 이를 대비하기 위해 딥페이크 모니터링 및 탐지 기술 도입이나 법률적 대비책 구축 등으로 보안 위험을 줄여야 한다고 생각합니다.