생성형 인공지능(AI)이 이미지와 영상을 제작하는 도구로 확산되면서 콘텐츠가 만들어지는 과정에서부터 악용 가능성을 점검해야 할 필요성이 커지고 있다. 특정 인물의 얼굴을 무단으로 사용하거나 유해 콘텐츠 생성을 유도하는 입력을 걸러내는 것만으로는 충분하지 않을 수 있다. 입력 단계에서 문제가 발견되지 않았더라도 실제 생성된 결과물에서 새로운 위험 요소가 발생할 수 있기 때문이다. 딥브레인AI는 콘텐츠 제작 전후를 모두 검사하고 판정 과정에서 오류가 발생하면 결과물 제공을 차단하는 통합 안전 엔진을 개발했다.
생성형 AI 전문 기업 딥브레인AI(대표 장세영)는 인물 도용과 악의적 입력, 딥페이크 콘텐츠 생성 위험을 통합 관리하는 안전 엔진 ‘AI 가드(AI Guard)’ 개발을 완료하고 기업과 공공기관을 대상으로 공급을 시작했다.
AI 가드는 생성형 AI 서비스에서 콘텐츠 제작에 사용되는 입력 정보와 실제 생성된 결과물을 각각 검사하는 솔루션이다. 이미지와 영상의 합성 여부를 판별하는 기존 탐지 기술에 입력 단계의 위험 요소 차단 기능을 결합했다.
핵심 기능은 페이스 아이디(Face ID) 판별, 악의적 입력 필터, 딥페이크 판별 등 세 가지다. 페이스 아이디 판별은 이미지와 영상에 등장하는 인물이 보호 대상으로 등록된 특정 인물인지 확인한다. 악의적 입력 필터는 유해 콘텐츠 생성을 유도하는 텍스트와 참조 이미지를 분석하고, 딥페이크 판별은 이미지와 영상이 합성됐는지 검사한다.
세 기능은 총 10종의 응용 프로그램 인터페이스(API)로 제공된다. 동일한 인증 체계와 응답 규격을 적용해 기업이나 기관이 서비스 환경에 필요한 기능을 선택적으로 연동할 수 있도록 설계했다. 기존 ‘AI 디텍터’가 완성된 이미지와 영상의 딥페이크 여부를 확인하는 별도 탐지 솔루션이라면, AI 가드는 콘텐츠 제작 과정에서 발생할 수 있는 위험을 사전에 점검하고 생성된 결과물까지 다시 검사하는 구조다.
딥브레인AI가 인물 도용 판별과 악의적 입력 차단, 딥페이크 판별 기능을 통합한 생성형 AI 안전 엔진 ‘AI 가드’를 개발했다. (자료 제공: 딥브레인AI)
생성 전후 이중 검사…판정 실패·시간 초과에도 자동 차단
AI 가드는 콘텐츠 생성 요청이 들어오면 먼저 이용자가 작성한 프롬프트와 참조 이미지를 분석한다. 이 과정에서 인물 도용이나 유해 콘텐츠 생성을 유도하는 요소가 발견되면 해당 요청을 차단한다.
입력 검사를 통과해 콘텐츠가 생성되더라도 바로 이용자에게 제공하지 않는다. 생성된 이미지와 영상을 다시 분석해 입력 단계에서 발견하지 못했거나 생성 과정에서 새롭게 발생한 문제를 점검한다.
검사 과정에서 정상적인 판정이 이뤄지지 않았을 때의 처리 방식도 안전성을 중심으로 설계했다. 모델 응답에 오류가 발생하거나 정해진 처리 시간을 초과하면 요청을 자동으로 통과시키지 않고 차단하는 ‘실패 시 차단(Fail-Closed)’ 방식을 적용했다. 판정이 불가능한 상태에서 유해 콘텐츠가 외부로 제공될 가능성을 줄이기 위한 조치다.
딥브레인AI는 AI 가드의 주요 성능을 외부 시험기관에서 검증받았다고 설명했다. 2025년 10월 한국인정기구(KOLAS) 인정 시험기관인 와이즈스톤에서 소프트웨어 품질 국제표준 KS X ISO/IEC 25023에 따른 시험을 진행했다. 시험 항목은 합성 여부 판별 정확도, 악의적 생성 유도 입력 차단 오차율, 특정 인물 인식 정확도 등 세 가지다. 회사에 따르면 세 항목 모두 해당 연구개발 과제의 성능 기준을 충족했으며, 합성 여부 판별 정확도는 96%를 기록했다. 다만 96%는 해당 시험 조건에서 측정된 합성 여부 판별 정확도로, 모든 유형의 딥페이크와 실제 서비스 환경에서 동일한 성능을 보장한다는 의미는 아니다.
기업의 데이터 보안 요구를 고려한 내부 인프라 운영 방식도 지원한다.
AI 가드는 판별에 필요한 언어모델과 안전 분류 모델을 고객사가 보유한 GPU에서 구동할 수 있도록 설계됐다. 외부 상용 AI API를 호출하지 않고도 검사를 수행할 수 있어 프롬프트와 이미지 등 검사 대상 데이터를 외부 서비스로 전송하지 않는 환경을 구축할 수 있다. 이는 내부 데이터의 외부 전송을 제한해야 하는 기업이나 공공기관에서 활용할 수 있는 방식이다.
딥브레인AI는 콘텐츠 생성 플랫폼 사업자와 공공기관을 대상으로 AI 가드 공급을 시작했으며, 향후 다양한 생성형 AI 서비스에 적용할 수 있도록 기술을 확대할 방침이다.
장세영 딥브레인AI 대표는 “생성형 AI 서비스에서 안전장치는 부가적인 기능을 넘어 안정적인 서비스 운영을 위한 기본 요건”이라며 “AI 가드의 주요 성능을 공인 시험을 통해 확인한 만큼 기업과 기관이 자체 인프라 안에서 생성형 AI의 악용 위험을 체계적으로 관리할 수 있도록 기술 적용 범위를 확대하겠다”고 말했다.
한편 AI 가드는 문화체육관광부와 한국콘텐츠진흥원이 지원하는 문화기술 연구개발 사업을 통해 개발됐다. ‘악의적 활용을 차단하는 생성형 AI 모델을 탑재한 콘텐츠 창작 및 공유 플랫폼 기술 개발’ 과제로 한국전자기술연구원이 주관하고 딥브레인AI가 공동연구개발기관으로 참여했다.
The post 딥브레인AI, AI가 만든 콘텐츠 배포 전 한 번 더 검사한다…딥페이크 판별 정확도 96% appeared first on 벤처스퀘어.
