피앤피뉴스 - 서울시, AI로 삭제신고 자동화 ‘전국 최초’ 시행...“딥페이크·불법 영상, 6분 안에 차단”

▲AI 디지털성범죄 피해영상물 자동 삭제지원(서울시 제공)

[피앤피뉴스=마성배 기자] 디지털 성범죄 영상물을 실시간으로 추적해 6분 만에 자동 삭제신고까지 처리하는 인공지능(AI) 시스템이 국내 최초로 서울시에서 가동에 들어갔다.

서울시가 전국 지자체 중 최초로 AI 기반 삭제신고 자동화 시스템을 구축하면서, 디지털 성범죄 대응 체계가 ‘사람에서 기술로’ 본격 전환되고 있다.

서울시는 22일 2023년부터 운영해온 ‘디지털 성범죄 AI 삭제지원 시스템’을 한 단계 고도화해 피해 영상물의 자동 검출–채증–신고 이메일 작성–다국어 삭제 요청 전 과정을 자동화하는 ‘AI 자동 삭제신고 시스템’을 전국 최초로 개발해 시행에 들어갔다고 밝혔다.

이번 시스템 도입으로 기존에 2시간 30분 이상 걸리던 영상 삭제 신고 절차는 단 6분으로 대폭 단축됐다. 서울시는 삭제지원 속도가 약 30배 빨라진 만큼, 피해자 구제의 실효성과 현장 대응력이 획기적으로 개선될 것으로 기대하고 있다.

‘AI 자동 삭제신고 시스템’은 멀티모달 대형언어모델(MLLM)과 셀레니움 웹 자동화 도구를 결합해 디지털 성범죄물의 탐지, 채증, 문서화, 삭제 요청 이메일 작성까지 전 과정을 자동으로 처리한다.

MLLM은 이미지와 텍스트를 동시에 인식해 유해 콘텐츠를 자동 분류하고, 신고 이메일 및 채증 보고서를 작성하며, 셀레니움 도구는 사이트에 직접 접속해 클릭, 텍스트 입력, 신고 버튼 클릭 등 반복 업무를 수행하는 기술이다.

AI가 피해 영상물을 검출하면 자동으로 증거 이미지를 캡처하고, URL·문구 등을 정리해 한글문서(HWP)로 변환, 삭제지원관이 최종 확인 후 해당 플랫폼에 삭제 요청 메일을 전송하게 된다.

삭제 요청을 받은 플랫폼은 『전기통신사업법』에 따라 해당 영상물을 삭제하거나 접속을 차단해야 하며, 이를 이행하지 않을 경우 최대 징역 3년, 1억 원 이하 벌금, 매출 3% 과징금 등 강력한 제재를 받을 수 있다.

특히 이번 시스템은 피해 영상물이 해외 사이트에 게시될 가능성을 고려해, 영어, 중국어, 일본어, 러시아어 등 7개국 언어로 자동 신고 이메일을 생성하는 기능도 탑재했다. 서울시는 최근 피해 영상 유통이 미국 중심에서 중국·러시아·베트남 등지로 확산되는 상황을 반영해, AI의 검색 국가 범위를 확대했다고 설명했다.

서울 디지털성범죄 안심지원센터는 ｢전기통신사업법｣에 따라 공식적으로 불법촬영물 신고·삭제 권한을 가진 기관으로, 해당 AI 시스템을 직접 운용하며 24시간 모니터링 체계를 유지하고 있다.

서울시가 2023년 AI 삭제지원 기술을 도입한 이후, 삭제지원 건수는 2022년 2,509건에서 2023년 14,256건으로 468% 증가했다. AI 기술은 새벽 시간대나 휴식 시간에도 자동으로 감시가 가능해 피해자 대응 시간의 사각지대를 해소했다. 삭제지원관이 영상을 수작업으로 접하지 않아도 되기 때문에 트라우마와 심리적 스트레스 감소 효과도 입증됐다.

서울시 여성가족재단이 운영 중인 ‘서울 디지털성범죄 안심지원센터’는 개소 3년 만에 총 3,650명을 지원했으며, 누적 피해지원 건수는 64,677건에 달한다. 특히 피해자 수는 2022년 309명에서 2024년 2,820명으로 9배 증가했으며, 아동·청소년 피해자 수는 50명(2022년)에서 624명(2024년)으로 13배 이상 폭증했다.

온라인 그루밍 피해도 급증하고 있다. 온라인을 통한 성적 길들이기 사례는 2022년 19건에서 2024년 370건으로 20배 이상 증가했으며, 이는 코로나19 이후 디지털 공간이 아동·청소년의 관계망 형성과 놀이 공간으로 변질된 데 따른 결과로 분석된다.

▲서울시 제공

서울시는 이러한 피해자들을 위해 익명 오픈채팅 상담창구 ‘디지털성범죄 SOS 상담’을 운영하고 있으며, 피해 아동·청소년뿐 아니라 학부모 대상 무료 심리치료와 함께 수사·법률·의료 지원도 원스톱으로 제공하고 있다.

김선순 서울시 여성가족실장은 “n번방 사건부터 딥페이크 영상 범죄까지, 디지털 성범죄 기술은 날로 고도화되고 있다”며 “서울시는 AI로 모니터링을 시작한 데 이어, 이제는 자동 삭제신고까지 도입함으로써 대응속도를 획기적으로 끌어올릴 수 있게 됐다”고 말했다.

이어 “앞으로도 디지털 성범죄로부터 아동·청소년을 지키기 위한 첨단 대응 체계를 지속적으로 고도화하겠다”며 “도움이 필요한 시민 누구든지 815-0382(영상빨리) 또는 누리집(www.8150382.or.kr)을 통해 연락해주시길 바란다”고 당부했다.

피앤피뉴스 / 마성배 기자 gosiweek@gmail.com 

[저작권자ⓒ 피앤피뉴스. 무단전재-재배포 금지]