경찰 출동 장면과 음란물 등을 인공지능(AI)으로 조작해 허위 영상물을 제작·유통한 유튜버가 구속됐다. 법조계에서는 아동·청소년을 대상으로 한 AI 음란물 제작의 경우 중형이 선고될 수 있다는 지적이 나온다.

2일 법조계에 따르면 경기북부경찰청 사이버범죄수사1대는 전기통신기본법, 자본시장법, 정보통신망법 위반 혐의로 유튜버 A씨를 구속 송치했다.

A씨는 지난해 8월부터 텍스트 기반 생성형 AI를 활용해 허위 영상물을 제작한 뒤 유튜브 채널 ‘순찰 24시’ 등에 게시 및 유포한 혐의를 받는다. 그는 실제 뉴스를 참고해 사회적 이슈를 선정한 뒤 이를 각색해 시나리오를 만들었고, 동일한 장면을 여러 버전으로 제작한 후 가장 완성도가 높은 결과물을 최종본으로 게시한 것으로 조사됐다.

이 과정에서 경찰이 112 신고를 받고 출동해 과잉 진압을 하는 것처럼 연출한 영상도 포함됐다. 해당 영상은 실제 경찰청에 과잉진압 민원이 접수될 정도로 파급력이 컸던 것으로 파악됐다.

A씨가 제작·유포한 허위 영상은 총 54개다. 유튜브·인스타그램·틱톡 등 다수의 SNS에 게시됐고, 영상당 조회 수가 1000만 회를 넘긴 사례도 확인됐다. 그는 조회 수와 구독자를 늘려 광고 수익을 얻는 한편 썸네일 제작은 건당 1만원, 허위 영상물 제작은 건당 20만원을 받는 방식으로 외주 작업도 진행한 것으로 드러났다.

또 A씨는 지난해 9월부터 지난달까지 AI를 활용해 해외 유료 구독형 SNS 채널을 운영하며 41차례에 걸쳐 음란물을 제작·판매한 혐의도 받는다. 해당 음란물에는 실존 인물이 아닌 가상 인물이 등장한 것으로 전해졌다.

AI 기술로 제작된 음란물은 SNS를 통해 빠르게 확산되고 있다. 여성의 특정 신체 부위를 과도하게 강조하거나 성적 상황을 묘사한 게시물이 공공연히 노출되고 있는 상황이다.

대표적인 사례가 ‘AI 룩 북’이다. 원래 패션업계에서 의상을 소개하기 위해 제작되는 ‘룩 북(look book)’은 모델이 다양한 옷을 착용한 모습을 담은 사진집이나 영상이다. 그러나 최근에는 옷을 갈아입는 장면을 노골적으로 노출한 선정적 콘텐츠가 다수 유통되고 있다.

이처럼 선정적인 AI 룩 북을 제작하거나 시청하는 행위 자체는 일반적으로 범죄에 해당하진 않는다. 성인물로 분류돼 성인 인증을 받은 이용자에게만 접근이 제한되기 때문이다.

다만 교복을 입은 인물 등 아동·청소년으로 인식될 수 있는 표현물이 등장할 경우 법적 평가는 달라질 수 있다.

아동·청소년의 성보호에 관한 법률 제2조 제5호는 실제 아동·청소년뿐만 아니라 아동·청소년으로 명백히 인식될 수 있는 ‘표현물’이 등장하는 경우도 아동·청소년 성착취물로 규정한다.

아울러 성행위가 없더라도 신체의 전부 또는 일부를 노출하거나 접촉해 일반인의 성적 수치심이나 혐오감을 유발하면 처벌 대상이 된다.

이를 제작할 경우 최소 5년 이상의 징역형이 가능하다. 이를 알면서 소지하거나 시청한 경우에도 최소 1년 이상의 징역형이 처해진다.

실제로 2015년 헌법재판소는 고도의 사진 합성이나 컴퓨터 그래픽을 통해 실제 아동·청소년으로 오인될 정도의 표현물뿐만 아니라 만화·게임 캐릭터나 합성 이미지 역시 아동을 성적 대상으로 묘사했다면 성착취물에 포함될 수 있다고 판시했다.

법원도 생성형 AI로 아동·청소년을 성적으로 묘사한 음란물에 대해 엄격한 태도를 유지하고 있다.

2024년 수원지방법원 성남지원은 AI를 활용해 교실에서 교복을 입은 여성 청소년이 속옷이나 허벅지 등을 노출하는 이미지를 약 70개 연결해 동영상으로 제작하고 이를 채널에 게시한 피고인에게 징역 2년 6개월에 집행유예 3년을 선고했다.

2023년 부산지방법원도 AI로 “어린이”, “나체”, “아시아 어린 소녀” 등의 프롬프트를 입력해 아동·청소년으로 명백히 인식될 수 있는 실사 이미지 파일 360개를 생성한 피고인에게 징역 2년 6개월을 선고했다.

법률사무소 로유 배희정 변호사는 “AI로 제작된 음란물이라고 하더라도 표현 내용에 따라 형사 책임이 중하게 인정될 수 있다”며 “특히 아동·청소년으로 인식될 수 있는 인물이나 설정이 성적으로 묘사될 경우 실제 인물이 존재하지 않더라도 중형이 선고될 수 있다”고 강조했다.

이어 “AI 음란물은 실제 촬영이나 피해자가 없다는 점에서 위법성 인식이 낮아지기 쉽지만 법은 표현물이 유발하는 성적 대상화와 사회적 위해성을 중심으로 판단한다”며 “제작 단계에서부터 아동·청소년으로 인식될 수 있는 설정이나 표현은 아예 사용해서는 안 된다”고 덧붙였다.