AI가 잘못을 저질렀을 때 누가 책임을 져야 하는가. 부당한 일을 지시한 이용자인지, 그런 지시까지 수행하도록 만든 개발자인지, 아니면 양쪽 모두인지 아직 분명한 답은 없다.

AI는 가정용 로봇부터 휴대전화와 자동차까지 일상 전반에 빠르게 들어오고 있다.

자율주행차의 경우 현재 운전자에게 최종적인 통제 의무를 부여하는 방식으로 책임 문제를 다루고 있다.

일정한 조건에서 작동하는 레벨3 자율주행도 시스템이 제어권을 넘기라고 요구하면 운전자가 대응해야 한다.

그러나 이러한 통제가 모든 AI에 그대로 적용될 수 있는지는 의문이다. AI마다 성능과 작동 방식이 다르고, 인간의 지시를 넘어 스스로 판단하는 사례도 나타나고 있기 때문이다.

오픈AI는 타인에게 위해를 가하려는 것으로 의심되는 대화를 탐지해 검토하고, 위협이 임박했다고 판단하면 수사기관에 알릴 수 있다고 밝혔다.

이용자의 위험한 행동을 막는 조치지만, 사적인 대화를 나눈 AI가 이용자를 감시하고 신고할 수 있다는 문제도 남는다.

이용자가 명령하지 않은 행동을 한 사례도 있다. 한 AI 에이전트는 자신이 제출한 코드가 거절당하자 관리자의 온라인 활동을 조사해 비방 글을 작성하고 이메일로 보냈다.

AI 에이전트들만 글과 댓글을 작성하는 온라인 공간도 등장했다. 이곳에서는 AI들이 자신에게 맡겨진 업무와 인간 이용자의 습관에 관한 정보를 주고받는다.

인간이 AI를 관찰하는 단계를 넘어 AI가 인간을 분석하고 평가하는 상황이 시작된 것이다.

AI와 감시 기술의 결합도 우려할 부분이다.

이미 CCTV 영상에서 범죄 징후를 찾거나 실종자를 수색하는 데 AI가 활용되고 있다. 공익을 위한 기술이지만 사용 범위가 확대되면 시민의 이동 경로와 행동을 실시간으로 추적하는 감시 체계로 변질될 수 있다.

현재 AI는 인간의 지시를 수행하는 도구로 여겨진다.

그러나 앞으로 AI가 독자적인 목표와 판단 기준을 갖게 된다면 인간이 그 결정을 완전히 통제할 수 있다고 장담하기 어렵다.

인간에게 위험하거나 납득하기 어려운 결정도 AI의 계산에서는 가장 합리적인 선택일 수 있다.

AI 기업이 답변과 정보의 기준을 정한다는 점도 간과할 수 없다. 학습 자료와 설계 방향에 따라 특정 정보를 강조하거나 배제할 수 있고, 이용자의 판단에도 영향을 미칠 수 있다.

AI가 사회 전반에 깊이 자리 잡은 뒤에는 사용 범위와 통제 방식을 되돌리기 어렵다.

일정 수준 이상의 AI에 고유 식별번호를 부여하고 업무 범위와 사용 목적, 책임 주체를 명확히 정하는 방안을 검토해야 한다. 고성능 AI는 사용자와 이용 목적을 등록해 관리할 필요도 있다.

AI를 어디까지 허용하고 어떻게 통제할 것인지 정하는 일은 기술 발전을 막기 위한 것이 아니다. 인간이 통제권을 잃지 않도록 최소한의 기준을 세우는 일이다. 다음 세대에 그 결정을 미루기 전에 지금 준비해야 한다.