참여연대가 정부를 향해 “반인권적 ‘군중 감시 AI’ 개발, 즉각 중단하라”고 촉구했다.

참여연대 공익법센터는 27일 논평을 통해 “실시간으로 시민의 얼굴색, 표정, 행동 등 생체신호를 분석해 긴장도를 추정하고 ‘위험인물’을 식별하겠다는 것”이라며 ““감정, 생체정보 활용 등 기본권 침해가 큰 AI 활용 통제장치 마련이 시급하다”고 강조했다.

이어 “유엔은 공공장소에서의 대량 감시가 프라이버시권은 물론이고 집회의 자유, 표현의 자유 등 민주주의 사회의 기본권을 침해한다고 보아 민주적 통제가 필요하다고 보았다”며 “민주주의의 가치에 위배되고 기본권 침해 위험이 높은 공공장소에서의 불특정 다수인을 대상으로 하는 행동패턴 및 생체신호 분석, 감정인식을 통한 감시는 원칙적으로 금지되어야 한다”고 주장했다.

참여연대는 정부와 국회를 향해 “인공지능법을 개정해 공공장소에서의 불특정 다수를 대상으로 한 군중감시 AI를 원칙적으로 금지하는 법적 근거를 마련함과 동시에 이번 사례에서 드러난 문제점에 대한 해결 방안을 조속히 제시하기를 바란다”고 촉구했다.

한편 지난 10월 24일 국회 과학기술정보방송통신위원회 국정감사에서 윤석열 정부 경호처와 과학기술정보통신부(과기정통부)가 지난해 4월부터 대통령 경호 목적으로 군중을 감시하는 인공지능(AI) 사업을 추진해 관련 기술이 개발 중이라는 사실이 밝혀졌다.

참여연대 공익법센터 논평이다.

반인권적 ‘군중 감시 AI’ 개발, 즉각 중단해야

감정, 생체정보 활용 등 기본권 침해 큰 AI 활용 통제장치 마련 시급

지난 10월 24일 국회 과학기술정보방송통신위원회 국정감사에서 윤석열 정부 경호처와 과학기술정보통신부(과기정통부)가 지난해 4월부터 대통령 경호 목적으로 군중을 감시하는 인공지능(AI) 사업을 추진해 관련 기술이 개발 중이라는 사실이 밝혀졌다. 실시간으로 시민의 얼굴색, 표정, 행동 등 생체신호를 분석해 긴장도를 추정하고 ‘위험인물’을 식별하겠다는 것이다. 공공장소에서 불특정 시민을 감시 대상으로 삼고 개인의 행동 패턴, 생체 신호, 감정 상태까지 프로파일링하여 범죄예측을 하겠다는 반인권적 기술 개발은 즉각 중단되어야 한다. 아울러 이와 같이 공공장소에서 불특정 시민을 대상으로 한 행동 패턴 및 생체 신호 분석을 통한 감정 상태를 추정하는 방식의 AI 개발에 대한 엄격한 통제장치가 마련되어야 한다.

얼굴을 비롯한 개인의 행동 패턴 및 생체 신호는 그 자체로 다른 사람과 구별되는 독특한 특성으로 개인의 정체성과 사생활의 본질을 구성한다. 그런데 이번에 폭로된 경호 목적 군중 감시 AI는 실시간으로 공공장소를 지나다니는 불특정 시민들의 행동, 생체정보 등을 토대로 긴장도를 추정하여 범죄를 예방하겠다는 것이다. 이는 민감정보를 무단으로 수집, 추적, 분석하여 감시한다는 점에서 매우 심각한 인권 침해이자 민주주의 가치에도 반하는 기술이 아닐 수 없다.

유엔 인권최고대표(High Commissioner for Human Rights)는 2021년 특정 개인을 실시간으로 추적하는 ‘실시간 원격 얼굴 인식 기술’의 위험성에 대하여 강한 우려를 표명하면서 공공장소에서 이러한 기술의 사용을 중지할 것을 각국에 권고하였다. 유엔은 공공장소에서의 대량 감시가 프라이버시권은 물론이고 집회의 자유, 표현의 자유 등 민주주의 사회의 기본권을 침해한다고 보아 민주적 통제가 필요하다고 보았다.

유럽연합 인공지능법(EU AI Act) 제5조 금지된 AI 관행(Prohibited AI Practices)은 ‘실시간·원격 생체 정보 인식 시스템’을 극히 예외적인 경우를 제외하고 금지하고 있다. 국가인권위원회도 2023년 1월 12일 국무총리에게, 실시간 원격 얼굴인식 기술의 인권침해 위험성을 방지하기 위한 입법이 마련되기 전까지, 중앙행정기관 등 공공기관이 공공장소에서 실시간 원격 얼굴인식 기술을 도입·활용하지 않도록 하는 조치(모라토리엄)를 수립·시행할 것을 권고하기도 했다.

2024년 국회를 통과하고 2026년 1월 시행 예정인「인공지능 발전과 신뢰기반 조성 등에 관한 법률(이하, ‘인공지능법’)」과 최근 공개된 시행령초안에도 실시간 생체인식 정보 활용 감시시스템에 대한 명확한 규정이 없다는 점은 근본적 문제이다. 입법 과정에서 시민단체들이 금지되는 인공지능과 고위험 인공지능에 대한 제한 규정이 필요함을 반복적으로 요청하였지만 정부와 국회는 인공지능 기술 진흥을 위해 시민단체의 의견을 수용하지 않았다.

이번 사례로 그 동안 시민단체가 우려한 내용이 현실화되었음을 알 수 있다. 설사 이번 경호실이 추진한 감시 AI가 “사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템(법제2조)”으로 고영향(고위험) AI에 포함된다고 하더라도 사업자 등에 부과하는 책임이 구체적이지 않고 추상적이며 처벌규정도 미흡하여 인권침해 위험을 방지하고 안전을 확보하기 어렵다. 따라서 정부와 국회는 지금이라도 인공지능법의 시행에 앞서 금지되는 인공지능과 고위험 인공지능에 대한 규정을 반영하는 개정안을 마련할 것을 강력하게 요구한다. 더불어 과기부가 공개한 인공지능법 시행령초안 제2조의 국방 또는 국가안보 목적으로만 개발 이용되는 인공지능에 대한 인공지능법 적용 예외 규정은 그 대상이 너무 광범위할 뿐만 아니라 인공지능법의 적용을 배제할 경우 통제 가능성이 사실상 차단되어 남용의 우려가 크므로 목적에 비례하여 최소한의 통제가 가능하도록 수정되어야 할 것이다.

민주주의의 가치에 위배되고 기본권 침해 위험이 높은 공공장소에서의 불특정 다수인을 대상으로 하는 행동패턴 및 생체신호 분석, 감정인식을 통한 감시는 원칙적으로 금지되어야 한다. 이번 사례는 기술 발전에 따라 원거리 및 근거리 이동형 영상장치를 통하여 국가안보 등의 목적으로 언제든지 시민들이 감시의 대상으로 전락할 수 있다는 점, 기술 개발에 있어서 법률이 정한 절차를 이행하지 않아도 그 감시가 쉽지 않다는 점, 기술 개발을 민간 기업과 공동으로 진행하여 다른 분야에서 응용하여 적용하더라도 이를 차단할 방법이 없는 점 등 전반적으로 심각한 문제점을 드러냈다. 정부와 국회는 인공지능법을 개정하여 공공장소에서의 불특정 다수를 대상으로 한 군중감시 AI를 원칙적으로 금지하는 법적 근거를 마련함과 동시에 이번 사례에서 드러난 문제점에 대한 해결 방안을 조속히 제시하기를 바란다.