생성형 인공지능(AI) '챗GPT' 등 거대언어모델(LLM) 에이전트를 이용하면 개인정보를 손쉽게 탈취할 수 있다는 사실이 입증돼 AI 에이전트에 보안장치가 필요하다는 지적이다.
한국과학기술원(KAIST) 전기및전자공학부 신승원 교수와 김재철 AI대학원 이기민 교수 연구팀은 실제환경에서 챗GPT, 제미나이 등과 같은 LLM 기반 AI 에이전트를 사용해 주요 대학 컴퓨터과 교수들의 개인식별정보를 자동 수집하는 테스트를 실시한 결과, 평균 5∼20초 안에 30∼60원의 저렴한 비용으로 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었다.
AI의 공격 방식은 크게 세 단계로 나눠져 분석됐다. 처음에는 웹 검색과 데이터 마이닝 기술로 목표물 흔적을 추적하는 '정보 수집 단계', 이후 머신러닝 알고리즘으로 수집 정보의 패턴을 읽고 취약점을 찾아내는 '분석 단계', 마지막으로 자연어 생성 모델을 통해 실제 '공격 실행 단계'로 들어간다.
연구팀이 직접 AI로 사이버 공격을 시행해본 결과, AI는 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집한 것으로 나타났다. 웹 검색과 내비게이션 기능이 더해진 AI는 한 사람당 최대 535.6개의 개인정보를 추출해냈다. 이렇게 수집한 정보로부터 보안 취약점을 찾아내 공격하는 것이다.
심지어 AI는 대상의 언어 패턴과 심리적 특성까지 파악해 맞춤형 공격까지 설계해낼 수 있었다. 연구팀이 AI로 저명한 교수를 사칭한 게시물을 작성하자 진짜 같다는 평가가 93.9%에 달했고, 피싱 이메일의 링크 클릭률은 46.67%에 달했다. 피싱 이메일의 평균 링크 클릭률이 15%가 채 안되는 점을 감안하면 피싱 성공률이 3배에 달하는 셈이다.
연구팀은 LLM이 웹 기반 도구와 결합할 때 위험성이 크게 오를 수 있다고 경고했다. AI가 웹사이트 데이터를 자동 수집하는 기술로 실시간 정보를 파악하고, 심층학습 알고리즘으로 이를 분석해 더 정교한 공격을 벌일 수 있기 때문이다. 특히 가장 위험한 건 AI가 사이버공격을 반복하면서 강화학습을 통해 성공률을 높인다는 점이다.
현재 오픈AI와 구글 등은 생성형 AI에 각종 보안 장치를 붙여놓고 있다. 하지만 연구팀은 사용자들이 AI 시스템을 속이는 방법으로 이런 보안망을 뚫을 수 있다고 우려하며, 여러 기기가 협력해 AI를 학습시키는 연합학습 방식과 차등 프라이버시 등 새 보안 기술 도입을 제안했다.
신승원 교수는 "이번 연구는 정보보안 및 AI 정책 개선에 중요한 기초 자료로 활용될 것으로 기대되며, 연구팀은 LLM 서비스 제공업체 및 연구기관과 협력해 보안대책을 논의할 계획"이라고 밝혔다.
이번 연구결과는 컴퓨터 보안분야 최고학회 중 하나인 '유닉스운영체제 사용자그룹 보안심포지엄 2025'에 게재될 예정이다.
Copyright @ NEWSTREE All rights reserved.
