사이버 보안 기업 SlashNext가 웜GPT(WormGPT)라는 새로운 인공지능(AI) 사이버 범죄 도구와 관련된 위험에 대해 주의를 당부했다. 챗GPT와 같은 챗봇이 주목을 받으면서, 사이버 보안 전문가들은 생성형 AI가 사이버 범죄자들의 범죄를 더욱 교묘하게 만들 것이라고 경고해 왔다.
생성형 AI는 텍스트, 비디오, 이미지 및 기타 유형의 콘텐츠를 생성할 수 있는 머신러닝의 한 유형이다. 단순히 기존 데이터를 분석하는 것이 아니라 새로운 데이터를 만드는 데 초점을 맞춘 AI의 하위 집합이다.
웜GPT는 다크웹 등에서 정교한 피싱 작업과 기업용 이메일 공격(BEC: business email compromise)을 수행하기 위한 완벽한 도구로 광고되고 있다. BEC 공격에 생성형 AI를 사용하는 것의 이점 중 가장 중요한 것은 생성형 AI 작성된 메일이 흠잡을 데 없는 문법을 사용한다는 것이다. 이는 누구나 쉽게 BEC 공격을 할 수 있도록 진입 장벽을 낮춰 준다. 사이버 공격자들은 웜GPT를 사용하여 수신자를 속이는 매우 설득력 있는 악성 전자 메일을 자동적으로 생성할 수 있게 된 것이다.
이번 위협 보고서를 공개한 SlashNext는 “우리 팀은 최근 사이버 범죄와 관련된 유명한 온라인 포럼을 통해 웜GPT라는 도구에 접근했다. 이 도구는 악의적인 활동을 위해 특별히 설계된 GPT 모델의 대안이라고 스스로를 소개하고 있다. 웜GPT는 2021년 개발된 GPTJ 언어 모델을 기반으로 한 AI 모듈로 무제한 문자 지원, 채팅 메모리 보존, 코드 포맷 기능 등 다양한 기능을 제공하고 있다"고 밝혔다.
웜GPT는 챗GPT와 달리 사이버 범죄자들이 아무런 제약 없이 광범위한 불법 활동을 할 수 있도록 도와준다. SlashNext 전문가들은 사이버 범죄 포럼에서 공격자들이 챗GPT와 같은 인터페이스를 구현하기 위한 ‘탈옥(jailbreaks)’을 제공한다고 강조했다. 탈옥은 민감한 정보를 노출하거나 부적절한 콘텐츠의 생성, 유해한 코드를 실행하는 것을 방지하기 위해 조치된 보호 장치를 우회해 인기 있는 챗봇의 인터페이스를 모방하도록 설계된 특수 프롬프트다.
사이버 보안 기업 체크포인트가 챗GPT와 구글 바드(Bard)의 악용 방지 규제를 비교한 분석에 따르면, 바드의 규제는챗GPT의 규제에 비해 제약이 현저히 낮은 것으로 나타났다. 이것은 악의적인 사용자들이 상대적으로 쉽게 바드를 사용해 악성 콘텐츠를 생성할 수 있다는 것을 의미한다.
체크포인트 보고서는 바드가 피싱 메일 생성에 거의 아무런 제약을 두지 않아 잠재적으로 오용 및 악용의 여지가 있었으며, 최소한의 조작으로 멀웨어 키로거를 개발할 수 있어 보안 문제가 발생할 수 있다고 밝혔다. 또한 Bard를 이용해 기본적인 랜섬웨어를 만드는 것이 가능했다고 덧붙였다.
웜GPT의 개발자는 웜GPT의 AI 모델이 다양한 데이터 소스, 특히 멀웨어 관련 데이터를 집중적으로 훈련했다고 밝혔다. 이와 관련해 SlashNext가 직접 테스트한 바에 따르면 실제로 웜GPT는 매우 설득력 있고 전락적으로 교활한 이메일을 생성했으며, 이를 통해 수신자를 불안하게 만들 수 있을 것이라고 분석했다.
SlashNext는 웜GPT와 같은 생성형 AI 기술이 초보 사이버 범죄자도 위협적인 공격자로 만들 수 있다며, 기업들이 BEC와 관련한 교육을 하고 업무용 이메일 관리 체계를 강화해야 한다고 조언했다.
*이 기사는 글로벌 정보 보안 블로그 ‘시큐리티 어페어즈(Secutiry Affairs)’의 설립자이자 유럽네트워크정보보안기구(ENISA) 소속 보안 전문가 피에루이지 파가니니(Pierluigi Paganini)와의 공식 파트너십을 통해 작성됐습니다.
