북한의 스피어피싱 탐지 도구로서 GPT-4기반 ChatGPT의 문장분석 능력 활용 가능성 탐색

초록

본 논문은 초대규모 언어 모델인 GPT-4를 기반으로 동작하는 ChatGPT의 북한의 스피어피싱을 탐지할 가능성을파악하는 것에 목적이 있다. 북한에서 발송된 스피어피싱 이메일을 수집하여 학습용으로 분류한 이메일을 ChatGPT를 통해 GPT-4에 입력하였다. 이 과정에서, 뒤집힌 상호작용 패턴으로 도출된 필요 정보를 입력하는 것으로 스피어피싱을 학습하고 분류할 수 있도록 설계하였다. 추가적인 학습이 없이 사전에 학습된 데이터만으로 분류의 성능을측정한 결과 F1 점수는 0.58, AUC 값은 0.62로 나타났으며, 초기화 및 학습을 진행한 이후 스피어피싱 이메일을 재분류하였다. 학습 이후의 결과는 F1 점수가 0.80, AUC 값이 0.88로, 사전 데이터 기반의 GPT-4만을 사용한 경우보다향상된 것을 알 수 있었다.

키워드