使用ChatGPT生成的網軍留言

我們發現FTNN新聞網之粉專下，出現大量機器人帳戶留言。這些帳號會集體在帳號下進行留言、分享，同時我們發現他們有部分留言非常可能是使用ChatGPT生成。

可疑帳號的收集

我們先抓出該粉專三個月期間，留言數量前50篇之文章，再抓下所有留言進行分析。

我們將帳號的留言次數進行統計，繪製成散布圖。在這517個帳號中，撇除粉專自己留言的內容與次數，共有139個帳號留言在5次以上。我們先分析這些帳號。

帳號留言數之分布圖

帳號可疑徵兆：集體生成、偽造頭像

我們分析了帳號頭像更換時間與分享的內容。在頭像方面，這些帳號的頭像有部分在更換時間上時間接近，我們發現這139個帳號中，有67個帳號其頭像更換時間相同，分別為2022/12/19（18個帳號）、2024/4/13（14個帳號）、2024/3/25（13個帳號）、2022/12/26（11個帳號）、2023/3/23（11個帳號）。

同時更換頭像的日期

這些帳號的頭像有部分是來自於盜用網路圖片，還有部分的頭像圖片是以AI生成。

盜用的頭像圖片

使用AI生成的頭像

網軍帳號的協同行為

我們下去抓這些帳號的貼文，發現他們的分享內容非常接近。首先他們主要分享的文章來自於FTNN與賣車的粉專，前五大粉專分別為FTNN新聞網（33.54%）、易漢國際汽車 YIHAN（19.09%）、Bruce Yeh（18.33%）、九葉國際車業有限公司（18.05%）與商務時報（1.33%）。

網軍集中分享之粉專

我們以Gephi繪製帳號分享粉專之網絡圖，也確實呈現出FTNN新聞網、、易漢國際汽車 YIHAN、Bruce Yeh、九葉國際車業有限公司是主要被分享的粉專。

使用Gephi繪製出來該網軍主要分享之主要粉專

接著我們下去看他們的分享內容，發現有部分的帳號甚至連分享的內容都非常一致，連分享的時間都相同，確實是協同行為。

多個帳號同一時間分享貼文

將帳號與分享的貼文相連，並以Gephi進一步繪製，可以看到這些網軍帳號主要分成三群，分享不同的貼文群。

使用Gephi繪製出來該網軍主要分享之主要貼文

疑似使用ChatGPT生成的留言

回過頭來檢視FTNN新聞網貼文下面這些帳號的留言，可以發現這些留言與一般人說話並不相同，其對話方式充滿不自然的風格，不像是正常人的發言內容。

在兩則貼文下的留言呈現出使用ChatGPT生成留言的風格

我們嘗試對ChatGPT提問，發現ChatGPT產生的回應非常類似，因此可以推測部分留言是以ChatGPT的方式生成。

嘗試以ChatGPT生成的留言

我們進一步抽取其中兩位使用者的發言，發現這兩位使用者有許多發言看起來也類似由ChatGPT發言的風格，疑似也是使用ChatGPT生成這些留言。

抽取其中兩位使用者之其他留言，發現部分留言風格疑似使用ChatGPT生成

小結

經由以上的調查，我們發現目前已有網軍帳號使用ChatGPT來生成留言內容。當前這些留言由於ChatGPT的風格強烈，因此很容易辨識出來，但若是未來大型語言模型持續發展，這些發言將更類似真人而難以辨識，其他使用者也更可能受到誤導。