“AI換臉”相信大家都不陌生。只需要一張照片，通過人工智能深度合成技術，任何人都能成為視頻中的主人公，甚至連表情和動作都能以假亂真。然而，這項新技術，卻讓一些人產生了不良想法，杭州的虞某就利用“AI換臉”軟件生成大量淫穢視頻進行傳播，被換臉的有不少女明星等公眾人物，虞某甚至還提供換臉定制服務。最終，虞某犯制作、傳播淫穢物品牟利罪，被判有期徒刑七年三個月，并處罰金6萬元。

有人用暗戀女生換臉

2022年8月，杭州市蕭山警方在網上巡查中獲取一條線索，轄區內有人利用AI技術制作淫穢視頻在網上進行大量傳播，警方依法對此立案偵查，并迅速抓獲了犯罪嫌疑人虞某，隨后該案被移送至杭州市蕭山區人民檢察院審查起訴。

檢察機關調查發現，虞某從2020年開始接觸“AI換臉”軟件，起初，他想通過在網上推廣該項技術以及相關的軟件來獲利，但是，一段時間過后關注他的人卻很少，一次偶然的機會，虞某看到有人在社交群組中發布淫穢信息來吸引他人關注，于是他也動起了類似念頭。

據虞某供述，為了吸引更多的關注和流量，他在社交軟件上創建了“瀏覽群”和“私人定制群”，“瀏覽群”主要用來傳播“AI換臉”的淫穢視頻吸引、招攬觀看者，其中包括一些經過虞某換臉的視頻，當有人提出“定制換臉”的需求，虞某會將這些人引入所謂“私人定制群”。

杭州市蕭山區人民檢察院第七檢察部檢察官助理陳禹堯表示，通過收取入（瀏覽）群費用的方式，一個198元、298元或者398元。另外一個就是虞某還提供人臉視頻定制服務，相當于客戶如果需要定制一個換臉的視頻，他可以根據時長，根據視頻的難度大小收取相應的費用。

據檢察機關調查，虞某一邊通過傳播換臉的淫穢視頻來“吸粉引流”，同時又通過出售“AI換臉”軟件和提供所謂“AI換臉”的私人定制服務，在不到半年的時間里就獲利數萬元。而被“AI換臉”侵害人臉敏感信息的受害者，不僅包括多位知名公眾人物，還有很多不特定的普通人。

據檢察機關調查，虞某根據“AI換臉”視頻的長度、清晰度等難易條件，按照5分鐘300元、10分鐘500元等標準來收取定制的費用。虞某聲稱，“只要能看到臉的都能換”。

據檢察機關了解，虞某的客戶要求“定制”換臉的對象不僅包括一些知名的公眾人物，也有生活中的普通人，其中就有人提出想要定制自己暗戀女生的換臉視頻，而對于這些未經同意就擅自侵犯他人敏感信息的違法行為，虞某也是來者不拒。

另外，虞某除了進行定制化的換臉服務，還將“AI換臉”軟件分為初級、中級和高級三個等級進行銷售并傳授使用教程，同時還提供網上非法收集的他人人臉素材。

2023年4月14日，杭州蕭山區人民檢察院決定對虞某“AI換臉”侵犯公民個人信息公益訴訟案立案，當日履行公告程序，公告期滿，無適格主體提起訴訟。6月9日，檢察機關依法對虞某提起民事公益訴訟。7月28日，該案在杭州互聯網法院一審公開審理。

2023年11月，杭州市蕭山區人民法院判決被告人虞某犯制作、傳播淫穢物品牟利罪，判處有期徒刑七年三個月，并處罰金6萬元。

AI技術的迭代升級讓不法分子借助智能AI換臉和擬聲技術，就可輕松實現遠程視頻詐騙。記者調查發現，最近多地出現的AI換臉詐騙案件，均具備定制性、迷惑性等特征。

“AI換臉”詐騙，眼見不一定為實

AI技術的迭代升級讓不法分子借助智能AI換臉和擬聲技術，就可輕松實現遠程視頻詐騙。記者調查發現，最近多地出現的AI換臉詐騙案件，均具備定制性、迷惑性等特征。

其中，香港警方近期披露一起涉案金額高達2億港元的多人AI換臉詐騙案尤為典型。據媒體報道，某公司職員受邀參加公司“多人視頻會議”時，先后將2億港元分別轉賬到5個本地銀行賬戶內。據警方調查，這場視頻會議中除了受害者外，其余均為AI換臉后的詐騙人員。

不少業內專家表示，隨著文生視頻大模型Sora等多模態人工智能的探索和出現，人們可能陷入“眼見也不一定為實”的困局?！耙恢币詠?，銀行等部門將實時視頻用作檢驗身份的手段之一，如今其可靠性將面臨巨大挑戰?！鄙蚋？≌f，“隨著人工智能技術的迭代升級，這類違法行為還可能演變出更多形態?！?/p>

中國行政法學研究會常務理事、華東政法大學教授沈?？√寡?，對此類AI換臉和AI擬聲的惡性詐騙案件，若只依靠傳統監管手段已不能防堵，監管部門在提升自我科技能力儲備的同時，有必要引入新興技術，探索用AI技術監管AI的可能。

從消費者角度出發，沈?？〗ㄗh提升全民個人信息保護意識，謹防隱私泄露?！安还苁窃诨ヂ摼W上還是社交軟件上，盡量避免過多地暴露自己的信息，在涉及轉賬交易等行為時，可以多角度詢問身份信息，反復驗證對方是否為本人?！?/p>

當前AI換臉的一些技術弱點仍然存在。中國信通院人工智能中心安全與元宇宙部主任石霖指出，一些換臉的視頻會存在光照、表情等不夠自然、幀與幀之間不夠連貫的問題，盡管隨著模型能力的提升，這些換臉的痕跡已經做到幾乎肉眼難以辨別的程度，但我們仍然可以通過一些專用的檢測算法進行辨別。這些檢測算法在訓練過程中大量學習了換臉視頻中偽造特征的方式，在使用的過程中逐幀提取特征，從而判斷一段視頻是否經過了換臉。當前，這些技術已經開始用在金融場景中，實現對詐騙等行為的識別。

那么，這些鑒別技術應用于反詐領域，前景如何？不得不承認，網絡信號與算力仍是待解決的難題。“由于這些技術仍然需要大量的計算資源特別是GPU的支持，因此，通常在使用過程中，需要將相關的檢測模型部署在服務器中。但如果想要將這些檢測模型部署在手機、個人電腦中，或嵌入到社交、會議軟件里，可能會對軟硬件的使用體驗造成較大的影響。近年來，很多技術企業已經開始嘗試不斷優化檢測模型，探索將模型部署在端側?！笔卣f道。