圖片來源：視覺中國

藍(lán)鯨新聞9月4日訊（記者 朱俊熹）過去數(shù)日，韓國又一起“N號(hào)房”事件浮出水面，再度刷新社會(huì)對(duì)于網(wǎng)絡(luò)性犯罪的認(rèn)知。

據(jù)韓媒報(bào)道，在社交媒體Telegram上現(xiàn)已發(fā)現(xiàn)多個(gè)群聊，群成員利用Deepfake（深度偽造）技術(shù)制作、傳播虛假的色情圖片或視頻。受害者不僅牽涉到數(shù)百所學(xué)校中的未成年學(xué)生，還涉及教師、軍人等職業(yè)女性。目前，已知最大的一個(gè)聊天群組包含了超過22萬名群成員。

簡(jiǎn)單來說，Deepfake可以理解為人們常說的“AI換臉”。此次被曝的深度偽造性犯罪在韓國掀起了巨大的輿論危機(jī)。上周，韓國總統(tǒng)尹錫悅敦促政府部門徹底調(diào)查以根除此類數(shù)字性犯罪，韓國警方宣布將實(shí)施為期7個(gè)月的深度偽造性犯罪嚴(yán)打行動(dòng)。

處于風(fēng)暴中心的Deepfake技術(shù)也被頻頻提起。基于人工智能，只需要特定對(duì)象的部分圖片和音視頻素材，通過Deepfake就能得到足以亂真的偽造內(nèi)容。但除“AI換臉”外，Deepfake還存在其他不同的表現(xiàn)形式，例如改變?nèi)宋锏奈骞佟⒈砬榈仍刑卣?，或是生成全新的人臉圖像。

隨著AI浪潮正席卷全球，Deepfake越發(fā)頻繁地出現(xiàn)在公眾視野中，卻常常與生成淫穢色情內(nèi)容、網(wǎng)絡(luò)詐騙等違法犯罪行為相掛鉤。8月中，《紐約時(shí)報(bào)》揭露了新型詐騙者是如何通過Deepfake編輯馬斯克、巴菲特等名人的真實(shí)采訪視頻，讓“AI馬斯克”對(duì)不存在的投資機(jī)會(huì)侃侃而談，以騙取觀看者的資金。據(jù)咨詢機(jī)構(gòu)德勤預(yù)計(jì)，由AI驅(qū)動(dòng)的Deepfake每年將造成數(shù)十億美元的欺詐損失。

生成式AI的發(fā)展帶來了智能的涌現(xiàn)，而Deepfake的危害同樣開始涌現(xiàn)，這項(xiàng)技術(shù)看似已淪為一些高智商罪犯作惡的工具，但技術(shù)本身是否應(yīng)該承擔(dān)全部的責(zé)任？在AI狂飆的背后，又有哪些力量能夠?yàn)槠涮咨享\繩？

AI時(shí)代下的“貓鼠游戲”

Deepfake一詞由“Deep Learning”（深度學(xué)習(xí)）和“Fake”（偽造）組合而成，最早產(chǎn)生于2017年。當(dāng)時(shí)一位名為“Deepfakes”的用戶將明星的臉替換到色情視頻中，并發(fā)布在社交平臺(tái)Reddit上。在這項(xiàng)技術(shù)的早期階段，合成的內(nèi)容還存在許多不自然的痕跡，偽造效果比較粗糙，很容易被識(shí)別，這也意味著其很難讓人上當(dāng)。

但生成式AI的崛起極大改寫了Deepfake的實(shí)際應(yīng)用。數(shù)字內(nèi)容安全服務(wù)商中科睿鑒的深度偽造檢測(cè)專家葛星宇告訴藍(lán)鯨新聞?dòng)浾?，AI大模型正以日新月異的速度實(shí)現(xiàn)迭代，領(lǐng)先的模型能夠達(dá)到萬億級(jí)參數(shù)量，同時(shí)經(jīng)過海量數(shù)據(jù)的訓(xùn)練?！爱?dāng)這樣的大模型技術(shù)應(yīng)用在Deepfake當(dāng)中，實(shí)際上能夠指數(shù)級(jí)地增強(qiáng)Deepfake的仿真或者偽造?！?/p>

葛星宇表示，原先通過Deepfake生成某一特定人物的圖像或視頻，不僅需要大量的數(shù)據(jù)輸入，后續(xù)還要再進(jìn)行調(diào)整。而現(xiàn)在通過AI大模型，Deepfake能以極快的速度生成效果逼真的內(nèi)容，需要的數(shù)據(jù)量也更少。Deepfake的使用門檻被大大降低，對(duì)不具備計(jì)算機(jī)專業(yè)知識(shí)的普通用戶來說也非常簡(jiǎn)單，僅需將幾張圖片等素材輸入到Deepfake軟件或網(wǎng)站中，就能一鍵生成想要的內(nèi)容。

這極大降低了Deepfake的門檻，讓Deepfake技術(shù)變得更為普遍易用，同時(shí)也意味著稍有不慎，深度偽造的內(nèi)容便極有可能造成混亂。8月，馬斯克旗下的人工智能初創(chuàng)公司xAI發(fā)布了新一代AI大模型Grok-2，能夠?yàn)橛脩籼峁﹫D像生成服務(wù)。但使用者很快發(fā)現(xiàn)，與其他圖片生成工具相比，該模型對(duì)生成內(nèi)容并未嚴(yán)格設(shè)限。借助Grok-2，用戶可以輕易地得到持槍的特朗普、站在血泊里的米老鼠等虛假圖像。這些內(nèi)容很快在社交媒體X上廣泛傳開，加劇了公眾對(duì)其濫用風(fēng)險(xiǎn)的擔(dān)憂。

Deepfake能夠?qū)崿F(xiàn)以假亂真的效果，與其背后的CNN（卷積神經(jīng)網(wǎng)絡(luò)）和GAN（生成對(duì)抗網(wǎng)絡(luò)）等技術(shù)基礎(chǔ)密不可分。葛星宇解釋稱，CNN是一種專門用于處理圖像和視頻等數(shù)據(jù)的深度學(xué)習(xí)模型，能夠提取出人臉中的五官、微表情等細(xì)節(jié)特征。而GAN則包含生成器和鑒別器兩個(gè)核心要素，生成器負(fù)責(zé)生成虛假內(nèi)容，鑒別器負(fù)責(zé)判斷其真假。兩者相互對(duì)抗，直至生成器能創(chuàng)造出鑒別器無法區(qū)分真假的數(shù)據(jù)。

但Deepfake生成的內(nèi)容并非毫無破綻，目前市場(chǎng)上已出現(xiàn)若干深度偽造檢測(cè)工具，一些科技公司和高校研究團(tuán)隊(duì)在對(duì)此展開研發(fā)。

AI安全基礎(chǔ)設(shè)施提供商瑞萊智慧的聯(lián)合創(chuàng)始人、算法科學(xué)家蕭子豪告訴藍(lán)鯨新聞?dòng)浾?，深度偽造檢測(cè)的常用方法包括分析畫面和聲音里違背常識(shí)的地方，如長(zhǎng)時(shí)間不眨眼、不對(duì)稱的瞳孔。還可以使用AI算法從數(shù)字信號(hào)層面分析，基于偽造內(nèi)容數(shù)據(jù)集訓(xùn)練模型檢測(cè)器，通過檢測(cè)幀間不一致性來識(shí)別偽造內(nèi)容。

就好像道高一尺魔高一丈，蕭子豪將深度合成與檢測(cè)比喻為一場(chǎng)“貓鼠游戲”。處于強(qiáng)對(duì)抗性的環(huán)境下，雙方都會(huì)在不斷學(xué)習(xí)攻防的過程中自我進(jìn)化，以規(guī)避上一代的對(duì)抗技術(shù)。

螞蟻集團(tuán)旗下獨(dú)立運(yùn)營的科技業(yè)務(wù)子公司螞蟻數(shù)科表示，“Deepfake攻和防是一個(gè)相對(duì)且不斷精進(jìn)的過程，你在進(jìn)步，Deepfake也在進(jìn)步，我們要做的就是跑在它的前面。”今年4月，螞蟻數(shù)科推出了反深偽產(chǎn)品，基于其天璣實(shí)驗(yàn)室生成的超30萬測(cè)試樣本進(jìn)行判別訓(xùn)練，每個(gè)月進(jìn)行的攻防測(cè)評(píng)超2萬次。

從傳統(tǒng)的PS篡改到Deepfake技術(shù)，偽造手段實(shí)現(xiàn)了快速進(jìn)化，造成損害的范圍也在擴(kuò)大。據(jù)葛星宇介紹，中科睿鑒的偽造檢測(cè)業(yè)務(wù)原先更側(cè)重于B端和G端。例如服務(wù)于政府部門，檢測(cè)謠言中深度合成的內(nèi)容，或?yàn)檫\(yùn)營商等企業(yè)提供技術(shù)，防范電信敲詐勒索。

“但我們發(fā)現(xiàn)，隨著Deepfake技術(shù)的低門檻、高質(zhì)量、普及化，除了國家安全、詐騙等場(chǎng)景，它也會(huì)摧毀社會(huì)中人和人之間的信任，就像此次韓國發(fā)生的Deepfake性犯罪事件。”葛星宇稱。

因此，中科睿鑒今年也開始推進(jìn)To C方面的業(yè)務(wù)，上線了可用于Deepfake內(nèi)容檢測(cè)的微信小程序。葛星宇表示，若普通個(gè)體發(fā)現(xiàn)可能存在深度偽造內(nèi)容被傳播，并造成損害性后果，可以先通過此類工具自行鑒定，對(duì)虛假圖片或視頻的算法進(jìn)行溯源。之后可將相關(guān)數(shù)據(jù)提交給公檢法機(jī)關(guān)，或能促使提供Deepfake服務(wù)的軟件等得到相應(yīng)處理。

但還存在的問題是，如何讓用戶意識(shí)到什么是深度偽造內(nèi)容，為什么一段看起來毫無破綻的視頻需要進(jìn)行內(nèi)容檢測(cè)，這可能比技術(shù)層面的攻防比拼更加重要。

漏洞難堵的Deepfake

當(dāng)審視與Deepfake相關(guān)的違法犯罪鏈條時(shí)，最直接的加害者無疑是惡意使用這一技術(shù)的人。但隱匿在其身后的責(zé)任主體還有平臺(tái)方，包括Deepfake技術(shù)或服務(wù)的提供者，以及社交媒體等傳播平臺(tái)。

Deepfake的服務(wù)提供者或技術(shù)支持者通常會(huì)明確相應(yīng)的安全管理規(guī)定。以國內(nèi)一款提供“視頻換臉”功能的火爆應(yīng)用為例，該App在規(guī)定中明確，用戶應(yīng)保證使用其AI技術(shù)生成的視頻內(nèi)容合法合規(guī)，同時(shí)上傳到App中的任何素材內(nèi)容均應(yīng)符合法律法規(guī)且不侵犯任何第三方的合法權(quán)利。但是這與任何用戶協(xié)議一樣，幾乎沒有用戶會(huì)認(rèn)真對(duì)待，而這些App對(duì)此心知肚明。

類似的規(guī)定也多見于國外的Deepfake網(wǎng)站中，同時(shí)OpenAI、谷歌等AI大模型廠商對(duì)旗下的圖像生成模型設(shè)有內(nèi)容限制、水印標(biāo)記等防護(hù)措施，防止其生成色情、暴力或操縱政治選舉等內(nèi)容。但今年5月，OpenAI表示雖然將維持對(duì)深度偽造的禁令，正在探索是否應(yīng)該允許用戶使用其產(chǎn)品創(chuàng)建不適合工作場(chǎng)所的內(nèi)容，可能包括“色情、極端血腥、誹謗和未經(jīng)請(qǐng)求的褻瀆”。

葛星宇表示，雖然多數(shù)廠商都會(huì)設(shè)置安全防護(hù)，但互聯(lián)網(wǎng)上仍有很多公開渠道可以獲得開源的算法，這些算法并沒有受到相應(yīng)法律法規(guī)的限制。同時(shí)社會(huì)上還存在黑產(chǎn)，對(duì)Deepfake算法進(jìn)行交易。“技術(shù)本身是中性的，如果沒有做防護(hù)，也不知道人們會(huì)拿去做什么。”

據(jù)了解，部分深度偽造色情內(nèi)容的用戶所使用的是AI初創(chuàng)公司Stability AI的開源文生圖模型Stable Diffusion。盡管在用戶生成色情內(nèi)容引發(fā)爭(zhēng)議后，Stable Diffusion的新版本加強(qiáng)了對(duì)成人內(nèi)容的過濾，但其開源特性使得任何人都可以訪問和修改其代碼，一些用戶仍然能找到繞開安全過濾機(jī)制的方法。

出于惡意用途的Deepfake內(nèi)容在制作完成后，下一環(huán)節(jié)便是流入到傳播平臺(tái)中。隨著近年來Deepfake犯罪頻發(fā)，多家社交平臺(tái)也開始跟進(jìn)推出相關(guān)規(guī)定。今年8月，谷歌宣布將降低搜索結(jié)果中露骨虛假內(nèi)容的曝光率，并簡(jiǎn)化深度偽造受害者申請(qǐng)刪除非自愿圖片的流程。谷歌旗下的YouTube也明確禁止欺詐和篡改視頻，并要求創(chuàng)作者披露使用AI創(chuàng)作的內(nèi)容。Meta此前表示，正在訓(xùn)練自動(dòng)檢測(cè)系統(tǒng)以捕捉平臺(tái)上的深度偽造欺詐行為。

回顧全球多地發(fā)生的Deepfake性犯罪案件，其中高頻出現(xiàn)的一個(gè)通訊平臺(tái)便是Telegram。這款應(yīng)用以強(qiáng)大的加密和隱私保護(hù)功能聞名，也因此成為網(wǎng)絡(luò)色情犯罪、詐騙、販毒等交易的溫床。韓國警方本周表示，已對(duì)Telegram實(shí)施立案前調(diào)查，但Telegram在提供賬戶信息等涉案資料方面不積極配合，導(dǎo)致警方面臨偵查難題。

9月3日，韓國通信標(biāo)準(zhǔn)委員會(huì)稱Telegram已遵從其要求，刪除平臺(tái)上部分深度偽造色情內(nèi)容，并為造成的溝通不暢道歉。

就在韓國爆發(fā)Deepfake風(fēng)波的幾乎同一時(shí)期，大洋彼岸的法國于當(dāng)?shù)貢r(shí)間8月24日拘捕了Telegram的創(chuàng)始人兼首席執(zhí)行官Pavel Durov。法國檢方對(duì)其的指控罪名包括共謀在Telegram上散播兒童色情內(nèi)容、非法毒品和黑客軟件，同時(shí)指控Telegram幾乎完全沒有回應(yīng)司法要求。Pavel Durov隨后繳納了500萬歐元保釋金，但被禁止離開法國。

匯業(yè)律師事務(wù)所高級(jí)合伙人王小敏律師對(duì)藍(lán)鯨新聞分析道，Telegram等境外社交平臺(tái)的服務(wù)器位于國外，國內(nèi)監(jiān)管或執(zhí)法部門在跨境執(zhí)法時(shí)可能會(huì)面臨諸多困難，如取證、執(zhí)法協(xié)作、法律適用、管轄等，這在一定程度上加大了監(jiān)管或維權(quán)的難度。此外，深度偽造技術(shù)的匿名性和跨地域性也增加了執(zhí)法難度，使得不法分子往往容易逃脫法律的制裁。

王小敏律師補(bǔ)充稱，當(dāng)下深度偽造違法犯罪行為變得更加常見，原因之一還在于法律規(guī)制的滯后性。他指出，法律法規(guī)往往難以跟上技術(shù)發(fā)展的步伐，導(dǎo)致監(jiān)管滯后。但隨著AI技術(shù)的進(jìn)化，相關(guān)監(jiān)管法規(guī)不可能一成不變，目前已有一些國家和地區(qū)開始立法限制深度偽造技術(shù)的濫用。

在中國，深度合成或偽造相關(guān)的法律條文除《刑法》、《網(wǎng)絡(luò)安全法》等一般規(guī)定外，還散見于《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》、《生成式人工智能服務(wù)管理暫行辦法》等相關(guān)部門規(guī)范中。其中，2022年頒布的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》是中國首部深度合成領(lǐng)域的專門法規(guī)。目前已有算法備案和一些司法判決、行政處罰等實(shí)踐案例。

王小敏律師表示，如果此次韓國Deepfake事件發(fā)生在中國，通過深度偽造換臉制作并傳播淫穢色情內(nèi)容，很可能構(gòu)成刑事犯罪，比如傳播淫穢物品罪或涉嫌制作、販賣淫穢物品牟利罪等。此外，受害人還可以就其肖像權(quán)或名譽(yù)權(quán)被侵害提起民事訴訟。

眼見未必為實(shí)，這件事在生成式AI技術(shù)風(fēng)起云涌的時(shí)代帶來了越來越多的混亂。韓國的深度偽造性犯罪只是先對(duì)韓國人造成了傷害，這并不意味著我們就能夠免受其害，反而是給全球敲醒了警鐘。還沒有一個(gè)完美解法的現(xiàn)在，需要技術(shù)、法律、監(jiān)管以及各種制度配套應(yīng)對(duì)，才能有機(jī)會(huì)讓更多社會(huì)力量參與進(jìn)來，防止更多的罪惡蔓延。