更新時間：2023-07-08 08:10:02點擊：
最近，兩個熱搜詞條引發(fā)了公眾的廣泛關注，甚至有一個登上了熱搜榜首——"AI詐騙在全國爆發(fā)"。這引發(fā)了公眾的強烈恐慌。那么，今天我們就來探討一下這個話題。"AI詐騙在全國爆發(fā)"這一說法是否真實呢？AI詐騙真的有那么恐怖嗎？本期較真聯(lián)合“AI新時代”，邀請騰訊較真主筆丁陽對話到“終結詐騙”公眾號主編二八、騰訊AI Lab高級研究員吳秉哲，風控研究人員尉文韜就這個問題交流探討。
核心速覽：
1、轟動一時的“10分鐘被騙430萬”案件，其實并未應用什么新型技術，所謂的“微信盜號”也只是錯覺。AI換臉技術出現(xiàn)已經有幾年了，并非才冒出來的?！靶氯A視點”記者近日與公安部門核實確認，“AI詐騙全國爆發(fā)”的消息不實，目前此類詐騙發(fā)案占比很低。全國此類案件發(fā)生不到10起。
2、但AI詐騙的潛在威脅不可低估。黑產人員可以利用AI技術給詐騙產業(yè)鏈的上游、中游、下游的各個環(huán)節(jié)進行“賦能”，甚至生成“千人千面”的詐騙手法。
3、防范AI詐騙，需要提升對詐騙手法的認知，遇到可能的詐騙時，需要多方核實信息，并且，盡量不要泄露個人信息。
丁陽：最近有一起廣為流傳的詐騙案例——福州市的郭先生“10分鐘被騙430萬”。據(jù)稱這起詐騙是利用了“微信盜號+AI換臉實時視頻通話”的技術，如今的詐騙技術已經發(fā)展到這個地步了嗎？這到底就是一起普通的詐騙？還是真的用了什么新方法、新技術？
二八：一開始看到這個案件時，只覺得是的一個冒充好友的詐騙案，到后來我再看到新聞時，它變成了AI換臉詐騙，而且由于涉及金額430萬。那陣子正好AI是一個十分熱門的話題，在熱門話題以及自媒體的雙重加持下，該案件又再一次被廣泛地傳播，而在這個傳播過程中，越來越多令人恐慌的東西被加入在不同文章中。于是我查閱了第一個提到這是一起利用了AI換臉技術的詐騙案的官方報導——包頭公安發(fā)布的關于這起詐騙案的原始資料，我還原了一下這個案件，發(fā)現(xiàn)它的確是冒充好友的一起詐騙案，但并沒有用到特別多的新的技術。
關于AI換臉后和受害者視頻聊天這個細節(jié)，其實存在爭議。受害人報案時稱通過微信視頻聊天看到了好友的臉，也可能是一種錯覺，就像一些受害者在報案時稱自己被人拍了一下就被下了“乖乖粉”，之后失去意識對兇手言聽計從，但是其實我們知道，“乖乖粉”并不存在。而這起詐騙案中的兇手很有可能是新建了一個微信號，微信號的頭像、名字等等都仿照受害人朋友進行設置，也就是我們說的“高仿號”。兇手在加好受害者以后，撥通微信電話，但這個時間非常短，很難讓受害者接到，之后受害者回撥電話時，兇手拒絕接通，然后發(fā)給受害者一個視頻，那這個視頻就是利用AI制作的有好友的臉的視頻，那受害者在這個短期的時間內可能就產生了我和好友視頻聊天了的錯覺，又或者說受害者未能謹慎地確認好友身份，而為了把自己偽裝成一個完美受害者，那受害者也是有可能說自己和好友用微信進行視頻通話了。
像這種制作換臉視頻的手段在幾年前就有了，只是說現(xiàn)在的AI技術出現(xiàn)使得該手段變得愈加容易，沒有門檻了，所以算不上新技術，甚至在這起案子里也并不存在微信盜號技術 。
吳秉哲：這個案件更多是利用受害者忽略細節(jié)，防范意識薄弱的特點來成功實施了詐騙。AI換臉技術，即deep fake技術，從2015年就興起了，只不過到現(xiàn)在我們有了更加高級逼真的工具與產品，能使真實和虛假的臉差別更小，很難分辨。正因為如此，AI換臉詐騙越來越難以防范，現(xiàn)在單純從圖片出發(fā)進行防范已經不大現(xiàn)實了，所以需要結合詐騙人員的行為軌跡等方面做好防范措施。
丁陽：伴隨福州詐騙案件，有一個熱搜聲稱，“AI詐騙正在席卷全國”。這個說法對不對？除了“AI詐騙正在席卷全國”這個詞條外，還有一個熱搜詞條是“AI詐騙成功率100%”。以當前AI詐騙的實際表現(xiàn)，有這么可怕嗎？
二八：就像福州這起詐騙案，并沒有太多新奇的地方，但它卻傳播的十分迅速且廣泛，為什么會這樣？其實就是它利用了恐慌性的傳播效應，嚇人的標題加上“百分百受騙”的這種措辭，就會被讓大家認為詐騙來勢洶洶，但我認為大家不必如此恐慌。雖然沒有人能夠保證百分百不被騙，但也不可能會有一種騙術，能夠百分百騙到人。詐騙本身會對人群進行篩選，篩選出易被騙人群，易被催眠人群等，先篩選再詐騙，“AI詐騙席卷全國”這個說法實在是太夸張了。
現(xiàn)在很多自媒體人為了傳播自己的內容，會運用多種技巧，比如恐慌性傳播技巧，這樣做的確能使更多人注意到詐騙案件，提高自身防范意識，但也有一個致命的弊端，就是會使社會信任度下降，造成人們無端的恐慌。我個人不太贊成這種做法，因為在這種緊張的社會氛圍下，人們很可能在其他形式的詐騙中栽跟頭，比如詐騙犯冒充公檢法，那人們接電話時可能會想，是不是真有人用了我的臉去詐騙犯罪，從而陷入另一種詐騙之中。
丁陽：這里補充一下，就在本月初，新華社旗下的新華視點欄目采訪了公安部的相關人員。他們確認了“AI詐騙全國爆發(fā)”的消息并不準確。目前，此類詐騙案件的比例非常低，全國范圍內此類案件的發(fā)生甚至不到十起。然而，公安部的相關人員也指出，這個動態(tài)是值得我們高度關注的。
丁陽：當前AI技術不再是實驗室的半成品，引發(fā)熱議的“換臉”“擬音”技術已有較成熟的開源軟件，這有沒有可能導致AI詐騙大爆發(fā)？現(xiàn)在最受矚目的AI應用，以Chatgpt為代表的大模型，是否應用在了AI詐騙里面？
尉文韜：總體上是有這個趨勢，但實際上由于成本問題，其實很多詐騙團伙并沒有在這個方向上投入特別多的精力，這也是當前AI詐騙并沒有特別多的案件的原因。從技術上來，訓練模型、開源軟件，它首先需要資源和成本，黑產團伙本身也需要考慮ROI(投資回報率）的問題，如果這個事情它的ROI（投資回報率）不高的話，那么他們可能也會選擇去觀望。
我個人覺得現(xiàn)在大家是不太能夠訓練出一個比較好的模型，以達到以假亂真的效果，所以不必太恐慌。
吳秉哲：從下游受害者來看，大家接觸的比較多的是視頻和圖像，以及我們前面提到的那個案例也是AI換臉技術，所以這一部分技術我個人感覺其實已經比較成熟，現(xiàn)在可能需要的就是高質量的訓練，計算的資源等等。而這些東西其實在慢慢地變得更加容易獲得了，需要付出的代價也在逐漸減少。日后在視頻圖像領域，詐騙犯冒充虛擬人或者主播進行詐騙也是有可能的。另一方面大家日常接觸的比較多的，文本，包括跟網友聊天，在私域的一些交流等等，就我個人接觸到的案例而言，文本方面的詐騙還是很少。因為AI很難生成自然文本，而且大家對于文本會更加熟悉，所以基于像chatgpt進行詐騙之類的案件，目前還沒有出現(xiàn)。但是詐騙如今已經是一個產業(yè)鏈，你可以把其當做是內容制造業(yè)，在其慢慢升級的過程中，應用chatgpt等一類的技術，也是有可能的。
至于說為什么公安部公布的AI詐騙案發(fā)率還比較低，可能是因為各種原因，如數(shù)據(jù)統(tǒng)計方法的問題，或者是其他我暫時不知道的問題。不過嚴重性也許有可能被低估了。幾天前，我在抖音上看到一個案例，不保真，但可能說明了一些情況。一個中年人在商場中拿了一個玩具熊。為了得到這個玩具熊，他需要錄入自己的臉部視頻。但在錄入結束后，他發(fā)現(xiàn)自己的臉部視頻被竊取，然后用來生成虛假的人臉。所以，與AI詐騙相關的一些操作，也許是正在進行中，因此不可低估。
丁陽：很多人非常擔心“AI換臉視頻通話”，當下這項技術在AI詐騙中已經被廣泛利用了嗎？是否已經達到實時的級別且不露破綻？會對人臉識別造成影響嗎？
尉文韜：首先我們要知道AI換臉是需要經過大量的訓練的，就是用很多人對同一個事情的表現(xiàn)訓練出一個比較通用的模板，后期再把模板放到需要替換的臉上，以此來達到換臉目的。說回您的問題，我認為就當前而言，暫時還無法達到廣泛應用的階段。第一，如果實時的話，當前技術很難達到以假亂真的效果；第二，我個人覺得樣本很難獲得。如果要訓練出模板，那么需要很多滿足條件的樣本，比如不同的角度、不同的打在臉上的光源等等，這些樣本難以獲得，模型也就很難完成迭代，想要完完全全復制出一個人臉也就很困難了。
雖然現(xiàn)在這個技術成本高，很難被成熟應用，但是仍然需要提高警惕。比如說一個半成品，可能比較模糊，但是詐騙犯就會謊稱自己網絡不好，來引誘受害者入局。
當然，也會有一些非常明顯的破綻，對于人臉來說，我們可以注意其輪廓，以及說話時候嘴唇的反應。比如我們說話嘴唇看起來動的是非常自然的，但是換臉視頻里面的臉，說話的時候嘴唇可能就不是那么的自然了。
吳秉哲：詐騙犯獲取一張照片，然后生成一個人臉，攻破手機的人臉識別，或者說手機銀行的人臉識別——大家現(xiàn)在其實不太必要過于擔心。因為要做到這個利用照片生成人臉破解人臉識別還是很困難的。其實很早之前各個廠商，包括只要涉及到人臉識別，比如說支付寶，他們都在做類似于活體檢測，他們把熱成像等各種技術配合在一起，整體形成了一套非常可靠保護屏障，只是說現(xiàn)在可能有一個比較有威脅的技術，就是基于3D打印能制作面具，當然，我到現(xiàn)在并沒有看到成功實施的案例，不過也不必擔心，因為這是一個長期持續(xù)的過程，黑產和我們相互會牽制，對抗。
尉文韜：我感覺也是完全不用擔心對人臉識別會有影響。如果是比較簡單的人臉識別技術，像小區(qū)門禁，那么是有可能受到威脅的。但是包括微信支付等一系列的手機APP的人臉識別是有自己的一套體系的，比如說他會用到三色識別技術，可以做到規(guī)避很多風險。
吳秉哲：對，可能會有結構光等的輔助，就像鴻蒙系統(tǒng)，總之整個移動端的安全是能夠得到保障的，大家相信我們國家的APP。
丁陽：AI詐騙更成熟的話，相比傳統(tǒng)詐騙，有哪些特點？AI技術是否會“賦能”、或者說“重塑”詐騙行業(yè)？
吳秉哲：其實詐騙經過這么多年移動互聯(lián)網的打磨，其實已經形成了自己的一條成熟的產業(yè)鏈，那么在這條鏈上，也分上游、中游、下游。首先從上游來講，黑產人員會大規(guī)模地準備一批賬號，或者是盜號，或者是創(chuàng)立全新的賬號。之前建立賬號需要大量的人工，但是現(xiàn)在可以借助chatgpt這種具有強大的文本處理能力的模型。他們可以利用其來對小紅書、微博等用戶發(fā)布的內容進行文本分析，然后我們就能大概獲知這個賬號背后的人他的性格、居住環(huán)境、喜好等等。之后我們再借助chatgpt去抽象出整個群體的特征，基于這些特征，構建賬號的體系。舉個例子，我在提取了股民的特征以后，構建一個賬號，經常發(fā)布股票相關內容，然后吸引下游的受害者。
就中游而言，比如爆款文章，它其實是內容層面的一個優(yōu)化，那大家在小紅書、微博等上面看到的這些文章，可能正是用chatgpt優(yōu)化過的。你可以告訴chatgpt，讓它幫你生成熱門帖子，你把關鍵詞告訴它，那它就能夠自動地對你的內容進行優(yōu)化和修改，提升你的帖子的點擊率。把這個場景遷移到黑產，也是同樣的道理。我們經常會收到一些短信或者釣魚的一些郵件，從傳統(tǒng)詐騙手段來講，可能就是基于人為的一些既定的規(guī)則去賺錢，但是這個時候如果我利用chatgpt對過往成功的一些案例進行分析的話，實際上我是可以提練出大量的素材，并且可以分析出這些素材對應哪一個群體的受害者，這部分群體會更容易上當受騙。詐騙集團就可以利用這些數(shù)據(jù)，再借助chatgpt強大的文本優(yōu)化和改寫的能力去優(yōu)化中游內容，以提高他的內容的點擊率。
從下游來看，大家現(xiàn)在使用chatgpt也可以發(fā)現(xiàn)，它具有非常強的共情能力和學習能力。之前有一篇報道，說有一個女高管愛上了一個AI，當然可能有夸大的成分，但這里面也體現(xiàn)了從詐騙分子的這個角度來說的話，他實際上可以利用chatgpt本身的能力去生成一些話術，而且這個話術千人千面的，它會結合每個人的性格、情緒、愛好生成相應的話術，讓你更加能夠信任它。
丁陽：AI詐騙更成熟的話，現(xiàn)有的反詐手段還能有效應對嗎？
二八：我覺得防范要從兩個角度來看。第一個層面我認為是個人的認知。所有的詐騙，不管是千人千面還是網聊，其實它都有一個固定的東西就是，對方是根據(jù)你的需求點去打造的，而你的需求點往往是超過你現(xiàn)實能匹配到的東西，你才會在網絡上去追求這么一個東西。如果你個人的認知能夠意識到，事出反常必有妖，那么你就不會被騙。第二個層面是平臺的技術。騙子要詐騙需要在平臺上應用自己的技術，那么這個平臺它就得謹慎地應對這件事，必須要對其負起責任，如果任由騙子在平臺上橫行，軟件就無法得到大家的信任，繼而存活下去，所以為了防范這種情況，它一定會不斷地升級。形成互相牽制的局面，魔高一尺道高一丈。
當然，每個人不可能隨時都能繃緊防騙的那根線，有時候，騙子可能耗費巨大的人力物力騙你，我們把這種情況稱作天仙局，就像最近熱映的《消失的她》，一群人一起演你你也很難有辦法逃脫。我前面說沒有一個人百分百不會被騙，就正是因為我們人的情緒有高低，然后狀態(tài)也有好壞。那么你在情緒低，在狀態(tài)壞的時候，然后遇到騙子，就很容易上當。所以我們要不斷的提高認知，以及了解現(xiàn)在的詐騙技術發(fā)展到哪種程度了。當遇到這天仙局的時候，他們花費幾個月的時間騙你，那在這幾個月時間里，有沒有一刻我是醒悟過來的。如果在這一刻你醒悟過來了，那可能騙子就前功盡棄了。
吳秉哲：現(xiàn)在我們大部分人的防范意識在增強，認知在提高，被騙其實并不是易事。但是我們仍然在做風控，為什么呢？其實是出于對心理弱勢群體的保護的考慮。從這個角度來看，對平臺方的要求會更高，比如之前針對老年人推出的手機，它會構建自動的機器人，阻止老年人點擊短信鏈接之類的。雖然說chatgpt的出現(xiàn)會讓詐騙應用的技術成本降低，但是我們同樣可以利用其來反詐騙。剛剛我提到的手機構建的屏障，可能大部分年輕人不需要，但是對于年長的長輩來說，他們平時就不怎么上網，信息更新也不及時，簡單的一個騙局可能就騙到他了，就更別說AI出現(xiàn)后了。所以針對這一群體，一定要有一些系統(tǒng)性的平臺防范措施，不管是從軟件端，從硬件，還是從手機廠商，內置防護系統(tǒng)是非常必要的措施。
丁陽：隨著AI技術的進一步發(fā)展，比如合成技術正逐步由面部合成向全身、3D合成發(fā)展。那么還有哪些技術可能被AI詐騙所利用？
尉文韜：我個人認為這些技術都是輔助手段，詐騙萬變不離其宗，他首先是有自己的主線，再穿插使用新興技術作為輔助，提高騙局的成功度。比如我之前利用PS合成一個很簡陋的照片，說你的兒子被撞了，別人能夠一眼就看出來是假的，那現(xiàn)在我用新技術合成更加逼真的照片，你就很難看出來真假了，就更有可能沉浸在這個騙局中。但是，我個人是認為技術雖然在更新，但是如果詐騙手段沒有創(chuàng)新的話，那么它仍然是有局限的，是可防可控的，不必過于擔心。
丁陽：AI既然能被用來詐騙，那能否被用來反制AI詐騙？當前有哪些AI技術已經在運用了？
尉文韜：有一些深度學習的方式，比如說吳老師一開始提到的，我們可以從行為的角度上去進行一些判斷，假如一個詐騙犯，他每天登錄各個賬號，不做其他事，就只和你聊天，而且每一次你發(fā)完消息，他隔幾秒鐘回復，然后這個時間間隔是比較固定的，那在我們技術人員看來，這就可以總結成一個規(guī)律，如果他每一次回復都遵循這個規(guī)律，那就有可能有問題。相反來說，我們人可能就是非常隨機的，比如說有個人給你發(fā)個信息，你可能過個十分鐘，或者過個一個小時再回，但是可能對于那個犯罪團伙來說，它就是固定的回復間隔時間。而這些蛛絲馬跡就能夠被模型捕捉到，然后幫助我們去偵破這個人的真實身份。
這種方式也同樣可能運用到偵破AI實時換臉上，比如說我們開頭那個案例，受害者之前沒有跟他有過聊天記錄，也沒有發(fā)起過語音聊天，和這個人根本沒有什么社交上的一些來往，但是突然他就發(fā)過來一條視頻通話邀請，從ID行為模式來看，是很奇怪的。
然后就是可以利用AI對隨機的聊天截圖來進行識別輔助，以達到快速甄別的效果。
吳秉哲：對于風控技術人員來說，以前我們采用的是人為審核的方式，以及事后審核來捕捉風險。但是現(xiàn)在借助新的AI技術，讓AI潛伏在各種各樣的這個黑產群里實時獲得一些信息，當然可能這里面會有一些技術倫理上的一些問題，然后再把情報傳到平臺，平臺會采取相應的措施。AI能更加精確的，高效的識別到風險變化趨勢，所以它對策略制定非常有用。所以整體來看，風控和黑產是一個博弈的狀態(tài)。黑產現(xiàn)在圖像和視頻領域走在了前面，而且本身這一領域很難防。風控人員，包括網信辦、工信部等，也會逐漸意識到這個問題，風控人員也會趕上進度。而在文本領域，我感覺風控相較于黑產是領先的。
丁陽：能否給到普通人一些建議，日常生活中如何防范 AI 詐騙？
二八：提高認知仍然是一個方面，另一方面就是假如AI隨著發(fā)展，形成了千人千面的詐騙形態(tài)，可能大家會拋棄線上社交場景。因為現(xiàn)在大家愿意去線上社交，還是基于信任。如果信任崩塌，那么大家還是會回歸到線下的社交。還有一個方面，詐騙成功很多時候是因為我們疏忽大意，認為好朋友無所謂，但是遇到借錢的特殊情況時，應該至少要多方面驗證一下這個人的真實性，可以給他打個電話，或者如果說金額巨大，可以私下在線下見一面。當然也有可能遇到那種誘導你關機，冒充公檢法的騙子，那這種情況還是可以找身邊的人以及他的親戚孩子朋友之類的去核實。
但確實有很多冒充親人的詐騙，說你兒子出車禍了，然后現(xiàn)在急忙需要動手術，那其實在這種特殊情況下，然后又是一個很危急的情況，從情感上來說很難防范，這其實是一種人性的問題。
吳秉哲：人性方面的東西總是很復雜的，舉個例子來說，比如在股市恐慌的時候，就很容易丟掉自己手頭的籌碼，其實利用心理詐騙也是一樣的。
在被詐騙的時候，你一恐慌就打錢了。所以我在想AI技術本身能否去應用到這種場景中去，因為大家說這么多，但是我們現(xiàn)在是非常清醒的一個狀態(tài)，我們都能意識到，但是也有就是所謂的我眼睛會了，手不會。那這個時候我能不能利用這個AI技術，產生一些強制的行為，比如內置一些強制的措施。在先不考慮隱私的基礎上，比如說檢測到轉賬的時候，其實咸魚、微信等軟件，它都有類似的功能，但是檢測到轉賬了，咸魚可能就是僅僅提示了一下不要轉賬，那有了AI過后，我們是不是能做的更多？
就比如說大家把平時民警科普的防騙知識，和自己掌握的一些防騙技巧統(tǒng)統(tǒng)注入到chatgpt里面，就去調教他，然后讓chatgpt來充當你的小助手，在觸發(fā)到一些關鍵詞的時候它自動就會生成一個彈窗，它會提示你可能會有什么潛在的風險，然后你這個時候應該做哪些事情。很多時候雖然看過反詐視頻，但關鍵時候可能會忘，如果有這樣一個軟件或者平臺，自己能夠去做這樣一件事情是非常好的。一到關鍵時刻，我就有非常詳細的警示告訴我，不要去這樣做，先檢查一下，當你一切都覺得沒問題了過后，然后它可能有一個強制的按鈕，你來點四次ok，然后再去實施。
當然，這是非常理想的狀態(tài)，實際上距離這個技術落地，是有非常長的一條路，但本身這也是科技向善的一種體現(xiàn)吧。黑產分子它能利用大語言模型，那我也可以利用大語言模型來幫助更多的人能夠去守護好自己的這個財產。
從現(xiàn)實來看，當前防范我認為大家公開的信息，比如推文之類的，不要出現(xiàn)特別情緒化的一些描述，以及個人信息，特別是快遞上的信息，包括我們注冊手機號，信用卡填信息，那填之前我們要想一想是否真的有必要給出這些信息。
尉文韜：從從業(yè)人員角度來說，我覺得更希望依賴技術吧，就是大家也不要有過多的防范心理，其實我們做技術的已經幫大家把這個風險過濾掉了，這種是最好的一個狀態(tài)。但是其實就目前來說，我覺得就個人來說，還是需要特別注意這方面的事情，我平常會接觸到一些詐騙案，我覺得很難防住，人的心理狀態(tài)是很容易出現(xiàn)疏忽的，然后這個疏忽就會被詐騙分子給抓住，被利用。但是還是希望大家會在涉及錢的事情上，再三的問自己一下，我這個錢是要轉出去的，可能是會回不來的，這樣可能會稍微好一點。因為從接觸的案件上來說，我覺得我對這個事情持比較悲觀的態(tài)度，真的非常難防。
丁陽：謝謝幾位老師，結論稍微有點悲觀，但咱們也得告訴大家，這也是一種提醒。總之，我們可能需要付出比以往更多的警惕性，以及努力去獲取相關知識，甚至我們可能需要進行一些情感方面的犧牲，才能應對當前及未來的AI詐騙手段。
