親耳聽到的就是真的嗎,？未必。網(wǎng)絡(luò)平臺上,，AI聲音隨處可見。
從“張文宏醫(yī)生”推銷蛋白棒視頻“走紅”網(wǎng)絡(luò),，后被本人“打假”,，到多位配音演員稱聲音被AI“偷走”,，公開維權(quán)……記者調(diào)查發(fā)現(xiàn),，隨著人工智能技術(shù)和語音大模型應(yīng)用的發(fā)展，AI合成聲音App大量出現(xiàn),，最快只需十幾秒便可“克隆”出來,。與此同時,，AI聲音濫用現(xiàn)象愈發(fā)突出，不時引發(fā)爭議,。
AI聲音濫用不時發(fā)生
記者在某短視頻平臺以“AI克隆聲音”為關(guān)鍵詞檢索發(fā)現(xiàn),，明星翻唱,、新聞播報、吐槽點評等大量視頻涉及AI聲音，有些甚至出現(xiàn)不雅詞匯,，不少視頻點贊和評論量過千,。
而AI聲音濫用事件也不時發(fā)生,，引發(fā)關(guān)注和討論,。
隨著人工智能技術(shù)和語音大模型應(yīng)用的發(fā)展,，AI聲音濫用現(xiàn)象愈發(fā)突出,，不時引發(fā)爭議。新華社發(fā) 朱慧卿 作
在社交平臺上,，通過AI模仿惡搞各領(lǐng)域名人的音視頻不在少數(shù),。此前,，短視頻平臺涌現(xiàn)了大量AI模仿某知名企業(yè)家聲音吐槽堵車、調(diào)休,、游戲等熱門話題的視頻,，個別視頻甚至還有臟話出現(xiàn)，一度登上熱搜,。該企業(yè)家隨后發(fā)視頻回應(yīng)稱：“相關(guān)事件的確讓自己挺困擾，也挺不舒服,，希望大家都不要‘玩’了,。”
一些商家在短視頻平臺帶貨時,，通過AI模仿聲音技術(shù)將主播“變”為知名女明星,、知名醫(yī)生,，銷售服裝、保健品等相關(guān)產(chǎn)品,，對消費者造成了嚴重誤導(dǎo),。國家傳染病醫(yī)學(xué)中心主任、復(fù)旦大學(xué)附屬華山醫(yī)院感染科主任張文宏接受媒體采訪時表示,，通過語音合成來模仿他的聲音進行直播帶貨,，這樣的賬號“不止一個,，且一直在變”，他多次向平臺投訴但屢禁不絕,。
胖東來創(chuàng)始人于東來的聲音也曾頻遭AI模仿,，相關(guān)平臺出現(xiàn)了大量與事實不符的合成視頻。胖東來商貿(mào)集團為此發(fā)布聲明稱,，多個賬號未經(jīng)授權(quán)擅自利用AI技術(shù)手段生成于東來的聲音,，加入誤導(dǎo)性文案，對公眾造成誤導(dǎo)和混淆,。
記者了解到,，有不法分子通過“AI換聲”仿冒一位老人的孫子，以“打人須賠償,，否則要坐牢”為由,，詐騙老人2萬元。類似的詐騙案件在全國已發(fā)生多起,，有的詐騙金額達到上百萬元,。
中國社會科學(xué)院大學(xué)互聯(lián)網(wǎng)法治研究中心主任劉曉春表示，在未經(jīng)過授權(quán),、未進行標(biāo)注的情況下,，用他人聲音制作AI語音產(chǎn)品，尤其是“借用”公眾人物的聲音,，很容易引起誤解,，不僅會侵害個人信息安全，還可能擾亂網(wǎng)絡(luò)空間生態(tài)和秩序,。
聲音是如何被“偷”走的,？
AI如何生成以假亂真的聲音？受訪專家介紹,，AI能夠“克隆”聲音,，主要是依靠深度學(xué)習(xí)算法，即短時間內(nèi)從采集的聲音樣本中提取關(guān)鍵特征,，包括頻率,、音色、聲調(diào),、語速,、情感等，將這些特征記錄為數(shù)學(xué)模型,，再通過算法合成,。
中國科學(xué)院自動化研究所模式識別實驗室工程師牛少東說，隨著算法越來越先進,，在高性能設(shè)備和高精度模型的加持下,，AI生成的語音內(nèi)容從兩年前的“一眼假”升級到如今的“真假難辨”。
大四學(xué)生耿孝存最近經(jīng)常在網(wǎng)絡(luò)音樂播放器中收聽幾首翻唱歌曲,，他一直以為這些歌曲由某知名女歌手翻唱，后來才得知其實全部是AI合成的?！奥曇舯普娴轿覐膩頉]懷疑過,。”耿孝存說,。
AI聲音在最近一兩年時間內(nèi)變得格外“流行”,。清華大學(xué)新聞與傳播學(xué)院教授沈陽說，人工智能技術(shù)的普及,，讓AI模擬聲音的門檻大幅降低,。通過一些開源軟件和平臺，沒有專業(yè)知識的普通用戶也能操作,。
大量App能夠進行AI合成聲音,，最快只需十幾秒。記者在應(yīng)用商店搜索發(fā)現(xiàn),，相關(guān)App有數(shù)十款,，下載量最高超千萬次。
記者聯(lián)系了一款A(yù)pp的客服人員,，對方表示,，花198元就能解鎖付費會員，對著鏡頭說幾遍“12345”,，AI就會根據(jù)聲音生成各類內(nèi)容的出鏡口播視頻,。記者操作后發(fā)現(xiàn)，通過這款軟件生成的名人聲音,，基本可以以假亂真,，且錄入名人聲音不需要提供任何授權(quán)證明。
業(yè)內(nèi)人士告訴記者,，AI模擬人聲在互聯(lián)網(wǎng)“流行”,，有追逐流量和變現(xiàn)的目的。通過“克隆”名人聲音制作的惡搞,、獵奇類視頻,，在相關(guān)平臺播放和點贊量均不低，有的甚至還被推上熱搜,。發(fā)布者也相應(yīng)獲得流量曝光,、粉絲增長、廣告收入等播放收益,。
此外,，“偷”人聲音也有不法利益驅(qū)動。國家金融監(jiān)管總局2024年7月發(fā)布的《關(guān)于防范新型電信網(wǎng)絡(luò)詐騙的風(fēng)險提示》中提到,，不法分子可能對明星,、專家,、執(zhí)法人員等音視頻進行人工合成，假借其身份傳播虛假消息,，從而實現(xiàn)詐騙目的,。
多措并舉強化治理
用AI生成他人聲音，是否違法違規(guī),？多位受訪專家表示,，個人聲音中包含的聲紋信息具備可識別性，能以電子方式記錄,，能關(guān)聯(lián)到唯一自然人,，是生物識別信息，屬于個人信息保護法規(guī)定的敏感個人信息之一,。
2024年4月,，北京互聯(lián)網(wǎng)法院宣判全國首例“AI聲音侵權(quán)案”，明確認定在具備可識別性的前提下,，自然人聲音權(quán)益的保護范圍可及于AI生成聲音,。該法院法官認為，未經(jīng)權(quán)利人許可,，擅自使用或許可他人使用錄音制品中的聲音構(gòu)成侵權(quán),。
近年來，有關(guān)主管部門出臺《人工智能生成合成內(nèi)容標(biāo)識辦法（征求意見稿）》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等規(guī)定,，一定程度上給AI技術(shù)使用劃定了紅線,。
沈陽等專家認為，關(guān)于人工智能應(yīng)用產(chǎn)生的造謠侵權(quán),、刑事犯罪,、道德倫理等問題，建議有關(guān)部門細化完善相關(guān)規(guī)則,，通過典型案例,、司法解釋等方式給予更為明確的規(guī)范指引，厘清法律法規(guī)邊界,。
中國科學(xué)院科技戰(zhàn)略咨詢研究院院長潘教峰認為,，需進一步強化人工智能倫理規(guī)制，超前部署人工智能風(fēng)險研究,，提前預(yù)判人工智能技術(shù)應(yīng)用可能帶來的社會影響,。
2024年12月，廣電總局網(wǎng)絡(luò)視聽司發(fā)布《管理提示（AI魔改）》,，要求嚴格落實生成式人工智能內(nèi)容審核要求,，對在平臺上使用、傳播的各類相關(guān)技術(shù)產(chǎn)品嚴格準(zhǔn)入和監(jiān)看,，對AI生成內(nèi)容做出顯著提示,。
多位專家表示,，各類社交網(wǎng)絡(luò)、短視頻平臺要強化主動監(jiān)管意識,，及時發(fā)現(xiàn),、處理可能涉及侵權(quán)的AI生成作品；相關(guān)部門應(yīng)繼續(xù)加大對利用AI技術(shù)進行詐騙等違法犯罪行為的打擊力度,，形成更加完善的常態(tài)化治理機制。
牛少東說,，在AI時代,，個人也要更加注意保護自己的生物特征信息，增強法律意識,，抵制他人侵權(quán)等行為,。
