細思極恐!只需54塊錢,你也能讓AI偽造一系列聯合國發言

安妮 發自 凹非寺

量子位 出品 | 公眾號 QbitAI


細思極恐!只需54塊錢,你也能讓AI偽造一系列聯合國發言


聯合國發言生成器瞭解一下?

最近,有研究人員真就搞出了一個。手握這個生成器,你就可以無限生成逼真的聯合國演講風格的內容。

快速傳遞假新聞、隨口就能生成仇恨言論、冒充知名人物進行演講……這個模型讓人細思極恐,令人深感不安。

做這樣一個系統時間和金錢成本很高吧?

這麼想就大錯特錯了。研究人員表示的,整個模型只需要13個小時的訓練,總共花費不超過7.8美元,也就是人民幣54元。

也就是說,半天時間,一頓晚飯錢的成本,你也能讓AI偽造一系列聯合國發言。推特網友評論道,現在終於理解為什麼有些模型不應該開源了。


細思極恐!只需54塊錢,你也能讓AI偽造一系列聯合國發言


可怕。

真假難辨的效果

研究人員用三類任務展示了這個模型的效果,在每種任務上,模型都能Hold住相關場景,生產出假新聞、假言論。

一是一般性的主題,比如氣候變化、核裁軍等。

氣候變化仍然是所有國家關注的主要問題,世界各國領導人和馬裡政府重申了這一承諾,呼籲聯合國通過一系列解決眾多人面臨的嚴重局勢的緊急措施,面對氣候變化。作為一個穆斯林國家,穆斯林國家堅信促進和平、安全與發展的國際合作的重要性。

在這一段假新聞裡,無論是口吻、用詞還是行文邏輯,AI模型生成的文本都顯得逼真。

第二種任務是模仿聯合國祕書長的口吻對事件進行公開評論

相比於第一種任務,這個任務需要的觀點輸出更明確,難度也進一步提升。

AI模型的表現如何?看看生成效果:

聯合國祕書長強烈譴責這種發生在摩加迪沙的恐怖致命襲擊事件。……(此處有省略)我們希望國際社會也將響應對“非洲之角”和平與安全的呼籲,並希望蘇丹將繼續執行自己的安全理事會決議制度。

如果是呼籲和平的言論還好,最可怕的是,這個模型還能產生惡意煽動性言論。

研究人員展示的第三種效果就是生成充滿惡意和煽動性言論,到底能到哪種程度。

在這個任務中,AI分別就“難民是恐怖分子”和“移民是艾滋病傳播的罪魁禍首”兩個命題生成假言論,內容更是讓人看了脊背發涼。


細思極恐!只需54塊錢,你也能讓AI偽造一系列聯合國發言


這樣一個模型,到底是怎樣在半天時間+54塊錢成本的情況下做出來的?

開源模型

研究人員表示,從頭開始訓練語言模型是一項複雜的任務,需要大量的數據和計算力來進行,藉助別人已經開源的項目進行研究,也不失為一種性價比高的選擇。

在這個項目中,訓練數據是由Baturo等此前研究彙集的1970-2016年聯合國7507次發言的文本。

在這麼多次演講中,已經討論過很多話題。研究人員表示,在使用這個數據集前,這些演講被分成了283593個段落,並清理文本中的噪聲,使用spaCy進行標記。


細思極恐!只需54塊錢,你也能讓AI偽造一系列聯合國發言


論文What Drives the International Development Agenda? An NLP Analysis of the United Nations General Debate 1970-2016地址:

https://arxiv.org/abs/1708.05873

數據集搞定後,模型訓練又成了大問題。在這個階段,研究人員採用了開源模型:AWD-LSTM模型進行預訓練。

這是2017年由Salesforce研究院的Stephen Merity等人提出的模型,論文中提出了一系列基於詞的語言模型正則化和優化策略,這些策略可在不改變現LSTM模型的基礎上應用。


細思極恐!只需54塊錢,你也能讓AI偽造一系列聯合國發言


論文Regularizing and Optimizing LSTM Language Models地址:

https://arxiv.org/abs/1708.02182

研究人員用Wikitext-103數據集進行預訓練,藉助fast.ai庫,最終,AWD-LSTM模型在NVIDIA K80 GPU上訓練不到13個小時,就完成了模型的訓練,成本僅用了7.80美元(54元)。

多重身份的一作

這篇論文出自Joseph Bullock和Miguel Luengo-Oroz之手。

一作Joseph Bullock有3重身份:一是United Nations Global Pulse小組成員,二是英國杜倫大學(Durham University)數據科學研究所的一員,三是杜倫大學粒子物理現象學研究所的成員。


細思極恐!只需54塊錢,你也能讓AI偽造一系列聯合國發言


Miguel Luengo-Oroz是United Nations Global Pulse的數據科學家。


細思極恐!只需54塊錢,你也能讓AI偽造一系列聯合國發言


這篇論文也將出現在長灘上舉辦的Conference on Machine Learning AI for Social Good Workshop上。

傳送門

論文Automated Speech Generation from UN General Assembly Statements: Mapping Risks in AI Generated Texts地址:

https://arxiv.org/abs/1906.01946

原報道地址:

https://www.technologyreview.com/f/613645/ai-fake-news-deepfakes-misinformation-united-nations/

— 完 —

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態

相關推薦

推薦中...