02

制止網(wǎng)絡(luò)暴力背后的AI技術(shù)：

自然語言處理

在人類無法兼顧的海量信息中，AI技術(shù)的介入顯然為制止網(wǎng)絡(luò)暴力提供了一條捷徑。

想要對評論、彈幕這樣成千上萬的非結(jié)構(gòu)化語言數(shù)據(jù)進行分析，自然語言處理（NLP）就成為研究者必須面對的核心AI技術(shù)。

作為AI的一個子領(lǐng)域，自然語言處理致力于讓計算機也能夠理解和處理人類語言，使計算機更接近于人類對語言的理解。

事實上，人類讀寫文字的歷史已經(jīng)有幾千年了，我們的大腦在理解自然語言方面積攢了大量的經(jīng)驗。

當我們閱讀文字時，很快就能明白其中的含義，并感受到這些東西引發(fā)的情感。

但是想讓機器也擁有人類對語言的理解和情感，是一件非常困難的事情。之所以自然語言處理技術(shù)被譽為“人工智能皇冠上的明珠”，一方面表明了它的重要性，另一方面也顯現(xiàn)出了它的技術(shù)難度。

如今，深度學習的興起，讓自然語言處理技術(shù)得以進一步發(fā)展，讓機器能夠自動學習語言特征，掌握更高層次、更加抽象的語言特征，目前已廣泛應用于機器翻譯、輿情監(jiān)測、自動摘要、觀點提取、文本分類、問題回答、文本語義對比、語音識別、中文OCR等方面。

在生活中，從語音助手Siri、微軟小冰、小愛同學，到語音輸入、谷歌翻譯、水軍檢測等，隨處可見自然語言處理技術(shù)。

那么，在制止網(wǎng)絡(luò)暴力方面，自然語言處理技術(shù)是如何應用的？具體而言，涉及以下幾個方向：

情緒解析

情緒極值：以50分為分界，對整體正負面情感特征打分；

十二種細節(jié)情緒：根據(jù)Plutchik情感輪理論體系，識別語義中12種不同細節(jié)情緒；

情緒值／濃度：計算出語句的情緒濃度，即反映了特定情感的激烈程度；

情感關(guān)鍵詞：從文本中智能識別并提煉對文本整體情緒影響最大的關(guān)鍵信息。

基于情緒解析引擎，可以針對某條內(nèi)容所表達的情緒極值以及十二種細節(jié)情緒進行全量分析，從而詳細了解千萬條評論內(nèi)容中網(wǎng)民們的整體情緒分布；

其次，還可根據(jù)時間段來看隨著時間的推移網(wǎng)友們對這件事的態(tài)度的變化，即是否還是那么厭惡／喜歡；

再者，結(jié)合第三方數(shù)據(jù)——如用戶地域、性別等信息，還可以對不同人群的肖像進行更精細地刻畫。

文本觀點提取

基于知識圖譜以及字詞間的相似度計算，高度精煉、概括每段話的核心表達觀點。

例如：“喜歡這個妝容，但是口紅顏色太深了”，觀點1：妝好；觀點2：口紅深。

對海量評論進行觀點提取，可以精準、高效地總結(jié)不同網(wǎng)民對于同一件事件所表達出的不同觀點，并可以對其進行歸類和比較，幫助分析人員在第一時間獲取用戶的關(guān)注熱點信息或是用戶最反感的主要問題等關(guān)鍵信息。

文本相似度判斷

一對一、一對多或多對一的文本匹配，從理解不同字詞所表達的含義入手，結(jié)合知識圖譜，判斷兩段文本核心觀點的一致程度。

例如：對同一事件或兩個不同事件的評論進行相似度對比，可以根據(jù)結(jié)果看看用戶在用詞或表達上有什么共同點。不同事件間的評論對比，還能幫助發(fā)現(xiàn)“惡性”事件及其評論內(nèi)容之間的潛在關(guān)系，甚至能洞察出某件事／某個人近期的活動形象會不會影響對其輿論的積極／消極性．

詞法分析

句式分析：對文本內(nèi)容中字詞的解讀，依照文本核心觀點表達，將字詞拆分成有語法含義的序列；

詞法分析：基于知識圖譜以及字詞間的關(guān)系分析，可以展示出每個字詞的詞性和語法結(jié)構(gòu)。

針對網(wǎng)民們成千上萬條評論，可以通過詞法分析引擎來觀察積極評論或消極評論分別常用的用詞習慣、句式、詞法。

從中可以總結(jié)出當下網(wǎng)民普遍所使用的的話術(shù)／用詞習慣，以及不同人群在表達自己觀點時所特有的語言特點。

總體而言，基于自然語言處理的技術(shù)手段對網(wǎng)絡(luò)暴力文本進行分析，不僅能及時控制負面影響擴散，也能讓監(jiān)管機構(gòu)和平臺運營商更好地了解網(wǎng)絡(luò)暴力事件產(chǎn)生成因。

03

AI算法升級：

上演“疑犯追蹤”

如果說自然語言處理是基于對網(wǎng)絡(luò)暴力文本及用戶行為的綜合分析，當不能檢測評論內(nèi)容的情況下，能否精準地識別出潛在的網(wǎng)絡(luò)暴力者？

近日，日本德島大學的計算機研究者聯(lián)合日本大型網(wǎng)絡(luò)公司代理商Cyber Agent在《人類行為計算》上發(fā)表論文，他們用機器學習的方法，分析了Cyber Agent旗下一款社交類游戲的使用數(shù)據(jù)，并且在不監(jiān)測聊天內(nèi)容的情況下，僅基于聊天次數(shù)、聊天對象、聊天時間等基本信息，就能較為精準地識別出潛在網(wǎng)絡(luò)違法者，并預測出違法行為的大概時間。

研究者基于兩種傳統(tǒng)犯罪學理論開發(fā)了這套算法：日�；顒永碚摵蜕鐣�傳染理論。

日�；顒永碚撎岢�，許多犯罪行為并不是隨機發(fā)生的，犯罪者和被害人往往在日�；顒又杏薪患�。

例如，在現(xiàn)實生活中，小偷在盜竊前會去目標地點踩點，并觀察目標人物的行為規(guī)律；同樣的，網(wǎng)絡(luò)上的犯罪者更需要提前與“獵物”取得聯(lián)系，套取信任。

因此，玩家的社交活動數(shù)據(jù)中或許就藏著“犯罪預告”。

另外，社會傳染理論還補充了重要的一點：違法傾向或違法行為也會傳染。最常見的例子就是網(wǎng)絡(luò)暴力。

網(wǎng)絡(luò)暴力往往來源于某種過激情緒的廣泛傳播：在群體的裹挾下，有的人不知不覺就失去了獨立判斷能力，無意間成為了網(wǎng)上的施暴者。

在這兩種理論的基礎(chǔ)上，研究者選擇了是一款名叫Pigg Party的手機游戲。

它主打社交功能，用戶登錄賬號后，可以裝扮虛擬的房間和個人形象，與朋友或陌生人以私聊、群聊、公聊的方式進行交流。

研究人員采用擅長從復雜數(shù)據(jù)中提取特征的算法——多層非線性模型，對55萬用戶6個月內(nèi)產(chǎn)生的聊天數(shù)據(jù)，包括每名用戶的聊天頻率、聊天時間、消息的接收者等進行了分析。

研究者組合多種神經(jīng)網(wǎng)絡(luò)模型和算法，搭建了預測違法事件的人工智能。

性能測試結(jié)果顯示， AI能根據(jù)用戶數(shù)據(jù)，較為準確地預測未來的違法者和受害者賬戶。輸入用戶兩個月內(nèi)聊天的時間、頻率、對象，AI對接下來兩個月內(nèi)違法賬戶的預測準確率可以達到84．85％，對受害者賬戶的預測準確度也接近85％。

除了對個體賬戶違法或受害的風險有較好的預測能力外，只需提供一周內(nèi)的用戶活動數(shù)據(jù)，AI就能基本精準地預測接下來的一周網(wǎng)絡(luò)社區(qū)里發(fā)生違法事件的時間，對小時和日期的預測準確率高達95．83％和85．71％，并且結(jié)果與預測受害給出的時間相吻合。 更有趣的是，AI分析數(shù)據(jù)后預警發(fā)生違法事件的時間，并不一定處在以往發(fā)生違法事件的時間段中，可見它掌握的并不僅僅是固定的規(guī)則，還有違法者言行中的真正“邏輯”。 研究者認為，借助AI，系統(tǒng)管理員能更好地維護網(wǎng)絡(luò)安全和用戶權(quán)益。盡管目前的AI并且不能進一步預測違法事件的具體類型，但它或許能抓住網(wǎng)絡(luò)上“隱形”的違法者，更好地保護我們的安全。

       原文標題 : 對網(wǎng)絡(luò)暴力Say NO！AI算法如何辨“好壞”？