車萬翔教授：ACL 2010-2020 研究趨勢總結
文本生成強勢上升
嚴格來講自然語言處理應被分為自然語言處理和自然語言生成兩個方向，然而受到技術的限制，傳統(tǒng)的文本生成多采用基于模板的方法，因此在研究上并沒有引起太多的關注。隨著序列到序列模型的產(chǎn)生，人們意識到可以采用類似的方法進行逐詞的文本生成，從而產(chǎn)生了大量的研究和應用問題，因此文本生成也成為了目前自然語言處理的熱門研究領域。今年ACL上的研究熱點如下圖所示。
問答系統(tǒng)絕地反擊
隨著斯坦福大學SQuAD數(shù)據(jù)集的誕生，以抽取式閱讀理解為代表的問答系統(tǒng)近年來引起了大量的關注。但是為什么說是“絕地反擊”呢？主要是因為在更久之前，問答系統(tǒng)就曾經(jīng)是信息檢索和自然語言處理領域的熱門研究方向，但是受限于當時的技術手段，答案準確率并不是很高，因此該研究方向曾一度被人們所冷落。經(jīng)過這幾年的發(fā)展，問答系統(tǒng)的模型逐漸被預訓練模型所統(tǒng)一，因此今年ACL上的相關文章更關注問答系統(tǒng)的各個子任務或引入更多資源。
新任務和資源挑戰(zhàn)機器
仍然是受預訓練模型的影響，在很多剛被提出不久的自然語言處理任務上，機器的表現(xiàn)很快超過人類。因此最近有大量的研究工作試圖提出對機器更具有挑戰(zhàn)性的任務和資源，從而逼迫機器更像人一樣“思考”。
機器翻譯有所衰落
幾家歡樂幾家愁，由于上述領域的快速崛起，更重要的是由于模型逐漸為Transformer所統(tǒng)一，使得機器翻譯這一“老牌”自然語言處理任務受關注的程度有所降低。今年ACL的相關研究也分散到不同的翻譯場景設置上。
句法分析逐漸式微
和機器翻譯類似，句法分析這一曾經(jīng)自然語言處理領域的當家任務也逐漸式微。其背后的原因有兩個：一方面是因為Biaffine Parser的出現(xiàn)證明了結構學習這一自然語言處理的特色問題，對于句法分析并不重要；另一方面，預訓練模型的出現(xiàn)使得句法分析的處境更是雪上加霜。預訓練模型不但能大幅提高句法分析的效果，更重要的是其內部已經(jīng)蘊含了句法結構信息，因此就無需為下游任務提供顯式的句法結構了。由于這些原因，今年ACL上句法分析的熱點也主要集中在了研究探針任務和句法分析的應用上了。不過蘇州大學李正華老師所提出的高階TreeCRF模型還是能進一步提升句法分析的效果，這一點非常難得。
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」？
- 2 大廠紛紛入局，百度、阿里、字節(jié)搶奪Agent話語權
- 3 深度報告｜中國AI產(chǎn)業(yè)正在崛起成全球力量，市場潛力和關鍵挑戰(zhàn)有哪些？
- 4 上海跑出80億超級獨角獸：獲上市公司戰(zhàn)投，干人形機器人
- 5 一文看懂視覺語言動作模型（VLA）及其應用
- 6 國家數(shù)據(jù)局局長劉烈宏調研格創(chuàng)東智
- 7 下一代入口之戰(zhàn)：大廠為何紛紛押注智能體？
- 8 百億AI芯片訂單，瘋狂傾銷中東？
- 9 Robotaxi新消息密集釋放，量產(chǎn)元年誰在領跑？
- 10 格斗大賽出圈！人形機器人致命短板曝光：頭腦過于簡單
