《計算機應用研究》|Application Research of Computers

TSPT:基于預訓練的三階段復合式文本摘要模型

TSPT: three-stage compound text summarization model based on pre-training

免費全文下載 (已被下載 次)  
獲取PDF全文
作者 呂瑞,王濤,曾碧卿,劉相湖
機構 華南師范大學 計算機學院
統計 摘要被查看 次,已被下載
摘要 抽取式方法從源文本中抽取句子,會造成信息冗余;生成式方法可以生成非源文詞,會產生語法問題,自然性差。BERT作為一種雙向Transformer模型,在自然語言理解任務上展現了優異的性能,但在文本生成任務的應用有待探索。針對以上問題,提出一種基于預訓練的三階段復合式文本摘要模型(TSPT),結合抽取式方法和生成式方法,將源經過預訓練產生的雙向上下文信息詞向量由sigmoid函數獲取句子得分抽取關鍵句,在摘要生成階段將關鍵句作為完形填空任務重寫,生成最終摘要。實驗結果表明該模型在CNN/Daily Mail數據集中取得良好了效果。
關鍵詞 預訓練;復合式文本摘要模型;抽取式方法;生成式方法;雙向上下文信息詞向量
基金項目 國家自然科學基金資助項目(61772211,61503143)
本文URL http://www.ziusle.tw/article/02-2020-10-012.html
收稿日期
修回日期
頁碼 -
中圖分類號 TP391
文獻標志碼
中超外援名额