 |
基础技术 |
| 中文多文档自动文摘 |
| 概况介绍 |
互联网的发展提供了越来越丰富的信息，但这种信息海洋也使得用户会产生一种资讯焦虑，人
们在获得有效信息的同时，被越来越多的冗余信息所困扰。因此迫切需要一个帮助人们快速浏览的工具，该工具通过对相似文档集合的加工整理，将这些文档的重要的、全面的信息直接提供给用户。问天多文档文摘系统（WinMDS）可以从文本集中挖掘提炼出一个简洁、浓缩的文摘，从而提高了人们获取信息的效率。 |
| 体系结构 |
WinMDS系统是以文本内容为出发点，以句子的语义相似度为基础，首先形成多文档集合的子主
题，并在子主题排序和最优目标函数的指导下，在各个子主题中选取句子生成文摘。在有限的字数
下，WinMDS可以使文摘中的句子最好的表达原始文档的信息，既能使信息覆盖率最大，又能尽可能
提高主题的反映度。
WinMDS系统描述的多文档文摘系统框图如图所示。
|
 |
| 系统特点 |
WinMDS系统通过对多文档集合的分析，打破由同一主题独立文本组成多文档集合的物理结构，通过将意义相同的句子组合在一起，建立多文档集合的子主题结构，在此基础上进行文摘句的抽取和排序工作。
与同类的系统相比，WinMDS具有以下优点：
1. 多文档集合以子主题的形式表示，使文摘内容具有更好的平衡性；
2. 对子主题进行比较和排序，按压缩比进行文摘句的优化抽取，将重要信息抽取出来，使得到的多文档文摘包含的信息简洁全面；
3. 多文档集合子主题形式的提出为多文档文摘的深入研究奠定基础。 |
| 系统功能 |
| 对描述同一话题的多篇文档生成多文档文摘。 |
| 技术特点 |
WinMDS系统的主要技术特点如下：
1、对于句子相似度计算，系统采用了多特征融合的句子相似度计算方法。句子相似度计算是多文档文摘的基础，WinMDS系统根据句子不同特征分别计算句子的相似度，在此基础上，将这些特征进行融合，更准确刻画句子之间相似度。
2、WinMDS系统采用了根据阈值自动确定多文档集合子主题的方法。在句子相似度计算的基础上，将相似的句子合并为一个类，每类代表一个子主题。在阈值的训练以及聚类的方法上，分别对基于半偏相关系数为阈值的层次聚类和基于类间最小距离阈值的层次聚类进行应用，同时根据多文档集合相似度分布曲线，采用了描述多文档集合的泊松分布模型。
3、WinMDS系统采用了句子的优化选择技术。为了保证文摘在有限的空间要求下，尽可能覆盖重要全面的信息，将文摘句的抽取过程分解为子主题的排序以及子主题内的句子的优化选择两个阶段。最后以信息覆盖率为优化目标，对子主题内句子优化选择。 |
| 性能指标 |
| 对WinMDS系统测试主要采用两种评价方法，基于原始文档信息覆盖率的评价方法和基于人工文摘的评价方法。对多文档文摘与原文档有效词覆盖度和多文档文摘重要信息的覆盖度都良好；专家文摘和系统文摘的相似程度很高。 |
| 应用领域 |
多文档文摘是信息时代发展到一定程度的必然趋势，多文档文摘技术的研究就是在单文档文摘
技术上突破，实现对多篇同一主题的文档集合的压缩和汇总，使人们从繁琐的，冗余的信息中解脱
出来，不仅可以单独作为一个系统应用，而且在其他自然语言处理系统中承担重要角色。
在新一代搜索引擎问答系统（Q&A）中，作为返回答案后处理模块。现有的搜索引擎只是将一系列与用户需求相关的文档提交给用户，问答系统则是将这些与用户需求相关的文档进行融合，直接提交给用户的是答案。
多文档文摘技术也是话题的监测与跟踪技术TDT（Topic Detection and Tacking ）的组成部分，根据用户提供的信息，在互联网的文本流中不断发现与其相关的文本信息，并将新发现的文本与已有的文本进行汇总，生成线索报告提交给相应用户。在国家安全部门的非法信息监测、特殊信息的定制与融合方面，多文档文摘也能发挥重要作用。
多文档文摘的研究为用户提供了方便，提高了用户获取信息的速度和效率，为互联网的应用开辟了新的方向。
系统演示图：
|
 |
| |
