“小会话,大学问”:如何让聊天机器人读懂对话历史?

  人工智能现在的火热程度大家有目共睹,凯文凯利在《必然》中预测未来时代的人工智能可能会重新定义人类的意义,但时下的人工智能发展水平显然还没有大家想象得那么美好,仍然需要我们不断地探索。目前众多研究人员正深耕其中,作为其中代表的聊天机器人(Chatbot),已然成为科研界研究的热点。

“小会话,大学问”:如何让聊天机器人读懂对话历史?

  通常来说聊天机器人实现方式有两种:一种是基于生成式,即机器人“自己说话”,一个字一个字创作出回复语句来。另外一种是基于检索式,即机器人“转发”别人的话。从互联 大家的话语中寻找到合适的回答予以转发。

  现有的生成结果由于技术所限,或多或少都存在语句不流畅的问题,但能够做到“有问必答”偶尔还能蹦出“彩蛋”。检索的模型一般流畅性方面无须担心,不过随着目前 络资源的日益丰富,语料规模也越来越大,如何从众多语句中选择合适的句子作为回复是检索式聊天机器人的核心问题。

  SMN 模型一共分为三层。第一层为信息匹配层,对之前的历史信息和待回复的句子进行匹配度计算:同时进行词语(embedding 向量)和短语级别(GRU 表示)的相似度计算。然后再把这两个矩阵分别作为卷积神经 络的一个 channel,利用 CNN 的 max-pooling 进行特征抽象,形成一个匹配向量。第二层为匹配积累层,利用一个 GRU 神经 络,将每一句话和回复所计算出的匹配信息进一步融合。第三层为匹配结果预测层,利用融合的匹配信息计算最终的匹配得分,在预测时他们使用三种策略,分别是只利用 GRU2 最后一个隐藏层(SMN_last),静态加权隐藏层(SMN_static),和动态加权隐藏层(SMN_dynamic)。在进行检索的时候,他们将最后一句的信息结合上文历史信息中的 5 个关键词(历史信息中用 tf-idf 进行筛选,选择 Top 5 关键词)在系统中进行检索,然后用上述 SMN 络对候选结果打分从而选出回复句。

 

声明:本站部分文章内容及图片转载于互联 、内容不代表本站观点,如有内容涉及侵权,请您立即联系本站删除(邮箱:info@chacheku.cn)

上一篇 2017年6月28日 上午6:30
下一篇 2017年6月28日 上午6:36

相关推荐

联系我们