Chatbot Research 13 - 理论篇: MMI 模型理论

本文提出了两种模型(其实就是改了下目标函数,而且训练过程中仍然使用likelihood,仅在测试的时候使用新的目标函数将有意义的响应的概率变大~~),MMI-antiLM和MMI-bidi,下面分别进行介绍。

Read More

Chatbot Research 12 - 理论篇: 评价指标介绍

对话系统之所以没有取得突破性的进展,很大程度是因为没有一个可以准确表示回答效果好坏的评价标准。对话系统中大都使用机器翻译、摘要生成领域提出来的评价指标,但是很明显对话系统的场景和需求与他们是存在差别的.

Read More

Tensorflow Sequence_loss

sequence_loss 是 nlp算法 中非常重要的一个函数. rnn,lstm,attention都要用到这个函数.看下面代码:

Read More

TensorFlow:第8章 LSTM & Bi-RNN & Deep RNN

LSTM 可以学习到距离很远的信息,解决了RNN无法长期依赖的问题。

Bidirectional RNN 解决的是 当前时刻的输出不仅和之前的状态有关系,也和之后的状态相关。

Deep RNNs 是 为了增强模型的表达能力,可以在网络中设置多个循环层,将每层 RNN 的输出传给下一层处理。

Read More