感知机——《统计学习方法》笔记
感知机——《统计学习方法》笔记1 模型定义 假设输入空间为$X \subseteq \textbf {R}^n$ ,输出空间为$Y = { +1, -1}$ ，输入$x \in X$为实例的特征向量，输出$y \in Y$为实例的类别，则以下从输入到输出的函数
...
Incorporating Copying Mechanism in Sequence-to-Sequence Learning
摘要 论文在原seq2seq+attention的基础上引入了copy机制，称为COPYNET机制．这个东西参考了人类交流中对于特别的词直接搬过来用的思想，比如一些专有名词，不懂的词之类的词．在文本摘要任务中的表现甩开了以前的方法．
COPYNET 对于seq2seq+attention不再
...
Topic Aware Neural Response Generation
摘要 文章考虑了把主题信息结合到seq2seq框架中来使得chatbot生成带有信息和有趣的回复，在文章最后提出了一个主题感知的seq2seq模型．模型利用主题来模拟让人类说话有趣有内涵的先前知识和通过注意力机制联合主题信息来使得生成概率产生偏差．其中主题信息通过预先好的LDA模型来产生．
T
...
A Neural Conversational Model
摘要对话模型是自然语言理解和机器智能中一个很重要的任务．以前存在的方法都基于特定领域并且需要写规则．这个论文使用最近提出的seq2seq框架来处理对话模型．它可以从数据中学习到知识，但是也存在这人格不一的缺点．
模型模型使用了Sequence to Sequence Learning with
...
Google’s Neural Machine Translation System: Bridging the Gap
摘要 Google推出了一个NMT系统，叫GNMT,文章讲述了这个系统的详情．
模型结构 模型包括三个部分：encoder network, decoder network, attention network. encoder将一个句子转换为一组向量，每一个symbol转化为一个向量，de
...
Sequence to Sequence Learning with Neural Networks
摘要 深度神经网络在不同的任务上都表现得很强，但是他却不能被用于将一个序列映射成另外一个序列.在这篇文章，作者们提出了一种端到端的方法来从一个序列学习另外一个序列．方法是:(Encode)用多层的LSTM来将一个输入序列转化为一个固定长度的向量，(Decode)然后再把这个向量丢给另外的LST
...
Massive Exploration of Neural Machine Translation
摘要 文章做了一个大规模的NMT系统调优实验，寻找最好的模型结构参数，各种trick．
实验结果1. Embedding Dimensionality（词向量维度）
Dim
newstest2013
Params
128
21.50 ± 0.16 (21.66)
36.13M
...
Neural Machine Translation by Jointly Learning to Align and Translate
摘要 在基于encoder-decoder的框架中，把source sentence 编码成一个固定长度的向量丢给decoder解码来生成翻译．在这个文章中，作者猜想用一个固定长度的向量是这个框架的瓶颈，然后提出了一种软对齐方法（注意力机制），使得模型可以在预测单词的时候可以检索对自身重要的词
...
Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
这个文章首次提出了基于RNN Encoder-Decoder框架的NMT模型
RNN Encoder-Decoder1 Encoder 首先将源句子的每个词转换为500维的词向量\(e(x_i)\in R^{500}\)，encoder使用GRU,hidden units为1000，在每一
...