时间: 2020-08-30|tag:38次围观|0 条评论

一 原理理解

对lstm输入的理解(文本分类任务)插图
单层循环神经网络

Xt为t时刻的输入向量,ht为t时刻的输出向量

对lstm输入的理解(文本分类任务)插图1
展开后的循环神经网络

深层循环神经网络

对lstm输入的理解(文本分类任务)插图2
深层循环神经网络 图来自Tensorflow实战Google深度学习框架 郑泽宇著

lstm是对RNN单元进行了改进,把上述的RNN单元A替换为lstm单元

对lstm输入的理解(文本分类任务)插图3
lstm内部

关于lstm的内部细节这篇博客上有非常清晰且易懂的介绍http://colah.github.io/posts/2015-08-Understanding-LSTMs
下面黄色的四个分别是单层的神经元,也就是我们熟悉的单层感知机的结构,而keras的unit参数(输出维度)实际上就是指这层神经元上的cell num
二 如何将单句输入到lstm
lstm输入的是时间序列,而文本(句子)的输入似乎和时间序列没什么关系,唯一有点关系的似乎就是句子间若存在上下文联系,单句与上句输入的时间差。所以每个时间步输入的是整个句子?事实是,将标准的LSTM结构应用在文本分类的任务上,句子中的每个词组成的序列是输入的时间序列,在t时刻的输入即是句子的第t个词向量。

参考文章
http://colah.github.io/posts/2015-08-Understanding-LSTMs
keras的lstm参数详解csdn
知乎上关于keras中lstm的unit参数的讨论

文章转载于:https://www.jianshu.com/p/cc9ad7f730ac

原著是一个有趣的人,若有侵权,请通知删除

本博客所有文章如无特别注明均为原创。
复制或转载请以超链接形式注明转自起风了,原文地址《对lstm输入的理解(文本分类任务)
   

还没有人抢沙发呢~