百香果nlp(nlp.100xg.cn):欢迎提交人工智能(AI)、自然语言处理(NLP )、大数据、智能硬件、云计算、5G、物联网、前沿科技相关的公司、术语、项目、产品领域词条。快速提交,并将在这里展现。

循环神经网络(RNN)是一种理解顺序信息、识别模式、并根据这些计算产生输出的神经网络。

介绍

循环神经网络,由于递归神经网络不容易实现,因此就提出了循环神经网络(RNN)来处理相同的问题。循环神经网络的输入只有一个词,并将隐藏层的输出重定向到输入的一部分。 整个输入大小为| V | + M(M是前面单词的特征数,V是词汇表的大小)。

循环神经网络中是用于下一字符预测的示例。 “h”被反馈到隐藏层以获得其词向量,并且该向量被反馈到具有“e”的输入的一部分。 在训练所有词之后,可以训练隐藏层(投影矩阵)的参数。

循环神经网络 (RNN) 更适合于序列输入,如语音、文本和生成序列。一个重复的隐藏单元在时间展开时可以被认为是具有相同权重的非常深的前馈网络。由于梯度消失和维度爆炸问题,RNN 曾经很难训练。为了解决这个问题,后来许多人提出了改进意见。

Goodfellow 等人 (2016) 详细分析了循环和递归神经网络和架构的细节,以及相关的门控和记忆网络。

Karpathy 等人 (2015) 使用字符级语言模型来分析和可视化预测、表征训练动态、RNN 及其变体 (如 LSTM) 的错误类型等。

J?ozefowicz 等人 (2016) 探讨了 RNN 模型和语言模型的局限性。


       文章原创度检测工具
       马丁·路德骂人生成器
       诺基亚短信生成器
       彩虹屁生成器
       藏头诗生成器
       爱情小说生成器
       狗屁不通文章生成器
       文章克隆器
       营销文案生成器
       诗歌生成
       机器写文章
       Dreamwriter写稿机器人
       人工智能写作
       SmartNovel
       写作机器人