NightForest Blog

时间究竟偷走了我什么，又带给了我什么

信息熵

了解信息熵

信息熵的理解信息量平常我们所讲的信息是很抽象的概念，究竟什么是信息？在百度百科定义中为音讯，消息，通讯系统传输和处理对象，泛指人类社会传播的一切内容。信息是看不见摸不着的，那该怎么把信息量化？此时引入信息量的概念，首先必须明确的是信息是不存在负的，因为不可能不存在信息的物质，反而会偷走信息。其实从现实生活中可知，如果一件事是确定的，那么它所含有信息量就很少，反之若存在不确定性越大...

Posted by hjw on November 17, 2019

RNN

递归神经网络

RNN–递归神经网络概述由于传统神经网络CNN不能够记忆前一时刻的信息，所以无法处理带时间属性的数据。而事实上人类并不是每次思考问题都是从一片大脑空白开始的，而是会带着之前学习的知识来理解推断当前词的真实含义。并不是将之前所有知识抛弃。这给我一种启示，能不能有一种神经网络能够保存每时刻学习到的信息，一直推理下来。如果有的话，那么很多带有相关性属性的问题（股票预测，语音识别，机器翻译。...

Posted by hjw on November 17, 2019

GBRT

提督提升回归树

GBRT 监督学习给定样本 , 其中的特征向量为。为第i个样本的标签，样本标签可以为离散值，如分类问题；也可以为连续值，如回归问题。监督学习就行，利用训练样本训练出模型，使得该模型能实现从样本到标签的映射：为了计算出映射F(x),通常设置模型的损失函数L(y,F(x)),并求出损失函数最小情况下的映射为最好的映射 . 对于具体问题，我们一般构建训练样本到标签的映射...

Posted by hjw on November 16, 2019

SVR

使用SVR搭建模型

SVR算法概述支持向量机（support vector machine）是一种分类算法，但是也可以做回归，也就是SVR。 SVM分类：找到一个分类平面，让两个分类集合的支持向量或者所以数据离分类平面最远。 SVR回归：找到一个回归平面，让一个集合的所以支持向量或者数据离回归平面的距离最近。即SVR的思想就...

Posted by hjw on November 15, 2019

搭建word2Vec模型

word2Vec模型

搭建词向量模型相信学会深度学习的人都经常不可避免会遇到词语向量化的问题,而解决这类问题最简单的问题是采用独热码编码。但是当数量上升到100以上,独热码的维度是100维;如果数量再上升呢？显然可知这种方法是不行，幸运的是2013年，Google开源了一款词向量计算工具——word2Vec.word2Vec算法是采用浅层神经网络来训练。有兴趣可以自行了解一下背后算法.接下来介绍怎么使用word...

Posted by hjw on November 14, 2019

Hello Myblog

Hello World, Hello Blog

NightForest的博客就这么开始啦！学计算机快3年了，终于有个地方可以写博客了。其实之前就很想自己开发个博客，但是止于自己的懒，无不想用大众博客来写。所以就一直拖着，直到现在。终于下定决心快速开发一个博客网站。正文这个博客的开发参考是参考了纯洁的微笑和Huxpro博主的技术文章，很感激他们的分享。这个博客采用的是Github Pages+jekyll 快速搭建网站的...

Posted by hjw on November 14, 2019