深度学习和深信度网络是什么?
2021-01-06 14:22:45 阅读(192) 评论(0)
(1)20世纪90年代末,神经网络研究遇到的困难不仅缓慢,而且缓慢。除了计算速度的因素外,传统神经网络的反向传播算法在捕捉昆虫时极其困难。一个基本问题叫做所谓的vanishingradientproblem(梯度消失问题).1991年,这个问题,德国学者Sepphochreiter首次明确提出并澄清了原因。简单地说,成本函数(costfunction)当从输出层反向传播时,梯度衰减速度非常快,学习速度变得非常慢,神经网络很容易停滞在局部最优解决方案中,无法自拔。这就像原始部落的小混混,山上没有老虎,称霸当地国王很舒服。然而,任何关于“外部世界非常美好”的信息都被落后的层层沟通机制中的噪音所淹没。小混混一辈子都很开心,没有意识到外面的世界有多大,也从来没有想过出去看看更多.(2)支持向量机(SVM)图像和语音识别技术的成功使神经网络的研究再次陷入低潮.SVM理论上更加严谨完整,结果重复性好,启动简单,受到主流学术界的追捧。学术界的共识是,多层神经网络的计算模型实际效果差,完全没有前途。这是一条死胡同。到本世纪初,这种情况变得如此糟糕,以至于当任何论文发送到学术期刊时,研究人员都不敢使用“神经网络”这个词,以免被粗暴地拒绝。2003年,GeoffreyHinton,还在多伦多大学,在神经网络领域努力工作。一位56岁的穷教授从事了30多年没有前途的研究,不得不绞尽脑汁申请研究资金。他不是卢瑟(loser),2003年卢瑟在温哥华大都会酒店,以Hinton为首的15位来自世界各地的不同专业的科学家,加拿大先进研究院(CanadanInstitueoFAdvancedResearch,基金管理负责人,简称CIFAR,MelvinSilverman谈话.Silverman问大家,CIFAR为什么要支持他们的研究项目?计算神经科学研究者,SebastianSung(现为普林斯顿大学教授),“哦,因为我们有点奇怪。如果CIFAR想跳出自己的舒适区,寻找一个高风险、高度探索性的群体,就应该资助我们!最后,CIFAR同意从2004年开始资助这个团体十年,总额1000万加元.CIFAR成为当时世界上唯一支持神经网络研究的机构。毫不夸张地说,如果没有2004年CIFAR的财政支持,人类可能会在黑暗中探索人工智能研究几年.Hinton很快就获得了资金支持,做了第一件事,就是先换个牌坊。两千多年前,刘三改名换姓,叫什么“汉高祖”?.鉴于“神经网络”口碑不好,Hinton也改名,改姓,称为“深度学习”(DeepLearning)了.Hinton的同事们,从那以后,不时听到他突然在办公室大喊大叫,“我知道人脑是怎么工作的!”.(3)2006年,Hinton与合作伙伴发表论文,“Afastalgorithmfordeepbeliefnets"(深信度网络的快速算法).在这篇论文中,Hinton算法的核心是借用统计力学中“玻尔兹曼分布”的概念(一个颗粒处于某种状态的概率与该状态的能量指数成反比,与其温度的倒数指数成反比),使用所谓的“限制玻尔兹曼机”(RBM)来学习.RBM引入了统计力学中常用的概率工具。在20世纪70年代,概率和不确定性正是主流人工智能研究人员所讨厌的.RBM相当于两层网络,同一层神经元不能连接(所以称为“限制”),对神经网络实现“无监督训练”(unsupervisedtraining).深信度网络是几层RBM叠加在一起。除去技术细节,RBM可以从输入数据中进行预训练,找到重要的特征,有效初始化神经网络连接的权重。这是一种特征提取器(featureextractor)神经网络,又称自动编码器(autoencoder).经过RBM预训练初始化后的神经网络,然后用反向传播算法进行微调,效果会更好.Hinton后来指出,深度学习的突破,除了计算蛮力的显著提高外,聪明有效地初始化网络链接权重也是一个重要原因.在Hinton的论文中,经过6万个MNIST数据库的图像培训,1万个测试图像的识别错误率最低降至1.25%.虽然这还不足以改变主流学术界的观点,但深度学习的发展已经看到了曙光.
推荐阅读
- 购物网站有哪些?2022年十大网购网站排行
现在网购十分的发达,很多的朋友都选择网购,下面万商云集小编给大家来介绍一下购物网站有哪些?2022年十大网购网站排行这一块的内容,看一下有没有你经常网购的网站呢。 1天猫Tmall 阿里巴巴集团旗下,原名淘宝商城,中国线上购物的地标…查看详情
- B2B2C商城系统中的用户运营策略
越来越多的企业观察到,B2B和B2C网上商城逐渐聚集成B2B2C多用户商城系统,这个趋势是电子商务发展的必然结果。面对这一转向,企业需要同时与多用户打交道,更需要增加对用户运营策略的认识。 1、提高产品质量,减少售后成本 做商城最重要的就是…查看详情
- 屏幕录像软件有哪些 屏幕录像软件排行榜
现在有很多的场合都会使用到录屏软件这种软件,但是现在市面上很多的软件功能不是很齐全,下面小编就给大家来详细介绍一下屏幕录像软件有哪些 屏幕录像软件排行榜这一块的相关内容,希望能帮助到大家。 屏幕录像软件排行榜 1、《易录屏》 …查看详情
- 互联网品牌运营:面对时代发展,企业需要改变和进化
互联网已经渗透到了生产生活的各处,企业在运营的时候已经离不开互联网的支持。尤其在互联网品牌运营推广方面,互联网为企业提供了一种新的传播思维和传播路径。利用互联网优势建立企业品牌形象,进行宣传和推广是当前企业重点关注的事项,下面,我们先来一个…查看详情
- a1530是苹果什么型号手机
苹果a1530是什么型号?1a1530是iPhone5s的型号。 2iPhone5s是苹果公司在2013年9月发布的一款智能手机,采用了A7处理器和指纹识别技术等先进技术。 3相比于iPhone5,iPhone5s的性能更加强劲,拍照效…查看详情
- 中小企业为什么要增设微信小程序?
随着信息技术的发展,企业线上销售市场逐渐从电脑扩展至手机、微信等平台。近几年,小程序的爆发式增长正激起新一轮用户争夺战。对于正处在成本利润夹缝中的中小企业而言,势必不能错过这一机遇。 那么,中小企业增设微信小程序有哪些可观性呢? 低投入,高…查看详情
- 注册商标到期了如何续期
很多人在商标到期后都不知道怎么续期,而且很多人对流程都不是很熟悉,再者商标续期需要哪些材料也不是很清楚,下面万商云集小编给大家来详细介绍一下注册商标到期了如何续期这一块的内容,希望能帮助到大家。 注册商标到期了如何续期 商标到期后,延期…查看详情
- 小程序怎么开发自己的游戏小程序
小程序怎么做?需要什么资质? 这要看你做什么样的小程序了,常见的小程序有商城、餐饮、工具类、游戏等; 如果是商城在线交易类型的小程序,那就需要一张营业执照(个体工商户/公司),如果是餐饮类小程序,不但需要营业执照,还要提供《食品经营…查看详情
- 浏览器使用排行榜,老牌谷歌遥遥领先
我们大家在搜索一些资料的时候,会利用浏览器进行搜索,但是,每一个浏览器的特点不相同,给人的效果也不一样,那么,我们就要看看浏览器排行的介绍,选择比较可靠的浏览器去搜索资料。第一名:谷歌浏览器GoogleChrome谷歌浏览器是Google公…查看详情
- 讲故事的app有哪些 2022故事软件app排行榜
现在的孩子睡觉前都有听故事的习惯,但是有些家长平时比较忙,没有时间天天给孩子讲故事,所以,有些人就特别的烦恼不知道该怎么办,那么,我们可以下载讲故事的app来给孩子讲故事。 1、凯叔讲故事 里面包含大量的幼儿故事,特别的适合…查看详情
- 网速测试软件都有哪些?这些软件就很不错
在办公的时候,相信大部分的朋友们都希望有一个好的网速,但是可能有些网速并不好,那么这个时候想要进行网速检测的话,就应该要下载一些软件,有了这些软件之后就能够实时监测网速,出现了问题也能够及时进行修理。那么网速测试软件都有哪些?下…查看详情
- 关于网络推广的三点建议,对企业有很大的帮助
每一个企业都是需要在互联网当中树立起自己的品牌形象的,要想更好的达到这一个目的,那么推广网络推广是可以达到一个很好的效果的,因此对于每一个企业而言是必须要重视做好自己的网络推广工作。下面有三点关于网络推广的建议,可以做了解。图片来源于网络 …查看详情
- 家装设计软件有哪些 家装设计软件排行榜
现在各种传统行业都在线上化,装修也是如此,尤其随着移动互联网发展,各种装修软件APP也应运而生,但质量却良莠不齐。下面小编就给大家来详细介绍一下家装设计软件有哪些 家装设计软件排行榜这一块的内容。想要辨别一个装修软件是否足够好,得看这…查看详情
猜你喜欢
最新文章
扫码二维码
立即领取《千元实战营销秘籍》
还可免费试用营销管理系统
*如有疑问,请随时拨打免费咨询热线:400-0033-166
服务时间:8:30-18:00
软件企业
认定号:川RQ-2018-0216
高新技术企业
认定号:GR201951001121
关注微信公众号
和10万中小企业共同成长
扫码下载APP
享全方位服务一触即达
Copyright © 2004-2022 万商云集(成都)科技股份有限公司 版权所有 蜀ICP备12001963号-2 川公网安备 51010402000322号
快速找产品
找一找哪款产品适合您?
咨询热线:400-0033-166
免费查找信息保护中请放心填写-
-
电话沟通
在线咨询
获取方案
下载APP
官方微信
扫码下载APP
全方位服务一触即达
关注万商云集
和10万中小企共成长
TOP
企业首选的数字选用平台