卷积神经网络现状(收集5篇)

卷积神经网络现状篇1

在工作运行中，还存在一些不可忽视的问题，主要表现在：

（一）网络建设整体运行水平和质量不高，如信息反馈不及时、四员互控能力不强、特别是在线扣款落实力度不大，处于全市落后名次，有待进一步提高。

（二）卷烟结构不够优化，一、二类烟、省外烟需要进一步加大促销力度，在不同程度上制约了太康卷烟销售工作有效开展。

（三）思想认识存在问题。有安于现状、干劲不够足、眼光狭隘、胸怀不够宽，束手无策、办法不够多等落后思想观念。

二、造成工作被动的原因：

一是思想认识问题没有真正解决，主观努力不够，存在被动应付问题；二是工作中谋划、组织不力，推动工作的力度不够，积极应对、克服困难的办法欠缺；三是从职工队伍素质看，有的精神状态不佳，没有进取意识，有的作风不扎实，没有创新意识。个别营销人员的工作积极性、主动性不高，货源向商户公开不及时，个别品牌宣传不到位，服务不完善，在品牌的市场培育工作方面欠缺。

三、推进卷烟上水平具体工作措施

针对存在问题，在下一步工作中我们将采取切实有效的措施，认真加以克服和解决，重点抓好以下工作：

一是狠抓作风建设。按照国家局提出的“四要”作风要求和市局提出的“六个反对、六个提倡”的工作要求，结合正在开展的机关作风建设活动，在干部职工中认真开展思想作风纪律大整顿，切实解决干部职工满足现状、标准不高，精神不佳、状态不好的问题，力求思想观念更新，纪律意识增强，工作作风改观，以更高的目标、更实的作风和更加良好的精神状态，促进“卷烟上水平”各项工作顺利开展。

二是稳增卷烟销量。继续把销量稳定增长作为经济运行调控的首要指标，摆在突出位置，量化分解任务，加大考核奖惩，增强全员责任感、压力感。认真研究和分析我县卷烟市场状况和客户资源，及时把握市场需求和消费潜力，密切关注市场走势，适时研究制订并实施应对措施，全力以赴确保卷烟销量稳步增长。把农村市场扩销为重点，提高服务市场、营销水平，深挖市场潜力，努力扩增销量。认真做好零售客户业态分类，精心培育有效客户，发展提升核心客户，为销量增长提供保证

三是注重结构转型。把品牌培育作为实现卷烟销售结构优化上水平的重要措施，完善品牌培育规划和推进计划，发挥市场经理和客户经理职能，做好客户宣传引导工作，使重点品牌培育有实质性进展。继续推进“两转一扩”，狠抓城区高档消费场所和乡镇集贸市场的销售，专卖部门加大对这些场所的管理，与公安部门配合，搞好宣传检查，对符合办证条件的尽快办证入网。充分调动一切积极因素，努力扩销一、二类烟，着力提升销售结构。

四是提升网建水平。针对我们网建基础薄弱的实际，借鉴先进单位经验，大力推进网上订货、在线代扣工作，加大宣传力度，积极与邮政部门搞好协调，实行“责任到人、服务到户”的工作原则，充分调动客户经理工作积极性、主动性，提高办事效率和服务质量，切实提高卷烟货款在线代扣率。同时，保质保量完成村村通网络工程任务，认真抓好按订单组织货源工作，切实增强网络建设软实力。

卷积神经网络现状篇2

【关键词】因特网；物质相关；精神卫生；回归分析；学生，医科

【中图分类号】R395.6TP393【文献标识码】A【文章编号】1000-9817(2010)11-1343-03

StatusandInfluencingFactorsofInternetAddictionDisorderAmongMedicalCollegeStudentsinAnhuiandJiangsu/ZHANGJing*,QIYu-long,LIJun-hua,etal.*DepartmentofNursing,BengbuMedicalCollege,Bengbu(233030),AnhuiProvince,China

【Abstract】ObjectiveTounderstandthecurrentstatusandinfluencingfactorsofInternetaddictiondiseaseamongmedicalstudents,andtoprovideevidencefortheearlyprevention.MethodsTotally1783medicalstudentsofthreemedicalcollegeswererecruitedbystratifiedclustersamplingandcross-sectionalinvestigation,andthestatusofInternetaddictiondiseasewasinvestigatedwithTraitCopingStyleQuestionnaireandadolescentlifeeventscale.ResultsTheprevalencerateofinternetaddictiondiseaseinmedicalstudentswas11.6％.Internetaddictiondiseasewasassociatedwithsex,studystress,grade,major,interpersonalrelationship,healthadjustment,positivecopingandnegativecoping(P

【Keywords】Internet;Substance-relateddisorders;Mentalhealth;Regressionanalysis;Students,medical

网络成瘾为过度的网络使用、病理性的网络使用，在全球范围内已成为严重的社会问题［1］。网络成瘾目前还没被看作是一种疾病，但引起越来越多的争议和精神失调，从而被共同命名为计算机和网络成瘾［2］。据报道，美国大学生网络成瘾者的比例为8％～13％［3］。有研究报道，我国大学生网络成瘾发病率为1.6%～15.8%［4-5］。为了解医学生网络成瘾的危险因素，笔者于2009年3-6月对蚌埠医学院、皖南医学院和徐州医学院3所医学院校学生网络成瘾现状进行了调查，以探索网络成瘾的主要影响因素，为网络成瘾的早期干预提供理论依据。

1对象与方法

1.1对象本研究采用问卷调查法，随机从3所医学院校所有专业整班抽取一、二、三级学生1783名作为被试，其中一年级学生623名，二年级学生545名，三年级学生615名；男生1001名，女生782名；临床医学学生992名，预防医学学生122名，护理学学生508名，其他专业学生161名。共发放问卷1900份，收回有效问卷1783份，有效回收率为93.8%。

1.2研究工具

1.2.1一般情况调查表包括性别、年级、学校、以及专业4个条目。

1.2.2网络成瘾量表国内台湾大学陈淑惠［6］以大学生为样本编制出中文网络成瘾量表，共26个题项，为4级自评量表。总分代表个人网络成瘾的程度，分数越高，表示网络成瘾倾向越高。陈淑惠报道的全量表内部一致性系数为0.94，2周之后的再测信度为0.83。各因素量表的内部一致性信度则介于0.78至0.90之间。

1.2.3《网络成瘾临床诊断标准》［7］标准详细界定了网络成瘾的“症状”、“病程”及“严重程度”。症状标准共7条，概括为：①对使用网络的渴求；②减少或停止使用后的戒断；③耐受；④对网络的使用难以控制；⑤不顾危害性后果；⑥放弃其他活动；⑦逃避问题或缓解不良情绪。确诊须具备①和②的2条核心症状及后5条附加症状中的任意1条。病程标准为平均每天非工作学习目的连续上网≥6h、符合症状标准≥3个月。2名评定员间各症状条目一致性为0.893～0.980，Kappa值为0.73～0.87(P＜0.01)。不同技术职称评定员间症状诊断一致性为0.962～0.988，Kappa值为0.89～0.95(P值均＜0.01)。

1.2.4青少年生活事件量表采用刘贤臣［8］编制的“青少年生活事件量表”。调查过去1a内给医学生带来心理反应的负性生活事件，该量表为自评问卷，由27项负性生活事件构成，基于因子分析该量表可以分为人际关系、学习压力、受惩罚、丧失、健康适应、其他6个因子。对每个事件的回答方式应先确定该事件在过去1a内发生或未发生，若发生则根据事件发生时的心理感受分5级评定，即无影响(1)、轻度(2)、中度(3)、重度(4)或极重度(5)。该量表的α系数为0.839，有良好的内部一致性。

1.2.5特质应对方式问卷采用姜乾金等［8］编制的“特质应对方式”问卷，该问卷为自评量表，由积极应对(PC)和消极应对(NC)2个维度组成，各包含10个条目。被试对每一种应对方式作出1～5级选择回答。积极应对维度的α系数为0.754，消极应对维度的α系数为0.716。

1.3统计学处理建立数据库，使用SPSS16.0统一处理，计数资料采用χ2检验，计量资料采用t检验，影响因素采用非条件Logistic回归分析。

2结果

2.1医学生网络使用状况在调查的1783名学生中，207人符合网络成瘾诊断标准，检出率为11.6％。

男生网络成瘾检出率为16.8％，高于女生(5.0%)，差异有统计学意义(P

2.2网络成瘾影响因素分析

2.2.1生活事件对医学生网络成瘾的影响成瘾组医学生在生活事件的人际关系、学习压力、健康适应因子上差异均有统计学意义(P值均

2.3网络成瘾影响因素的多因素Logistic回归分析在单因素分析的基础上，以是否网络成瘾为应变量，以性别、年级、专业、人际关系、学习压力、受惩罚、丧失、健康适应、其他、消极应对和积极应对为自变量，进行多因素Logistic回归分析。结果显示，性别、人际关系、学习压力、消极应对均进入回归模型。多因素Logistic回归分析结果见表4。

3讨论

3.1网络成瘾率调查结果显示，医学生网络使用率为100％，表明网络使用在医学生中得到普及。医学生网络成瘾率为11.60％，与国内外大学生网络成瘾的研究结果(7.1%~15.8%)相近［9］。

3.2网络成瘾的影响因素

3.2.1性别与网络成瘾的关系调查显示，男生网络成瘾率是女生的2.08倍，与有关研究的结果［10-12］一致；大多数研究认为网络成瘾以男性居多，也有研究发现成瘾者无性别差异［12］。造成这种差异的可能原因是研究的方式不同、调查工具不同及样本选择不同所致。本研究出现性别差异，可能是因为男女医学生对于感情的宣泄和处理方式不一致：男生好奇心强，易追求新事物，在遇到心理冲突和困惑的时候不愿对同伴、家长、教师倾诉，更多寻求陌生人帮助，当男生无法解决这种矛盾的时候，他们可能会选择在网上寻求支持，从而导致网络成瘾，女生更多地向现实中的朋友寻求帮助，其原因及其机理尚有待进一步研究。

3.2.2人际关系与网络成瘾的关系网络成瘾贡献比较大的是人际关系，与梅松丽等［14］研究结果一致。网络成瘾大学生人际适应差的原因通常是不能主动与周围的人交往，特别是没有知心朋友，难以获得别人的认可，或是缺乏人际交往的技巧。出现人际关系适应不良和自我适应不良的情况时，只有上网获得交流与沟通［15］。

3.2.3学习压力与网络成瘾的关系研究发现，一些负性生活事件如考试失败、重修或重考等学习压力成为影响网络成瘾的主要因素，与梅松丽等［14］研究结果一致。分析其原因可能是网络成瘾者在学业上普遍处于中等或中下水平，在学习上易遭受挫折，没有自信心，在学业上他们体验不到成功的喜悦，经常出现考试失败或补考，得不到同学教师的尊重。但是其个性中又有对于自我实现和成就感的强烈渴望，为了获得成就感，于是就在游戏上投入大量的时间和精力，形成恶性循环。

3.2.4消极应对与网络成瘾的关系不同网络使用的医学生在应对方式的风格上有很大差异。成瘾医学生多采用消极行为方式应对问题，而未成瘾医学生较多采用积极的行为方式应对问题；消极应对方式不利于个体缓解应激事件所带来的心理压力，生活中较多采用消极应对方式的人容易出现网络成瘾。陈川等［16］在对网络成瘾研究中发现，具有遭遇挫折或阻挠，沮丧、悲观特征的大学生容易网络成瘾。医学生正处在心理行为发展的重要阶段，具有较好的自我调节能力与问题解决能力，是其提高应对能力的重要心理资源。提醒教育工作者要加强医学生的人文素质教育，提高医学生应对日常生活问题的能力，从根本上提高医学生心理应对能力。

4参考文献

［1］SUNDL,CHENZJ,MAN,etal.Decision-makingandprepotentresponseinhibitionfunctionsinexcessiveinternetSSpectr,2009,14(2):75-81.

［2］ZBORALSKIK,ORZECHOWSKAA,TALAROWSKAM,etal.TheprevalenceofcomputerandInternetaddictionamongpupils.PostepyHigMedDosw,2009,63(2):8-12.

［3］WHANGLS,LEES,CHANGG.Internetover-users’psychologicalprofiles:Abehaviorsamplinganalysisoninternetaddiction.CybPsycholBehav,2003,6(2):143-150.

［4］赵朋，毛富强，刘莉，等.医学生网络成瘾障碍内观认知疗法对照研究.中国健康心理学杂志，2009，17(4)：429-432.

［5］ZHANGL,AMOSC,McDOWELLWC.AcomparativestudyofInternetaddictionbetweentheUnitedStatesandChina.CyberpsycholBehav,2008,11(6):727-729.

［6］陈淑惠，翁俪祯，苏逸人，等.中文网络成瘾量表之编制与心理计量特性研究.中华心理学刊，2003，45(3)：279-294.

［7］陶然，黄秀琴，王吉囡，等.网络成瘾临床诊断标准的制定.医学杂志，2008，33(10)：1188-1190.

［8］汪向东，王希林，马弘.心理卫生评定量表手册：增订版.北京：中国心理卫生杂志社，1999：106-108，120-122.

［9］CHIENCHOU,MING-CHUNH.Internetaddiction,usage,gratification,andpleasureexperience:TheTaiwancollegestudents'pEduc,2000,35(1):65-80.

［10］Ph.D.PredictorsofproblematicinternetuseonTurkishuniversitystudents.Cyberpsychology,2008,11(3):363-366.

［11］KEUMSJ.InternetAddictionandpsychiatricsymptomsamongKoreanadolescents.JSchoolHealth,2008,78(3):165-171.

［12］YANGCK．Sociopsychiatriccharacteristicsofadolescentswhousecomputerstoexcess.ActaPsychiatrScand,2001,104(3):217-222.

［13］赵晓蓉，戴文涛，周卫平．大学生网络成瘾及其相关因素调查分析.实用心脑肺血管病杂志，2009，17(8)：657-658．

［14］梅松丽，葛鲁嘉，寇长贵，等．大学生网络成瘾者的生活事件及适应性.学校心理卫生，2008，22(3)：206-208.

［15］YELLOWL,MARKSS.ProblematicInternetuseorInternetaddiction?ComputHumanBehav,2007,23(3):1447-1453.

卷积神经网络现状篇3

【关键词】网络创业女大学生现状分析

本文以山东省为例，对女大学生进行网络创业开展调查。调查共有500人参与，收回有效问卷468份，有效率93.6%。

1参与度分析

在该次接受调查的女大学生中，经济学专业有158位，达33.6%。造成此结果的原因主要有：经济学专业的女大学生有一定的理财观念、投资意识和经济管理专业知识，更加熟悉管理信息系统，在组建创业团队和制定创业企划书方面更具优势，从而积极性更高。

2创业时长分析

创业时长在1年以内的占42.8%，占比最大；创业时长1-2年的占33.8%；创业时长在2年以上的占23.3%。造成此结果的原因主要有：（1）近年来，政府加快健全互联网基础服务，强化资金、创业、研发扶持，创新融资服务，大力发展创业投资，加大增信增贷扶持，扩大直接融资规模，加快互联网教育培训，体现了政府对网络经济和互联网+战略的重视。（2）创业初期，创业者面临的问题较多，资金链不稳定，存货来源、项目供货渠道不稳定，营销不具竞争力等因素使创业者难以坚持下来，很多人可能在短时间内就会选择放弃。

3创业动机分析

3.1网络创业的出发点。问卷中关于女大学生网络的出发点选项共有六项，分别是减轻了女性就业过程中的性别歧视、积累经验、获得财富、挑战自我、有网络创业成功朋友的带动以及互联网的快速发展。通过对问卷的一系列分析，选择减轻了女性就业过程中的性别歧视占总数的51.3%、积累经验占总数的51.1%、获得财富占总数的50.4%。造成此结果的原因主要有：（1）在互联网+的推动下，网络创业解决了女大学生就业难的问题，男女社会分工不同造成了男女就业不平等的现状，存在女性的职业发展机会少，福利待遇相对差，退休年龄早等劣势，而网络创业在一定程度上改善了这一现状。（2）创业者网络创业的出发点还是要在以后的就业过程中积累经验。

3.2创业领域选择。问卷中关于女大学生网络创业项目选择的共有五大领域，分别是：与自身专业相结合的领域、启动资金少、容易开业且风险相对较低的行业、自己感兴趣的行业、当今热门方向、其他。根据调查结果显示：其中选择启动资金少、容易开业且风险相对较低的行业的比例大，占总人数的49.8%，其次为自己感兴趣的行业，这个选项占总人数的22.2%，造成此结果的原因主要有：女大学生进行网络创业，获取的启动资金较少，经验不足，因此选择启动资金少、风险相对较低的行业是最理想的领域。其次，创业者选择自己感兴趣的行业，愿意投入足够多的热情与精力，因此可以取得更大的收获。

4影响女大学生网络创业因素分析

4.1对宣传效果的调查。根据调查结果显示：有206位创业者认为在人人、微博、微信等平台消息这种方式最有效，占比44.0%。造成这种结果的原因有：在扩大创业影响力过程中，效果最好的是在网络平台上消息。网络科技发展迅速，在网络平台上打广告，成本低，范围广，传播速度快等优点，已然成为扩大影响力最好的方式；有奖活动推广，吸引力大但成本高，也是较好的一种方式；向亲朋好友介绍，成本低，范围不如前两项广泛。所以建议创业者以网络平台宣传为主，和其他方式多方面进行宣传，有助于形成最大的影响力。

4.2创业启动资金的来源。通过对资金渠道调查的结果显示：大部分网络创业者通过自己积累和家人朋友的支持取得，其中自己积累占42.3%，家人朋友支持占40.0%；少数创业者通过政府支持和银行贷款取得。造成这种结果的原因主要有：根据现行的资金扶持政策，国家允许创业者申请的银行贷款有一定的信用额度，门槛高，申请手续复杂，并不能保证每位创业者的需求，因此，许多创业者即使有好的项目也因资金问题无法启动成功，大多数创业者还是通过自筹来解决，国家应进一步出台更多有利于创业的政策。

4.3面临的挑战。根据调查结果显示：面临的挑战中，创业者认为资金链不稳定的有164位，占35%。造成此结果的原因主要为：网络创业中的资金风险在创业过程中会一直存在，创业者必须考虑是否有足够的资金支持企业的日常运作。对于初创企业来说，如果连续几个月入不敷出或者因为其他原因导致企业的现金流中断，都会给企业带来极大的威胁。

5女大学生创业的优势与劣势

5.1女大学生在网络创业中与男性相比具有的优势。创业者认为女大学生在网络创业中与男性相比最有优势的在于女性的细心、有耐心，其占总数的50.9%。造成此结果的原因为，网络创业中与厂家、顾客的沟通尤为重要。通过沟通可以增进与顾客之间的友好关系，拉进距离，了解顾客心理与市场信息，挖掘市场客源潜力，发挥自己的沟通能力。

5.2女大学生在网络创业中与线下其他创业者相比具有的优势。自由度高更灵活、性别歧视减轻更易就业、成本低风险小等是女大学生网络创业相对与线下创业者来说较明显的优势。

造成此结果的原因主要有：（1）自由度高更灵活：网络创业基本上不受营业时间、营业地点、营业面积等这些传统因素的限制，只要有时间和网络就可以随时运作；（2）性别歧视减轻更易就业，对于线下创业者来说，投资商因其体力和休假等因素更青睐于男性创业者，而网络创业不以性别为界限，只要创业者付出足够的时间和精力就可以在激烈的人才市场中获得一席之地；（3）成本低风险小，网络创业与线下创业相比综合成本较低，网络创业不需支付经营场所租金，不会因积货占用大量资金，不需要水电费、管理费等方面的支出，节省大量的人力和财力。

卷积神经网络现状篇4

【关键词】深度神经网络序列到序列网络卷积网络对抗式生成网路

1深度神经网络起源

人工神经网络（ArtificialNeuralNetworks，ANN）研究是人工智能领域的一个重要分支，在对生物神经网络结构及其机制研究的基础上，构建类似的人工神经网络，使得机器能直接从大量训练数据中学习规律。其研究最早可以追溯到1957年FrankRosenblatt提出的感知机模型，他在《ThePerceptron：AProbabilisticModelforInformationStorageandOrganizationintheBrain》建立了第一个人工神经网络数学模型，19世纪80年代末期反向传播（BackPropagation）算法的发明更是带来了ANN的学习热潮，但由于理论分析难度较大，训练方法及技巧尚不成熟，计算机运算能力还不够强大，这个时期ANN结构较为简单，大部分都可等价为单隐层神经网络，主要是进行浅层学习（ShallowLearning）研究。

2006年GeoffreyHinton在《AFastLearningAlgorithmforDeepBeliefNets》中提出了逐层贪婪预训练（layerwisegreedypretraining），显著提高了MNIST手写数字识别的准确率，开创了深度学习的新方向；随后又在《ReducingtheDimensionalityofDatawithNeuralNetworks》中提出了deepautoencoder结构，在图像和文本降维实验上明显优于传统算法，证明了深度学习的正确性。以这两篇论文为开端，整个学术界掀起了对深度学习的研究热潮，由于更多的网络层数和参数个数，能够提取更多的数据特征，获取更好的学习效果，ANN模型的层数和规模相比之前都有了很大的提升，被称之为深度神经网络（DeepNeuralNetworks，DNN）。

2深度神经网络的现代应用

2010年以来，随着理论不断创新和运算能力的增长，DNN被应用到许多领域并取得了巨大的成功。2011年微软和谷歌的研究员利用DNN将语音识别的错误率降低了20%～30%；2012年在ImageNet图像识别挑战赛（ILSVRC2012）中DNN更是将识别错误率从26%降到了15%；2016年3月DeepMind团队研发的围棋软件AlphaGO以4：1的巨大优势战胜了世界围棋冠军李世石，2017年1月初AlphaGO的升级版Master以60：0的战绩击败了数十位中日韩围棋高手。当前对DNN的研究主要集中在以下领域：

2.1语音识别领域

微软研究院语音识别专家邓立和俞栋从2009年开始和深度学习专家GeofferyHinton合作，并于2011年宣布推出基于DNN的识别系统，彻底改变了语音识别的原有技术框架；2012年11月，百度上线了第一款基于DNN的语音搜索系统，成为最早采用DNN技术进行商业语音服务的公司之一；2016年微软使用循环神经网络语言模型（RecurrentNeuralNetworkbasedLanguageModeling，RNN-LM）将switchboard的词识别错误率降低到了6.3%。

2.2图像识别领域

早在1989年，YannLeCun和他的同事们就提出了卷积神经网络（ConvolutionNeuralNetworks，CNN）结构。在之后的很长一段时间里，CNN虽然在诸如手写数字问题上取得过世界最好的成功率，但一直没有被广泛应用。直到2012年10月，GeoffreyHinton在ILSVRC2012中使用更深的CNN将错误率从26%降到15%，业界才重新认识到CNN在图像识别领域上的巨大潜力；2012年谷歌宣布基于CNN使得电脑直接从一千万张图片中自发学会猫脸识别；2013年DNN被成功应用于一般图片的识别和理解；2016年DeepMind团队基于CNN研发了围棋AI，并取得了巨大成功。

2.3自然语言处理领域

2003年YoshuaBengio等人提出单词嵌入（wordembedding）方法将单词映射到一个矢量空间，然后用ANN来表示N-Gram模型；2014年10月NEC美国研究院将DNN用于自然语言处理（Naturallanguageprocessing，NLP）的研究工作，其研究员RonanCollobert和JasonWeston从2008年开始采用单词嵌入技术和多层一维卷积的结构，用于POSTagging、Chunking、NamedEntityRecognition、SemanticRoleLabeling等四典型NLP问题；2014年IlyaSutskever提出了基于LSTM的序列到序列（sequencetosequence，seq2seq）网络模型，突破了传统网络的定长输入向量问题，开创了语言翻译领域的新方向；2016年谷歌宣布推出基于DNN的翻译系统GNMT（GoogleNeuralMachineTranslation），大幅提高了翻译的精确度与流畅度。

3深度神经网络常见结构

DNN能够在各领域取得巨大成功，与其模型结构是密不可分的，现代DNN大都可归纳为三种基本结构：序列到序列网络、卷积网络、对抗式生成网络，或由这三种基本网络结构相互组合而成。

3.1序列到序列网络

序列到序列网络的最显著特征在于，它的输入张量和输出张量长度都是动态的，可视为一串不定长序列，相比传统结构极大地扩展了模型的适应范围，能够对序列转换问题直接建模，并以端到端的方式训练模型。典型应用领域有：自动翻译机（将一种语言的单词序列转换为另一种语言的单词序列），语音识别（将声波采样序列转换为文本单词序列），自动编程机研究（将自然语言序列转换为语法树结构），此类问题的特点在于：

（1）输入和输出数据都是序列（如连续值语音信号/特征、离散值的字符）；

（2）输入和输出序列长度都不固定；

（3）输入输出序列长度没有对应关系。

其典型如图1所示。

网络由编码器（encoder）网络和解码器网络（decoder）两部分连接构成：

3.1.1编码器网络

编码器网络通常是一个递归神经网络（RecurrentNeuralNetworks，RNN），网络节点一般使用长短期记忆模型（LongShortTermMemory，LSTM）实现，序列中里第t个张量xt的输出yt依赖于之前的输出序列（y0、y1…yt-1），输入序列（x0、x1、x2…）那爸梁笠来问淙胪络，整个序列处理完后得到最终的输出Y以及各层的隐藏状态H。

3.1.2解码器网络

解码器网络是一个与编码器网络结构相同的RNN网络，以解码器的最终输出（Y，H）为初始输入，使用固定的开始标记S及目标序列G当作输入数据进行学习，目标是使得在X输入下Y和G尽量接近，即损失度函数f（X）取得最小值。

解码器网络属于典型的监督学习结构，可以用BP算法进行训练，而编码器网络的输出传递给了解码器网络，因此也能同时进行训练。网络模型学习完毕后，将序列X输入编码器，并将起始标记S输入解码器，网络就会给出正确的对应序列。

3.2卷积神经网络

卷积神经网络将传统图像处理的卷积运算和DNN相结合，属于前馈神经网络，是在生物视觉皮层的研究基础上发展而来的，在大型图像处理上有出色表现。CNN一般由多个结构相似的单元组成，每个单元包含卷积层（convolutionlayer）和池化层（poolinglayer），通常网络末端还连接全联通层（fully-connectedlayer，FC）及Softmax分类器。这种结构使得CNN非常适合处理二维结构数据，相比其它DNN在图像处理领域上具有天然优势，CNN的另一优势还在于，由于卷积层共享参数的特点，使得它所需的参数数量大为减少，提高了训练速度。其典型结构如图2所示：

3.2.1卷积层（Convolutionallayer）

卷积层由若干卷积核构成，每个卷积核在整个图像的所有通道上同时做卷积运算，卷积核的参数通过BP算法从训练数据中自动获取。卷积核是对生物视觉神经元的建模，在图像局部区域进行的卷积运算实质上是提取了输入数据的特征，越深层的卷积层所能提取到的特征也越复杂。例如前几个卷积层可能提取到一些边缘、梯度、线条、角度等低级特征，后续的卷积层则能认识圆、三角形、长方形等稍微复杂的几何概念，末尾的卷积层则能识别到轮子、旗帜、足球等现实物体。

3.2.2池化层（Poolinglayer）

池化层是卷积网络的另一重要部分，用于缩减卷积层提取的特征图的尺寸，它实质上是某种形式的下采样：将图像划分为若干矩形区块，在每个区块上运算池化函数得到输出。有许多不同形式的池化函数，常用的有“最大池化”（maxpooling，取区块中数据的最大值）和“平均池化”（averagepooling，取区块中数据的平均值）。池化层带来的好处在于：

（1）减小了数据尺寸，降低参数的数量和计算量；

（2）模糊了各“像素”相对位置关系，泛化了网络识别模式。

但由于池化层过快减少了数据的大小，导致，目前文献中的趋势是在池化运算时使用较小的区块，甚至不再使用池化层。

3.3生成式对抗网络（GenerativeAdversarialNetwork，GAN）

生成式对抗网络最初由Goodfellow等人在NIPS2014年提出，是当前深度学习研究的重要课题之一。它的目的是收集大量真实世界中的数据（例如图像、声音、文本等），从中学习数据的分布模式，然后产生尽可能逼真的内容。GAN在图像去噪，修复，超分辨率，结构化预测，强化学习中等任务中非常有效；另一重要应用则是能够在训练集数据过少的情况下，生成模拟数据来协助神经网络完成训练。

3.3.1模型结构

GAN网络典型结构如图3所示，一般由两部分组成，即生成器网络（Generator）和识别器网络（Discriminator）：

（1）生成器网络的目标是模拟真实数据的分布模式，使用随机噪声生成尽量逼真的数据。

（2）识别器的目标是学习真实数据的有效特征，从而判别生成数据和真实数据的差异度。

3.3.2训练方法

GAN采用无监督学习进行训练，输入向量z一般由先验概率概率pz（z）生成，通过生成器网络产生数据G（z）。来自训练集的真实数据的分布为pdata（x），GAN网络的实质是学习该特征分布，因此生成的数据G（z）必然也存在对应的分布pg（z），而识别器网络则给出数据来自于真实数据的概率D（x）以及D（G（z））。整个训练过程的实质就是生成器网络和识别器网络的博弈过程，即找到

4深度神经网络研究展望

DNN虽然在各大领域都取得了重大的成功，甚至宣告了“智能时代”的来临，但是与人类大脑相比，DNN在许多方面仍有显著差距：

4.1识别对抗样本的挑战

对抗样本是指在数据集中添加微小的扰动所形成的数据，这些数据能使网络以极高的置信度做出错误的判别。在网络实际使用过程中会带来非常大的问题，比如病毒制造者可能刻意构造样本来绕过基于DNN的安全检查网络。部分研究指出问题的根因可能在于DNN本身的高度非线性，微小的扰动可能在输出时产生巨大的差异。

4.2构造统一模型的挑战

DNN虽然在很多领域都取得了巨大的成功，但无论是序列到序列网络、卷积网络、还是对抗式生成网络都只适应于特定领域，与此相对的则是，人类只用一个大脑就能完成语音、文本、图像等各类任务，如何构建类似的统一模型，对整个领域都是极大的挑战。

4.3提高训练效率的挑战

DNN的成功依赖于大量训练数据，据统计要使得网络学会某一特征，平均需要50000例以上的样本，相比而言人类只需要少量的指导即可学会复杂问题，这说明我们的模型和训练方法都还有极大的提高空间。

参考文献

[1]ROSENBLATTF.Theperceptron：aprobabilisticmodelforinformationstorageandorganizationinthebrain[M].MITPress，1988.

[2]HINTONGE，OSINDEROS，TEHYW.Afastlearningalgorithmfordeepbeliefnets[J].NeuralComputation，1989，18（07）：1527-54.

[3]HINTONGE，SALAKHUTDINOVRR.ReducingtheDimensionalityofDatawithNeuralNetworks[J].Science，2006，313（5786）：504.

[4]SEIDEF，LIG，YUD.ConversationalSpeechTranscriptionUsingContext-DependentDeepNeuralNetworks；proceedingsoftheINTERSPEECH2011，ConferenceoftheInternationalSpeechCommunicationAssociation，Florence，Italy，August，F，2011[C].

[5]OQUABM，BOTTOUL，LAPTEVI，etal.LearningandTransferringMid-levelImageRepresentationsUsingConvolutionalNeuralNetworks；proceedingsoftheComputerVisionandPatternRecognition，F，2014[C].

[6]SILVERD，HUANGA，MADDISONCJ，etal.MasteringthegameofGowithdeepneuralnetworksandtreesearch[J].Nature，2016，529（7587）：484.

[7]XIONGW，DROPPOJ，HUANGX，etal.TheMicrosoft2016ConversationalSpeechRecognitionSystem[J].2016.

[8]LECUNY，BOTTOUL，BENGIOY，etal.Gradient-basedlearningappliedtodocumentrecognition[J].ProceedingsoftheIEEE，1998，86（11）：2278-324.

[9]BENGIOY，DELALLEAUO，LERN，etal.LearningeigenfunctionslinksspectralembeddingandkernelPCA[J].NeuralComputation，2004，16（10）：2197-219.

[10]LEGRANDJ，COLLOBERTR.RecurrentGreedyParsingwithNeuralNetworks[J].LectureNotesinComputerScience，2014，8725（130-44.

[11]SUTSKEVERI，VINYALSO，LEQV.SequencetoSequenceLearningwithNeuralNetworks[J].AdvancesinNeuralInformationProcessingSystems，2014，4（3104-12.

[12]WUY，SCHUSTERM，CHENZ，etal.Google'sNeuralMachineTranslationSystem：BridgingtheGapbetweenHumanandMachineTranslation[J].2016.

[13]GOODFELLOWIJ，POUGETABADIEJ，MIRZAM，etal.GenerativeAdversarialNetworks[J].AdvancesinNeuralInformationProcessingSystems，2014，3（2672-80.

作者挝

卷积神经网络现状篇5

过去10年，人们对机器学习的兴趣激增。几乎每天，你都可以在各种各样的计算机科学课程、行业会议、华尔街日报等等看到有关机器学习的讨论。在所有关于机器学习的讨论中，许多人把机器学习能做的事情和他们希望机器学习做的事情混为一谈。从根本上讲，机器学习是使用算法从原始数据中提取信息，并在某种类型的模型中表示这些信息。我们使用这个模型来推断还没有建模的其他数据。

神经网络是机器学习的一种模型，它们至少有50年历史了。神经网络的基本单元是节点(node)，基本上是受哺乳动物大脑中的生物神经元启发。神经元之间的连接也以生物的大脑为模型，这些连接随着时间的推移而发展的方式是为“训练”。

在20世纪80年代中期和90年代初期，许多重要的架构进步都是在神经网络进行的。然而，为了得到好的结果需要大量时间和数据，这阻碍了神经网络的采用，因而人们的兴趣也减少了。在21世纪初，计算能力呈指数级增长，计算技术出现了“寒武纪大爆发”。在这个10年的爆炸式的计算增长中，深度学习成为这个领域的重要的竞争者，赢得了许多重要的机器学习竞赛。直到2017年，这种兴趣也还没有冷却下来；今天，我们看到一说机器学习，就不得不提深度学习。

作者本人也注册了Udacity的“DeepLearning”课程，这门课很好地介绍了深度学习的动机，以及从TensorFlow的复杂和/或大规模的数据集中学习的智能系统的设计。在课程项目中，我使用并开发了用于图像识别的卷积神经网络，用于自然语言处理的嵌入式神经网络，以及使用循环神经网络/长短期记忆的字符级文本生成。

本文中，作者总结了10个强大的深度学习方法，这是AI工程师可以应用于他们的机器学习问题的。首先，下面这张图直观地说明了人工智能、机器学习和深度学习三者之间的关系。

人工智能的领域很广泛，深度学习是机器学习领域的一个子集，机器学习又是人工智能的一个子领域。将深度学习网络与“经典的”前馈式多层网络区分开来的因素如下:

比以前的网络有更多的神经元更复杂的连接层的方法用于训练网络的计算机能力的“寒武纪大爆炸”自动特征提取

这里说的“更多的神经元”时，是指神经元的数量在逐年增加，以表达更复杂的模型。层(layers)也从多层网络中的每一层都完全连接，到在卷积神经网络中层之间连接局部的神经元，再到在循环神经网络中与同一神经元的循环连接(recurrentconnections)。

深度学习可以被定义为具有大量参数和层的神经网络，包括以下四种基本网络结构：

无监督预训练网络卷积神经网络循环神经网络递归神经网络

在本文中，主要介绍后三种架构。基本上，卷积神经网络(CNN)是一个标准的神经网络，通过共享的权重在空间中扩展。CNN设计用于通过内部的卷积来识别图像，它可以看到图像中待识别的物体的边缘。循环神经网络(RNN)被设计用于识别序列，例如语音信号或文本。它的内部有循环，这意味着网络上有短的记忆。递归神经网络更像是一个层级网络，在这个网络中，输入必须以一种树的方式进行分层处理。下面的10种方法可以应用于所有这些架构。

1.反向传播

反向传播(Back-prop)是一种计算函数偏导数(或梯度)的方法，具有函数构成的形式(就像神经网络中)。当使用基于梯度的方法(梯度下降只是方法之一)解决优化问题时，你需要在每次迭代中计算函数梯度。

对于神经网络，目标函数具有组合的形式。如何计算梯度呢？有两种常用的方法：(i)解析微分(Analyticdifferentiation)。你已经知道函数的形式，只需要用链式法则(基本微积分)来计算导数。(ii)利用有限差分进行近似微分。这种方法在计算上很昂贵，因为函数值的数量是O(N)，N指代参数的数量。不过，有限差分通常用于在调试时验证back-prop实现。

2.随机梯度下降法

一种直观理解梯度下降的方法是想象一条河流从山顶流下的路径。梯度下降的目标正是河流努力达到的目标——即，到达最底端(山脚)。

现在，如果山的地形是这样的，在到达最终目的地之前，河流不会完全停下来(这是山脚的最低点，那么这就是我们想要的理想情况。)在机器学习中，相当从初始点(山顶)开始，我们找到了解决方案的全局最小(或最佳)解。然而，可能因为地形的性质迫使河流的路径出现几个坑，这可能迫使河流陷入困境。在机器学习术语中，这些坑被称为局部极小值，这是不可取的。有很多方法可以解决这个问题。

因此，梯度下降很容易被困在局部极小值，这取决于地形的性质(用ML的术语来说是函数的性质)。但是，当你有一种特殊的地形时(形状像一个碗，用ML的术语来说，叫做凸函数)，算法总是保证能找到最优解。凸函数对ML的优化来说总是好事，取决于函数的初始值，你可能会以不同的路径结束。同样地，取决于河流的速度(即，梯度下降算法的学习速率或步长)，你可能以不同的方式到达最终目的地。这两个标准都会影响到你是否陷入坑里(局部极小值)。

3.学习率衰减

根据随机梯度下降的优化过程调整学习率(learningrate)可以提高性能并减少训练时间。有时这被称为学习率退火(learningrateannealing)或自适应学习率(adaptivelearningrates)。训练过程中最简单，也是最常用的学习率适应是随着时间的推移而降低学习度。在训练过程开始时使用较大学习率具有进行大的改变的好处，然后降低学习率，使得后续对权重的训练更新更小。这具有早期快速学习好权重，后面进行微调的效果。

两种常用且易于使用的学习率衰减方法如下：

逐步降低学习率。在特定的时间点较大地降低学习率。

4.Dropout

具有大量参数的深度神经网络是非常强大的机器学习系统。然而，过拟合在这样的网络中是一个严重的问题。大型网络的使用也很缓慢，这使得在测试时将许多不同的大型神经网络的预测结合起来变得困难。Dropout是解决这个问题的一种方法。

Dropout的关键想法是在训练过程中随机地从神经网络中把一些units(以及它们的连接)从神经网络中删除。这样可以防止单元过度适应。在训练过程中，从一个指数级的不同的“稀疏”网络中删除一些样本。在测试时，通过简单地使用一个具有较小权重的单一网络，可以很容易地估计所有这些“变瘦”了的网络的平均预测效果。这显著减少了过拟合，相比其他正则化方法有了很大改进。研究表明，在视觉、语音识别、文档分类和计算生物学等监督学习任务中，神经网络的表现有所提高，在许多基准数据集上获得了state-of-the-art的结果。

5.MaxPooling

最大池化(Maxpooling)是一个基于样本的离散化过程。目标是对输入表示(图像，隐藏层输出矩阵等)进行下采样，降低其维度，并允许对包含在分区域中的特征进行假设。

这在一定程度上是为了通过提供一种抽象的表示形式来帮助过拟合。同时，它通过减少学习的参数数量，并为内部表示提供基本的平移不变性(translationinvariance)，从而减少计算成本。最大池化是通过将一个最大过滤器应用于通常不重叠的初始表示的子区域来完成的。

6.批量归一化

当然，包括深度网络在内的神经网络需要仔细调整权重初始化和学习参数。而批量标准化有助于实现这一点。

权重问题：无论权重的初始化如何，是随机的也好是经验性的选择也罢，都距离学习到的权重很遥远。考虑一个小批量(minibatch)，在最初时，在所需的特征激活方面将会有许多异常值。

深度神经网络本身是有缺陷的，初始层中一个微小的扰动，就会导致后面层巨大的变化。在反向传播过程中，这些现象会导致对梯度的分散，这意味着在学习权重以产生所需输出之前，梯度必须补偿异常值，而这将导致需要额外的时间才能收敛。

批量归一化将梯度从分散规范化到正常值，并在小批量范围内向共同目标(通过归一化)流动。

学习率问题：一般来说，学习率保持较低，只有一小部分的梯度校正权重，原因是异常激活的梯度不应影响学习的激活。通过批量归一化，减少异常激活，因此可以使用更高的学习率来加速学习过程。

7.长短时记忆

LSTM网络在以下三个方面与RNN的神经元不同：

能够决定何时让输入进入神经元；能够决定何时记住上一个时间步中计算的内容；能够决定何时让输出传递到下一个时间步长。

LSTM的优点在于它根据当前的输入本身来决定所有这些。所以，你看下面的图表：

当前时间标记处的输入信号x(t)决定所有上述3点。输入门从点1接收决策，遗忘门从点2接收决策，输出门在点3接收决策，单独的输入能够完成所有这三个决定。这受到我们的大脑如何工作的启发，并且可以基于输入来处理突然的上下文/场景切换。

8.Skip-gram

词嵌入模型的目标是为每个词汇项学习一个高维密集表示，其中嵌入向量之间的相似性显示了相应词之间的语义或句法相似性。Skip-gram是学习单词嵌入算法的模型。

Skip-gram模型(以及许多其他的词语嵌入模型)的主要思想是：如果两个词汇项(vocabularyterm)共享的上下文相似，那么这两个词汇项就相似。

换句话说，假设你有一个句子，比如“猫是哺乳动物”。如果你用“狗”去替换“猫”，这个句子仍然是一个有意义的句子。因此在这个例子中，“狗”和“猫”可以共享相同的上下文(即“是哺乳动物”)。

基于上述假设，你可以考虑一个上下文窗口(contextwindow，一个包含k个连续项的窗口)，然后你跳过其中一个单词，试着去学习一个能够得到除跳过项外所有项的神经网络，并预测跳过的项是什么。如果两个词在一个大语料库中反复共享相似的语境，则这些词的嵌入向量将具有相近的向量。

9.连续词袋(ContinuousBagOfWords)

在自然语言处理问题中，我们希望学习将文档中的每个单词表示为一个数字向量，使得出现在相似的上下文中的单词具有彼此接近的向量。在连续的单词模型中，我们的目标是能够使用围绕特定单词的上下文并预测特定单词。

我们通过在一个庞大的语料库中抽取大量的句子来做到这一点，每当我们看到一个单词时，我们就会提取它周围的单词。然后，我们将上下文单词输入到一个神经网络，并预测位于这个上下文中心的单词。

当我们有成千上万的这样的上下文单词和中心词以后，我们就有了一个神经网络数据集的实例。训练神经网络，最后编码的隐藏层输出表示特定单词的嵌入。而当我们对大量的句子进行训练时也能发现，类似语境中的单词得到的是相似的向量。

10.迁移学习