卷积神经网络的优化(收集5篇)

卷积神经网络的优化篇1

一、__客户服务部简介

__市烟草分公司__客户服务部位于__市__镇东大路，目前所管辖的区域共有人口约44.59万,面积约632.2平方公里,覆盖9个镇,1个乡,7个社区居委会,119个村委会，服务辖区共分为十一个片区,负责2302户卷烟零售客户的营销服务工作。

__客户服务部现有职工12人,设市场经理1名，副市场经理1名，客户经理10名；其中中国共产党员1名，预备党员1名，共青团员7名,全体职工的平均年龄为29周岁，是一个充满朝气、热情洋溢、实干创新、追求进步的营销服务团队。在这些成员中,1人取得卷烟商品高级营销员资格证书，5人取得卷烟商品中级营销员资格证书，3人取得卷烟商品初级营销员资格证书。我们团队是一个具备比较全面的营销知识和比较丰富的卷烟营销经验的年轻化，知识化，专业化的青年服务团体。他们当中有多年从事该行业、经验丰富的沙场老将，也有精通营销理论刚刚入行的新手，在此基础上，我们互帮互助，大大提高了工作效率，使得销售业绩等各项指标始终位于__烟草各客户服务部的前茅。

二、一流的管理是__客户服务部的有力保障

科学的管理是__客户服务部工作开展的有力保障。为了确保工作运行的制度化、规范化和科学化，我部从基础工作抓起,从机制入手，推进铸造队伍品牌和青年文明号建设的不断深入，以“青”字号品牌工程为龙头，坚持突出特色,大胆创新,推出了一系列独特的管理、服务新举措，受到各级领导和零售客户的一致好评。具体的硬件设施和软件设施分别如下：

一是健全激励机制，提高工作效率。

健全激励机制是使工作落实执行到位的有力保证。为了进一步提高企业的经济效益和工作质量，__客户服务部通过制定开放、透明的内部管理制度，提升了内部管理的公平性，强化了内部管理的执行效率。通过制定内部管理制度来实现“以制度管人”，使管理有章可循。

二是民主管理，焕发队伍激情。

__客户服务部通过实行客户经理轮流主持周例会这一形式,充分调动了青工们参与管理工作的热情。大家勤动脑、勤思考、说意见、提建议,提出了许多切实有效的工作方法和管理举措。和谐的团队氛围以及积极向上的团队精神风貌，使得大家在面对急、难、重的任务时,从不推卸责任，总是抢着干,充分发挥了生力军和突击队的作用。

三是开展qc小组活动，创新科学管理。

__客户服务部的青工们把工作中的难点，作为课题攻关的重点。为了让客户经理能够在日常工作中全方位、全视角地了解所管辖零售客户的具体分布情况,同时能够对零售客户的基本情况进行跟踪与管理，__客户服务部于20__年6月成立了“版权所有”qc小组，成功研发了《制作__客户分布图》。这一成果不仅在__烟草分公司各个客户服务部得到了推广与运用，还于20__年7月份福建省第27次质量管理小组代表会议上获得了“二oo六年度福建省先进质量管理小组”的荣誉称号。与此同时,__客服部的青工们分别于20__年和20__年组织开展了题为“提高金典狼的市场占有率”和“创建__卷烟终端形象示范镇区”的qc小组活动，并参加了福建省质量协会组织的第28次和29次质量管理小组会议，均获得了“福建省优秀质量管理小组”的荣誉称号。

__卷烟终端形象示范镇区的创建，进一步加强了渠道终端建设，推动了零售终端形象的全面提升，实现了客我双赢。通过__客服部青工们三个多(来源：文秘站）月的努力，成功打造出了终端形象更为亮丽统一、卷烟经营更加规范、零售客户获利水平较高的示范镇区，有效地提升了镇区客户群的整理质量，该主题活动参加了20__年5月在__召开的“20__年度福建省商业系统qc成果会”，并荣获了三等奖的好成绩。

三、一流的服务是__客户服务部的宗旨

俗话说得好：“一流的企业靠人来建设，一流的产品靠人来制造，而一流的服务同样也要靠人来提供。”在__烟草人弘扬“创拼搏进、止于至善”的企业精神，客户经理唱响“我就是品牌”，努力营造良好企业文化氛围的同时,__客户服务部始终本着“一切从客户出发、一切为客户着想、一切对客户负责、一切让客户满意”的工作原则，唱向“展烟草形象、亮青春风采”的青年文明号口号，立足岗位，为零售客户提供了一系列优质的服务。

多年来，__客户服务部积极响应共青团委和局团委在烟草系统

中开展的创建青年文明号活动，树立烟草部门的良好形象和企业精神，始终坚持以“三个代表”为重要思想，坚持“以人为本”服务大众，努力践行“至诚至信，全心全意”的行业服务理念，孜孜不倦地追求客户满意这一永恒目标。为了实现这一目标我部实行了以下一系列措施：

首先是“想客户之所想，急客户之所急”，切实站在卷烟零售客户的立场上，以零售客户的需求为中心，力所能及地帮助他们解决卷烟经营和生活中的暂时困难。如在拜访过程中不失时机地帮助零售客户搞好卷烟商品陈列，主动为他们提供一些商情信息，引导他们调整经营结构，转变经营观念等。在货源供应上，努力为零售客户提供更多的、可供选择的紧俏货源及畅销货源，为他们创造更多的利润。同时，与他们进行情感上的交流，使其被我们的热情服务所感化，从而缩短烟草公司与他们之间的距离，以各好地服务于广大的零售客户和消费者。

其次是引导零售客户如何合理订货，制定个性化的销售策略，传授库存管理知识，授予其如何提高资金的利用率，以及推广优秀的销售经验，科学地陈列卷烟，帮助零售客户解决实际困难，提升零售客户的卷烟销售结构，提高零售客户的经济效益，帮助零售客户获得最高的经营利润。从明码标价的维护、零售客户的经营指导，到我们现在积极开展的“一十百千万”示范工程、维护客户知情权等，通过这些有形的服务，使我们每位成员都深深地体会到，我们与零售客户的心靠得更近了，同时也深深地感受到零售客户对我们的尊重与爱护更多了，使我部的营销工作进入到了一个良性的循环工作中。

另外，为进一步拉近客我情感关系，夯实网络基础，深入贯彻“客户满意是我们永恒的追求”的行业服务理念，提高零售客户的满意度和忠诚度，自08年6月份起我部开展“客户之家”创建活动。我们主要是从建设三个平台入手，即“窗口服务平台”、“客户经理服务平台”和“网络服务平台”。窗口服务平台建设主要是在每个客服部设置“客户之家”版墙，划出客我互动场所，进行主要服务流程、卷烟经营技巧及相关行业知识的展示，开展客我互动活动。“客户经理服务平台”的打造主要是通过强化客户经理的走访工作管理，提升走访质量，为零售客户提供优质的客户服务。“网络服务平台”主要是在客户在线网站中开辟“客户之家”模块，用于展示相关行业政策、服务流程、经营指导、互动活动信息，进行客我网络互动交流等。在“网络服务平台”的构建上,为进一步完善打造“移动的客户之家”的目标，我们在基层客服部中进一步深化了e化营销的工作内涵，认真做好“两台三网”的基础性工作，促进营销工作朝着规模化、专业化和拓展化的方向发展。同时，我们还借助网络开放性的特点，率先建立qq群沟通渠道，并结合指导客户进行网上交流、引导客户利用“__烟草客户在线”获取信息等方式，进一步拓宽了客户与客户之间、客户与客户经理之间、客户与烟草公司之间的沟通渠道，实现了在线指导、实时服务的服务理念，有效地利用了现代信息技术进一步强化了客我关系，推动了温馨“客户之家”的创建进程，也让零售客户感受到了烟草公司提供的一流服务。

四、一流的人才是__客户服务部的基石

企业的形象很大程度上取决于员工的行为，企业也只有以人为本，才能够在服务社会上真正有所建树。__客户服务部在开展“青年文明号”创建活动中，在团委的关心、指导、帮助下，以国家、省相关的烟草条例为标准，以iso9001：20__质量管理体系为服务范本，本着“以人为本”的理念，坚持教育先行，着眼于勤练内功，深挖潜力，加强全体参与人员的整体素质，努力造就跨世纪的青年烟草营销队伍。

首先，统一思想，增强创造意识。创建青年文明号并不是一朝一夕的事情，也不是单凭一个人的能力便可以完成的事情，而是长期的实实在在的团体性工作。我部积极组织成员学习了“三个代表”、“两个维护”、“八荣八耻”、“科学发展观”等重要思想，提倡创建和谐烟草，有机地与工作实际相结合，使服务更加规范文明。有了理论的武装，在工作上，每个成员都严格要求自己充分发扬坚持从我做起、从小做起，坚持原则、拼博实干，大到讲原则，小到讲风格的精神。依法经营，使营销工作做到规范化、合法化、合理化，进一步加强与客户的沟通与交流，将矛盾降低到最小化，努力提高客户的满意度，真真正正贯彻“客户的满意是我们永恒的追求”的行业服务理念，把我们的诚信经营注入每一户零售客户的心田。

其次，学以致用，提高自身素质。从20__年开始，__烟草公司

和__分公司先后举办了iso9001质量管理认证体系培训，让我们了解什么是科学管理，并将自身的服务标准化；邀请了埃森哲咨询公司对员工进行培训，让我们明白要经常与客户“换位”思考，才能懂得客户的心理，才能更好的提高配合度；以及__市烟草系统qc小组活动培训、客户经理技能知识培训、__烟草企业内训师培训还有多次关于计算机、专卖法规、营销理论等相关知识方面的培训，对我们的大脑不断充电，以保证我们能高效的胜任各自岗位。培训活动让我部成员的知识领域和眼界水平都有了较大的提高，而每一次考试考核则检验了我们对于培训知识掌握程度的高低。同时，我们积极参加省市局和团委举办的各种活动，展示自我风采。如团委组织的“微笑__志愿农运”活动，和行业内组织的“安全知识月”知识竞赛、__市qc小组成果、福建省烟草商业系统qc成果会、客户经理技能大赛、“优秀客户服务部”评选、“两个维护”和“客户在我心中”的演讲、征文比赛等等。这些不仅增强了我们的集体荣誉感和团队协作精神，更重要的是各种竞赛活动的参与，促使我们通过实践来深刻领悟理论知识，加深对新式理论的理解。

一系列的培训、竞赛活动为我们培养一流人才带来了显著的成效。在近些年的工作中，__客户服务部不断涌现出了一批优秀的人才，获得了不少的荣誉称号：苏国阳同志曾荣获过1992年度福建省烟草行业“先进个人”、1999年度__市烟草公司“优秀批发部主任”、20__年度__市烟草专卖局“先进个人”的荣誉称号、20__年所带领的城关访销部荣获__市烟草系统“先进集体”的荣誉称号、20__年6月荣获__市经贸系统优秀共产党员称号、20__年6月再次荣获__市经贸系统优秀共产党员称号；尤志毅同志曾获得20__年度__市烟草公司“优秀批发部主任”；20__、20__、20__年度的__市烟草系统“先进个人”的荣誉称号，20__年6月荣获__市经贸系统优秀共产党员称号。黄世厚同志曾荣获20__年度__市烟草专卖局“优秀职工”的荣誉称号；黄小芳同志曾荣获20__年度__市烟草系统“先进个人”和__市烟草系统“先进个人”的荣誉称号；王小凤同志曾荣获20__年度、20__年度、20__年度__市烟草系统“先进个人”的荣誉称号，并被__市局邀请参加20__年11月在__召开的全省网建现场会，作了关于优秀客服部建设的专题汇报，受到与会代表的一致好评。

这些荣誉的取得更加激励我们创建学习型组织，同时以严要求继续不断学习，不断提升自我素质，为更好的进行优质服务工作奠定坚实的人才基础！

五、一流的业绩是__客户服务部的奋斗目标

20__年__客户服务部在团组织的领导和号召下，认真贯彻落实省、市网建工作会议精神，以全面提高网络运行质量为目标，以品牌培育为主线，维护明码标价和推进电子结算为两翼，进一步完善了客户关系管理。经过不懈的努力，__客户服务部的工作业绩得到了各级领导以及零售客户的一致赞扬，工作业绩始终名列前茅。

近年来，__客服部在上级领导的号召下，认真贯彻落实省、市网建工作会议精神，以全面提升网络运行质量为目标，以品牌培育为主线，进一步完善了客户关系管理。经过不懈的努力，不管是集体还是个人都取得了不错的业绩。在销售指标方面，__客服部20__年完成卷烟销售总量25516箱，同比20__年增长3.17%，其中一类烟销售2736箱，同比增长28.63%；二类烟销售2112箱，同比增长51.56%；七匹狼系列卷烟销售11578箱，同比增长49.14%，为国家创造税利大约1.4亿元。__客服部的各项销售指标均超额完成，销售结构在全市范围内名列前茅，取得了较好的经济效益，产品的结构得到了进一步的优化，渠道建设和客户关系得到了进一步的加强，消费者对品牌的满意度和忠诚度得到了进一步的升华。

卷积神经网络的优化篇2

本课题采用问卷调查法和分析法，选取辽宁部分高校的大学生为调查对象，男生175人，女生325人；其中中共党员30人，共青团员467人，群众3人。调查共发放500份问卷，回收问卷486份，有效问卷477份，有效率约为97%。

二、调查结果与分析

（一）多元文化价值观对大学生的影响

在多元文化并存的今天，你怎样进行选择？64.6%的大学生认为应该吸取所有文化的精华，然后整合，为我所用，仅有13.4%的人表示全盘西化或者拒绝外来文化。多元文化通过什么途径对大学生产生影响，影响程度如何？80.7%的大学生选择通过网络媒体接受的一些外来文化，97.54%的大学生已经受其影响了，仅有2.46%的大学生没有受到任何影响。由以上调查可知，大学生通过网络媒体，极易受到多元文化的影响。

（二）大学生社会主义核心价值观认知度的调查分析

1.大学生社会主义核心价值观调查。

你知道社会主义核心价值观包括哪些基本内容吗？知道的占29.2%,了解的占53.2%,不知道的占17.6%。你是从哪些渠道了解社会主义核心价值观的？学校开课占43.6%，浏览网页占32.8%，学校宣传占9.4%，阅读书籍占4.9%，党支部内部学习占4.4%，家庭教育占3.6%，其他占1.3%。影响大学生确立核心价值观的最主要原因是什么？不正之风的影响占43.7%，负面信息的作用和影响占30.9%，其他方面影响不大。可见，绝大部分学生了解核心价值观，主要是通过学校开设的课程知道的，影响核心价值观主要是社会的一些阴暗面和网上的负能量。

2.关于马克思主义指导思想的调查分析。

你知道马克思主义的具体内涵吗？知道占22%，不知道占36.8%，模糊占41.2%。马克思主义对当代大学生的影响是什么？更好的指导我们科学的学习和工作占16.3%，提高政治思想觉悟，充实自己占10.4%，为考研做准备占24.2%，没什么影响占49.1%。可见，绝大多数学生对马克思主义的基本问题还不太清楚，认为马克思主义没有用，也没什么影响。

3.中国特色社会主义共同理想。

中国特色社会主义没有西方制度优越占0.83%，优越于西方资本主义占30.7%，世界上没有最好的制度，适合自己的才是最好的占29.2%，中国特色社会主义最符合中国国情，是最佳选择占39.07%。十以来，党中央为发展中国特色社会主义采取了一系列新的措施，你认为这些措施效果如何？效果很好占17.2%，很难持久占26.4%，效果一般,存在一定的形式主义占56.4%。可见大学生对中国特色社会主义还是了解并拥护的，就是在实施过程中效果体现的还不太明显。

4.民族精神。

你认为发扬民族精神的最佳途径是什么？加强网络宣传工作占56.5%，以先进典型为载体，强化思想教育工作的吸引力和影响力占20.7%；积极发挥学生党团员的带头作用，努力培育广大学生的民族精神占22.8%。如何提高大学校园里面民族精神的氛围？上毛邓三等类似的理论课占63.6%，宣讲占9.4%，论坛占2.3%，图片展览占22.7%，其他占2%。由此可知，大部分学生有着强烈的民族民族精神，但存在的问题也不容忽视。

（三）践行社会主义核心价值观的调查

你认为以下哪种形式对加强大学生社会主义核心价值观教育发挥作用更大？讲座论坛占39.5%，思政课占30.7%，学生宣传占16.6%，主题竞赛活动占7.4%，报告会占3.6%，典型表彰占1.9%，党员、团干培训占0.3%。你认为目前参加社会公益活动的主要不利因素是：信息渠道欠缺占44.3%，没有保障制度占30.2%，受到激励较少占23.4%，没参加不知道2.1%。

三、多元文化背景下实现大学生社会主义核心价值观的对策

（一）加强社会主义核心价值观网络载体的引领力度

随着信息技术突飞猛进的发展，尤其是手机网民数量的暴涨，高校德育工作者要利用好网络这个平台。可以开设思政博客，微信教育专栏，网络论坛等，利用积极的思想占领校园网络阵地，使大学生在潜移默化中受到教育。

（二）加大思想政治理论课教育教学力度

“思想政治教育的最终目的不是刻板的说教教，也不是空洞的理论。其核心本质是构建社会主义核心价值体系,以人为本,切实解决大学生思想、信仰、生活、情感的困惑，进行人文关怀，实现人的全面发展，促进社会和谐与人的自身和谐。”思想政治课理论性太强，在教学方式方法上，授课教师要认真琢磨。采取讨论法、表演法、参观法、影视法、比赛法等一些形式进行，不必拘泥老一套的填鸭式教学。在教学内容上，大力宣传具有正能量的价值观，引导大学生树立正确的人生观、价值观、世界观。

（三）加强高校校园文化建设

卷积神经网络的优化篇3

关键词：模式识别卷积神经网络googleearth应用

中图分类号：TP39文献标识码：A文章编号：1007—3973（2012）009—087—02

随着科技的进步，许多发明、电子产品使人们的生活更加方便。生活经常见到的有：笔记本电脑的指纹锁、数码相机的人像识别功能、电脑手写板、语音录入设备、门禁中的虹膜识别技术等等，这些设备与技术中都包含了模式识别技术。这些看似抽象的技术与算法正与其他技术一起悄然的改变人们的生活。

1什么是模式识别

人们的许多感官功能看似简单，但用人工的办法实现却比较困难。人与人见面相互打招呼。在看见对方的面部后，人能够很快的认定这张脸是个人脸，而且我认识他，应该和他打招呼。这个看似简单的过程其实并不简单，我们不仅仅要识别五官，还要扫描轮廓，而且还要判断是否认识等等。可见，很多看似简单的认知过程，如果试图用某一方法描述确实不宜。对人脸进行模式识别就可以解决这个看似简单的问题。

模式识别（PatternRecognition）是指通过用计算机对事物或现象的各种形式的（光信息，声信息，生物信息）信息进行处理和和判读，以对事物或现象进行描述、辨认、分类和解释的过程，是人工智能的和信息捕获的重要组成部分。现在被广泛应用于计算机视觉，自然语言处理，生物特征识别，互联网搜索等领域。

2模式识别与googleearth卫星照片

在卫星图片中识别特定的目标，如道路，湖泊，森林等等，往往要运用模式识别技术，现在较为主流的是神经网络识别。上一代的技术室根据RGB提取的，在提取森林或湖泊的时候，有很多干扰颜色，对卫星照片精度有很高要求。根据RGB提取效果不是十分理想，而且计算量大，对硬件有一定要求。

随着神经网络识别技术的发展，现在计算机可自动识别目标。不必使用特殊的卫星波段影像，小型机计算，只要从GOOGLEEARTH获取的普通卫星影像就可以自动识别了。

GoogleEarth是Google公司开发推出的一款虚拟地球仪软件，它把卫星照片、航空照相布置在一个地球的三维模型上，是一款全球地图集成软件。GoogleEarth与模式识别技术的综合运用，使其卫星图片在道路规划，通信线路管理，土地勘察，遥感探测等等行业有着很大的运用。

在实际情况下对卫星图片进行模式识别，实现起来有许多困难，光线条件、大地背景、大气云层情况影响以及由于拍摄角度或空气密度等原因导致照片的被照物体的几何变形等都会对识别效果有直接影响。这些都对识别算法要求很高。本文选用的神经网络识别方法，具有识别率高、对不规则物体识别效果好等优点，被广泛运用在许多领域。本文使用改进的卷积神经网络对googleearth卫星图片进行处理，几乎不用对照片进行预处理。这大大节省了运算时间，而且避免了二次处理后对原始文件的污染，大量原始信号被最大程度地保留。

3模式识别与卷积神经网络

卷积神经网络CNN（ConvolutionalNeuralNetworks）是近年发展起来并引起广泛重视的一种高效识别方法。神经网络是受动物神经系统启发，利用大量简单处理单元互联而构成的复杂系统，以解决复杂模式识别与行为控制问题。目前，CNN已经成为国内外科学家研究的重点方向，特别是在模式识别领域。它的优点是不需要对图像进行复杂的预处理，成为大家广为使用的方法。CNN的基本结构一般包括两层：（1）特征提取层。每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，与其他特征间的位置关系也随之确定下来。（2）特征映射层。网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。

4卷积神经网络在卫星图片识别中的应用

为提高googleearth卫星照片中目标的识别率，创造性使用卷积神经网络进行模式识别，其主要部分基本设计结构如图1所示。

图1中，整个结构模仿动物的神经结构，大量的单一识别单元被关联成一个网路。C层则是由复杂（complex）神经元组成的神经层，它的输入连接是固定的，不可修改，显示接收信心被激励位置的近似变化。网络中C层的最后一层为识别层，显示模式识别的结果。S层为简单（simple）神经元组成的神经层，完成主要信息提取，其输入连接是不是固定的，可在训练的过程中不断修改。这个系统进过不断的训练，输入照片的格式和大小会自动地被识别，大大节省了前期的工作时间，提高了识别速度。

在训练集中同时需要常规积极样本和消极样本，样本包括卫星图片中房屋和道路的1000个图像目标积极训练集。大多数基于学习方法的目标物体识别使用一个大约为10？0的最小输入窗口，好处是可以做到不遗漏任何重要信息。为了达到稳定的效果，对所有原有的训练样进行色彩转换和对比还原转换，得到的积极样本训练集有2400个目标样本。

5实验结果

分两个步骤进行试验，第一步对卫星图片进行定位和裁剪等预处理，第二步选取合格卫星图片200个样本图片训练卷积神经网络，训练后得到各层3个主要数据：阈值、权值及神经元细胞平面数，然后使用优化后的神经网络识别机对200个测试样本进行检查，其正确的识别率达到97%。实验要注意训练的时间，系统过度训练后，识别率会不断提高，但训练时间的不断增加，测试失败率到最小值后出现及其微细震荡，造成识别率的小幅波动。（见图2）

实验表明，卷积神经网络应用于卫星图片目标识别是完全可行的，训练样本越丰富则则识别率越高。与传统模式识别方法相比有更高的识别率和抗干扰性。本文采用一种改进的基于卷积神经网络的识别机制对卫星照片中的目标物体进行识别。该识别方法通过对目标物体图片的学习，优化了系统中的关键参数的权值。大大提高了目标物体的识别率。

参考文献：

[1]高隽.智能信息处理方法导论[M].北京：机械工业出版社，2004.

[2]高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社，2003.

[3]边肇祺.模式识别[M].北京：清华大学出版社，1987.

卷积神经网络的优化篇4

(1．北京邮电大学计算机学院，北京100876；2．河北省霸州市第四小学，河北霸州065700)

摘要：深度学习是智能科学与技术领域的最新突破性进展，卷积神经网络是其中一个代表性工作。文章探讨如何开展卷积神经网络的教学工作，包括教学内容的安排和教学内容之外的考虑两个方面，旨在将智能科学与技术的这一最新成果介绍给学生，使他们能较早接触学科前沿，提升学习兴趣，激发创新动力。同时，也为广大教师提供一些教学的思路和方法。

关键词：智能科学与技术；深度学习；卷积神经网络；教学建议

第一作者简介：李睿凡，男，讲师，研究方向为多模态智能信息处理与深度学习，rfli@bupt．edu．cn。

1背景

当前，智能科学与技术在国家经济与社会需求中的作用愈发重要。2015年3月2日，百度公司首席执行官李彦宏在两会提案中建议设立“中国大脑”计划；智能家居、智慧城市等早已经渗入普通大众的生活中。从大学教育的角度，智能科学与技术专业是培养“智能”人才的重要基地，智能专业一级学科的设置也迫在眉睫。传统的人工智能专业课程主要包括人工智能导论、模式分析、机器学习、数据挖掘等，其中通常涉及前向神经网络的教学内容。但近些年，深度神经网络的发展使我们从事智能科学与技术一线教学和科研工作的教师面临新的机遇与挑战。特别值得注意的是，深度学习中的卷积神经网络的发展是深度学习中的一个亮点。卷积神经网络在图像识别和语音语言处理等人工智能的众多领域都取得了突破。

2013年，我们提出将深度学习引入智能科学与技术类专业课教学的建议，包括其必要性和可行性以及初步的实施建议。2014年，我们又探讨在本科生和研究生课程中开展深度学习的教学实施方案‘卅。在科研与教学的实践中，我们体会到卷积神经网络是深度学习中非常重要的内容，非常有必要将精彩的卷积神经网络基本内容带入课堂。

2卷积神经网络背景

2006年之前，人工神经网络的发展大致可以分为两个时期。1943年，McCulloch和Pitts提出了最早的人工神经元，这种神经元具有学习的能力，这是人工神经网络的开端，这一时期沿着单个神经元研究其学习算法。1969年，Minsky和Papert分析了感知器神经网络模型的局限性，这使人工神经网络的研究很快暗淡下来。80年代中期，诺贝尔奖得主JohnHopfield提出了Hopfield神经网络模型，这种Recurrent神经网络具有的动态性有可能用于解决复杂的问题。同一时期，多层前向神经网络的反向传播算法(Back-propagation)也被重新发现。这两个工作使人工神经网络得到重生。这时，人工神经网络已经成为人工智能的一个重要组成部分，但随后的研究由于更多层神经网络学习的失效而再次陷入低潮。文献[5]对神经网络的研究给出了全面的总结。

2006年，神经网络领域的大师GeoffreyHinton教授与其博士生Salakhutdinov博士发表了题为ReducingtheDimensionalityofDatawithNeuralNetworks的论文。该文提出一种学习多层神经网络的方法，并将这种具有多层结构学习的方法命名为深度学习(DeepLearning)。以深层神经网络为代表的深度学习登上学术与工业的舞台，其中一个重要因素是Hinton教授提出的逐层预训练神经网络方法治愈了训练多层神经网络的一个致命伤。

2012年，Hinton教授的研究团队参加了斯坦福大学Fei-FeiLi教授等组织的ImageNetILSVRC大规模图像识别评测任务。该任务包括120万张高分辨率图片，共包含1000个类比。Hinton教授团队使用了多层卷积神经网络结构，取得了突破性进展，将识别错误率从26.2%降低到15.3%。这一比赛结果破除了计算机视觉领域的大师、美国加州大学伯克利分校的JitendraMalik教授对深度学习大规模实际应用的质疑。同时，它也加速了神经网络深度学习从学术研究跃人工业应用，为神经网络打开了更为广阔的前景。

在最近5年的多个国际顶尖学术会议(AAAI，ICML、NIPS，CVPR，MM)都有涉及深度学习的主题会议或研讨会。工业界也发生了一系列事件。2014年5月，斯坦福大学的AndrewNg加盟公司并领导深度学习的研究与应用。2014年8月，卷积神经网络的主要发明者YannLeCun教授加盟Facebook公司。2015年3月16日，马云在德国CeBIT博览会上为嘉宾从淘宝网购买1948年汉诺威纪念邮票，演示了以多层神经网络为核心技术的蚂蚁金服的SmiletoPay扫脸技术。国际知名的互联网公司都参与到深度学习的学术研究和技术应用中。

3教学内容编排

在文献[4]中，我们已经讨论了关于研究生深度学习课程教学的内容，但对卷积神经网络的内容强调得不够充分。因此，我们建议如果条件容许，可以扩大卷积神经网络教学内容，甚至采用专题教学的形式。同时，我们认为研究生阶段的教学目标主要是使学生掌握基本而深入的知识，从而对感兴趣的领域提出研究建议，并采取合理的方法完成研究内容并撰写研究报告。

基于以上目标，研究生课程（含36学时）主要涵盖3部分内容：机器学习基础、神经网络基础、神经网络研究论文讨论。第一部分的机器学习基础知识部分（6学时）主要让学生从零起点顺利过度到这门课程。教师讲解机器学习的基本目标和方法、线性分类器和支持向量机、主成分分析和线性判别分析。第二部分的神经网络知识部分（8学时）主要包括前向神经网络及后传算法和卷积神经网络、卷积网络结构的卷积层和抽取层、卷积神经网络的理解和可视化。考虑到神经网络的实践性，我们特别安排神经网络的优化和调试内容。第三部分主要是学生阅读讲解和师生互动的论文研讨部分。此部分进一步划分为4个单元，主要包括受限波尔兹曼机及其扩展、自动编码器及其扩展、多模态和计算机视觉的典型应用。

除理论教学环节之外，该课程强调学以致用。因此，我们给出两部分内容：一个是基本实验项目，主要包括基本的分类器的使用，如最近邻分类器、支持向量机分类器等，重点强调卷积神经网络的训练和应用实验；另一个是强调如何将卷积神经网络方法用于解决实际问题。前两部分讲解完成之后，教师提出具体的研究建议，安排2～3名学生形成一个小组，请他们自己提出可能的讲解问题，确定一个研究主题，写出研究建议书，完成研究，写出研究报告，并在课程的最后，分小组汇报研究情况。

4教学内容之外的考虑

除教学内容之外，还有一些值得考虑的与卷积神经网络相关的问题。我们主要考虑了如下3个方面。

(1)兴趣是最好的老师，对于卷积神经网络的教学也不例外。如何激发学生的兴趣是教师备课时应该考虑的一个问题。笔者的思路是在课堂教学中引入有趣的相关话题。近期的两个事件令人瞩目，可以用来引导学生。其一，2015年3月16日，在德国举办的汉诺威消费电子、信息及通信博览会(CeBIT)上，阿里巴巴集团董事局主席马云先生为嘉宾从淘宝网购买了1948年汉诺威纪念邮票，演示了蚂蚁金服和Face++Financial的微笑支付(SmiletoPay)扫脸技术，这项技术改变了传统的采用密码认证的购物方式；其二，2015年3月，斯坦福大学人工智能实验室主任Fei-FeiLi,在TED大会上作题为“当今计算机科学家如何教计算机理解图像”的主题报告，她的报告试图传达一个信息：人工智能和计算机视觉的重要前沿进展之一。这两个事件，一个是信息产业界的大事记，另一个是技术思想普及教育的大事记。两者都涉及深度学习中的卷积神经网络，说明卷积神经网络无论在产业应用和科学前沿都吸引了广大的技术实践者和科学探索者。

(2)教学过程是教师与学生沟通以建立共同语言的过程。教师如何使用恰当的生活语言辅助专业技术的交流，能够很好地起到寓教于乐的作用。笔者在上一节已经谈及卷积神经网络的引子事件，对于以上两个事件的描述，可以用时下的网络用语“高富帅”和“白富美”来夸张地形容事件中的两位主角，以学生的语言给出卷积神经网络发展历程上的有趣描述，能够容易建立师生的共同语言。

(3)调动学生的好奇心能有效地让学生进入良好的学习状态，从而产生内在驱动力。通过以两个事件为引子的课堂导人，学生产生兴趣，对于卷积神经网络，可以使用LeNet的神经网络结构图，标注数字和卷积的

关键词等信息。这样的绘图必然让学生产生好奇心，让他们期望明白其中的含义，也很想搞清楚这样复杂的网络是如何工作并取得竞赛排名第一的结果。另外一个有效的刺激是课程的评分机制，在卷积神经网络的工作中，应当重点对研究报告部分予以侧重。

5结语

卷积神经网络是深度学习中备受瞩目的研究主题，卷积神经网络更为细致的内容将在进一步的教学工作中实践，也需要更深入的研究。需要注意的是，深度学习还处于发展状态，内容仍然不够成熟，这给教学工作者提出了更高的要求。

参考文献：

[1]钟义信，传播创新成果，服务社会需求：论核心课程的设计[J]．计算机教育，2014(19):22-25.

[2]钟义信，高等人工智能：人工智能理论的新阶段[J]计算机教育，2012(9):6-11.

[3]李睿凡，王小捷，钟义信，引入深度学习的人工智能类课程[J]计算机教育，2013(19):61-64.

[4]李睿凡，王小捷，钟义信．探索神经网络深度学习的教学[J]计算机教育，2014(19):77-79.

[5]HaykinS.Neuralnetworksandlearningmachines[M].NewYork:PrenticeHall,2008.

[6]HintonG,SalakhutdinovR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science,2006,5786(313):504-507.

[7]KrizhevskyA,SutskeverI,HintonG.lmageNetclassificationwithdeepconvolutionalneuralnetworks[C].LakeTahoe:NeuralInformationProcessingSystems(NIPS)Foundation,2012:1106-1114.

[8]BengioY.LeamingdeeparchitecturesforAI[J].FoundationsandTrendsinMachineLearning,2009,2(1):1-127.

[9]ArelI,RoseDC,KarnowskiTP.DeepmachineLearning:anewfrontierinartificialintelligenceresearch[J].IEEEComputationalIntelligenceMagazine,2010,5(4):13-18.

卷积神经网络的优化篇5

关键词：DeepLearning；多隐含层感知；DropConnect；算法

中图分类号：TP181

DeepLearning是机器学习研究的新领域，它掀起了机器学习领域的第二次浪潮，并受到学术界到工业界高度重视。DeepLearning概念根源于人工神经网络[3]，它由GeoffreyHinton等在Science上提出。它致力于建立模拟人脑分析学习机制的多层次神经网络，并通过这种网络分析解释数据，如视频、文本和声音等。DeepLearning的多隐含层使得它具有优异的特征学习能力，而且学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类。它的“逐层初始化”（layer-wisepre-training[4]）可以有效克服深度神经网络在训练上的难度。本文在对DeepLearning算法分析的基础上，着重阐述了对RegularizationofNeuralNetworksusingDropConnect模型的改进。

1DeepLearning算法分析

1.1DeepLearning多隐含层感知架构

DeepLearning算法最优秀特征是多隐含层感知器架构，这种架构通过组合低层特征来形成更加抽象的高层属性类别或特征，并实现对数据分布式表示。DeepLearning的多隐含层结构是由输入层、隐层（多层）、输出层组成的多层网络（如图1所示），只有相邻层神经元之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个浅层机器学习模型（如logisticregression，SupportVectorMachines）。

图1含多个隐含层的DeepLearning模型

DeepLearning的多隐含层感知结构模拟的是人脑的大脑皮层工作。人大脑皮层计算也是分多层进行[5]，例如图像在人脑中是分多个阶段处理，首先是进入大脑皮层V1区提取边缘特征，然后进入大脑皮层V2区抽象成图像的形状或者部分，再到更高层，以此类推。高层的特征是由底层组合而成。使用含多隐含层感知器架构网络主要优势在于它能以更简洁的方式表达比浅层网络大得多的函数关系（如图2）。通过这种深层非线性网络结构，DeepLearning可以实现复杂函数的逼近，表征输入数据的分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。

图2多层次实现复杂函数图

1.2DeepLearning训练过程

（1）首先逐层构建单层神经元，使得每次都是训练一个单层网络。

（2）当所有层训练完后，使用Wake-Sleep算法[6]进行调优。

将除最顶层的其它层间的权重是双向的。向上的权重用于“认知”，向下的权重用于“生成”。然后使用Wake-Sleep算法调整所有的权重。让“认知”和“生成”达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。

1.3DeepLearning数据处理一般过程

DeepLearning算法通过传感器等方式获得数据之后，首先对数据进行预处理。在数据预处理中，标准的第一步是数据归一化处理，第二步是数据白化处理（如PCA白化和ZCA白化）。其次特征提取和特征选择。然后将输出作为下层的输入，不断进行特征提取和特征选择，直到学习到合符要求的最佳特征。在特征提取和特征选择过程中，常用自动编码、稀疏编码、聚类算法、限制波尔兹曼机、卷积神经网络等算法进行特征提取和特征选择。然后用反向传播算法、随机梯度下降算法、批量梯度下降算法等进行调优处理，再用池化等算法避免特征过度拟合，从而得到最终提取特征。最后将学习到的最终提取特征输入到分类器（如softmax分类器，logistic回归分类器）进行识别、推理或预测。

2基于RegularizationofNeuralNetworksusingDropConnect模型改进

2.1RegularizationofNeuralNetworksusingDropConnect模型[2]

该模型的四个基本组成成分是：

（1）特征提取：v=g（x；Wg）。x是输入层的输入数据，Wg是特征提取函数的参数，v是输出的提取特征，特征提取函数g（）。其中g（）为多层卷积神经网络算法函数，而Wg卷积神经网络的偏值。

（2）DropConnect层：r=a（u）=a（（M*W）v）如图3。v是输出的提取特征，W是完全连接的权重矩阵，M是二进制掩码矩阵，该矩阵的每个元素随机的以1-p概率设置为0或以p概率设置为1，a（）是一个非线性激活函数，r是输出向量。M*W是矩阵对应元素相乘。

（3）Softmax分类器层：o=s（r；Ws）。将r映射到一个k维的输出矩阵（k是类的个数），Ws是softmax分类函数的参数。

（4）交叉熵损失：A（y，o）=-∑yi（oi），i∈1，2，3…k。y是标签，o是概率。

图3DropConnect示意图

2.2模型改进描述和分析

对DropConnect模型的改进主要集中在上面它的四个基本组成成分中的DropConnect层。由于该层以随机方式让掩码矩阵M的每个元素Mij按1-p的概率设置为0，然后让掩码矩阵与层间的权重矩阵对应相乘即M*W。相对DropOut模型r=a（（M*（Wv））得到的特征，r=a（（M*W）v）得到的特征是比较好的特征r，同时也提高算法的泛化性。因为Dropconnect模型在权重W和v运算之前，将权重以一定的概率稀疏了，从运行结果看整体算法的错误率降低了。但是，由于是随机的让Mij按1-p的概率为0，并且这种随机是不可以预测的，故可能会导致某些重要特征对应的权重被屏蔽掉，最终造成输出ri的准确性降低。故就此提出了新的设计思想。

改进思想是用单层稀疏编码层代替DropConnect层，通过稀疏编码训练出一组最佳稀疏的特征。具体描述：让经过多层卷积神经网络提取到的特征v作为稀疏编码的输入，经过稀疏编码重复训练迭代，最终得到最佳的稀疏的特征r。因为稀疏编码算法是一种无监督学习方法，用它可以寻找出一组“超完备”基向量来更高效地表示输入数据。

总之任何对DeepLearning算法的改进，都是为了提取出最佳特征，并使用优秀的分类算法来分类、预测或推理，最终降低算法的错误率。而对于怎样改进算法，以何种方式降低错误率，则没有具体的限制。并且各种提取特征和特征选择的算法之间并不是互斥的，它们之间可以有各种形式的嵌套，最终的目标都是提高算法的正确率和效率。

3结束语

DeepLearning使得语音、图像和文本等的智能识别和理解取得惊人进展，如GoogleBrain项目和微软推同声传译系统。它极大地推动了人工智能和人机交互快速发展。随着从学术界到工业界的广泛重视，DeepLearning算法的改进依然在继续，DeepLearning算法的正确率和效率仍在不断提高。DeepLearning的发展将加快“大数据+深度模型”时代来临。

参考文献：

[1]HintonGE，SalakhutdinovRR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science，2006（5786）：504-507

[2]汤姆・米切尔.机器学习[M].北京：机械工业出版社，2003：1-280.

[3]吴昌友.神经网络的研究及应用[D].哈尔滨：东北农业大学，2007.

[4]HINTONG，OSINDEROS，TEHY.Afastlearningalgorithmfordeepbeliefnets[J].NeuralComputation，2006（07）：1527-1554.

[5]HubelDH，WieselTN.Receptivefields，binocularinteractionandfunctionalarchitectureinthecat'svisualcortex[J].TheJournalofphysiology，1962（01）：106.

[6]ChuangGao，BinChen，WeiWei.Dynamicdetectionofwake-sleeptransitionwithreactiontime-magnitude[J].NeuralRegenerattionResearch，2009（07）：552-560.