大数据迁移方案(精选8篇)
时间:2023-07-10
时间:2023-07-10
作为大赛独家赞助商的领导,IBM大中华区副总裁兼大中华区软件集团总经理胡世忠表示:“在大数据的时代,DB2引领着下一代数据库技术的发展方向,已经成为客户的首要选择。越来越多的全球知名企业正在将他们的数据库迁移到IBM的DB2平台上来。IBM还在去年5月在中国成立了数据库迁移中心,帮助客户实现无缝迁移,实现从业务价值评估到后续技术的全方位支持。此外,IBM一如既往地密切关注广大技术开发者的需求,2011年IBM和全球200多所大学合作开展了业务分析方面的课程,同时举办了1200场现场和在线的大数据技能训练营。”此次DB2迁移之星大赛正是IBM对中国市场和广大软件技术开发者的承诺。未来,IBM将与中国广大的客户、合作伙伴、技术开发者继续携手合作,共创未来。
应对需求
呼唤杰出技术人才
IDC预计,2012年全球存储的信息数据总量将增长到2、7ZB,比2011年增长了48%,值得关注的是,这些数据中90%是非结构化数据。中国电子信息产业发展研究院副院长、中国计算机行业协会常务副会长、中国计算机报社社长卢山表示:“未来,大数据将会成为产业发展变化的关键点。”他结合大赛将DB2三个字母做了全新的解释:“D代表Data,在未来十年甚至在可以预见的未来,无论非结构化数据还是结构化数据,通过挖掘和再生产都将会变成信息社会一个重要的组成部分;B代表Business,只有完整的商业模式才能把数据变成价值,为整个信息社会反复利用;2代表中国软件和信息服务业人才在‘十一五’末期到‘十二五’末期的翻倍变化,预计从300万增长到超过600万。”
大数据时代,企业的数据量不仅在以前所未有的速度增长,数据的复杂度也突破了原有的关系数据范畴,给企业的信息管理增加了难度。中国计算机用户协会名誉理事长陈正清表示:“我们非常高兴地看到IBM已经看到企业在数据管理方面的困境,并提出了解决方案。IBM的系列产品很好地融合了数据库管理系统、中间件平台以及最新的云计算技术,帮助企业在海量信息中抓取商业价值。而本次大赛也涌现出了很多数据库领域的技术精英,他们能够针对众多企业面临的困难提供很好的解决方案,并在实践中得到验证。”
大数据变革呼唤着越来越多的软件工程师脱颖而出,也正是在这样的一个大的背景下,主办方在IBM的支持下组织了IBM DB2迁移之星大赛。中国软件行业协会数据库与应用软件分会理事长唐世渭表示:“让数据获得更大价值的关键在于人才,而这也正是此次大赛的目的之一――促进包括像DB2数据库工程师在内的高端信息人才的成长和发展,推动我国信息管理技术的持续创新。这次大赛对促进我国数据库应用事业的发展和相关人才的成长具有积极的意义和重要的作用。”
王者胜出
十强奖项各有归属
2011 IBM DB2迁移之星大赛为中国企业程序员和数据库管理员们一个展现自己、表现自我的舞台。通过举办本次赛事,能够推动数据库工程师和数据库管理员甚至数据库产业重新理解新的计算理念,推广新技术,推动各方共同进步。而本次大赛选拔出的一批大优秀的数据库工程师也将在未来逐步发展成为这个产业的技术带头人和产业带头人。
据悉,本次大赛历时半年,参赛选手达到2163名,覆盖金融、电信、政府、制造、医疗、零售等行业的数据库工程师和管理员以及独立软件开发商、系统集成商中的技术精英。经过严格的初赛、复赛,最终有十支队伍闯入决赛。这十支队伍分别来自有实际数据库迁移经验的行业用户,以及系统集成商、独立软件开发商。进入决赛的团队都将获得丰厚的奖金,冠亚季军团队还将获得去美国参观考察的机会。
经过3月14日一整天决赛的激烈角逐,在2011 IBM DB2迁移之星大赛颁奖典礼现场,各项奖项最终揭晓。大赛评委会主席、原中国软件行业协会理事长陈冲为冠军团队开奖,最终,冠军团队由来自北京普远天成、北京速通和杭州新世纪的四名技术精英共同组成的飞天队获得。亚军由招商银行五名技术精英组成的金葵花队获得,季军则由中信银行两名技术精英组成的中信数据库队获得。其余七支队伍获得了优秀团队奖。
迎接挑战
实现数据库平台迁移
据悉,DB2数据库工程师大赛已经举办三届,从第一届大赛以寻找杰出数据库工程师为主题,到本届大赛以数据库迁移为主题,体现了DB2在大数据时代的进取心:用DB2可以平滑地取代其他数据库引擎。
然而,迁移是一项系统工程,迁移风险的评估、迁移割接、迁移前的模拟演练、对不同数据库特性的熟悉程度,都影响到迁移实施的成功与否。这就需要迁移后的平台能够具有丰富的迁移支持功能和独特的商业价值。IBM副总裁兼DB2数据库和数据仓库开发总经理Judy Huber表示:“IBM的DB2产品有许多独特的价值优势,包括低运营成本、卓越的系统性能、无限延展性以及高可用性等。特别值得一提的是,选择DB2能够使用户非常便捷地从其他的数据库技术迁移到DB2平台,同时可以大大简化应用开发。DB2能够帮助全球的客户在迁移策略中以最小的风险利用DB2各种价值优势,有效支持客户的多元化战略,充分利用IBM全信息生命周期系列产品的优势,以及数据仓库和大数据的优势。”为了应对大数据的挑战,IBM推出针对大数据的全面解决方案,突破了传统数据仓库和单一的数据管理体系,实现更为经济高效的大数据管理,并为企业提供重要的业务分析和洞察。
IBM软件集团大中华区数据库和数据仓库销售总监陈文玉则分享了DB2应用的成功案例,她表示:“DB2的特性让用户可以轻松地从其他系统快速地迁移过来,而不需要改变太多系统的设置。这也是这次比赛的精神,它向大家证明从其他数据库到DB2的迁移工作是非常容易的。越来越多的全球知名客户已经从其他数据库迁移到DB2的平台上来。”比如可口可乐瓶装公司通过将数据库迁移到DB2,由于采用DB2深度压缩技术存储需求降低了30%,整体供应链效率提升65%。
可以说,IBM的大数据解决方案提供了大数据领域最全面的技术和产品组合,实现了针对大数据管理的企业级的可靠性和适应性实施分析。在大数据的时代DB2引领着下一代数据库技术的发展方向,在大容量数据、非结构化数据、数据压缩、兼容性、数据分析,在这些领域DB2已经成为拥有着明显的优势。
冠军团队:飞天队
赛后,来自北京普远天成的队长徐明伟认为这次决赛的题目非常具有实战性。“我们的团队在运营商方面的经验比较多,对数据库的维护、性能调优、扩容以及培训参与方面都有所涉及。”他表示,“团队成员分工密切,优势互补。基于不同的DB2版本,我们参与过很多数据库迁移项目,这是很有帮助的。”
徐明伟认为DB2目前的版本在功能方面实现了极大的扩展,大部分功能已经能够实现与Oracle的兼容,有一些功能实际上已经完全相同,只是在名称上有所区别。在关键业务方面,结合power的一体化策略使得DB2能够更好地发挥整体性能,针对全天候的业务环境和需求,DB2在稳定性方面确实做得很好。
在谈到希望DB2改进的方面时,来自杭州新世纪的队员麦志斌表示:“希望DB2在开发工具上能做的更好,注意到实际应用中包括锁、排序、参数优化等在内的一些细节性的问题。如果能加以改进,DB2的适用性会进一步扩展,基于DB2的开发应用也会更加方便、高效。”随着DB2版本的不断更新,功能越来越多,会有更多成功的应用和案例出现,飞天队看好DB2的发展前景。
最终飞天队获得了本次决赛的冠军。队长徐明伟表示,这是团队的力量。队员管伟来自北京速通、麦志斌、陈艳来自另外两家不同的公司,他们在数据库迁移方面都有丰富的经验。希望以后还能参加这样的比赛。
亚军团队:金葵花队
在比赛过程中,每次跟金葵花队沟通,都能感受到他们对本次大赛的认真态度和对数据库迁移技术的激情。队长杨盛告诉记者,他们团队的成员各有所长,配合默契,“团队成员杨盛、隆、林耘毅、莫淡先、王汉福分别负责开发、架构设计、数据库等不同方面。遇到了问题,就在一起讨论,展开头脑风暴。尽管没能获得冠军,有点小遗憾,但获得亚军也非常高兴。感谢IBM和主办方能给予我们这个展示自我的平台。”
队员莫淡先称,决赛时,评委的问题都一针见血,非常到位。专家们提出,银行数据库业务的维护和开发,招商银行的工作应该实现标准化,让他们非常受启发。因为此前,他们也在这方面进行尝试,但是进展不明显,原因是数据库迁移涉及运维、开发、厂商支持等各个方面,要做一项迁移的工程,所有的部门都要参与其中,所以比较复杂。而降低迁移的复杂性,推广迁移的方式方法和成功案例,也正是举办此次DB2迁移之星大赛的目的之一。
决赛期间,通过跟其他选手交流,了解到了国内顶尖水平的选手都在做些什么,“不再埋头苦干了”。队长杨盛建议主办方多举办一些类似活动,让更多选手参与进来,给更多DB2爱好者和数据库工程师提供切磋的机会。
季军团队:中信数据库队
中信数据库队队长唐志刚在参加决赛时自信满满。他表示,2011年中信银行刚完成一个迁移案例,是从Oracle到DB2的迁移。在实际的应用中,会使用不同平台和类型的数据库。目前中信银行的主流数据库应用是DB2。在银行的交易系统中,可能的高并发请求对于数据库的稳定性和可用性要求非常高。IBM在软硬件结合方面做得非常好,DB2数据库应用与小型机的结合很紧密,在性能方面能够提供契合银行应用实际的强大支持。
在谈到数据库开发应用时,唐志刚认为,DB2在核心性能方面很优秀,开发工具的管理和界面只是一个形式。如果能够提供更加友好和人性化的界面,在开发层面会有一定的好处,开发者的使用会更加方便,在开发速度方面也会有所提升。
唐志刚和队员王清锋表示:“DB2的设计理念是非常前端的,未来DB2 应在Purescale集群技术方面进一步完善,产品应该进一步扩展,提供更加开放的数据平台。在文档的共享方面希望开放一些底层的内容,也希望DB2能向更多的行业领域扩展。总体来讲,IBM的技术理念是非常先进的,已经在适应云计算、大数据等潮流的数据库发展模式方面开展了很多积极的探索,看好DB2以后的发展。”
SuperwinningTeam
SuperwinningTeam是第一支进行决赛的参赛队伍。赛后,来自北京人大金仓的队长华表示:“这次决赛,我们在题目的准备上还是比较充分的,遗憾的是在PPT的展示和讲解的方式上控制得不太好,在时间的控制方面也没有做好,关注的技术细节太多,一些核心的内容没有在规定的时间内展示出来。”
在谈到DB2的应用感受时,华认为,DB2目前在数据仓库整合方面已经做得很好,在数据库应用性方面与Oracle相比也已经差别不大,只是有一些功能在名称上有所不同,在一些应用特性上DB2已经超过了Oracle。对于未来DB2的发展,来自AVG的队员高睿峰表示希望在资料共享以及联机帮助方面有所改进,目前的资料和文档范围太广泛,如果能进行有针对性的整合,会更便于大家了解和使用。
信总软件DB2迁移队
决赛的几天里,信总软件DB2迁移队的队长柏征和来自济南市历城区农业局的队员王艳一直非常谦虚。决赛结束接受采访时,他语带感慨地告诉本报记者,此行收获非常大。从专家的点评中,他感受到“自己欠缺的知识还有很多”。“以前,我们都是为了完成项目查阅一些资料,获取资料的形式是‘快餐式’的,只要能解决问题即可。”柏征称,通过此次比赛,“我们感觉到了理论的重要性,实践必须要有理论作支撑,然后再到实践中去验证”。
信总软件DB2迁移队的迁移方案来自于单位实践。目前,信总软件DB2迁移队队长柏征所在的单位山东信总计算机软件开发有限公司的IT系统中,小型机、数据库和应用产品,都选择的是IBM。因此,柏征对DB2的应用开发比较了解。但由于单位非常忙,既要做开发,又要做数据库,甚至还得负责维护,柏征称他没有时间对这些产品进行深入研究。由于技术人员缺乏,平时遇到问题,很难像其他参赛团队那样,可以讨论问题,可以沟通解决方案,只能靠自己。所以,“我们很希望能够跟其他选手多多沟通,非常珍惜这次跟专家、选手面对面交流的机会”。
CPIC_DB队
CPIC_DB队的队长段家生看起来非常内向,沉默寡言,但是当谈到数据库技术,谈到比赛以及能够和这么多专家面对面,段家生的话匣子一下子打开了,讲起来滔滔不绝。他告诉记者,尽管单位数据的量并不是很大,但是DB2的每一个版本,他都应用过。决赛中,他和他的团队对迁移方案进行了详细的测试,并且希望IBM后续的DB2版本能帮助他们加快迁移的速度。
段家生还告诉记者,从加快数据库用户从Orcale到DB2的迁移速度的角度看,他们希望IBM能够共享出来更多资料供开发者和数据库爱好者下载,在不涉及信息泄露的情况下,希望能有针对用户的更多、更细节的问题说明。比如,一张迁移列表,数据类型是什么,会碰到什么问题,该如何解决等,通过这种分享,帮助用户建立一个知识库。
能够跟专家和其他选手进行交流,是队员刘朝此行最高兴的事情。他告诉记者:“我希望能够聊一些一线用户对数据库本身的要求,例如对大容量、可用性的需求等,希望能够听听专家的意见。”
SeniorVision队
SeniorVision队队长王翔表示,在实际的工作中涉及到数据库迁移的实例还是比较多的。这次比赛的感觉明显与前两届不一样,选择一个固定行业进行常用的数据库配置,对于选手的要求更高。“决赛案例设计得非常好。对于我们来说,可以将以前工作中的数据迁移经验做一个总结:如何以一种可重复的、模块化的方式进行数据迁移,不仅仅局限于表层的数据迁移,同时还能对不同类型数据库的特性有更好的理解,在这方面收获很大。” 基于开放式的环境,DB2的pure xml功能对于大规模的数据交换能够提供很好的支持。
在谈到对未来DB2大赛的期待时,王翔和队员皇甫鑫霖、赵玉霞表示,希望大赛能沿用现在的思路,不要从纯技术的角度考量,而是更多地与企业业务需求相结合,此外还希望在行业的领域方面能打破限制,更加扩宽一些。
启明3队
启明3队的成员都是共事多年的同事,配合非常默契。在比赛前,他们坚信这是他们获胜最有利的筹码,并且一定能够冲进三甲。但是,从决赛赛场出来,队长刘文斌很久都没能回过神来,始终沉浸在比赛中。他告诉本报记者,因为比较紧张,所以一些问题没有回答得很好,评委的反应不是很热烈,感觉有点遗憾,对于回答情况的好坏,他们心里也没底。
不过,刘文斌和队员杨立影、郑伟称,这次比赛的北京之行,“主要是非常希望能有机会跟其他选手交流。在整个比赛中,通过论坛关注其他技术开发人员的关注点,真是开阔了眼界”。另外,在工作中,启明3队队员都曾经应用过DB2,比赛中,更感受到了它在稳定性方面的表现非常突出,并具有资源配置的灵活性。通过这次比赛,他们重新学习了数据库相关知识,知识面得到了扩充。刘文斌称:“我们感受到这个行业发展的迅速,有许多先进的DB2技术将越来越多地应用到我们以后的实践中去。”
Zolinn队
赛后,队员张春林表示,题目在设计上非常贴合实际。从应用层面看,DB2在数据仓库平台上有很大的优势,其架构更适合于大规模的数据处理。在实际应用中,有一些用户使用的是混合的数据库环境,这可能是出于平衡的考虑,不希望将数据库应用限制在一个平台上,因此从实际操作的角度看,基于不同数据库的迁移案例也非常多。DB2在运维管理上有一些独到的特点,它的压缩功能能够减少磁盘空间的占用。在实际的测试过程中,DB2对CPU等资源的消耗相比于其他数据库也有优势。从管理角度看,DB2提供的工具比较多,用户在实际使用上有一点不太适应。工具的重合度比较高。如果能整合工具,修改界面风格,用户的体验会更好。在事务处理性能,包括可视化的监控等方面,希望DB2提供一些基于内核的改进,这些方面有改进和提高的余地。
队长李宁宁认为,DB2的purescale机制具有更高的可靠性,是一个比较高端的应用方向和思路,适合于大规模的数据处理。未来希望IBM能更加开放,为开源、大数据等趋势提供更多适应性的方案。
DataBaser队
DOI:10、3969/j、issn、1000-4149、2014、06、002
Urban and Rural Population Aging Trends and Policy Implications
of the Urbanization Process in China
TONG Yufen1,LI Yumei1,2, LIU Chuanqi1
(1、School of Labor Economics, Capital University of Economics and Business,
Beijing 100070,China; 2、School of Management, Guizhou Minzu
University, Guiyang 550025,China)
Abstract:The research observes trends in urban and rural population aging using census and statistics and predict the future using multiregional population forecasting model、 The results show that aging issue indicated an increasing trend in both areas、 Specifically, migration between rural and urban areas makes great contributions to boost aging in the local region、 In terms of aging, the more active ruralurban migration is, the faster the future population of the elder in urban grows、 Correspondingly, the population of the elder in rural drops dramatically、 And after 2022 the population of the elder in urban will more than it in rural、 The greater scale of ruralurban migration is, the less proportion of the elderly population and the dependency ratio in the urban region is, and the situation appears opposite in the rural、 In future, the proportion of the elderly population in the rural area will always be higher than that in urban area, and the gap showed a narrow trend rather than expanding、 Then we will face greater pension burden and economic pressures in urban, and the challenges of home care and longterm care will be serious in rural、 Based on this policy implications, the article put forward some policy suggestions、
Keywords:urbanization; ruralurban migration; aging; trends
一、 前言
目前,中国城镇化正处于“S”型增长的中期快速发展阶段。2012年,我国城镇人口占总人口比重达52、6%,城镇人口每年以大约3‰~4‰的速度递增,远远超过同期1‰的总人口年增长速度[1]。而改革开放以来我国城镇化水平的提高,主要通过农村人口向城镇人口转变实现,即在城镇化过程中,农村人口向城镇转变所作贡献约占90、7%,而城镇人口自然增长在其中的作用只占9、3% [2]。同时,有大量研究成果可以证明,目前农村人口向城镇人口的转变主要以农村劳动年龄人口流迁为主。全国第六次人口普查资料也显示,在我国城镇地区的常住流动人口中,15~44岁人口约占流动人口总量的78、6%。预计随着未来中国产业结构的调整及城镇化进程的加快,农村劳动年龄人口流迁进入城镇的速度还会加快。这种城乡人口年龄结构变化趋势也必然会直接影响到城乡人口结构及其城乡老龄化进程。基于这一认识,本文采用多区域人口预测模型,以第六次全国人口普查数据为基础,对我国未来城镇化发展背景下的城乡老龄化变动趋势进行多方案模拟。通过定量考察人口流迁对城乡人口老龄化的影响,为我国的经济社会发展提供必要数据基础,也通过对预测结果的讨论最后得出具有政策含义的结论。
目前关于城镇化进程的城乡人口老龄化发展趋势及其后果,虽然已经引起较大关注,但主要集中于乡―城人口迁移对农村、城镇或区域的人口老龄化的影响及后果的定性研究[3~5],如乡―城迁移下的年龄特征和生育率变动对农村老龄化的影响[6]、农村就业人口老龄化问题[7],以及从历史的角度描述城市人口老龄化的发展趋势及特点[8];或者是只针对全国、农村或某一特定城市人口老龄化发展的趋势预测等[9~12],目前只有个别学者将中国与其他国家人口老龄化过程中的城乡差异进行了比较研究[13~14],但结论差异较大。
值得注意的是,有学者在2005年曾对中国百年人口老龄化发展趋势进行预测,结果表明,到2053年我国60岁以上老年人数将会达到峰值,约为4、3亿,此后开始缓慢减少,但到2100年时仍将有3、5亿以上的老年人口;2010年以后我国将进入人口老龄化迅速发展时期,60岁以上老年人口比例在2010~2032年间每两年就增长一个百分点,2050年时
将达到31%,2100年继续提高到34%[15]。而2006年《中国人口老龄化发展趋势百年预测报告》中显示,到2050年我国老年人口总量将超过4亿,老龄化水平推进到30%以上,2040年左右人口老龄化重心将转入城市,农村人口老龄化程度高于城市的现象将会消失[16]。蔡茜采用第六次全国人口普查数据,运用年龄移算法对我国农村老龄化的趋势预测结果显示,我国农村老龄人口呈现线性递增,2050年其比重将达到36、51%[17]。
本文借助于人口宏观管理与决策信息系统(PADIS)软件,对我国分城乡的人口老龄化趋势进行了多方案模拟,重点考察了不同乡―城人口流迁水平下我国城乡人口老龄化变动的特点,从而为相关政策制定提供决策依据。
二、方法及数据来源
1、采用方法、原理及软件
根据本文研究的目的,为满足多区域分要素预测,建立中国分城乡、分年龄性别的人口预测模型的需要,本文对相关数据做出如下假设:
①依据人口平衡方程,假设期末人口数=期初人口数+本期出生数-本期死亡数+净流迁数,由此得出计算期内城乡人口总量。
②采用基期年龄结构,结合生命表、分年龄生育水平和流迁模式的讨论,得到预测期内分城乡、分年龄人口以及人口出生和死亡状况的相应数据。
在上述基础上再按城乡分年龄、性别的人口流迁作为表征城镇化进程的重要参数,代入预测模型以获得相应的结论。
本文利用中国人口与发展研究中心研制的国际人口预测通用软件“人口宏观管理与决策信息系统”(PADIS)进行预测。该软件引入了多区域人口情景模型预测,相较以往的人口软件提高了预测因素的多元化和模型精确度。
2、数据来源
目前,在还没有一套完全准确的数据可以被作为标准数据的现实情况下,相对于教育数据或户籍统计数据而言,人口普查数据虽然不可避免地会存在统计误差,但仍是学者们用于人口问题研究的最重要的基础数据。本文所用数据来源于历年中国统计年鉴、历次人口普查资料和中国人口统计年鉴资料,以确保数据的权威性和精确性。本文以2010年第六次全国人口普查数据为基础数据,但考虑到“六普”数据存在低年龄组的漏报问题,参考崔红艳等的“六普”数据评估方法,根据历年出生人数回推,调增了1107万0~9岁人口,其中男性599、95万,女性507、05万[18]。按1岁组预测截至2050年的人口发展状况。由于预测期较长,将近40年之久,本文选取了2020年、2030 年和2040年三个节点年份对参数进行了调整。
三、未来我国城镇化进程中的城乡人口老龄化预测及主要发现
1、预测方案设置
(1)生育参数的设定。
2010年第六次人口普查数据显示,我国总和生育率为1、18,远低于更替水平,学者一般认为这一水平偏低。根据以往研究经验,考虑目前国家对“单独”生育政策的放开,预计未来生育水平将会提高,我们选择两种生育水平作为重要模型参数。其中低方案假定从当前的城镇1、4,农村1、86,2030年以后提高到城镇1、8,农村2、1,并保持该水平到2050年。高方案假定总和生育率从当前的城镇1、4,农村1、86,到2030年城镇和农村同时恢复到2、1,之后一直保持不变。同时假定生育模式从2010年到预测末年不发生变化,详见表1。
(2)死亡和预期寿命参数的设定。
死亡参数的设定,关键是要得到未来各年龄的死亡率或存活率。根据第六次全国人口普查数据编制简略生命表的结果,考虑到我国人口平均预期寿命城乡差异因素,本文主要参照联合国平均预期寿命经验步长的变化趋势确定城乡人口预期寿命的增加值。假定未来的死亡概率以2010年为基准,保持不变。对于未来男女两性的分年龄死亡模式,选择联合国模型生命表的一般模式。方案设计如表2所示。
(3)出生性别比的设定。
受生育政策影响,我国出生性别比持续偏高,鉴于国家人口政策是一个逐步调整的过程,出生性别比将逐渐恢复正常。以第六次全国人口普查数据为基准,出生性别比为城镇116,农村119,到2030年城镇和农村出生性别比会逐渐下降并恢复至正常水平,即106,保持到2050年不变(见表3)。
(4)乡城人口流迁方案的设定。
本文的乡城流迁是指每年从农村转到城镇的净迁移人口,由于缺乏每年由农村向城镇转移人口的直接数据来源,我们根据公式“城镇期末人口数=期初人口数+(本期出生数-本期死亡数)+净流迁数+因为行政区划调整增加的城镇人口数”,从而,“城乡净流迁人口=(期末人口-期初人口)-(本期出生数-本期死亡数)-行政区区划增加的城镇人口”,对过去10年的城乡净流迁人口进行一定的推算发现,2000~2010年间我国城乡流迁人口增加规模每年大约在1200万左右。根据发达国家城镇化发展经验,当城镇化率达到一定水平时,城镇化趋势将会趋缓。按照我国目前城镇化进程的速度,假设在2030年左右我国城镇化达到发达国家城镇化的经
验值,之后城镇化速度将会大幅度下降,这时城乡之间的流迁人口也会大大减缓。因此,设置高、中、低三种乡城人口流迁方案(如表4)。此外,城乡人口流迁模式采用2010年全国人口普查数据中的户口登记在县外的分年龄、分性别人口数据作为流迁模式数据,并假定保持不变。且本预测未考虑国际人口流迁,即假定全国总体上为封闭人口。
2、基本结论与发现
不同生育水平和流迁方案下我国城乡人口老龄化的预测结果如表5所示。
(1)不同流迁方案对应的城镇化水平。
根据上述设定的方案进行推算,可得不同流动迁移方案下对应的未来我国城镇化水平变动趋势(见表6)。在相同生育水平下,流迁规模的大小对我国城镇化水平影响非常显著。以低生育水平为例,2030年高流迁方案的城镇化水平高于低流迁方案6、4个百分点,2050年这一差距扩大为12、7个百分点。以中流迁方案为例,2030年高生育水平的城镇化率高出低生育水平0、38个百分点,2050年这一差距变为0、96个百分点。
图1中流迁方案下城乡老年人口规模变化趋势
(2)未来城镇老年人口规模将很快超过农村
且二者差距迅速加大。
数据模拟结果显示,高、中、低三种流迁方案下未来城镇和农村老年人口规模的总体变动趋势一致(见图1)。城乡对比发现,2010年农村老年人口规模约是城镇的1、3倍,但随着乡―城人口流迁的加快,我国城镇老年人口规模增速快于农村,于2020年超过农村老年人口规模,且二者差距不断扩大,2030年高、中、低流迁方案下城镇老年人口规模分别是农村的1、37倍、1、31倍和1、25倍,2040年进一步扩大到1、79倍、1、67倍和1、60倍,2050年城镇老年人口规模将是农村的2、79倍、2、42倍和2、14倍。
图2中流迁方案下的城镇和农村老年人口比重
(3)未来农村老年人口比重虽然始终高于城镇,但二者之间的差距将经历先扩大再缩小的趋势。
预测结果显示,不同生育水平对应的不同乡城流迁方案下,农村老年人口比重始终高于城镇,但二者的差距呈先扩大再缩小的趋势。以低生育水平中方案为例(见图2),2010年农村仅高于城镇2、26个百分点,2036年这一差距达到最大值(约11个百分点)后开始逐渐缩小,2045年高于城镇约8个百分点,2050年比城镇高5、9个百分点,可见,按现有发展趋势城乡人口老龄化倒置的现象不会一直持续。
图3不同流迁方案下的农村老年人口规模
(4)提升乡城人口转移规模,将会明显减少未来农村老年人口的规模,并会加大未来城镇老年人口的规模。
如图3所示,农村老年人口规模呈倒“U”型变化,但将在2026年出现小幅回落,这也印证了1961年开始的自然灾害对农村人口的影响相比城镇更加明显。在高流迁方案下农村老年人口规模于2038年达到顶峰,为1、36亿,而中、低方案下推迟一年达到顶峰,分别为1、41亿和1、47亿。之后农村老年人口总量开始逐渐减少,2050年高、中、低三种流迁方案对应的农村老年人口规模分别为1、06亿、1、17亿和1、27亿,老年人口规模高方案比低方案少2109万。说明乡―城人口流迁规模的扩大将会明显减少未来农村老年人口的规模。
预测结果显示,高、中、低三种流迁方案下,城镇老年人口规模呈线性增长,年均增长率分别为4、42%、4、31%和4、21%,尤其是2030年之后乡城人口流迁规模对城镇老年人口规模影响越发显著。如图4所示,城镇老年人口规模由2010年的5225万分别增加到2040年的2、41亿、2、34亿、2、28亿,2050年继续增加至2、95亿、2、83亿、2、72亿。对比不同流迁方案下的老年人口规模发现,2030年高流迁方案比低流迁方案高619万,2040年差距增至1297万,而2050年这一差距高达2297万,说明乡―城人口流迁越快,未来城镇老年人口规模增长越快。
图4不同流迁方案下的城镇老年人口规模
图5不同流迁方案下的农村老年人口比重变化
(5)提高乡城人口转移的规模,将增大未来农村人口老龄化的程度,但对城镇老龄化程度起到持续的减缓作用。
未来农村老年人口比重增长,呈现先升后降的发展趋势,且城乡人口流迁规模作用明显(见图5)。2010~2018年,流迁方案对农村老年人口比重影响较小,三条曲线基本重合,2020年开始出现明显差异且差距慢慢拉大。高流迁方案下农村老年人口以3、57%的速度持续增长,并持续保持高位不下降;与此不同,中、低方案分别于2043年和2041年达到峰值,分别为32、94%和29、91%。2050年三种方案对应的比重分别是40、50%、32、25%和28、56%,意味着三个农村人口中就至少有一位老年人。在高、中、低三种流迁方案下,农村老年人口比重由2010年的10、06%增到20%分别用了14年、16年和17年,对应的平均增长速度分别为3、57%、2、97%和2、66%,表明流迁规模越大,农村老龄化速度越快。
未来城镇老年人口比重变化与老年人口规模趋势相似,受流迁规模影响,不同时期增速稍有不同,大体上经历慢―快―慢的过程(见图6)。研究发现,生育水平对城镇老龄化程度影响微弱,因此,以低生育水平为例,高、中流迁方案下城镇老年人口比重比低流迁方案晚1年,均于2018年超过10%,之后从10%增加到15%则分别用了12年、11年和12年,从15%到超过20%所用的时间为8年、8年和7年,从20%发展为25%的时间依次为12年、10年和9年,对应的平均增长速度分别为2、98%、3、11%和3、20%,2050年城镇老年人口比重分别为25、09%、26、34%和27、33%。这说明,流迁规模越大,城镇老年人口比重越低,老龄化发展速度越慢,即乡城人口流迁对城镇老龄化程度有持续的减缓作用。
图6低生育水平不同流迁方案下的城镇老年人口比重
(6)未来乡城人口流迁规模越大,对城镇老年抚养负担的缓解作用越明显,但城镇化发展速度加快将显著增加农村老年抚养负担。
预测结果显示,未来我国城镇老年抚养比将呈现逐年上升的趋势(见图7)。低生育方案下,2040年之前城镇老年抚养比增加较快,高、中、低流迁方案的平均增速分别为4、14%、4、31%和4、46%。2025年之后,城镇老年抚养比放缓,平均增速分别为2、08%、2、24%和2、31%,2050年分别为41、34%、44、08%和46、33%。流迁最快和最慢方案下城镇老年人口抚养比之差由2025年的0、86个百分点扩大到2050年的4、99个百分点,说明大规模的乡城流迁可以减轻城镇老年抚养负担。
未来农村老年抚养比变化特征与城镇有很大的区别,中、低流迁方案下呈先快速上升再缓慢下降之势(见图8),而高流迁方案则持续走高。2040年之前高、中、低流迁方案下农村老年抚养比以5、99%、5、16%和4、64%的速度快速上升,到2040年时分别为80、98%、63、94%和55、04%。2040年之后,中、低流迁方案的农村老年抚养比开始逐年下降;而高流迁方案作用下快速增长的农村老年抚养比却依然呈现上升的趋势,但速度有所放缓。到2050年老年抚养比分别为92、42%、62、5%和52、13%,高流迁比低流迁高40个百分点。充分表明流迁规模越大,农村老年抚养负担越高。
四、政策启示与政策建议
1、政策启示
图7低生育水平不同流迁方案下的
城镇老年抚养比趋势
图8低生育水平不同流迁方案下的
农村老年抚养比趋势
对前面的基本预测结果进行分析,可以得到如下政策启示。
首先,城镇化水平的加速,将对未来城乡人口老龄化水平及老年人口规模产生显著影响。相对而言,对农村的影响更明显。
其次,在人口城镇化转移过程中,如果不改变目前的年轻人个人迁移为主而非家庭迁移的模式,将会导致农村人口老龄化程度的进一步加深,给农村养老带来压力和挑战。
最后,虽然城乡人口转移规模加大会在一定程度上减缓未来城镇老龄化水平,但却会加大未来我国城镇地区的老年人口规模,使其呈现一个加快上升的趋势。解决这些规模庞大的城镇老年人的生活、就业、医疗等问题的压力将主要集中于城镇。
2、相关的政策建议
由于城乡人口老龄化是一个影响深远而广泛的长期性历史渐进过程,尤其是解决人口老龄化面临的问题不是一蹴而就的,需要稳步推进。因此,我们必须在人口老龄化高峰来临之前制定应对策略,才能满足经济社会发展的需求,而不至于成为经济社会发展的绊脚石。
首先,进一步建立和完善符合中国国情的老年社会保障体系,形成省、市、县、乡、村的五级社会保障网络,是解决我国城乡人口老龄化问题的根本保障。从具体职能与分工来看,省级政府部门根据本地区的城乡发展情况,负责决策并制定适合本地城镇与农村的社会保障政策和社会保障法律法规,使得市、县级部门执行政策和行使监督职能时有法可依。如城镇居民养老保险、基本医疗保险、新型农村合作医疗、新型农村养老保险制度的完善与转移接续问题。市级和县级相关职能部门分别负责城镇和农村的社会保障政策的执行和监督职能,乡、村则是最基层的承担单位,负责农村养老机构的兴办等具体事宜。资金来源上采取公共投入与吸引民间投入相结合的方式兴办养老机构,在此基础上推动社区、家庭、个人养老的发展。需要注意的是,公共养老投入要随老龄人口变动而发生变动,实行更加灵活的动态管理。考虑到未来我国城镇化进程加快的发展趋势,现有的以县为单位的养老资金模式层次过低,将不能适应城镇化发展的需要,因此建议提高养老运行层次,至少变县级统筹为省级统筹,逐渐转变为全国统筹。
其次,面对城镇和农村老龄化的不同特征和变动趋势,应分清各自的主次矛盾,选择最适合的方案。基于城镇现有的社会保障制度及执行情况,考虑到受未来城镇化进程加快的影响,未来城镇老年人口规模不断增长并超过农村的趋势成为必然,因此,社区养老社会化是城镇工作的重点,尽快做好社区老年照料服务体系的建设。国家要加强老年服务业的政策扶持和公共投入,加强疾病医护、生活服务、精神慰藉、文化体育、老年参与社会等硬件和软件的建设。硬件建设要按照当地经济发展水平,因地制宜,梯度发展。软件方面要完善服务体系,增加服务项目,抓好管理队伍、志愿者服务队伍,鼓励低龄老人为高龄老人或患病老人服务,以创造居家养老的新环境。具体可从以下三个渠道着手:一是建立以政府主导的综合性社会福利机构,重点服务“三无”、“五保”、贫困、失能、智障等老人,发展社区日托和全托型养老服务机构;二是建立以NGO 为主的非营利养老机构,政府通过土地划拨、税费减免、贷款贴息等优惠,鼓励社会力量建立民办公助、公建民营、民办民营等不同性质的养老服务机构;三是建立以市场为主的产业化养老机构,满足老年人个性化需求。
再次,根据中国农村发展的实际,本文认为在社会养老保险初步建立时,农村仍应建立以家庭养老为主、社区养老为依托、机构养老为补充的养老服务体系。一方面,发展农村经济,使农村有较强的经济承受力,是解决农村老年人养老、医疗等社会保障问题的根本基石。长期以来,我国施行的经济政策都是以优先发展城镇和工业为主导的非均衡发展战略,加之历史遗留下来的资源禀赋的差异,使得农村经济发展一直落后于城镇,而农村大量青壮年劳动力流迁到城镇,为城镇提供“养老金红利”。因此,城镇也应坚持“先发展带动后发展”的思想,鼓励城镇的机关事业单位、社会团体、企业与农村结成帮扶小组,为农村提供资金、技术等的支持,采取“公司+农户”、“农业生产大户+农户”、“公司+村民小组+农户”等多种合作经济,促进农村发展经济,切实增加农民收入,以提高农村家庭养老和抗风险能力。
当主服务器突然发生故障或者因其他损坏而停止工作时,和主服务器同步并做备份的虚拟主机开始启动,它将临时客串成为主服务器,同时向管理员发送邮件或者直接发送通知到管理员的移动终端上。当主服务器恢复后,虚拟机上包括操作系统、数据库、应用程序和其他相关数据都被无缝地迁移回原来的主服务器。完成这些操作只需要轻松地点击几下鼠标,用户根本感觉不到曾有业务中断。“这一切都是利用虚拟化技术灾备解决方案所带来的方便。”Novell公司工程师杨英宏说。
用户大量的业务系统依靠IT作为支撑,如果IT系统环境出现问题,将很难保证业务的正常运行,同时带来较大损失。市场上流行着各种各样的灾备技术和系统,但是,由于传统灾备系统的安装、配置和复杂度比较高,价格也比较昂贵,用户80%的投入只保护了20%的服务器,而且并不能真正保证业务运行。
灾备的目的是当灾难发生后,要立即恢复系统,尽快投入使用,所以灾备采用的各种技术,无论是数据备份、数据复制还是其他技术,都将围绕着业务的连续来进行。衡量这些灾备技术的指标主要是RPO(Recovery Point Object,恢复点目标)和RTO(Recovery Time Object,恢复时间目标)。
考察恢复时间
在虚拟化技术的灾备解决方案中,把要备份的目标定义为工作负载,这是指独立于硬件平台之上的一些应用运行环境,包括操作系统、数据和应用。
虚拟化技术灾备解决方案的核心思想是双向复制,数据在其他地方实时产生一份可用的副本,此副本不需要做数据恢复,即可投入使用,当中断恢复后再还原回去。数据复制的最大好处是副本数据立即可用,没有数据恢复时间,RTO非常好。因为是实时复制,RPO也非常好,几乎不会丢失多少数据。
看看虚拟化技术的灾备系统具体是如何工作的,方案如图1所示。对于安装了Novell自动化迁移技术的设备,比如是一台服务器,或者是厂商提供的一个灾备设备,第一步是通过P2V(Physical Server to Virtual machine,物理服务器向虚拟机迁移)技术,把物理服务器工作负载迁移到虚拟服务器上,或是用V2V(Virtual machine to Virtual machine,虚拟机向虚拟机迁移)技术,通过网络把被保护的虚拟机将工作负载迁移到灾备系统里作为虚拟机集中运行。通过这样一个基于虚拟化的灾备技术,可以为用户提供一个既支持本地容灾,又支持网络容灾的系统。
可根据策略进行设定。比如,物理服务器对外运营系统,可设置一个增量复制的时间,时间段的设置可以从分钟到周; 每当物理服务器(对外工作的服务器)有任何数据变化,通过网络就能有一个增量同步到灾备系统中相对应的虚拟机里,这样可保证服务器在运营的同时,它所有更新的数据也同步写到灾备系统里。一旦物理服务器,也就是被保护的系统发生故障时,灾备系统即可快速地接管服务。
因为虚拟机的环境和被保护的服务器环境是完全一样的,所以启动后,它可以对外提供服务。用户连接到灾备系统里的这台虚拟服务器上,保证被保护的服务器停机时间最少,数据丢失量也是最少的。被保护的物理服务器得到修复后,在灾备系统里运行V to P(Virtual machine to Physical Server,虚拟机向物理服务器迁移)的操作,也就是灾备系统里的虚拟机可以重迁移回物理服务器上,这就是整个灾备工作的流程。
双向迁移
在虚拟化灾备解决方案中,最关键的技术之一是双向的迁移技术。如图2所示,我们可以看到,P(Physical Server,物理服务器)、V(Virtual machine,虚拟机)、I(Image archive,映像)三者之间可以做到双向的、自动化的、基于策略的迁移。P2P是从一个物理机把工作负载迁移到另一个物理机; P2V是把一个物理机的工作负载迁移到一个虚拟化平台上; V2V和V2P是把虚拟机从一个虚拟化平台通过网络迁移到另一个虚拟化平台,或从一个虚拟机把工作负载迁移到一个物理机上。
了解了P、V、I三者之间的双向的、自动化的、基于策略的迁移,就很容易理解基于虚拟化的灾备解决方案了。杨英宏表示,当前包括Novell在内,有更多的厂商开始提供完整可靠的迁移产品。
传统的远程灾备一个重要的不足就是费用高。不仅是数据复制系统价格高,还需要增加硬盘存储空间和主机系统,再考虑到网络布线和远程机房的费用,数据远程灾备的成本大大增加,维护费用也远远高于数据备份。而虚拟化技术的成本较低,它在节能、降耗等方面也具有很强的竞争力。
虚拟化灾备技术的优势还包括: 在系统发生故障或灾难时,恢复工作负载的流程非常简单; 减少灾难恢复解决方案代价昂贵的缺点,通常需要1对1的冗余硬件和软件资源; 较好实现灾备并能方便完成持续测试,能够保护混合物理和虚拟机中的工作负载; 在做增量复制时,可以设定网络带宽,防止网络带宽耗尽,影响到其他业务运营。
如果物理服务器彻底坏了,可以直接更换一个新的服务器,让灾备系统还原到新的设备上。比如当升级主服务器时,服务器硬件配置发生变化时,从虚拟机仍然能够迁移还原到新的服务器上,或者从工作站还原到刀片服务器上。
省钱节能
随着IT与业务重要性和紧密性的提高,用户也都采用一些灾备解决方案,但还是有大量的服务器没有得到很好的保护。因为现在的一些灾备服务器价格都是很昂贵,尤其是异地或跨广域网的灾备,对大多数用户来说都是不能够承受的。由于采用虚拟化解决方案可以有效降低成本,大多数中小企业,或者公司有一些分支机构都可以采用这项技术的灾备。
其次是一些服务器用户认为不太重要,如邮件服务器文件服务器、Web服务器。其实它们也是很重要的,也都包含了一些重要信息,如果这些服务器发生故障,也会对用户的业务产生一些影响。
摘要:该文分析SQL Server和Oracle数据库间数据迁移的现有技术、方法后,提出采用C#编程并以技术分别来访问这两种数据库,进而设计一个数据迁移程序,实现此两种数据库互相迁移数据。
关键词:C# ;;数据迁移;SQL Server;Oracle
中图分类号:TP312文献标识码:A文章编号:1009-3044(2009)28-7842-03
Data Migration Between SQL Server and Oracle DataBase Based C Sharp Implement
YU Qiu-ming1,2
(1、Information Engineering School of NanChang Univisity, Nanchang 330031, China;2、JiangXi Univisity of Science and Tecknology Nanchang Branch, NanChang 330013, China)
Abstract: The article analyzed existing technology and method about data migration between SQL Server and Oracle database, bring out using C Sharp program and tecknology to access the database, and then design one program about data migration, implement migration data each other between SQL Server and Oracle database、
Key words: C Sharp; ; data migration;SQL Server; Oracle
SQL Server数据库和Oracle数据库是当今使用广泛的主流数据库,这两种数据库分别由世界著名软件厂商微软和甲骨文研发,各自都有一大批使用者。两种数据库虽同为一种数据模型即关系型,但无论从界面风格,还是数据内部组织,存储结构等都存在一定的异构性。
有时数据库使用者因为应用系统数据集成的需要,或者应用系统版本升级,再或者应用系统数据库更换(如SQL切换成Oracle或者反之),而原来系统中数据库存储有大量历史数据,此时,面临一个数据迁移问题。当然原有系统数据迁移到新系统有多种方法,本文在分析现有方法的基础上,提出自己的想法,即采用C#编程,以中的数据集DataSet为技术核心,访问这两种数据库,获得一致的编程模型,再通过SQL语句实现数据的迁移。
1 迁移技术、工具介绍分析
1、1 现有技术、工具介绍
1、1、1 SQL Server 2000 自带的Import/Export工具DTS
使用该工具需要通过定义ODBC Fo r O racle 作为目的源, 且预先在O racle 建立用户和相应的表空间。
1、1、2 Oracle Migration Workbench (OMW)工具
使用OMW时只要定义ODBC fo r SQL Server把表、视图、触发器、存储过程、快照、用户等完全转到Oracle。根据集成的数据库类型的不一致可能出现界面不一致的情况、
以上工具都需要使用到ODBC技术,定义好数据源,如Micosoft ODBC for Oracle,或者ODBC for SQL Server ,所以这些工具所采用的核心编程技术是ODBC数据源,此外,还可以采用JDBC,OLEDB等数据库编程技术来实现此两种数据库间数据迁移。
1、2 该文采用的技术介绍
中,Windows平台下主要有以下几种数据库访问模式:OLEDB模式、ODBC模式、SqlClient模式、OracleClient模式等。无论哪种访问模式,在DataSet中对不同数据库的数据将获得一致的编程模式。也就是说,采用DataSet对象,通过数据访问模式如SqlClient模式访问SQL Server数据库并把数据填充到数据集,OracleClient模式访问Oracle数据库并把数据填充到数据集(和SQL Server为同一数据集),在DataSet数据集中表DataTable对象、DataRow数据行对象,DataColumn数据列对象将表现为类型一致的对象,即可以相互赋值,相互引用,这样为异构数据库SQL Server和Oracle 相互迁移数据提供了技术基础。
DataSet是的核心,它是不依赖数据库的独立数据集合,可以把它认为是内存中数据库,即使与数据库连接断开,DataSet依然可以使用。DataSet屏蔽了各种数据库的差异,所有的数据源通过DataSet将获得一致的编程模型。使用DataSet一般步骤为:先通过连接模式中的连接对象创建一个与数据源的连接,再创建一个数据适配器DataAdapter对象(要使用到该连接对象),其次创建数据集DataSet对象,再把适配器对象将需要的数据填充(Fill方法)到数据集对象中,关闭连接,在数据集DataSet上进行所需要的操作,最后把在DataSet上操作的数据(已修改)通过适配器对象更新(Update方法)到数据库中。
2 迁移程序设计、实现过程
设计该程序采用的开发环境为Microsoft Visual 2003 ,使用的数据库为SQL Server2000和Oracle9i。
首先创建一个C# Window应用程序,添加Oracle访问组件,并在开头处引用以下代码:
using System、Data;
using System、Data、SqlClient;
using System、Data、OracleClient;
接着创建一个数据库登录模块,在登录模块中记录SQL Server和Oracle的连接信息到相应控件中如textBox,在该模块中点击【连接】按钮控件时触发一个事件,即用控件记录的连接信息(含用户名,密码,数据库,服务器名等)相应创建与SQL Server和Oracle数据库的连接对象sql_conn、oracle_conn,并显示连接数据库成功与否的消息框。
然后设计数据迁移程序主界面模块,在主界面中定义两个树状视图TreeVeiw对象,treeView1和treeView2,分别用来读取并以树状显示所连接的SQL Server和Oracle数据对象(如用户表、视图)。两视图对象分布在主界面左右两边(偏上部),中间留有一定间距,布放【迁移数据到Oracle】、【迁移数据到SQL Server】、【显示表数据】按钮等。之后,再在主界面下方,分别对应左右两视图下方定义数据绑定控件DataGrid对象dataGrid1和dataGrid2,用来显示被选中的数据表中数据。
读取数据库对象(表)并显示在树状视图中,以结点形式展现,以Oracle为例,关键代码如下:DataSet ds=new DataSet ();
//查询所有用户名从系统表视图SYS、ALL_USERS
string sq="SELECT USERNAME FROM SYS、ALL_USERS";
OracleDataAdapter odu=new OracleDataAdapter (sq,oracle_conn);
odu、Fill(ds,"ora_user");//填充用户名到数据表ora_user
DataTable dtu=new DataTable ();
dtu=ds、Tables["ora_user"];
int iURow=dtu、Rows、Count;//统计共有多少个用户,对应多少个方案数据库
this、label5、Text+="方案总计"+iURow、ToString()+"个";
//以下代码,把方案下的数据表依次作为结点添加到树状视图treeView2
for(int u=0;u
DataRow dru=dtu、Rows[u];
int m=0;
System、Windows、Forms、TreeNode tm=new TreeNode ();
tm、Tag=dru[m]、ToString()、ToUpper();
tm、Text=dru[m]、ToString ()、ToUpper ();
t0、Nodes、Add(tm);
string sql="SELECT TABLE_NAME FROM SYS、ALL_TABLES
WHERE OWNER='"+dru[m]、ToString()、ToUpper()+"'";
OracleDataAdapter oda=new OracleDataAdapter (sql,oracle_conn);
oda、Fill(ds,dru[m]、ToString()、ToUpper());
DataTable dt=new DataTable ();
dt=ds、Tables[dru[m]、ToString()、ToUpper()];
int iRow=dt、Rows、Count;
for(int i=0;i
{DataRow dr=dt、Rows[i];
System、Windows、Forms、TreeNode tn=new TreeNode ();int j=0;
tn、Tag =dr[j]、ToString ();tn、Text =dr[j]、ToString();tm、Nodes、Add (tn);}}
dataGrid1和dataGrid2用来显示数据的代码由于比较简单且篇幅有限,在此省略。做完以上工作,则进入该程序的关键步骤,数据迁移,响应于被选中的数据表且点击迁移按钮后触发数据迁移事件。
2、1 SQL Server向Oracle迁移数据
SQL Server向Oracle迁移数据过程如下:先在SQL Server中选中需要迁移的用户表,再点击【迁移数据到Oracle】按钮,触发Sql_to_Oracle迁移数据事件,在该事件中,需要先读取SQL中被选中表的数据架构,如表名,属性名,属性数据类型,约束等,经过SQL Server,C#,Oracle数据类型映射转换,再到Oracle中建立相应的表对象(SQL语句实现),紧接着把选中的表中数据填充到数据集中,并和Oracle为同一数据集,把SQL Server在同一数据集DataSet中数据表DataTable对象下的数据行对象及数据列对象(由于一致编程模型)引用给或者说赋值给Oracle在DataSet数据集相应的对象中。循环处理后,最后更新到Oracle数据库中,同时也可根据需要删除SQL Server中的表对象。迁移后,查看Oracle下的treeView2视图和dataGrid2数据显示,是否已经迁移成功,甚至可在主界面最下方,状态栏中给出迁移多少行数据,耗时多少等。根据以上设计,主要代码如下:
DataSet dds=new DataSet ();
sda、Fill (dds,treeView1、Nodes[0]、Nodes [0]、Nodes[i]、Text);
//根据选定的SQL表创建对应在Oracle表,以备迁移数据到oracle
int iColumn=dds、Tables[treeView1、Nodes[0]、Nodes[0]、Nodes[i]、Text]、Columns、Count;
//统计SQL指定表的列数
string []pp=new string[12]{"","","","","","","","","","","",""};
string ppn=dds、Tables[treeView1、Nodes[0]、Nodes[0]、Nodes[i]、Text]、TableName、ToUpper();
string sqlpp="CREATE TABLE "+ ppn+"(";
for(int p=0;p
DataColumn dc=dds、Tables[treeView1、Nodes[0]、Nodes[0]、Nodes[i]、Text]、Columns[p];
pp[p]=dc、ColumnName、ToUpper()+" ";
switch(dc、DataType、Name) //SQL数据类型经C#转换映射成Oracles数据类型
{case "String":pp[p]+="VARCHAR2(200)";break;
case "Int":
case "Int16":
case "Int32":
case "Int64":pp[p]+="NUMBER(10)";break;
case "Decimal":pp[p]+="NUMBER(20,4)";break;
case "DateTime":pp[p]+="DATE";break;
case "Boolean":pp[p]+="NUMBER(1)";break;
case "Byte":pp[p]+="Number(4)";break;}
if(p!=iColumn-1) pp[p]+=",";
if(p==iColumn-1) pp[p]+=")";
sqlpp+=pp[p];}
//通过sqlpp语句在Oracle中创建相应数据表
OracleCommand omg=new OracleCommand (sqlpp,oracle_conn);
if(omg、ExecuteNonQuery ()==1){ MessageBox、Show ("创建Oracle数据表成功!");}
string sqlo="select * from "+
treeView1、Nodes[0]、Nodes [0]、Nodes[i]、Text、ToUpper();
OracleDataAdapter oda=new OracleDataAdapter (sqlo,oracle_conn);
OracleCommandBuilder obd=new OracleCommandBuilder (oda);
oda、Fill (dds,"ots");//Oracle对应在数据集dds中表ots
dds、Tables["ots"]、Clear();//清空数据
int iRow=dds、Tables[treeView1、Nodes[0]、Nodes [0]、Nodes[i]、Text]、Rows、Count;
for(int x=0;x
DataRow dr1=dds、Tables["ots"]、NewRow();//新建行数据
DataRow dr2=
dds、Tables[treeView1、Nodes[0]、Nodes [0]、Nodes[i]、Text]、Rows[x];
for(int y=0;y
{dr1[y]=dr2[y];
}dds、Tables["ots"]、Rows、Add(dr1);//添加行数据到Oracle表ots
}
try{oda、Update (dds,"ots"); //更新到Oracle数据库中
MessageBox、Show("共迁移 "+iRow、ToString()+"行数据\n"+"到 Oracle数据库");}
catch(System、Exception ex) {
MessageBox、Show("数据迁移失败!\n"+ex、ToString ());}
2、2 Oracle向SQL Server迁移数据
Oracle向SQL Server迁移数据和SQL Server向Oracle迁移数据过程类似。
3 结束语
该文采用C#编程,以为核心,分析并设计了一个在SQL Server和Oracle数据库之间相互数据迁移程序,经过测试,该迁移程序迁移数据的数据正确率较高,迁移数据耗时不多,五十万行数据迁移仅费时仅15分多钟,而采用DTS迁移同数量数据,却费时达18分多钟(不同机器配置时间会有出入,但和DTS比较采用同一台机器)。迁移效果满意,基本能够满足SQL Server和Oracle数据库间迁移数据的需要。
参考文献:
[1] 施燕妹、C#语言程序设计教程[M]、北京:中国水利水电出版社,2004、
一、指导思想
以党的十七大和十七届五中全会精神为指导,全面贯彻落实科学发展观,以人为本,主动避灾。坚持群众自愿、政府主导、阳光操作原则,以“整体搬得出,长期稳得住,逐步富得起”为目标,通过避灾搬迁,提高灾区人民的抗灾水平和能力,确保灾区人民生命财产安全,改善灾区人民的生产生活条件。
二、目标任务
对居住在危害程度高、治理难度大的隐患点的群众,在自愿的基础上,实施移民搬迁,使他们搬迁后的抗灾能力显著增强,居住安全环境和条件明显改善,生产生活水平有所提高。根据我县避灾搬迁移民的任务情况,2012年努力完成避灾搬迁移民共177户、693人,具体任务分布情况见附表。
三、基本原则
(一)自愿搬迁原则。居住在地质灾害易发区内,需要搬迁的移民,必须在自愿的基础上,由本人申请搬迁。有关乡(镇)和部门要做好宣传、动员工作,确保在自愿的基础上,实现搬迁。
(二)政府主导原则。避灾移民搬迁工作是一项系统工程,涉及面广,需以政府为主导,组织各方面力量参与实施。
(三)整体搬迁原则。在地质灾害易发区内,对威胁人民生命财产安全、工程治理难度大或工程治理效益差,且具备避灾搬迁条件的地质灾害隐患点,实施整体移民搬迁,主动避让地质灾害,最大限度地保障地质灾害易发区人民的生命、财产安全。
四、补助标准
避灾移民搬迁户的建房补助标准为人均4000元,其中省补助3500元,市配套400元,县配套100元,直接补助到搬迁户的资金人均不少于3500元。
五、实施步骤
(一)搬迁对象核查。在县、乡国土部门摸底调查的基础上,有关乡(镇)要对本地急需并自愿避灾的群众,进一步核查,确定准确的避灾搬迁点和人数。此项工作争取在5月中旬前完成,并由县扶贫和移民办将相关数据资料上报到市扶贫和移民办公室。
(二)制定避灾移民搬迁规划。由有关乡(镇)制定详细的工作方案,做好避灾移民搬迁规划,方案和规划应包括移民搬迁的组织、搬迁对象的核实确定、安置点的规划选址、基础设施建设等内容。不但要规划好移民的避灾,还要规划好搬迁移民的生产生活,保证移民搬迁后的生产生活条件有所改善。县国土部门要做好新的移民搬迁集中安置点的地质灾害评估工作。
(三)做好移民搬迁前期准备。有关乡(镇)要采取各种行之有效的手段,广泛、积极地宣传灾害隐患对群众生命财产的威胁,宣传党和政府的避灾移民搬迁政策,让群众充分认识到地质灾害隐患的严重性,务必让群众自愿搬迁,务求隐患点整体搬迁。宣传工作要做到“四到户”,即:工作人员上门到户、宣传资料发放到户、政策规定宣传到户、群众疑虑解释到户。努力做好迁出地和接收地的干部、群众的思想工作。落实和审批今年的搬迁对象、确定安置方式和安置点。积极开展安置点征地、报批、规划设计,以及水电路等基础设施的报批和建设等。今年的搬迁安置前期准备工作要在6月底前完成。
(四)组织实施避灾移民搬迁。完成移民新建房屋的建设和水电路等基础设施的建设,组织移民户按“五统一分”(即统一规划、统一设计、统一基础设施建设、统一资金管理、统一竣工验收和分户自主建房)要求新建房屋,有序搬迁,完成补助资金的拨付,完成相关档案资料的搜集、整理和报送工作。此项工作年底前完成。
(五)检查验收。有关乡(镇)和部门要在按时完成避灾搬迁任务的基础上,开展自查和验收,进行相关工作的总结,做好迎接省、市检查验收的准备工作。
六、工作要求
(一)加强组织领导。避灾移民搬迁是一项重要的民生工程,为切实加强此项工作的领导,我县专门成立“县避灾移民搬迁工作领导小组”,县政府副县长钟明晶任组长,县扶贫和移民办主任余才生任副组长,县政府办、国土局、财政局、民政局、交通局、农业局、扶贫办、农开办、教体局、卫生局、林业局、水利局、城建局、文广局、公安局、供电有限责任公司等部门和单位分管领导为成员。领导小组下设办公室,办公室设在县扶贫和移民办,余才生同志兼任办公室主任。县避灾移民搬迁工作领导小组的主要职责是:负责制定县避灾移民搬迁工作实施方案;提出避灾移民扶贫的政策措施;研究和协调解决避灾移民扶贫工作中的重大问题;指导协调各成员单位工作和各乡(镇、场、街道)安置点的移民工作,负责全县移民扶贫资金的管理和监督,确保移民扶贫资金专款专用。
有避灾移民任务的乡(镇),也要成立相应领导机构,由党政主要领导担任领导小组组长,并确定一名班子成员具体分管。其主要职责是在县避灾移民搬迁领导小组办公室的指导下,具体负责本乡(镇)安置移民、宣传发动、申报方案、规划选址、施工组织等各项工作,以确保我县避灾移民搬迁工作的顺利开展。
(二)部门密切配合。避灾移民搬迁工作涉及方方面面,有关部门要加强协调,密切配合。县扶贫和移民办负责避灾移民搬迁日常工作的组织和协调、计划和资金的协调、移民搬迁工程的具体组织实施和检查验收工作,并负责将农村危房改造计划的农户资料数据,按住建部的要求,及时准确地录入信息系统;县国土局负责地质灾害隐患核查、移民搬迁摸底调查、搬迁安置新址评估、避灾业务指导以及安置用地的保障;县城建局负责地质灾害隐患区农村危房核查、新安置点的选址和规划设计;县财政局负责移民搬迁资金的监管,确保扶持资金的及时足额发放;县交通局要规划设计好安置点的到村公路,无偿提供规划设计;县水利局要为安置点饮用水工程进行规划和设计,优先安排资金解决移民生活用水;县供电有限责任公司要优先为安置点架设输电线路和安排供电设施;有关乡(镇)要协助做好调查摸底、集中安置点选址和规划、集中安置点基础设施建设以及社会稳定工作。
(三)严格规范操作。避灾移民搬迁工作时间紧、任务重,有关乡(镇)和部门要坚持“政府主导、群众自愿、阳光操作”的原则,以“整体搬得出、长期稳得住、逐步富得起”为目标,严格规范操作,切实将此项民生工程建设成为民心工程,确保移民安居乐业,确保农村社会和谐稳定。
1、移民对象的认定。对象的认定必须按照“公开、公平、公正”的原则,实行全过程“阳光操作”。避灾移民搬迁的对象是居住在经国土部门认定危害程度高、治理难度大的地质灾害隐患点的群众。移民户户籍情况和家庭人口数以移民户填写《移民扶贫搬迁申请书》之日为准,并由当地户籍管理部门核准。在操作过程中,要坚持“户申请、村推荐、乡审查、县批准”的程序。首先由自愿搬迁的农户提出申请,填写《移民扶贫搬迁申请书》。其次,由村委会和户籍管理部门核实有关情况,召开村民大会或村委会讨论通过,确定拟搬迁移民对象,并在全村范围内张榜公示移民搬迁名单。然后,由乡(镇)政府审查并确定搬迁对象,报县扶贫和移民部门批准。最后,由县扶贫和移民办审查确定移民农户名单,并在移民迁出地行政村张榜公布。无异议后,组织移民填写《移民搬迁分户审批表》,农户、村委会、乡(镇)政府、县扶贫和移民办分别签署意见,并加盖公章。
2、安置方式的选择。以集中安置为主,分散安置为辅。主要有以下几种安置模式:(1)集中安置。选择条件较好的地点建设移民集中安置点。就地集中安置时,移民耕种原有的耕地,经营原有的山林、河流;异地集中安置时,可通过转让、出售、租借、联合承包等多种方式,流转原有的耕地、山林和河流的使用权,取得新的耕地、山林和河流的使用权。(2)分散安置。选择县城、集镇和条件相对较好的村庄进行分散安置。通过选购新、旧房,建造新房的方法,确保安居乐业。(3)敬老院安置。将符合“五保”条件的孤寡老人安置在敬老院。集中安置点的选址要与小城镇建设规划和新农村建设相结合,科学规划,慎重选择。尽量做到“六近”,即近路、近水、近电、近田、近校、近医院。必须做到“一高两避”,即高于洪水线,避开地质灾害威胁,避开泥石流灾害威胁。集中安置户均安排宅基地40—140平方米,人均拥有0、5亩以上耕地或户均转移1个以上的劳动力,以及适量的菜地。分散安置要尽量选择县城、乡(镇)和靠近乡(镇)政府、村委会、学校、卫生院或公路沿线基础设施条件较好的地方。安置点选择要尊重移民意愿,由移民自主选择。
3、集中安置点建设。移民集中安置点建设要坚持“五统一分”,即:统一规划、统一设计、统一基础设施建设、统一资金管理、统一竣工验收和分户自主建房。每个集中安置点的移民必须达到10户以上。移民新村均要在进村路口等明显地段因地制宜建立永久性标示牌,标示“省避灾移民搬迁新村”字样。
4、补助资金的管理。移民个人建房补助款实行专户储存,专款专用,封闭运行,用“一卡通”直接发放到移民户手中。基础设施建设资金根据资金来源,实行项目管理和报账制管理。
大数据给DBA和数据库开发者带来了很多的挑战。各种关系型数据库、非关系型数据库及商业数据库、开源数据库给用户带来了更多选择,也带来了更多挑战,DBA和开发者们只有玩通数据库,才能为企业提供最佳解决方案,应对在大数据时代众多企业面临的挑战。2011 IBM DB2迁移之星大赛从数据库迁移这一深层次出发,给了选手了解DB2数据库的机会,也帮助他们锻炼技能以应对大数据时代的到来。
迁移大赛促数据库迁移
IBM软件集团大中华区信息管理软件总经理卢伟权介绍,本次大赛预赛网上报名选手达2163人,其中百名进入复赛的选手组成36支团队参与复赛十强的争夺。目前,进入决赛的十强队伍已经产生。决赛时间定于3月14日,选手们将现场演示其解决方案,评委现场评分。3月15日,大赛颁奖典礼将于北京七星酒店举行。进入决赛前三名的队伍,除奖金、证书外,还将获邀参观IBM美国实验室。
决赛选手来自于不同的行业,包括金融、政府、IT企业、物流等。大赛的十多名专业评委将对这些选手从Oracle到DB2的迁移方案进行打分,并评选出大赛的获奖队伍。
IBM在培养数据库相关的人才方面做了很多工作。其对中国人才的巨大需求是IBM赞助这次大赛的初衷之一。此外,数据库迁移是IBM 信息管理产品线近年来非常重要的市场策略,IBM推出一系列措施帮助客户进行数据库迁移,如成立迁移支持中心等,本次大赛也是IBM帮助客户进行数据库迁移的一个支持方案。
IBM中国开发中心信息管理技术生态系统经理王伟斌介绍,从2009年到2010年底,大约有超过1000家企业的数据库系统从Oracle迁移到DB2的开放平台上。“我们有强大的团队和大量的项目实践经验来帮助客户进行数据库迁移。”王伟斌表示。
IBM有一套成熟的迁移评估和实施方法,保证数据库迁移的商业价值和可靠性。在迁移开始前,IBM会先做迁移评估,从商业价值上看这次迁移是否值得;之后IBM会提供一些计划并做一些概念验证,帮助客户了解迁移的风险;再后来,IBM会进行真正的移植以及相关的测试,并给企业提供管理规划。“IBM全程提供技术支持,保证客户的迁移方案高效、没有风险。”王伟斌说。
DB2对其他产品的兼容性也降低了用户迁移数据库的难度。一些大型客户的应用可以保持在95%左右的兼容度,用户在迁移到DB2平台之后,只需进行很少的修改就可以运行之前的应用程序,这可以减少客户迁移到DB2的工作量。
“我们的数据库提供更高的性能,在很多方面领先于其他的数据库厂商。下一代DB2数据库会有更进一步的提升,不管是压缩比、稳定性,还是压缩维护,都会有更多的提高,这种提高不仅能提升客户的系统性能,还节省了成本。”王伟斌说。
可口可乐瓶装公司是一个典型的从Oracle移植到DB2的案例。通过迁移,可口可乐瓶装公司获得了很大效益:存储的需求减少40%,批处理的运转速度提高65%,简单的估算,未来五年数据库迁移能为他们节省75万美元。
大数据不只用Hadoop
除了数据库迁移,大数据也是DBA和开发者关心的热点。处理大数据的需求已经体现在互联网企业、企业级客户的业务中。
目前很多客户只是了解如何用如HDFS、NoSQL等去收集数据,用Hadoop等去组织大数据,而忽视了最难也是最需要解决的需求:如何分析大数据以及如何将其运用到真实的业务中。大家也越来越清楚地看到了大数据解决方案不是一个产品,而是一个全新的数据架构和平台,这个平台涵盖了很多不同的功能模块和产品。这个平台中也有基于开源的一些技术,比如Hadoop、HBase,也包括传统的数据仓库和分析工具等。
“处理大数据需要一整套全面的解决方案,我觉得一个单一的产品不能够完整地解决我们目前面临的大数据问题。” IBM中国开发中心信息管理软件总经理朱辉指出,“现目前大家听得最多的是Hadoop,但基于Hadoop一个产品不能够解决问题。传统的数据仓库在这当中仍然扮演非常重要的角色,它是海量数据的来源。”
朱辉举例说,在银行业,很多大银行的IT部门都在整理历史数据。以前,他们需要对业务交易信息存储1年,现在需要存5年,将来或许需要存15年。法律法规的要求越来越高,业务模式也需要对更多的信息进行分析,目前这些交易信息全部都在传统的交易系统、数据仓库中。
朱辉表示,在解决具有很大挑战的大数据问题时,IBM处于非常有利的竞争位置。平台一定是由多个传统的、新的技术和产品融合在一起搭起来的平台,不是仅靠一个Hadoop就能解决问题的。IBM拥有传统的关系型数据库DB2、传统的数据仓库、数据仓库设备、主数据管理,有针对非结构化数据存储的产品,有业务分析和预测报表的产品,有针对市场营销和客户分析的Unica等产品。“从供应商的角度来看,我们是最有机会把已经有的和新推出来的产品和技术,整合起来搭建新的大数据处理平台的厂商。” 朱辉说。
大数据处理平台的搭建需要供应商与客户一起研讨。供应商的行业背景、行业知识相当重要,这也体现了IT供应商的优势。
哪些用户最需要处理大数据
在朱辉看来,需要处理大数据问题的客户主要有两类:一是互联网公司,二是传统企业级用户。互联网公司是比较特别的客户,它们比较喜欢用开源代码软件,对系统的高可用性的要求不及传统的企业级客户。比如,在百度上搜索信息,你无法知道,即使知道了也不太关心百度是不是把100%的相关数据都给了你;你在淘宝上淘东西也不会关心全部2340种商品,但银行对交易数据的要求就不一样了。
拥有大量业务交易数据、客户数据的客户,如银行、电信、保险公司以及有大量非结构性数据要处理的医疗行业,对海量数据有真实需求,他们都非常重视业务转型,同时也有资本和IT基础来处理大数据,因此大数据应用最容易在这些行业开花结果。
【关键词】 主干平台 ESB+双EMB总线 高清 双网改造
一、 项目背景
江苏台主干平台系统按照以《中国电视台数字化网络化建设白皮书》为理论依据进行设计和建设,于2008年底正式投入使用。它是全台各板块之间数据交互、流程控制的中心,是应用通信、集成与交互的中间平台,是全台网互联互通的技术支撑平台,也是全台网开放性架构的基础。
目前我台全台网系统包括:播出网、广告网、新闻网、综合制作网、城市制作网、媒资系统、收录网、综艺制作网等子系统,它们通过主干平台进行业务交互。随着总台网络化制播量的日益增大,特别是高清节目制播需求的增加,原主干平台系统已经不能同时满足高、标清节目的制播需求,经常出现因高清业务并发量大而影响到标清制播业务,急需进行升级改造。
二、 原主干平台系统概况
江苏台主干平台系统包括基础支撑平台和业务支撑平台,基础支撑平台是构成主干平台的重要基础,由基础网络平台和系统软件平台组成,主要是实现信息通信和数据传输的功能,满足不同业务板块的联通需求。在网络架构设计中,以“万兆主干,捆绑互联,千兆接入、冗余备份”的总体设计原则,采用纯以太网架构实现全台互联。各子系统的存储同样是通过以太网,以FTP或网络映射盘方式接入主干。主干平台服务器群按照业务类型分为:数据库服务器、平台服务器、监控服务器、消息服务器、迁移调度服务器、迁移执行服务器、监控服务器、防病毒服务器、时钟服务器等。
业务支撑平台是全台网集成架构的核心,采用ESB(企业服务总线)+EMB(企业媒体总线)架构,分别用作元数据和媒体文件的传输。业务支撑平台提供统一用户认证、服务注册、消息路由、协议转换、数据迁移、流程控制、智能监控等服务或功能,实现业务板块在主干平台上的集成,数据的交换和路由,流程的管理和控制,实现全台业务系统的统一管理和互联互通。
系统总体架构如图1所示:
三、 项目改造总体思路
本次主干平台升级最大的难点是在保持全台网各系统业务模式不变的前提下在线完成升级改造工作,项目涉及的主要工作是在现有主干平台系统的基础上对系统进行升级和改造,利用现有的平台及接口协议,在EMB总线上将高清节目制播业务剥离出来,并实现在业务流程上对高、标清业务的统一管理,从而满足我台高清节目的网络化制播需求。
本次主干平台升级改造的总体思路是:首先,对业务支撑平台进行升级改造,新增一条高清EMB总线,实现通过一条ESB总线同时与高、标清两个EMB进行业务交互,从而达到高、标清业务分离的目的;第二,对基础支撑平台网络架构进行双网改造,将媒资及高清制作系统等涉及到高清制播业务系统存储通过光纤直接接入主干;第三,重新配置EMB总线,实现通过光纤链路完成制作系统和媒资系统的高清文件迁移,提高高清节目的迁移效率。
四、 基础支撑平台双网改造
1、 网络架构
江苏台本次主干平台高清化升级在网络架构上的改造方案是在原系统单一以太网架构中,引入FC网络,从而实现以太网、FC网络所组成的双网混合架构。以太网保证现有标清制播业务的进行,FC网络立足高清,满足高清制播业务交互的要求。由于之前我台全台网系统按照单网架构进行建设,并且系统改造完全在线进行,改造难度较大,为确保安全,本次双网改造方案采取“统一部署、逐步推进”的策略,先完成高清制作网和媒资系统这两个高清业务量较大的双网改造,总体架构拓扑图如图2所示:
在硬件设备上,配置了两台Brocade 5100光纤交换机用于与各子系统的互联,新增了6台高清迁移服务器(每台配置两张Emulex LPe-111光纤网卡)。由于引入了FC网络,需要重新部署主干平台至其他业务板块机房的光纤链路。本次FC网络的铺设,对与主干相连的系统都预留了FC通道,为以后各子系统进行高清化升级做了准备。
2、 子系统接入方案
子系统存储通过FC接入主干可选择直接提供存储控制器主机端口或者交换机级联两种方式,直接使用存储主机端口接入的方式配置相对简单,也不会对子系统内部的zone配置造成影响,相对安全,但是需要存储预留主机端口。采用交换机级联的方式配置比较复杂,因为级联交换机只能使用同一个zone config文件,所以主干能够看到并配置子系统级联交换机上所有的zone。因我台制作和媒资系统没有空余的存储控制器主机端口直接接入主干光纤交换机,所以只能采用光纤交换机级联的方式实现互联。设计阶段考虑了以下两种级联方案:
方案一,媒资系统和制作系统的光纤交换机同时连接主干平台的两台光纤交换机,即媒资系统、制作系统和主干系统这三个系统的光纤交换机进行了级联,如图3所示。
方案二,媒资系统和制作系统的光纤交换机分别连接主干平台其中一台光纤交换机,即一台主干光纤交换机与媒资系统光纤交换机进行了级联,另一台主干光纤交换机与制作系统光纤交换机进行了级联,通过Actor配置的两张光纤网卡实现交互,如图4所示。
两种方案的优缺点对比如表1:
出于安全性方面的考虑,我们最终实施采用了方案二。为克服方案二中主干光纤交换机的单点故障缺点,项目增补了一台光纤交换机作为冷备,一旦某一台主干光纤交换机出现故障,只需将冷备交换机的Domain ID改成和故障交换机的一致,光纤交换机能自动同步原有ZONE配置文件。
由于主干平台通过FC直接连接媒资及制作系统的存储,主干高清迁移器需要实际访问到业务子系统的存储分区,为了确保媒资及制作等业务系统的数据安全,业务系统应隐藏元数据分区,授权客户端只能访问数据分区。目前我台媒资系统在线存储使用的是HP EVA8100,文件系统采用storenext V3、5、2;制作系统高清在线存储使用Infortrend ESVA,文件系统采用ASFS。因媒资和制作系统采用不同的文件系统,所以在每个高清迁移器上都要分别安装StoreNext和ASFS客户端并得到相应授权,才能最终将其存储映射为本地磁盘。
五、 业务支撑平台ESB+双EMB总线改造
主干平台运行的瓶颈主要是在EMB迁移,原EMB总线已经很难高效地满足日益增加的高清节目迁移,所以本次主干平台升级的重点是对EMB进行升级。为了保证高清节目的制播需求,本次系统升级改造决定新建一条高清EMB总线,专门满足高清节目的迁移任务,实现将原有高清送播业务从标清平台的EMB链路上剥离出来。这样的架构既保证了原有标清平台设计体系的完整性,也确保了新增高清送播业务的高效率、高安全完成。
要实现增加高清EMB且不对现有系统造成影响,使各业务子系统完全使用以前的接口服务,需要对现有ESB进行升级,使其能同时与高、标清两个EMB进行交互,实现统一的流程监控管理,新增高清EMB总线后ESB+高标清 EMB协作原理如图5:
按照江苏台全台互联互通接口协议规范,GroupType属性用于标识节目类型,当GroupType值为3时表示节目为高清,当GroupType值为4时表示节目为标清。在ESB流程执行中通过协议转换将导入允许协议中的GroupType属性转换代入到EMB迁移任务协议中;在EMB迁移节点根据EMB迁移任务协议中的GroupType高标清标识属性,进行高、标清EMB总线的选择;最后高标清EMB总线根据接收到的迁移任务,根据空闲调度机制分配给各自管理的迁移执行器Actor具体执行高标清媒体迁移业务。
目前我台很多制作系统都是高标清混合的架构,如果单纯根据高、标清节目类型去选择EMB,那么标清节目只能通过原来以太网架构的EMB传输,无法走快速的光纤链路。为了使标清节目也能从高清EMB的光纤链路传输,主干平台在协议转换中增加路由选择机制,通过路由配置表对源和目标系统进行默认路由配置,在EMB迁移时主干首先根据源和目标系统查询路由配置文件。比如在配置文件中将制作送播出的路由配置为高清EMB,那么ESB直接将制作送播出的任务发送到高清EMB完成迁移任务,标清同理。如果此路由没有配置,那么ESB再根据前面所说的文件类型去判断到底由哪个EMB完成迁移。路由选择逻辑如图6所示:
凭借开放融合、灵动成长、安全可靠的特性,浪潮数据中心建设理念及其绿色高效的数据中心解决之道备受关注。
浪潮数据中心建设方案
方案一是“本地数据中心整合+数据无缝迁移”,该方案有两大特色。
首先,虚拟化整合。AS8000所组成的存储资源池通过虚拟化管理平台对设备进行有效管理,这些设备不只是全新购置的存储,还包括客户机房原有的存储设备。这些旧设备不会因为数据中心的建设就弃之不用,反而会因为数据中心的高效管理起到比以前更为重要的作用。新的存储池也将为前端业务系统提供按需获得、即时可取的存储资源。
其次,实现数据无线迁移。引入AS8000之后,为保证客户数据可用以及前端业务持续运行不停机,系统提供的数据迁移功能可以实现异构存储数据无缝透明迁移,使前端应用服务器完全感知不到后端的变化,满足客户数据无缝迁移的应用需求。
方案二是“本地数据中心的存储整合+异地灾备保护”,该方案实现了远程容灾。AS8000 支持基于IP、FC的同步异步数据镜像功能,在网络两端建立异地备份机制。在存储虚拟化构架下,本地与异地端可根据实际需求与预算使用不同种类的存储设备,不受硬件与品牌的限制,在异构存储间建立起本地或远程的数据容灾功能。系统可以实现数据级跨应用级容灾方案,保障数据零丢失;支持多站点间的数据同步、异步传输,建立大规模的全局数据容灾系统,当存储节点故障时,可通过备用的数据进行恢复;对于整个故障到恢复过程非常高效;当故障节点修复后,可以快速切换至初始备用环境。
优势:可靠、可扩展、强大管理能力
首先,可靠性。方案中核心产品是浪潮自主研发的存储产品,关键部位均采用了冗余设计和配置。全冗余的SAN网络,实现了服务器端到存储端的高可用性,规避单点故障,实现故障自动切换。从方案整体来看,该建立了虚拟化存储资源池,提供了更多的高级特性,如存储虚拟化、异构利旧存储等。
其次,可扩展性。AS8000存储资源池可以无缝的地接入新的存储设备,并且随着容量的增加,数据存储性能也将呈现直线增加的趋势。
第三,强大管理能力。虚拟化存储平台提供异构厂商存储设备统一平台界面管理,大大减轻了IT管理人员的负担。同时,AS8000可以实时监控设备运行状态,具有全方位的故障诊断机制、一目了然的硬件报警措施,极大地降低管理难度,大大提高了系统的维护和便利性和系统运行的可控性。
上一篇:临床医学收入情况(精选8篇)
下一篇:婴幼儿用品促销方案(精选4篇)
热门推荐