大数据战略的实践与应用
【摘要】大数据战略的实践与应用大数据相关概念 1 大数据 维克托·迈尔·舍恩伯格、肯尼斯·库克耶编写的《大数据时代》一书给出的定义是:大
大数据战略的实践与应用
大数据相关概念
1.大数据
维克托·迈尔·舍恩伯格、肯尼斯·库克耶编写的《大数据时代》一书给出的定义是:大数据指不用随机分析法(抽样调查)这种捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出)包括:Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
麦肯锡全球研究所给出的定义是:大数据是一种规模大到在获取、存储、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
贵阳市在实践中总结的定义是:大数据是指在新一代互联网信息技术支撑下,对人与自然、人与社会的相互作用及相互关系的数字化描述。
2.大数据思维
数据技术的快速发展深刻改变了我们的生活、工作和思维方式。大数据研究专家舍恩伯格指出,大数据时代,人们对待数据的思维方式会发生如下三个变化:第一,人们处理的数据从样本数据变成全部数据;第二,由于是全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;第三,人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相关关系。事实上,大数据时代带给人们思维方式的深刻转变远不止上述三个方面。大数据思维最关键的转变在于从自然思维转向智能思维,使得大数据像具有生命力一样,获得类似于“人脑”的智能,甚至智慧。
总体思维。以往采样一直是主要数据获取手段,这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代,人们可以获得并分析更多的数据,甚至是与之相关的所有数据,而不再依赖于采样,从而可以带来更全面的认识,更清楚地发现样本无法揭示的细节信息。也就是说,在大数据时代,随着数据收集、存储、分析技术的突破性发展,我们可以更加方便、快捷、动态地获得与研究对象有关的所有数据,而不再因诸多限制不得不采用样本研究方法。相应地,思维方式也应该从样本思维转向总体思维,从而能够更加全面、立体、系统地认识总体状况。
容错思维。在小数据时代,收集的样本信息量比较少,必须确保记录下来的数据尽量结构化、精确化,否则,分析得出的结论在推及总体上就会“南辕北辙”。因此,必须十分注重精确思维。在大数据时代,得益于大数据技术的突破,大量的非结构化、异构化的数据能够得到储存和分析,不仅提升了我们从数据中获取知识和洞见的能力,也对传统的精确思维带来挑战。舍恩伯格指出:“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法利用,只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户。”也就是说,在大数据时代,思维方式从精确思维转向容错思维,当拥有海量即时数据时,绝对的精准不再是追求的主要目标,适当忽略微观层面上的精确度,容许一定程度的错误与混杂,反而可以在宏观层面拥有更好的知识和洞察力。
相关思维。在小数据世界中,人们往往执着于现象背后的因果关系,试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代,人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系,获得更多的认知与洞见。运用这些认知与洞见,可以帮助我们捕捉现在和预测未来。建立在相关关系分析基础上的预测,正是大数据的核心议题。舍恩伯格指出,大数据的出现让人们放弃了对因果关系的渴求,转而关注相关关系,人们只需知道“是什么”,而不用知道“为什么”。也就是说,在大数据时代,思维方式要从因果思维转向相关思维,努力颠覆千百年来人类形成的传统思维模式和固有偏见,这样才能更好地分享大数据带来的深刻洞见。
智能思维。大数据时代,随着物联网、云计算、可视技术等的突破发展,大数据系统也能够自动地搜索所有相关的数据信息,进而类似“人脑”一样主动、立体、逻辑地分析数据、作出判断、提供洞见,那么,无疑也就具有了类似人类的智能思维能力和预测未来的能力。“智能”“智慧”是大数据时代的显著特征。大数据时代的思维方式也要求从自然思维转向智能思维,不断提升机器或系统的社会计算能力和智能化水平,从而获得具有洞察力和新价值的东西,甚至类似于人类的“智慧”。舍恩伯格指出:“大数据开启了一个重大的时代转型。就像望远镜让我们感受宇宙,显微镜让我们能够观测到微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正蓄势待发。”大数据时代将带来深刻的思维转变。大数据不仅将改变每个人的日常生活和工作方式,改变商业组织和社会组织的运行方式,而且从根本上奠定国家和社会治理的基础数据,彻底改变长期以来国家与社会诸多领域存在的“不可治理”状况,使得国家和社会治理更加透明、有效和智慧。
3.块数据
所谓“块数据”,就是一个物理空间或者行政区域内形成的涉及人、事、物的各类数据的总和。“块数据”如同一个计算机的主板,建立起开放、共享、连接的数据基地。各个行业和部门的“条数据”如同一个个可插拔的板卡,只有融合并集成到主板上,才能发挥数据资产真正的功效。块数据实践应用所形成的全产业链、全服务链和全治理链,将更大程度地驱动产业升级、服务改善民生、推进城市转型和倒逼政府改革。“数据铁笼”就是块数据在贵阳成功实践的最新例证。
4.区块链
狭义定义:区块(Block) + 链(Chain)= 区块链(Blockchain),是一种按照时间顺序将数据区块以链条方式组合成特定数据结构,并以密码学方式保证的不可篡改和不可伪造的去中心化共享总账。
广义定义:区块链是一种利用加密链区块结构来验证与存储数据,利用分布式共识节点算法来生成和更新数据,利用自动化脚本代码来编程和操作数据的一种全新的去中心化基础架构与分布式计算范式。
区块链作为比特币网络的底层基础技术,构建了比特币数据结构与交易信息加密传输的基础,形成了去中心化的可信任数字货币系统。可简单理解为一张张的记录(区块),装订(链接)在一起形成的大家都能看到的、不可更改的备忘录(区块链)。
5.人工智能
尼尔逊教授对人工智能下了这样一个定义:“人工智能是关于知识的学科——怎样表示知识以及怎样获得知识并使用知识的科学。”美国麻省理工学院的温斯顿教授认为:“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。”这些说法反映了人工智能学科的基本思想和基本内容,即人工智能是研究人类智能活动的规律,构造具有一定智能的人工系统,研究如何让计算机去完成以往需要人的智力才能胜任的工作,也就是研究如何应用计算机的软硬件来模拟人类某些智能行为的基本理论、方法和技术。
6.数据铁笼
“数据铁笼”是指运用大数据编制制约权力的笼子,依托大数据产业优势加快网上政务建设,把能够纳入网络的行政权力全部纳入网络运行,通过制定统一的数据技术标准,优化、细化、固化权力运行流程和办理环节,合理、合法地分配各项职责,实现网上办公、网上审批、网上执法,权力运行全程电子化、处处留“痕迹”,让权力在“阳光”下运行,置于社会公众的监督之下。
7.协同监管
建立健全登记注册、行政审批、行业主管相互衔接的市场监管机制,实现各部门间依法履职信息的互联互通、联动响应,形成分工明确、沟通顺畅、齐抓共管的监管格局,切实增强监管合力,提升监管效能。
8.社会共治
推进以法治为基础的社会多元治理,健全社会监督机制,切实保障市场主体和社会公众的知情权、参与权、监督权,构建市场主体自治、行业自律、社会监督、政府监管的社会共治格局。
贵阳为什么能做大数据
1.总书记关怀和中央政策支持
2015年6月17日,习近平总书记来到贵阳市大数据广场,走进大数据应用展示中心,听取贵州大数据产业发展、规划和实际应用情况介绍。贵州省以发展大数据作为突破口推动经济社会发展的探索,给习总书记留下深刻印象。
同年8月31日,国务院发布《国务院关于印发促进大数据发展行动纲要的通知》,明确开展区域试点,推进贵州等大数据综合试验区建设,促进区域性大数据基础设施的整合和数据资源的汇聚应用。
2016年3月,国家发改委、工业和信息化部、中央网信办发函批复,同意贵州省建设国家大数据(贵州)综合试验区,这是全国首个获批建设的国家级大数据综合试验区。批复提出,国家大数据(贵州)综合试验区将通过三五年探索,有效打破数据资源壁垒,强化基础设施统筹,打造一批大数据先进产品,培育一批大数据骨干企业,建设一批大数据众创空间,培养一批大数据产业人才,有效推动相关制度创新和技术创新,发掘数据资源价值,提升政府治理能力,推动经济转型升级。
2016年7月,贵阳市工商局大数据市场监测监管平台被国家工商总局列入运用大数据加强市场监管试点,成为全国13个运用大数据加强市场监管工作的试点单位之一。试点要求充分运用互联网、大数据、云计算等现代信息技术手段,对工商和市场监管部门掌握的企业信息以及互联网上的相关信息进行多维度关联,并通过构建相应的模型和算法融合分析,形成企业的“全景多维画像”,有针对性地开展监管和服务工作。
2.政府主导,顶层设计推动
贵州省委十一届六次全会明确提出,大数据是贵州弯道取直、后发赶超的大战略、大引擎、大机遇。贵州省第十二次代表大会进一步明确为“大扶贫、大数据、大生态”三大战略行动。
2016年7月11日,贵阳市委九届六次全会审议通过《中共贵阳市委关于以大数据为引领加快打造创新型中心城市的意见》。《意见》明确指出,以大数据为引领加快打造创新型中心城市,是贵阳市当前和今后一个时期的重大历史使命。2017年5月1日,全国首部政府数据共享开放地方性法规《贵阳市政府数据共享开放条例》正式实施。
贵阳市工商局先后代市政府起草《贵阳市企业信用信息采集归集共享使用管理办法(试行)》《贵阳市人民政府关于加快推进企业信用信息采集归集共享使用的实施意见(试行)》和《贵阳市企业信用信息采集目录》。
2016年,贵阳市工商局被国家工商总局确定为全国大数据加强市场监管试点、全国企业事中事后监管社会共治试点,国家企业信用信息公示系统分中心确定落户贵阳。
3.主要领导亲自参与、亲自推动
贵阳市主要领导确定大数据发展方向,提出“大数据十大工程”:数据产业集聚工程,数据资源汇聚工程,数据共享开放工程,大数据助推产业升级工程,数据金融工程,数据铁笼工程,数据政务工程,数据民生工程,数据扶贫工程,数据立法、安全与标准工程。
贵阳市主要领导提出大数据产业三大业态——核心业态、关联业态、衍生业态;提出“块数据”概念,主张区块链场景应用;参加痛客大赛发布会;组织每月一次的领导干部读书会等。
贵阳大数据的探索与实践
建立首个国家大数据试验区、首个大数据交易所、首个国家大数据实验室,开展首次大数据安全攻防演练(实网攻防),国家企业信用信息公示系统分中心、国家工商总局数据灾备中心落户贵阳……
短短几年,贵阳大数据迅猛发展。贵阳还跻身于拥有“独角兽企业”的16个城市,贵阳“货车帮”成为“独角兽企业”。截至2017年7月,“货车帮”注册司机会员车辆达450万辆,货主会员数达88万人。尤其值得注意的是,车后市场服务业务持续强劲增长,其ETC业务发卡量突破100万张,日充值金额高达9000万元。
2016年,贵阳市大数据产业规模总量达1300亿元,比上年增长41.9%;主营业务收入达650亿元,占全省比重超过50%;大数据及关联企业超过4000家;全市电子商务交易额达700亿元,比上年增长31.6%……一连串亮眼的成绩单,昭示着贵阳大数据产业发展的勃勃生机。
戴尔、阿里巴巴、腾讯、京东、奇虎360等国内外知名大数据企业落户贵阳,货车帮、朗玛、东方祥云等本土企业迅猛成长,国信优易、华傲数据、数据堂等一批领先企业在贵阳聚集,大数据精加工产业集群正在形成。数联铭品利用大数据实现企业全息画像,建立金融信用评级大数据平台,定期发布“财新BBD(数联铭品)中国新经济指数(NEI)”。贵阳还建设了大数据安全产业基地,引进中国网安、航天十院、爱立示、网秦、亚信等优强企业。
以大数据为引领,贵阳把大数据“聚”“通”“用”贯穿于城市综合治理的全过程和各方面,加快提升政府治理能力,积极打造大数据全治理链,形成用数据说话、用数据决策、用数据管理、用数据创新的工作格局,让大数据发展红利惠及大众民生,让城市管理更加精细、高效。
1.破数据孤岛、数据烟囱之痛
路径:企业信用信息主题块数据库+政府数据共享平台+区块链
《贵阳市政府数据共享开放条例》《贵阳市企业信用信息采集归集共享使用管理办法(试行)》和《贵阳市人民政府关于加快推进企业信用信息采集归集共享使用的实施意见(试行)》相继出台,但数据真正实现共享,真正实现聚、通、用,还需进一步破题。
第一,以贵阳市政府数据共享交换平台为依托,加快推进基于块数据理论和区块链技术构建企业信用信息主题块数据库建设,对涉及38个职能部门及水、电、气、金融等企业的非涉密数据进行物理归集。
第二,对涉密数据,探索利用区块链去中心化、分布式账本、智能合约和不可篡改的时间戳的四大技术特性进行非物理归集的无障碍使用,破解了信息全量归集使用中受法律法规制约的涉及机密、涉及安全等敏感数据无法物理归集使用的的难题,真正实现了企业信用信息“一网归集,双向服务”的总体目标。
2.破百姓反复跑腿之痛
路径:企业注册全程电子化+数据铁笼
大力推进和不断完善注册登记全程电子化,努力实现所有申请、审核过程的信息完全电子化、数据化、智能化,实现企业注册登记渠道政务大厅、社会网点、PC端及手机网上自助等多元化的便利化目标。下真功夫用好数据铁笼,紧盯内部各办事环节,有效规范好从窗口工作人员到各级领导的履职行为,高一格提升工作效率,最大限度实现“群众少跑腿”的目标。
3.破“数据休眠”服务政府决策不力之痛
路径:区域经济发展指数+企业活跃度
在努力实现数据共享的基础上,让宝贵的数据资源得以充分应用,快一步加强企业发展指数、企业活跃度、区域经济大数据分析系统开发和应用,对新增企业及其构成情况、企业生存状态、企业发展趋势等进行大数据分析,为政府和相关部门优化产业结构、精准运用帮扶政策、评估经济发展政策效果提供重要的参考依据,让政府的数据真正为政府决策服务,发挥出其“钻石矿”的价值。
4.破监管和政企(协同)互动不精准之痛
路径:消费舆情预警+企业异常行为监测预警+失联企业大数据挖掘
天价海鲜、有毒疫苗、问题电缆、非法集资等违法事件,让我们在痛定思痛之余思考如何通过对消费舆情和企业行为异常数据的挖掘,对事件早发现、早处置,实现精准监管,防患于未然,把问题处置在萌芽状态,减少违法事件给社会带来的危害程度。通过对企业注册信息、行政许可信息、行政处罚信息、公开公示信息、消费投诉调解舆情信息以及企业在经营过程中的行为信息等进行监测和分析,发现企业异常行为,对可能导致重大失信风险的异常行为预警,提前对风险企业进行相应处置。通过对失联企业的大数据挖掘,拓宽政府部门、企业、行业组织、消费者之间有效互动的渠道,力求避免监管服务真空的出现。通过精准定位、有效处置、多方协同、科学监管,解决监管力量有限与市场监管需求相对无限的矛盾。贵阳市对实现监管方式从被动到主动、粗放到精准、经验到科学、单一到协同的转变,实现监管内容从传统手段向信用监管、从侧重资格监管向行为监管转变进行了有益的探索和推动。
5.破消费投诉处置最后“一公里”之痛
路径:人工智能受理、调解+大数据法律法规及类似案例推送
提出引入人工智能服务,构建全国第一个“12315消费纠纷人工智能自助受理、调解平台”。通过调解平台,解决了纠纷双方时间和空间的问题,实现了参与调解的双方可以在任何约定好的时间登录平台进行调解,并且不受必须到纠纷发生所在地进行调解的限制,可以极大地提高纠纷解决效率。人工智能机器人还会在海量调解案例里挑选有关案例和相关法律法规推送给双方,解决调解双方信息不对称的问题,提高消费纠纷达成和解的成功率。大量的消费调解在不需要调解人员的介入下完成,消费调解记录作为企业诚信状况的重要组成部分,解决了工作人员不足、难以支持不断增加的消费投诉的问题。
6.破协同配合不力之痛
路径:企业诚信体系+联合约束系统+区块链存证,贵阳市信用数据铁笼
过去各执法部门对企业的监管是孤立的,对于失信数据更谈不上共享应用。随着跨司法和政府职能部门的贵阳市信用数据铁笼的建立,这一现象正在被改变。贵阳市工商局作为全市信用体系建设的成员单位之一,纳入全市第一批信用数据铁笼建设。贵阳市信用数据铁笼的上线运行,将有力促进和规范各部门的联合惩戒和约束。全市各执法部门的处罚信息等实现自动共享,信用数据铁笼进行全程跟踪,有异常情况会预警,各执法部门是否及时作为、规范作为将通过区块链技术“存证”。比如,工商和市场监管部门在注册登记等环节通过信用数据铁笼自动实现共享并存证失信数据的应用情况,“一处违法,处处受限”的联合惩戒要求有了法治化、自流程化的保障。目前,我们正在以贵阳市信用数据铁笼的运行为契机,与各部门紧密协同,加快贵阳市大数据市场监测监管平台建设,努力探索更多的应有场景,提供更多的信用成果共享,为部门协同配合实现联合惩戒失信行为作出积极贡献。
7.两个主要系统简介
大数据市场监测监管系统
项目建设的框架是一个平台、两类数据、三个方向和四类应用。
一个平台是大数据市场监测监管平台,是指项目将建成多层次、多功能的统一大数据市场监测监管平台。通过运用大数据、互联网、云计算等先进技术手段,整合应用多渠道大数据资源,多维度挖掘分析展现数据之间的价值、规律和趋势,以加强市场监测监管,建设全国领先的大数据市场监管示范应用,打造“市场监管社会共治云+平台3.0版”。
两类数据:工商及相关政府部门大数据,包括工商和市场监管部门数据和归集的其他政府部门企业数据;互联网社会化公开大数据,包括社会公开大数据和社会化主体自有数据。
三个方向:服务市场监管,运用大数据的先进理念、技术和资源,深入挖掘工商数据资源的潜力,构建市场监管风险预警机制,挖掘业务关联,精准定位监管难点和重点,降低监管成本,提高监管效率。服务政府决策,以市场主体的登记、运行数据为支撑,利用大数据分析方法和工具,对区域宏观经济趋势、经济结构变迁、资本流动趋势等进行分析研判,帮助贵阳市政府与职能部门提高决策的准确性和实效性,促进经济社会健康持续稳定发展。服务社会运用,即面向市场主体和公众提供信用信息服务,同时助力大数据企业创新发展。
四类应用:包括“3·15”指数与消费舆情事件大数据预警系统、企业失联及异常行为大数据监测预警系统、企业发展与区域经济大数据分析系统、企业信用联合约束系统。
数据铁笼应用平台
运用大数据思维和方式,重点围绕记录、公开和分析环节,建立全范围覆盖、全过程记录、全数据监督的大数据管理监督云平台和个人诚信档案,记录执法及管理中权力运行、权益保障等行为轨迹。
执法行为分析和管理平台,达到对执法人员执法过程多渠道监督、考核、预警的目的。
个人绩效评估分析平台,对个人工作履职过程产生的数据进行全程自动记录,并作为个人年度绩效评估结果的量化统计的主要依据。
三重一大事项分析平台,实现对重大事项的统一报备,不断扩大信息公开的范围,细化公开内容,促进对重大事项的协同、监督、预警。
决策支持与预警平台,主要包括针对时效性要求高的事务,实现即时自动给推送预警消息的机制。
数据铁笼平台使用效果:实现了队伍管理由传统制度化向数据化制度体系转变,实现了部门和干部个体行为评价由印象化向数字化转变,实现了行政管理由效能管理难向效能管理精细化转变,实现了队伍监督管理由事后查处被动模式向监督管理日常化、过程化转变,建成高效的一站式工作大厅及协同工作、互动交流的平台。
启示与思考
问题导向,强化底线思维,着力风险防控,既防“黑天鹅”,也防“灰犀牛”,对各类风险苗头既不能掉以轻心,也不能置若罔闻。
坚定不移以政用带动商用、民用,以大数据引领经济社会转型升级发展的路径选择,聚焦以信用约束为核心的市场秩序治理,打造共建、共治、共享的信用平台。
按照“集聚化发展、项目化落实、市场化运作、大众化应用”的要求,紧抓政府主导推动、企业市场化运作、社会各界共同参与等关键环节,持续推动市场秩序治理共治格局的形成。
用好国家企业信用信息公示系统分中心和数据灾备中心落地贵阳的机遇,聚集优秀大数据企业,为企业信用社会共治提供政策支持和技术支撑。
用好国家大数据综合创新试验区先行先试的政策,在现行政策和法律法规的基础上,研究制定相关政策法规规章,建立健全企业信用社会共治的工作机制。
就业培训申请领取
环球青藤
官方QQ群扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群
数据分析师相关文章推荐
|数据分析师最新文章推荐
刷题看课 APP下载
免费直播 一键购课
代报名等人工服务
- 1 传统数据和大数据的区别
- 2 数据分析的8种方法都是哪些?
- 3 3大常用的数据分析工具是什么?
- 4 数据分析的具体流程是什么?
- 5 excel中的运算符
- 6 数据分析的作用有哪些?
- 7 电子商务需要分析哪些数据?
- 8 数据分析包括哪些内容?
- 9 rdd是什么?
- 10 数据分析的基本步骤