【规划信息人?大观】
北京市城市规划设计研究院规划信息中心联合北京城垣数字科技有限责任公司,长期以来一直致力于追踪信息技术发展及其在城市规划领域应用实践的动态,探讨研究规划信息化发展战略、实施路径和应用解决方案。“规划信息人?大观”借助微信公众平台,呈现对动态跟踪和解读的成果,交流在应用研究与实践中的思考和收获,增进行业信息共享和智慧凝聚,促进规划信息化建设和城乡规划事业发展。
【引言】
大数据是信息化发展的新阶段。随着信息技术和人类生产生活交汇融合,互联网快速普及,全球数据呈现爆发增长、海量集聚的特点,对经济发展、社会治理、国家管理、人民生活都产生了重大影响。世界各国都把推进经济数字化作为实现创新发展的重要动能,我国在前沿技术研发、数据开放共享、隐私安全保护、人才培养等方面也做了前瞻性布局。
大数据概述
所谓大数据,通俗意义上讲就是大量数据的集合。维基百科认为,大数据是一个数据的集合,这个集合如此庞大和复杂,以至于很难通过现有数据库管理工具来对其进行处理。大数据的特点通常用“4V”来概括:Volume(体积大)、Velocity(速度快)、Variety(种类多)、Virtual(实时性)。
大数据目前主要应用领域有气候学、天文学、生物医学等。而如今正向公共问题领域扩展,例如交通管理与控制,将交通运输数据由模拟状态转化为数字状态储存起来,建立智能交通系统,实时监测交通流量计数并依据车辆行程和路况拥挤程度进行电子收费,从而对交通堵塞和交通污染排放进行隐形控制。
大数据技术的核心就是运用数学算法对大量的数据进行处理,然后进行预测。比如输入法,通过收集全世界用户每天的输入、删除、修改信息,分析大众的输入习惯,然后预测“teh”应该是“the”的可能性;再比如十字路就,通过观测行人的性别、行走速度甚至年龄等,分析每个人闯红灯的可能性,然后反馈给汽车驾驶员,做好减速避让的准备。当然,这些预测都必须建立在海量数据之上,数据越多越丰富,预测可靠性就会越好。
跟传统的数据处理技术相比,大数据一个最明显的特征就是不再强调因果关系。在大数据时代之前,人们面对的数据量有限,在分析时主要通过因果关系预测事态的发生。而大数据时代无需紧盯事物之间的因果关系,而应该寻找事物之间的相关关系。也就是说,大数据不会告诉人们为什么事情会这样发生,而会提醒我们事情正在或将要这样发生。比如,在购买航空机票的时候,人们只需要知道什么时候买票会相对便宜,而不需要知道为什么这个时候买票便宜。
大数据关键技术
大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。
采集技术
大数据采集一般分为大数据智能感知层:主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统,实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层:提供大数据服务平台所需的虚拟服务器,结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析和决策操作的可视化接口技术,大数据的网络传输与压缩技术,大数据隐私保护技术等。
预处理技术
主要完成对已接收数据的辨析、抽取、清洗等操作。
1)抽取:因获取的数据可能具有多种结构和类型,数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型,以达到快速分析处理的目的。
2)清洗:对于大数据,并不全是有价值的,有些数据并不是我们所关心的内容,而另一些数据则是完全错误的干扰项,因此要对数据通过过滤“去噪”从而提取出有效数据。
存储及管理技术
大数据存储与管理要用存储器把采集到的数据存储起来,建立相应的数据库,并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统(HDFS)、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术;突破分布式非关系型大数据管理与处理技术,异构数据的数据融合技术,数据组织技术,研究大数据建模技术;突破大数据索引技术;突破大数据移动、备份、复制等技术;开发大数据可视化技术。
开发新型数据库技术,数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中,非关系型数据库主要指的是NoSQL数据库,分为:键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。
开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术;突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。
分析及挖掘技术
大数据分析技术。改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
可视化技术
大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来,为人类的社会经济活动提供依据,从而提高各个领域的运行效率,大大提高整个社会经济的集约化程度。在我国,大数据将重点应用于以下三大领域:商业智能、政府决策、公共服务。例如:商业智能技术,政府决策技术,电信数据信息处理与挖掘技术,电网数据信息处理与挖掘技术,气象信息分析技术,环境监测技术,警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统),大规模基因序列分析比对技术,Web信息挖掘技术,多媒体数据并行化处理技术,影视制作渲染技术,其他各种行业的云计算和海量数据处理应用技术等。
大数据主要应用领域
轨道交通
近年来,我国轨道交通以其快速、安全、便捷、环保以及大运量等特点迅速发展。首先,全国各大中城市正在努力建设或规划城市轨道交通,其次是全国主要干线通道都在兴建高速铁路。虽然两者在运营模式等方面都存在差异,但是他们都有一个共同点,就是面向的服务群体数量是巨大的。这就使得城市轨道交通和国家铁路在日常的生产运营过程中,会产生巨大的数据信息,比如客流信息,旅客出行OD信息,铁路货物发送、中转、到达产生的数据信息等。这些信息需不需要储存、如何储存、储存起来有什么用以及要怎么用等问题越来越得到人们重视。而如今,伴随着互联网和云计算的发展,互联网信息数据大爆炸,大数据时代到来。大数据技术将很好的解决这些类似的问题。
大数据技术在在城市轨道交通中一个非常重要的应用就是对客流数据的运用和处理。城市轨道交通客流是动态变化的,它随着时间、日期、季节以及地区的变化而变化,这种变化是城市社会经济活动和生活方式以及交通系统本身特征的反映。通常,城市轨道交通客流具有不均衡性和随机性。不均衡性主要体现在早晚高峰以及城市功能区的分布上,而随机性主要是大型集会、节假日等引起的客流变化。
乘客每天乘坐城市轨道交通,使用的自动售检票系统将记录每位乘客购票和进出站刷卡信息。利用大数据技术,统计出各条线路及各车站的客流量、断面客流以及站间OD和区域OD客流数据。运用一些大数据可视化工具(如Matlab),将大量的客流数据绘制成分布图形,以小时为单位就可以看出一天中的客流分布,以日期为单位就可以看出整月的客流分布,若以月份或季度为单位就可以看出一年中的客流分布。还可以将站间OD或区域OD客流数据用D3.js绘制成弦图(弦图,主要用于表示两个节点之间的联系),弦图以各条线路为圆弧,各圆弧之间连线为弦,弦的大小和颜色取决于客流的大小,便于直观看出线路主要客流分布区间等。当然还有断面客流,利用Matlab软件将断面客流在时间和空间上的分布同时展示出来,以时间为x 轴,空间为y 轴,客流量为z 轴,构建断面客流时空三维分布,用不同颜色加以渲染,便可以从不同角度直观获取线路断面的客流特征。 这样便可以将客流数据在时间、空间以及时空上进行可视化,将可视化的数据提供给运营单位,可以帮助运营管理人员更合理地安排列车的运行密度,为运营决策提供依据。
大数据技术对客流的另一个应用应该是预测。客流预测对于城市轨道交通是非常重要的,做好客流预测,不仅是合理的线网规划的基础,还是运营管理和行车组织的重要依据。面对海量的跟客流相关的数据,大数据技术能够进行有效挖掘,获取关键信息,然后迅速且较准确地找出其内部规律,分析城市轨道交通客流的变化趋势,给出为来年的客流,即可帮助规划、运营人员做出相应决策。
应用大数据技术进行数据采集、分析,挖掘出有价值的信息,是轨道交通分析乘客出行习惯、客户发货习惯的有效途径;是城市轨道交通进行客流预测,做好合理规划,优化运营组织的有力帮手;也是我国轨道交通将数据转化为竞争力的必然选择。如何将大数据技术更全面的应用于轨道交通之中,如何将轨道交通庞大复杂的数据更高效、更准确的转化为可视、可读并且可用的信息,既是轨道交通行业必须重视的问题,也是大数据需要扩展的研究领域。
智慧城市
大数据在各行各业都得到了应用,智慧城市也不例外。从政府决策到人们衣食住行,人们生活的方方面面都离不开大数据,大数据就像电一样,已经成为城市发展的基本要素。大数据的支持让城市规划变得更加合理。依据大数据绘制的人流变化图为交警部门调整优化道路交通提供科学的决策依据;大数据搭建的监控分析平台,监控企业生产、排放等是否符合规范,为监察部门提供可靠的执法依据;智慧城市大数据为市民提供更方便精准的服务,如实时公交查询、车辆违章查询、个税申报等。
目前,全国各地都在积极建立城市大数据平台,推广大数据应用。2016年10月,上海确立了大数据作为城市创新发展要素的地位,提出加快大数据产业发展;2017年9月,南海多个政府部门、事业单位签署了21项合作协议,建设新型智慧城市;2018年1月,北京市政府工作报告中要建立城市大数据平台,推进智慧城市建设。
智慧城市利用好大数据有两个关键。
一、打破信息孤岛,实现数据开放共享。打通不同部门独立的状态,形成部门合力,以城市大数据平台为基础,打造智慧城市服务一张网。
二、利用好开放的数据,挖掘出其应有的价值。不断拓宽大数据产业发展空间,推动大数据产业创新创业实践活动,完善大数据产业链条。
除以上两点外,还必须强化智慧城市大数据平台的安全保障,完善相关法律法规。否则一旦发生信息泄露等安全问题,将造成大规模难以消除的不良民生影响。在智慧城市建设中只有用好大数据资源才能赢得未来。
总结
所有这些不同跨行业的技术飞跃,都是基于大数据的发展为其奠定的坚实基础。技术的进步将继续通过更智能的流程帮助我们创造出一个更美好的社会。我们必须充分了解这种技术的使用方式,以及需要实现的具体业务目标,二者结合才能最终从这些趋势中受益。这些都只是一个开始,大数据将继续作为我们在业务和技术方面所经历变革的催化剂。我们可以做的是思考如何有效地适应这些变化,并利用这项技术实现业务蓬勃发展。
相关阅读:
规划信息人·大观001|开启智慧规划的序幕 —— 近期国内规划信息化发展回顾(上)
规划信息人·大观002|开启智慧规划的序幕 —— 近期国内规划信息化发展回顾(中)
规划信息人·大观003|开启智慧规划的序幕 —— 近期国内规划信息化进展回顾(下):探索创新篇
规划信息人·大观004|空间句法与城市空间初探
规划信息人·大观005| 城市模型:量化城市的方法
规划信息人·大观006| 从BIM迈向CIM
规划信息人·大观007| 人工智能与未来城市规划
规划信息人?大观008| 给你一个机会,玩转整个地球
规划信息人?大观009| Michael Batty: 智慧城市——第六次康德拉季耶夫长波
规划信息人?大观010 | 而今迈步从头越: 2017-2018城乡规划信息化发展追踪(上)