随着信息技术进入我们生活的方方面面,我们也进入了大数据时代的初级阶段。从某种程度上说,我们现在还没有看到任何东西,因为传感器才刚刚进入我们的生活。很多数据目前来说还不是很有用,因为很多数据并不是以为未来城市规划和建设服务的。特别是对于一些交通数据来说,虽然有一定用处但是也有很大局限性,因为很多数据都只是交通系统的一部分,或者是很难整合在一起的几个部分。对于社交媒体数据,大部分的内容是无法使用,因为其中的信息是片段化的。还有许多其他多样化的数据是不具有整体性的,难以将其整合。因为数据所有权以及一些数据本身在市场以及广告方面有很大的价值,所以很难将需要的数据汇集起来。
目前最主要的局限性在于我们很难将一些大数据和与之相关的其他大数据或者小数据结合起来。例如,我们很难将从地铁刷卡数据获得的需求数据与实际车辆的供给相联系。尽管出行的供给和需求各自实时产生,但是我们很难准确的在出行者进入系统后,将其与他实际乘坐的车辆相联系。基于隐私和机密性的考虑,每个出行者不可能实时被检测。步行、自行车以及使用车辆等信息很难联系起来,因此我们想要获得一个可以得到人们在整个城市中的出行规律的数据集合是很困难的。
例如问卷等传统的数据搜集方式较为昂贵但是相对而言可控性更好。然而现在很难将其和实时数据相结合。其他城市中的一些移动数据则难以获得,例如在能源系统数据是很难被检测到的。事实上,在工业系统中,因为系统的碎片化等特点,自动化程度不是很高。
在介绍类型的文章中,我们没有详细给出解决大数据增长的方法,但是后续的文章,将介绍几种新的数据挖掘方法。其中一些文章将传统的数据分析方法应用到大数据中,可视化是处理大数据的核心。在图1的实例中,分析伦敦的交通出行对于我们来说已经很困难了,所以可以想象当数据扩展到更大级别时,我们需要更加强有力的手段对数据进行修正和可视化。在过去的50年中,出现了很多新方法,例如神经网络、机器学习、云计算以及多维度分析等。
同时我们必须关注大数据分析的组织。对于我们如何调动资源、植入新的数据源、存储数据到研究和联系的环境在大数据的研究中是至关重要的。最主要的挑战是如何将大数据利用到合理的城市展示和分析的关键问题中。基于此,我们可以扩展传统的预测能力同时指导城市规划和设计师更好地规划城市的未来。
这系列文章将从不同层面展示解决挑战的方法之一,同时也向读者展示了未来我们的城市将如何变得更加复杂、智能和可持续。