【日照智慧公交app下载】大数据下的智慧公交系统平台

[提要] 信息技术的快速发展对民众的日常生活产生了巨大的影响,公交车作为使用最多的交通工具已经发生了巨大变革,各种新技术的使用使其在日常运行过程中产生了海量数据,如何对这些数据进行科学有效地采集和深入挖掘分析利用成为当前各个公交系统平台共同的难题。本文通过对智慧公交平台的大数据现状调查分析,提出一些解决方法,以便为智慧公交系统平台的建设和完善提供建议。

关键词:物联网;大数据;智慧公交;平台;Hadoop

本文受到辽宁省社会科学规划基金项目(项目编号:L16BJY001)、辽宁省自然基金项目(项目编号:20170540005)的支持

中图分类号:F49 文献标识码:A

收录日期:2017年9月12日

引言

随着互联网、物联网等信息技术的高速发展,其影响已经辐射至我们生活的方方面面,而公交车作为普通民众出行最常用的工具,每时每刻都在产生着大量的数据,其数据量级已经超越TB达到PB,并以指数级持续增长。如何对这些数据进行科学合理高效的采集,以及在这种大数据下,如何从如此庞大的公交数据中高效、准确地挖掘出有用的信息进行分析,从而达到为公交公司、政府和民众进行服务的目的,成为当前公交系统急需解决的重大问题。

一、大数据的定义及其特征

大数据是一个相对比较抽象的概念,学术界一直没有统一公认的概念。简单来说,就是随着互联网的高速发展,互联网中的各种信息急剧增加,数据规模愈来愈大,进而由量变引起质变的一种现象。大数据并不是一种全新的技术和概念,只是因为数据产生方式的改变,造成数据量级的巨大增长,使得软件工具处理和管理所花费的时间超过容忍,需要探索新的方式才能进行处理的一种海量、多样化、高增长率的数据集。

针对这种海量的数据集合,IBM提出了大数据的五项特征(简称5V):Volume:数据规模庞大,蕴含丰富的信息;Velocity:产生信息的速度十分迅速;Variety:信息的种类丰富多样;Value:由于数量的巨大使得价值密度偏低;Veracity:由实时产生具有真实性。

二、智慧公交平台基本构架

本文通过对现有的公交系统平台的调查分析,重新将公交平台架构进行组合,将其分成了基础硬件模块、大数据处理架构模块、应用呈现模块三个部分,具体如下:

(一)基础硬件模块。公交系统的基础设施主要包括公交车、车载终端和站牌路线系统,其中车载终端业是数据信息的主要获取和输出通道,其主要包括GPS车载定位系统、车载网络WiFi系统、视频监控系统、智能刷卡系统、自动报站系统和车载视频系统等。

尽管现如今的公交系统已经相对完善,但也存在着一些其他问题。如因部分车辆老旧没有GPS系统或系统老旧不能准确定位,报站系统报站延迟,除了报站系统基本没有与车辆路线相关的信息输出通道,站牌仅仅只有标识地点作用等。

这些问题都对乘客的乘车体验以及相关的数据收集利用产生了不好的影响。而这些问题总的来说是两个方面:(1)车载系统的不先进或缺失问题;(2)站牌系统的作用单一及落后。

因此,一个智慧公交平台想要拥有一个良好的基础设施。必须解决这两个方面,车载系统可以对其中的硬件进行合适的替换,定期对其附带的软件升级换代;对于站牌应该进行升级,用电子显示屏进行替代原先的固定印刷站牌,电子站牌显示可以分为两部分,一部分是静态的显示路线信息,另一部分通过动态的显示输出时间、天气和车辆到达时间预计等信息,以及通过播放广告来增加收益等。

(二)大数据处理架构模块。通过对智慧公交的大数据特征和处理所需要的技术要求进行分析,本文提出了与公交系统相适应的数据处理架构,该架构主要包括应用层、挖掘分析层、数据存储层、数据采集层。其整体构架图如图1所示。(图1)

1、数据采集层。公交系统的数据采集,主要通过车载设施如刷卡系统、视频监控系统、GPS系统等,在公交车运行过程中通过车载WiFi或其他数据网络发送至数据存储中心。此外,还可通过网络网站或邮件等方式对来自公众的反馈意见进行收集并存储。

2、数据存储层。对通过采集层采集到的海量信息,一般的计算机很难达到如此大的计算量,而超级计算机又价值昂贵,不适合使用,因此尝试使用更多的计算机系统来处理这些数据也就势在必行。而Hadoop架构正是这样一种利用计算机群,进行大数据的存储和计算的架构。

Hadoop的最底层是HDFS,也就是分布式文件系统,主要通过多台设备提供统一的存储空间,但却不会造成用户的察觉。而其本身对硬件要求不高,却可以进行高吞吐量的数据访问,可以使其部署在比较廉价的设备上,却能高效地完成数据存储。

HDFS文件系统之上是HBase分布式数据库,HBase采用列存储,依据不同的存储特性分别进行数据存储,十分符合大数据对处理时效性的要求。此外,由于HBase对存储形态没有特殊要求,因此公交系统中收集的各种各样的半结构化和非结构化数据也能很好的存储。HBase中的冗余多备份机制,能够减少单点故障的发生,提升HBase数据库的容错性。

MapReduce具有很强大的数据处理能力,面对公交系统产生的大数据,可以通过需求的不同,自行将大数据弹性分发给计算机集群中的计算机,这些计算机对接收到的数据进行并行运算,并以一定的周期将处理信息返回,使其可以及时高效地完成对大数据的分析和处理。而对于一些比较困难的问题,也可以将其按类拆分进而对其进行并发运算,从而实现所需要的处理结果。

同时,一个好的MapReduce系统需要一个良好的数据布局,而一个好的数据布局要满足数据量公平性和数据值域公平性,只有这样才能在各个节点上查询任务数据和运算阶段的时间相等,从而达到节约时间和降低能耗的目的。而达到数据量公平性和数据值域公平性,要满足以下两个公式:

数据量公平性:■=■

数据值域公平性:■=■

?棕i=g(ci)=?准c(ci)?茌?准d(ci)?茌?准m(ci)?茌?准n(ci),?准c、?准d、?准m、?准n分别是CPU、内存能力、网络设备能力和磁盘能力的评价标准,ci为计算机节点,?茌是聚集运算符,g函数是节点计算能力的映射函数,Mi为数据块个数,h(ci)为随机数据查询在节点ci上命中的数据块个数。

3、挖掘分析层。公交数据繁复庞杂,来源十分广泛,形式和种类也是多种多样,信息量庞大,想要从这些信息中找到我们需要的数据,进而为我们提供帮助。传统的统计和多维数据分析方法已经无法完成对这些复杂海量数据的处理分析,因此我们应该结合新兴的数据挖掘技术进行分析处理,常用的大数据挖掘方法有:粒子群算法、遗传算法、决策树算法、神经网络等。

本文通过对这些相关的技术进行运用将挖掘分析层分为五个模块,分别是数据筛选模块、可视化分析模块、数据挖掘模块、预测分析模块、展现模块。

数据筛选模块:由于公交数据的来源广泛,因此极易受到环境设备等因素的影响,进而产生一些无用或者错误的信息,在进行数据分析前通过该模块对收集到的公交信息进行筛选剔除,减少因无用信息和错误信息造成的资源浪费,提升数据的质量。

可视化分析模块:智慧公交系统的数据大致可以分为三类:半结构化数据、结构化数据和非结构化数据。由于这些数据的数量大、结构不统一、信息分布比较分散,所以很难将数据调入相应的应用系统中形成固定的分析模式,但可以借助可视化数据分析平台的强大功能,再辅以人工操作对海量的数据进行相关分析,进而完成分析任务。

该模块具有两个优点:其一,具有良好的交互功能,不但能够看到相关的数据,而且能随时开发和管理数据;其二,直观,可以通过二维的各种图像或者三维的各种模型和动画来进行展示结果。

数据挖掘模块:该模块主要通过一些数据挖掘方法如:聚类分析、遗传算法、决策树算法等,将得到的海量公交数据进行分析处理,寻找其中隐藏尚未被人们发现利用的信息,挖掘这些信息背后所隐含的知识和用途,为公交公司和各个信息使用者们提供帮助。即该模块通过一系列的大数据挖掘算法,将隐藏在大数据背后的有用信息,以人们熟知的方式进行呈现出来。

预测分析模块:以数据信息的特征与联系,以及从历史大数据中总结的行业规律为基础,建立科学有效的数据模型,将来自数据挖掘模块和可视化分析模块的结果进行分析运算,从而达到预测性分析的目的。

展现模块:将不同分析的结果及其来源依据以合理的方式呈现出来,为不同的信息需求者提供适合其理解和使用的方式进行展示,从而达到为其提供数据分析支撑的目的。

三、应用呈现模块

(一)调度与指挥系统。该系统主要从三个方面进行考虑:其一,路线优化,公交公司通过对来自公交系统的大数据和公众的呼声建议进行处理,对现有的公交线路情况进行分析,找寻其中的不合理地方,对其进行优化升级,形成科学、合理有效的新路线;其二,智能调度,通过对同一天的不同时段,工作日与休息日和节假日的信息进行对比统计分析,对公交班次进行智能调度,节假日高峰期,工作日高峰期班次相对密集一些,而其他时段按固定时间班次相对少一些,在排班数量变化不大的情况下,优化其运行班次,实现便民服务;其三,安全运营,对线路的历史安全数据进行分析,分析安全事故的原因,进行合理规避。

(二)社交应用APP。与百度地图、114等信息平台联合对公交大数据进行分析,开发公交专用APP,通过该软件可以对不熟悉的地方进行路线规划,通过GPS导航寻找站点,自带目标站点附近推荐,可以让你在不熟悉的地方也能如鱼得水,毫无陌生感;此外,在公交车上还可以进行实时地理位置查询,让你清晰的知道自己所处方位,而不用担心错过报站而不能及时下车。

而这些都只是基础功能,作为一个软件,不能只局限于简单的数据查询服务,应充分发挥出其互联网的虚拟、分享、互动的特质,因此其社交功能尤其重要,通过其社交功能我们可以知道每天都有哪些人和你一同坐在同一辆公交车上,无形间拉近人与人之间的距离,方便与其他人交流,甚至还可以通过软件定期举办活动,增进关系,缓解日益冷漠的人际关系。

(三)人群聚集分析。公交车作为我们每个人几乎都能用到的交通工具,不仅仅是我们出行的方式,它背后还隐藏着不同地区的人口分布和人口动向等,通过对这些人流的属性和动向等进行分析,为政府的城市规划和公共安全作出贡献。如通过对人流量大的地方的监控分析,防范非法集会和踩踏事件的发生;通过旅游区的客流量变化,及时做好相关应对,以及在哪些地方修建公共设施都极具参考意义。

四、结语

随着互联网的高速发展,大数据时代已经悄然来临,大数据在公交系统中的应用,既为公交运行解决了一些问题,同时又带来了新的挑战,我们不能仅仅注重于技术的提升,要同时对公交运行中产生的大数据进行深入挖掘分析,利用互联网大数据时代特有的优势,为民众、政府和企业带来新的发展和便利。

(作者单位:渤海大学信息学院)

主要参考文献:

[1]苏颖,樊重俊.智慧交通中大数据应用面临的挑战与对策研究[J].物流科技,2016.39.6.

[2]李凯,程洁.探究大数据时代的城市规划[J].价值工程,2016.35.

[3]鄂旭,毕嘉娜,侯建,苏宪利,冯冠.一种车牌智能定位方法研究[J].计算机技术与发展,2014.24.10.

[4]朱安平.基于大数据的智慧交通探析[J].中国管理信息化,2016.19.12.

[5]鄂旭,杨明婧,励建荣,毛玫静,谭艳.能量均衡的数据融合隐私保护算法研究[J].计算机工程,2016.42.4.

[6]邵良杉,赵琳琳.区间直觉模糊信息下的双向投影决策模型[J].控制与决策,2016.31.3.

[7]汪玚.公交信息化:有“大脑”更智慧[J].交通建设与管理(上半月),2014.12.

[8]姬倩倩.公共交通大数据平台架构与服务模式研究[D].西安电子科技大学,2014.