一种时空数据集划分方法与流程-j9九游会真人

文档序号:35754664发布日期:2023-10-16 19:59阅读:2来源:国知局


本发明涉及数据处理技术领域,特别是涉及一种时空数据集划分方法。


背景技术:

时空数据(spatial-temporaldata)是指具有空间和时间维度的一类数据,它通常用来描述某一对象的空间信息随时间的变化状态。随着通信技术的进步,时空数据通过网络的传播已经开始遍布生活中的角落,并且日益扩大影响。但是,时空数据量的爆炸带来的是对数据的划分、存储和查询使用的挑战,如何精准的对时空数据进行划分,是目前亟待解决的问题。


技术实现要素:

为了克服现有技术的不足,本发明的目的是提供一种时空数据集划分方法。为实现上述目的,本发明提供了如下方案:一种时空数据集划分方法,包括:根据从多个维度采集到的时空数据构建初始数据集;对所述初始数据集进行预处理,得到预处理数据集;按照多个层级的地理区域对所述预处理数据集进行划分,得到各个地理区域数据集;按照多个分析目标对所述地理区域数据集进行分类,得到划分后的时空数据集。优选地,根据从多个维度采集到的时空数据构建初始数据集,包括:通过互联网爬取所述时空数据;对所述时空数据进行数据排序,得到所述初始数据集。优选地,对所述初始数据集进行预处理,得到预处理数据集,包括:对所述预处理数据集中的数据缺失值进行填补,得到填补后的数据集;对所述填补后的数据集中的数据异常值进行删除,得到所述预处理数据集。优选地,在对所述初始数据集进行预处理,得到预处理数据集之后,还包括:根据所述初始数据集中的各个数据点之间的空间距离构建联系度模型;利用所述联系度模型构建空间修正函数;利用所述空间修正函数去除各个数据点中的异常值,得到修正后的预处理数据集。优选地,按照多个层级的地理区域对所述预处理数据集进行划分,得到各个地理区域数据集,包括:按照预先划分的多个层级的地理区域,为所述时空数据添加对应的地理标签,每个地理区域具有对应的地理标签;对各地理区域所包括的时空数据进行去重处理,得到各个所述地理区域数据集。优选地,按照多个分析目标对所述地理区域数据集进行分类,得到划分后的时空
数据集,包括:按照所述多个分析目标,对去重处理后的地理区域数据集进行分类,得到每个分析目标所包括的划分后的时空数据集。根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供了一种时空数据集划分方法,包括:根据从多个维度采集到的时空数据构建初始数据集;对所述初始数据集进行预处理,得到预处理数据集;按照多个层级的地理区域对所述预处理数据集进行划分,得到各个地理区域数据集;按照多个分析目标对所述地理区域数据集进行分类,得到划分后的时空数据集。本发明能够精准地对时空数据集进行划分,从而提高了时空数据的适用范围和传输效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1为本发明实施例提供的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤、过程、方法等没有限定于已列出的步骤,而是可选地还包括没有列出的步骤,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤元。本发明的目的是提供一种时空数据集划分方法,能够精准地对时空数据集进行划分,从而提高了时空数据的适用范围和传输效率。为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。图1为本发明实施例提供的方法流程图,如图1所示,本实施例提供了一种时空数据集划分方法,包括:步骤100:根据从多个维度采集到的时空数据构建初始数据集;步骤200:对所述初始数据集进行预处理,得到预处理数据集;
步骤300:按照多个层级的地理区域对所述预处理数据集进行划分,得到各个地理区域数据集;步骤400:按照多个分析目标对所述地理区域数据集进行分类,得到划分后的时空数据集。可选地,为了满足不同用户,对不同层级和不同维度的时空数据分析的需求,本发明实施例可以从多个维度采集时空数据,并将采集到的时空数据按照多个层级的地理区域进行划分,并可以提供多种分析目标。优选地,根据从多个维度采集到的时空数据构建初始数据集,包括:通过互联网爬取所述时空数据;对所述时空数据进行数据排序,得到所述初始数据集。在一个示例中,可以基于百度定位大数据采集时空数据。百度定位大数据可以覆盖全球,且每天定位点超过900亿,以为时空分析提供海量数据基础。可选地,在时空数据采集过程中可以包括多种途径。例如:离线采集人口定位数据;通过诸如交管部门等第三方提供的交通路况数据;通过互联网爬取或购买商场或景区等职能区域信息;实时采集用户定位日志。其中,用户可以包括以本实施例方法为基础的产品使用者。采集到的原始时空数据可以存储至分布式文件系统(hadoopdistributed file system,hdfs)中。优选地,对所述初始数据集进行预处理,得到预处理数据集,包括:对所述预处理数据集中的数据缺失值进行填补,得到填补后的数据集;对所述填补后的数据集中的数据异常值进行删除,得到所述预处理数据集。优选地,在对所述初始数据集进行预处理,得到预处理数据集之后,还包括:根据所述初始数据集中的各个数据点之间的空间距离构建联系度模型;利用所述联系度模型构建空间修正函数;利用所述空间修正函数去除各个数据点中的异常值,得到修正后的预处理数据集。具体的,根据所述初始数据集中的各个数据点之间的空间距离构建联系度模型,包括:采用公式构建联系度模型;其中,σ表示历史时间段内在m点的传感器与在n点的传感器之间温度差的平均值,dis(m,n)表示在m点的传感器与在n点的传感器之间的空间距离,r表示预设参数。优选地,利用所述联系度模型构建空间修正函数,包括:利用每个数据点的加权值构建修正阈值;其中,所述修正阈值为:其中,yi表示数据点器采集的第i个数据的数值,wi表示yi的加权值;基于修正阈值和联系度模型构建空间修正函数。具体的,本实施例通过利用空间修正函数融合同一个数据点的测量值,可以避免数据点在某一时刻采集的测量值与实际值出现较大偏差的情况,使数据点的测量值更加真
实。优选地,按照多个层级的地理区域对所述预处理数据集进行划分,得到各个地理区域数据集,包括:按照预先划分的多个层级的地理区域,为所述时空数据添加对应的地理标签,每个地理区域具有对应的地理标签;对各地理区域所包括的时空数据进行去重处理,得到各个所述地理区域数据集。优选地,按照多个分析目标对所述地理区域数据集进行分类,得到划分后的时空数据集,包括:按照所述多个分析目标,对去重处理后的地理区域数据集进行分类,得到每个分析目标所包括的划分后的时空数据集。本实施例方法的分析对象即为地理区域。地理区域的划分在横向(类别)和纵向上均可以表现为多个层级。例如:地理区域可以包括但不限于职能区域、街道区域、行政区域和自定义区域。另外,某一地理区域可以涵盖一个或多个其他地理区域。其中,职能区域可以是以功能不同划分的区域。例如:商场、住宅小区、景区、医院等。自定义区域可以是用户根据自己实际需求而定义的固定区域。本实施例中,对于采集到的时空数据除了可以进行多个层级的地理区域的划分,还可以按照多个分析目标进行分类。举例而言,分析目标包括但不限于:(1)常驻人口分析目标。例如:区域常驻人口数量分析,包括但不限于在该区域住的人口数量分析以及在该区域工作的人口数量分析;按性别、年龄、教育水平检索的热力图信息的提供;区域内人口画像数据的提供等。(2)职住分析目标。例如:居住人口工作地分析、工作人口居住地分析和区域通勤方式分析等。(3)客流分析目标。例如:区域内客流量按时间的汇总信息的提供;区域内全部客流以及外来客流的热力图信息的提供;外来客流来源地分析;外来客流画像分析。此外,对于区县级别的行政区域,客流分析目标还可以包括外来客流热门聚集地分析,且可以涵盖景区、医院、商场等职能区域。(4)人口流动分析目标。例如:按照城市、区县、乡镇等不同级别的行政区域中的常驻人口(包括居住人口和工作人口)的流动分析。(5)用地类型分析目标。(6)起点-终点(origin-destination,od)分析目标。例如:基于地理区域内的定位点数据进行聚类算法分析,以实现按工作日-周末的区域迁入迁出分析。
77.(7)交通分析目标。例如:区域拥堵指数分析、区域拥堵道路排行和区域交通站点分析等。本发明的有益效果如下:本发明能够精准地对时空数据集进行划分,从而提高了时空数据的适用范围和传输效率本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说
明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
当前第1页1  
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
网站地图