32
城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向 南京师范大学 虚拟地理环境教育部重点实验室 ——从空间统计分析到时空统计分析(下) 【城市数据派www.udparty.com大咖沙龙

大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

城市数据派认证

高级城市数据师:张海平

大 数 据 时 代 地 理 学 的 “ 时 空 ” 转 向

南京师范大学 虚拟地理环境教育部重点实验室

— — 从 空 间 统 计 分 析 到 时 空 统 计 分 析 ( 下 )

【城市数据派www.udparty.com】

大咖沙龙

Page 2: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

内容大纲

追本溯源——空间统计分析之历程

GIS视角——空间统计分析之内容

地理学界——时空哲学观之思辨

大数据背景——时空统计分析之趋势

回顾与总结

1

2

3

4

5

Page 3: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

当前内容

追本溯源——空间统计分析之历程

GIS视角——空间统计分析之内容

地理学界——时空哲学观之思辨

大数据背景——时空统计分析之趋势

回顾与总结

1

2

3

4

5

Page 4: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

地理学界——时空哲学之思辨

空间和时间是人类认识现实世界的基本维度。人类居于天地之间,必定处于时

空之中,“空”可呈地理物象之形态,“时”可现地理物象之变化,这也是地

理“时空”研究的“道”之所在。

同其它学科对“时空”的研究一样,地理学中的“时空观”也必须基于已有关

于“时空”的物理学理论、基本哲学观点展开后续的研究。从地理学科学主义

学派角度讲,还必须基于一定的“时空”数学模型对地理事件或现象进行建模

和分析。

地理学研究的基本维度——空间、时间

Page 5: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

地理学界——时空哲学之思辨

地理学的特殊之处在于它既属于自然科学又有人文社会科学的属性。其两大分

支:自然地理更偏向于自然科学,而人文地理则更偏向于人文社会科学。于是,

有关“时空”的地理学研究存在两大研究传统:

地理学研究中的——时间&空间

地理学“时空”观

物理“时空”观

心理“时空”观

更偏向于人文地理问题的研究

如时空收敛、时空压缩和“时空”世界系统等“时空”概念.

自然地理+人文地理问题的研究

考虑非线性、混沌等问题的 地理“时空”问题研究.还包括时间地理学等人文地理方法

注:人文地理偏向心理时空观,但同时关注物理时空观并引入定量建模和分析。

Page 6: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

地理学界——时空哲学之思辨

地理问题的各种定量化“时空”分析方法,一直伴随着学科的发展而不断扩展。

但这并不意味着在“时空”定量分析方面,地理工作者已经取得令人满意的成

果。

GIS作为时空数据分析的主要方法与技术支撑,无论数据模型、数据结构、可视

化方法还是分析模型,大多还停留在“空间”层面,极度缺乏被广泛认可并经

得住实践检验的真正意义上的“时空”模型。

首先,从【物理学、哲学】、【数学几何学】、【地理学】的时空维度哲学观

与表达形式出发进行讨论。

地理学定量方法中的时空分析

Page 7: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

地理学界——时空哲学之思辨

时空维度——物理学、哲学视角

(a)O维点 (b)1维点 (c)2维面 (d)3维体

t1 t2 t3

(e)4维序列

在物理学和哲学中,将点、线、面和体依次划分为0维、1维、2维和3维,不同

于几何学,这里时间也是一个维度,3维体随时间变化得到的结果序列称之为4

维序列。

Page 8: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

地理学界——时空哲学之思辨

空间维度——数学几何学视角

在几何学中,时间不是一个维度,也无法直接在欧式空间中表达。并且,即使

是点,也可以是2维点和3维点,线和面与之类似。

Page 9: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

地理学界——时空哲学之思辨

时空维度——地理学视角

在定量地理学中,我们既要顾及以抽象模拟现实世界为目标,又要以数学几何形

式表达地理物象为途径,就必须继承物理学中能真实反映现实世界的”时空“观

点,又要采用数学中可方便表达”空间“维度的优势。从而构建可行的地理时空

模型。

同一地理位置随时间变化的属性频谱 同一目标区域随时间变化的地图图谱

6:00 12:00

18:00 20:00 0

1000

2000

3000

4000

监测站01

监测站02

监测站03

地理分析中常见的“时空”分析与表达方式

此类方法优势明显,确定也显而易见!

Page 10: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

地理学界——时空哲学之思辨

时空维度与时间地理学

时间地理学中的时空制约模型(时空棱柱)是地理学中时空分析的典范,由于其

概念模型、逻辑模型及GIS数据结构在逻辑上较为一致,易于理解,实现起来比

较简单,应用也较为广泛。

时空制约模型 时空模式探测

Page 11: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

地理学界——时空哲学之思辨

时空维度与TGIS

时态GIS(TGIS),不同于常规的时空分析模型,时态GIS的目标不仅在于提供用

于分析时空数据的时空分析模型,还必须在时态数据处理、存储及可视化方面都

必须提供良好的解决方案。TGIS经过多年的发展,已经在理论和方法方面取得了

一系列的进展。但实际应用中,尤其是在数据存储模型和数据分析模型方面还存

在很多局限性。常见的TGIS模型有:

时间快照模型

时空立方体模型

基态修正模型

时空复合模型 等。 时空立方体模型

Page 12: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

地理学界——时空哲学之思辨

时空分析——从空间统计到时空统计

从计量革命到一系列空间统计方法的提出、应用、扩展和进一步的创新,空间统

计方法已经成为地理及相关学科问题定量分析的主要方法,并于地理信息科学与

技术深度融合,成为GIS空间分析的核心方法。与此同时,空间统计也在逐步扩

展至时空统计,立足地理“时空”观,基于已有空间统计理论与方法,实现时空

统计分析理论与方法的创新。

空间统计时空统计

计量革命 空间统计 时空统计

GIS技术

内部集成专业化

外部应用多元化

Page 13: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

当前内容

追本溯源——空间统计分析之历程

GIS视角——空间统计分析之内容

地理学界——时空哲学观之思辨

大数据背景——时空统计分析之趋势

回顾与总结

1

2

3

4

5

Page 14: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

大数据驱动下的时空数据分析

过去,由于时空数据的可获取性等方面的限制,大多数空间统计更加关注空间维

度,真正意义上的时空统计分析并没有过多地受到人们的关注,导致时空统计方

法发展缓慢。

近年来,一方面,环境感知和社会感知能力进一步增强,极大地提升了时空数据

的可获取性;另一方面,各种基于空间大数据进行实时、动态化分析的研究和应

用需要,促使传统的空间统计方法必须扩展至时空域中,构建时空统计分析方法。

基于时空大数据的时空统计分析备受关注!

Page 15: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

大数据驱动下的时空数据分析

从GIS数据模型的视角发出,空间统计分析可分为基于场观点的统计分析和基于

对象观点的统计分析。从另一个角度讲,Cressie将空间统计领域研究的数据对象

又分为地统计数据、面数据和点数据。

空间统计分析核心任务

GIS数据模型 观点

基于场模型观点的地统计分析

基于对象模型观点的空间统计

Cressie划分方法

地统计数据(Geostatistical data) 区域数据(Lattice data) 点模式数据(Pattern data)

空间格局分析 热点模式探测 空间关系建模 表面模拟及预测

Page 16: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

时间维度——使传统的空间统计分析模型更为复杂

从GIS的视角出发,对象观点的空间统计多采用空间自相关指数度量其自相关性。

而场观点的空间统计则主要通过半变异函数和协方差函数进行度量。

x

y

t

x

y

t

x

y

x

y

基于反距离加权的二维离散型对象空间自相关度量

基于反距离加权的三维离散型对象时空间自相关度量

不同距离阈值条件下的空间连续型二维对象空间自相关度量

不同距离阈值条件下的空间连续型三维对象空间自相关度量

Page 17: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

基于场模型的时空统计分析

右图为地统计中考虑时间维度的自相关探测示意图。XY表示二维空间维度,而T

轴则表示时间维度。三个层表示三个时刻。

仅考虑空间维度,则:

O

X

T

Y 𝑧1 = (𝑠, 𝑡)1

ℎ23 𝑧2 = (𝑠, 𝑡)2

𝑧3 = (𝑠, 𝑡)3

ℎ13 ℎ12

𝑡23

𝑡13 𝑡12

ℎ12 < ℎ23 < ℎ13

如果同时考虑时间维度,则

在自相关的统计中就更加复

杂。其中一种关系是:

t12 = ℎ23 < ℎ13

也即:位置𝐿𝑖对应的属性z𝑖和位置𝐿j对应的属性z𝑗是由(h,t)共同决定的。

Page 18: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

地理学界——时空哲学之思辨

基于对象模型的时空统计分析

一组数据量达到数百万条记录的出租车乘客上车的位置数据和时间记录数据。

近百万个出租车乘客上车位置数据 近百万个出租车乘客上车的位置和时间数据

X

y t

x

y

Page 19: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

基于对象模型的时空统计分析

传统的空间统计分析中,基于此数据集,既可以直接进行点模式分析,也可以按

照某种区域对点进行统计,并进一步基于区域数据进行统计分析,统计分析可以

是模式分析,也可以是基于多变量的空间回归分析。

原始事件数据(乘客上车地点) 密度制图-基本可视化

热点探测-空间统计分析

异常值探测-空间统计分析

Page 20: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

基于对象模型的时空统计分析

对于含有时间属性的时空数据,已有成熟的时空统计模型对其进行时空统计分析,

如基于时空立方体的时空热点分析、时空高低异常值统计分析等。

时空数据(乘客上车地点)

时空热点探测-时空统计分析

时空异常值探测-时空统计分析

时空立方体-时空可视化

Page 21: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

基于对象模型的时空统计分析

时空统计分析的一个难点在于,如何对分析结果进行可视化表达。一方面,人眼

可感知的对象维度为三维,而考虑时间维度则通过时间序列或者动画等方式体现。

当时间序列较多时,时间序列并不利于人眼感知。时空动画在研究和应用中也具

有一定的局限性。

很多问题中,问题的建模并不考虑高程,因此二维空间+时间维度实际上仍然是

一个三维空间,可被人眼感知。以下为基于时空立方体的时空热点可视化结果:

Page 22: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

基于对象模型的时空统计分析

基于时空立方体可视化模型,可以分别对时空样方、时空热点、时空异常值等统

计分析结果进行三维可视化。

时空热点分析结果 时空样方统计结果 热点-99%置信度

热点-95%置信度

热点-90%置信度

无显著模式

冷点-90%置信度

冷点-95%置信度

冷点-99%置信度 高-高

低-高

低-低

高-低

时空异常值分析结果

高 低

Page 23: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

基于对象模型的时空统计分析

基于时空统计分析的结果,可以根据时间条件、置信水平条件及空间条件等进行

筛选查询并可视化。

99%置信水平以上的时空热点分布 90%以上置信水平的时空热点分布 95%置信水平以上的时空热点分布

90%以上置信水平的时空冷点分布 99%以上置信水平的时空冷点分布 95%以上置信水平的时空冷点分布

Page 24: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

基于对象模型的时空统计分析——动态可视分析

Page 25: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

基于对象模型的时空统计分析

基于位置的时空热点模式探测 基于区域的时空热点模式探测

时空数据常见的形式包括:位置固定-属性变化;位置不定-属性不变;位置不定-

属性变化三种形式。对于位置固定-属性变化的情形,位置可以是一个点、也可以

是一个面域。因此,基于对象模型的时空统计模型还必须考虑这两类情况。其主

要差异体现在统计分析的空间内部结构化关系建模和时间序列的结构化内部关系

建模中。

Page 26: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

基于对象模型的时空统计分析

相比基于点聚合、位置点的时空统计分析,基于区域的时空统计分析在时空内部

化关系建模过程中,其建模逻辑更为复杂。

基于面板的时空统计分析过程示意 基于面板的时空统计分析结果示意

Page 27: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

大数据背景——时空统计分析之趋势

基于对象模型的时空统计分析

以上时空统计分析模型基于成熟的、并广泛应用的局部空间自相关统计模型扩展

而来,科学性较强。不仅弥补了基于单个位置的时间序列分析、基于图谱等形式

的时空序列分析的缺点,并且,还可以综合考虑空间关系

和时间序列关系识别16种类型的时空模式。

时空模式( 7:00~9:00 ) 时空模式( 18:00~20:00 )

Page 28: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

当前内容

追本溯源——空间统计分析之历程

GIS视角——空间统计分析之内容

地理学界——时空哲学观之思辨

大数据背景——时空统计分析之趋势

回顾与总结

1

2

3

4

5

Page 29: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

回顾与总结

总结

空间统计分析既是计量地理学的重要分支,也是GIS空间分析中的重要方法。

GIS的独特优势同空间统计模型相结合,充分发挥各自的优势。

GIS视角下的空间统计分析,可以有多种划分方法,基于数据模型,可以分为

场模型支持下的地统计分析和对象模型支持下的空间统计分。按照是否将空

间逻辑融入到统计模型中,又可以将其分为空间数据的统计分析和数据的空

间统计分析。

空间统计分析方法在多个领域得到广泛的应用,但对其理解也有所差异。而

在GIS中,特别强调空间统计模型中要融入空间自相关性。有很多非GIS视角

的空间统计模型,并没有考虑空间自相关性。

了解从传统统计分析模型到空间统计分析模型的转化过程,对于研究和应用

中正确使用和扩展空间统计模型具有重要作用。

Page 30: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

回顾与总结

总结

实际上,对于很多空间统计分析模型的应用行业,都存在严重的模型应用不

准确甚至错用的情况。这种情况已经在产、学、研界造成了一定的负面影响。

科学地使用空间统计模型显得尤为重要。

地理学的特殊之处在于它既属于自然科学又有人文社会科学的属性。因此,

地理学视角下的“时空观”包括两个方面:物理“时空观”和心理“时空

观”。

要理解定量地理学中的“时空观”,首先需要深刻认识物理、哲学中的时空

理论与观点,以及数学中的“时空”表达方法。定量地理学中的“时空观”

继承自以上两个方面。

在定量地理学中,我们既要顾及以抽象模拟现实世界为目标,又要以数学几

何形式表达地理物象为途径,就必须继承物理学中能真实反映现实世界的”

时空“观点,又要采用数学中可方便表达”空间“维度的优势。从而构建可

行的地理时空模型

Page 31: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

回顾与总结

总结

时态GIS(TGIS),不同于常规的时空分析模型,时态GIS的目标不仅在于提供

用于分析时空数据的时空分析模型,还必须在时态数据处理、存储及可视化

方面都必须提供良好的解决方案。TGIS经过多年的发展,已经在理论和方法

方面取得了一系列的进展。但实际应用中,尤其是在数据存储模型和数据分

析模型方面还存在很多局限性。

时空统计是一个宽泛的概念。不同学科有不同的认识。GIS视角下的时空统计

分析仍然继承传统的空间统计分析,分析对象上包括地统计数据(场数据),

区域数据和点模式数据。方法上包括数据的时空统计分析和时空数据的统计

分析两大方面。

随着时空大数据获取能力的提升,以及人们愈加关注时空维度的统计分析与

数据挖掘,很多时空统计方法得以进一步发展和应用。其中,GIS中基于对象

的时空统计分析和基于场的时空统计分析已经有很多成熟可用的模型。并与

GIS强大的数据处理、可视化等相结合,进一步增强了时空统计方法的实用性。

Page 32: 大数据时代地理学的“时空”转向 ——从空间统计分析到时空 ......城市数据派认证 高级城市数据师:张海平 大数据时代地理学的“时空”转向

谢谢!