网格计算技术第一章绪论

网格计算技术

第一章绪论龚斌

山东大学计算机科学与技术学院山东省高性能计算中心

主要内容• 网格概述• 网格分类• 网格的应用• 网格研究现状• 网格相关组织

What is Grid Computing?

• The term Grid comes from an analogy to the Electric Grid.– Pervasive access to power.– Similarly, Grid will provide pervasive,

consistent, and inexpensive access to advanced computational resources.

• Grid computing usually associated with geographically distributed resources connected by high-performance networks.


• Grids are about sharing computational resources among multiple organizations/owners, multiple users no matter where they are located

– They are usually not controlled centrally

– The resources, their software and their management differs considerably across grid

– They are expected to be extensible and the infrastructure enabling them needs to scale to very large systems

• So standards and standardized infrastructure is vital


Here is one early definition• The transparent, systematic and effective

utilisation of geographically distributed heterogeneous resources (both hardware and software) for applications in science and commerce

• Nowadays “geography” not so important, but resources in different Internet (admin) domains

More Recent Thoughts• Flexible, secure, coordinated resource sharing among dy

namic collections of individuals, institutions, and resource

From “The Anatomy of the Grid: Enabling Scalable Virtual Organizations”

• Enable communities (“virtual organizations”) to share geographically distributed resources as they pursue common goals -- assuming the absence of…– central location– central control – Omniscience(全知，上帝 ) – existing trust relationships

• Grids are very much about large-scale resource sharing. – Spanning administrative boundaries.

• Problem solving in dynamic, multi-institutional environment.

• Sharing for example:– Direct access to computers, software, data, and other

resources. – Sharing is highly controlled, clear definitions of exactly

what is shared, who is allowed to share, and the conditions under which sharing occurs.

Not A New Idea• Late 70’s – Networked operating systems• Late 80’s – Distributed operating system• Early 90’s – Heterogeneous computing• Mid 90’s - Metacomputing

• Then the “Grid” – Foster and Kesselman, 1999• Also called parallel distributed computing

Resource 资源

• Computation

• Storage

• Communications

• Software and licenses

• Special equipment, capacities, architectures, policies

什么是网格？网格（ Grid ）是构筑在 Internet 上的一组新

兴技术，它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体，为科技人员和普通老百姓提供更多的资源。 Internet 主要为人们提供E-mail 、网页浏览等通信功能，而网格功能更多更强，能让人们透明地使用计算、存储、信息处理等其他资源。

1998, The Grid: Blueprint for a New Computing Infrastructure.

Ian Foster : 美国阿岗国家实验室资深科学家、美国计算网格项目负责人

http:/ /

http: / /

Web: Uniform naming/access to documents

http:/ /

http: / /

Web: Uniform naming/access to documents

On-demand creation of powerful virtual computing systems

Grid: Uniform, high-perf access to computational resources

Sensor nets

Data archives

Computers

Softwarecatalogs

Colleagues

Sensor nets

Data archives

Computers

Softwarecatalogs

Colleagues

两种网络应用方式

网格• 耦合各种资源的基础结构

– 计算机 – 软件 – 数据库 ( 例如 , 人类基因库 )– 各种仪器 ( 例如 , 射电望远镜 )– 人 ( 物理学家、数学家、计算机专家 )

• 跨越局域网 / 广域网边界 – 企业 , 组织 , Internet

• 统一集成的单一资源

Grid 的由来

网络资源联合计算 MetaCom

puter

八十年代

一个无缝集成的计算和协同环境Computational

Grid

九十年代中期

广域资源的联合处理服务 Grid ：

含义变化应用广阔本世纪初

国家信息基础设施－数字信息基础设

施本世纪

数据、信息和知识

网格应用需求背景• E-Science

– 大规模构造和挖掘大型的观测和模拟数据库– 开发计算机模拟和分析– 访问远程的特殊设备– 分布各地的合作研究人员近实时的交换信息

• E-Business– 企业计算是高度分布、异构、企业之间 (B2B)– 企业计算需要大量计算和数据服务– 各种资源和服务的提供商出现，租赁业务是可行的

网格应用需求背景• E-Government

– 各个政府部门的信息互通和互操作– 部门之间资源和信息共享和整合

• E － Entertainment– 大规模的视频点播：分布、海量– 在线游戏 : 成千上万人、交互、处理

• E-Education– 教育信息化– 主动学习方法和交互式的教学方式– 网络上作模拟实验

电网

电站电站电站

水坝矿山油井

电力网格和计算网格的能力对比

性能指标电力网格计算网格

资源组成热量，地热 , 风 , 太阳 , 核等各种不同的能量

被不同的操作系统和管理系统驱动的个人计算机，工作站，群等

网络构成输电线路和地下电缆。为线路保护实施的各种不同的复杂方案 .

英特网是连接与分配资源和负荷等的载体

相似点总线电力能量传输电压输送网 (230 kV-760kV)

传输网 (25kV- 150kV)分配网 (120/240V, 25 kV)

电缆动力能量 (MW-hour)直流电池仅能储存较小容量

节点计算数据传输带宽大量数据通过光纤 -OC48,ATM (2.4 Gbits per sec)EtherNet, T-3 (45 Mbits per sec)Modem, ISDN (56-128 Kbits per sec)等方式传输电缆计算能力计算能力不可储存。

资源获取发电站 (例如：火力发电站，水力发电机 , 风力发电机 )

网格资源 (举例来说 , 计算机 , 数据源 , 互连网服务 , 数据库 )

应用范围不同的用电设备，例如风扇 (机械能 ), TV(电能 ), 电熨斗 (热能 )

各种不同的应用 , 例如多媒体 (图形 ), 科学 / 工程 (解决问题 )

操作频率统一的供电频率 50 or 60 Hz.(直流电除外 ),类似正弦曲线 .

不统一 , 由 CPU的处理能力和时钟周期 .决定

接入方式直接接入 , 例如个人用户通过墙上插座，单位用户通过变压器。

支持统一接口访问不同资源 (例如向资源提交任务的 Globus GRAM接口 ).

使用难度十分简单：即插即用十分复杂 , 希望通过改变接入和激活方式来解决 .

对各种不同等级资源的匹配

可以用变压器来实现，例如可以把 220V变到 5V.

网格资源代理根据性价比来选择资源匹配 . 应用系统应该对不同机型有兼容性，这意味着像变压器那样的设备是不需要的 .

资源整合当一个负荷需要本地无法提供的能量时 , 超出的电能就通过网格供给 . 主要是由电力调度中心使用经验的时序分配算法及负菏分配装置来完成这次工作 .

当一个应用需要比独立资源更快的计算能力时 , 计算网格允许执行应用的并

行组件实行资源整合。像Nimrod-G那样的网格资源代理有完成资源整合的能力 .

可靠性重要的线路设有旁路。电站，输电线路，仪器等采取了周密的保护措施。

在网格中的资源可能在没有通知的情况下停止服务了。因此需要网格资源代理来处理这类事情。

稳定性保证发电机同步的稳定线路和成熟的控制方法确保自动化设备的正常工作。

它仰赖资源管理政策。如果资源是共享的资源 ,那麽对使用者可利用的计算能力可以因时间不同而不同。

传输容量以线路能承受的热极限作为线路传输容量的最大上限。

以带宽作为线路传输容量的最大上限。

安全性保险丝 , 断路器等。防火墙、公共密钥 (PKI)及基于网格安全的 PKI 。

资源共同产生可以，但可人为选择可以，但可人为选择

存储只有低能量的直流电使用电池储存 .

计算能力不可储存。

自动计量有先进的测量和计费装置本地资源管理系统支持计费。资源代理也能统计资源消费 ( 例如， Nimrod-G 代理做了应用级计量 ) ，而且需要像网格银行这样的全球级服务交换和计费机制。

系统连接各种不同的地区性能量池采用一种叫做 tie-line 的弱连接方式互相连接。

英特网在 Legion 和 Condor-G 中提供连接性诸如 JobQueue 的服务和工具。它提供紧密型连接的资源联盟。

不规则网格的操作在有足够发电能力的国家中的成功操作 .

因为这种技术成熟，而且开始产生商业利益 ,我们相信它会有美好前景。

规则网格的操作负荷调度中心管理最优化的系统操作。

计算网格资源的供给与需求的定量装置有很大的潜在市场。

协调大体上 , 被厂商和政府机构组成的自治组织管理。例如 , 澳洲的 NEMMCO 组织。

目前，计算网格还没有一个组织来协调。在一些国家的高速计算中心 ( 例如 , 英国 ) 有一个简单的管理委员会，为不同的资源分配处理器时钟周期。这与一个单一管理领域中的价格规则相似 , 它能在将来所有互相合作的国家级计算中心之间推广。

标准部件对各种不同的部件、设备和系统操作等有许多标准化实体 ( 例如 ,变压器等设备有 IEEE 标准 ).

已经有诸如全球的网格论坛的论坛和端对端 (P2P) W

G 促进会来实践。英特网标准化议题分别地被 IETF

和 W3C 处理。

电力网与网格比较发电厂高性能计算中心、信息中心发电机高性能计算机、服务器电能信息、知识、交易水能、风能、火能、核能数据库、传感器等数据源输电线 WAN 、 MAN 、 LAN

电力调配系统网格系统软件、中间件动力电、照明电、家用电器等应用

科学计算、电子商务、信息服务等网格应用

各种电器网格终端设备

判断是否网格的三原则：• coordinates resources that are not subject to centralized

control 非网格： Web, Sun Grid Engine

• using standard, open, general-purpose protocols and interfaces

非网格： P2P , Condor• to deliver nontrivial qualities of service 是网格： GriPhyN, DataGrid, IPG, DAS-2

2002, What is the Grid? A Three Point Checklist.

《福布斯》杂志：电脑业趋势《福布斯》杂志：电脑业趋势• 美国《福布斯》杂志科技版于 2001 年 9月发表了一组文章，分析了信息技术 40年的发展历史和今后 20年的趋势，指出网络计算将极大地改变人们的工作和生活，– 信息技术的下一波大浪潮将在 2004 － 2005年度出现，并造就 2005-2020 十五年的黄金时代

– 这个大浪潮将极大地改变我们的工作和生活。到 2020年，由此产生的互联网将成长为一个 20 万亿美元产值的大工业。

– 信息市场从 2000年的一万亿美元增长 20倍。– 这一波浪潮的本质特征，就是万维网（ World Wide

Web ）升华为网格（ Great Global Grid ）。

2020 年计算机技术将广泛普及

对国民经济和社会发展的影响

时间专家使用早期流行公众认识广泛使用

大型机 - 终端

客户机 - 服务器

因特网

按需计算（网格）

我们目前所处阶段

网格技术的目标网格技术的目标 ::应用层面的互连互通—消除资源孤岛应用层面的互连互通—消除资源孤岛

计算机计算机因特网

网页网页Web

应用应用网格

网格是下一波大浪潮• 第一波• 1960- 现在• 计算机联通• Internet

• telnet

ftp

E-mail

第二波 1980- 现在网页联通 WWW Http://

第三波 1993- 现在资源全面联通 Grid Grid:// 计算资源存储资源信息资源知识资源

WWWGGG

P2PParasitic Computing

Computing and Data Grid

GGG （ Great Global Grid ）

HP eSpeakIBM Web ServicesMicrosof.NetSun ONE

TeraGridIPGGIGASCI GridData Grid

Information and Knowledge Grid

Semantic WebKnowledgeManagementOntologyInformationPlatform

Business Grid

CDN

RTEC

Web Service

Other Grid Models

网格的本质• 本质

– 资源共享– 协同工作

• 在多个机构动态形成的虚拟组织中共享资源和协同解决问题。

网格的特点• 虚拟性—虚拟组织 VO

• 集成性—集成创新• 协商性• 分布与共享• 自相似性• 动态性与多样性• 自治性与管理的多重性

网格的主体和客体• 网格主体：网格活动的驱动者，是网格中具有自主活动能力的实体，网格中的活动指令都是由网格主体发出的。– 网格用户– 网格应用

• 网格客体：网格中不能自主活动的实体，是网格活动进行的场所、操作实现的工具等。

• 网格策略：哪个主体，在什么时间，对哪个客体进行什么操作？

网格主体、客体和策略间的关系

主体客体

策略

网格的分类

• 按网格客体分类• 按网格主体分类• 按网格策略分类

按网格客体分类• 资源网格—计算网格、数据网格• 信息网格• 知识网格

网格物理基础（ Internet，局域网）

资源网格（计算网格，数据网格）

信息网格

知识网格

网格应用

网格的分类

应用软件和信息资源的共享存取应用软件和

信息资源的共享存取

信息服务网格信息服务网格高性能计算机系统的共享存取高性能计算机系统的共享存取

计算网格计算网格

数据库和文件系统的共享存

取

数据库和文件系统的共享存

取

数据数据网格网格

按网格主体分类• 科学研究网格： Grid Physics Network, E

DGrid

• 游戏网格： butterfly.net

• 制造网格• 访问网格： AccessGrid

• 。。。

按网格策略分类• 网格研究刚开始，最终定位不清• 研究人员对网格策略有不同的观点• 策略分类很少研究

网格分类根据网格所管理的资源类型• 计算网格：强调计算力获取、管理等的网格；• 数据网格：强调数据存储、管理、传输、处理的网格；• 信息网格：强调信息存储、管理、传输、处理的网格；• 服务网格：强调应用服务集成的网格；• 知识网格：强调知识存储、管理、传输、处理的网格；• 语义网格：强调语义解析的网格，实现语义互操作；

Classes of Grid Services / Types of Grids• Computational Services – CPU cycles

– Pooling computing power: SETI@Home, TeraGrid, AusGrid, ChinaGrid, IndiaGrid, UK Grid,…

• Data Services– Collaborative data sharing generated by instruments,

sensors, persons: LHC Grid, Napster• Application Services

– Access to remote software/libraries and license management—NetSolve

• Interaction Services– eLearning, Virtual Tables, Group Communication

(Access Grid), Gaming• Knowledge Services

– The way knowledge is acquired, processed and managed—data mining.

• Utility Computing Services– Towards a market-based Grid computing: Leasing and

delivering Grid services as ICT utilities.Computational Grid

Data Grid

ASP Grid

Interaction Grid

Knowledge Grid

Utility Grid

infra

stru

cture

Users

IBM的网格远景：现在的计算机

未来：因特网是计算机 !

作业提交过程示例

UIJDL

Logging &Book-keeping(LB)

ResourceBroker (RB)

Job SubmissionService (JSS)

StorageElement(SE)

ComputeComputeElement CE)Element CE)

Information Service (IS)

ReplicaCatalogue(RC)

UIJDL


ResourceBroker (RB)


StorageElement(SE)

ComputeComputeElement (CE)Element (CE)



Job SubmitEvent

Input Sandbox

Job Status

submitted


UIJDL


ResourceBroker (RB)


StorageElement(SE)




Job Status

submitted

waiting


UIJDL


ResourceBroker (RB)


StorageElement(SE)




Job Status

submitted

waiting

ready


UIJDL


ResourceBroker (RB)

Job SubmissionService(JSS)

StorageElement (SE)




Job Status

submitted

waiting

ready

BrokerInfo

scheduled


UIJDL


ResourceBroker (RB)


StorageElement(SE)




Job Status

submitted

waiting

ready

scheduledInput Sandbox

running


UIJDL


ResourceBroker (RB)


StorageElement(SE)




Job Status

submitted

waiting

ready

scheduled

Job Status

running


UIJDL

Logging &Book-keeping

ResourceBroker

Job SubmissionService

StorageElement

ComputeComputeElementElement

Information Service

ReplicaCatalogue

submitted

waiting

ready

scheduled

running

Job Status

done

Job Status作业提交过程示例

UIJDL

Logging &Book-keeping

ResourceBroker

Job SubmissionService

StorageElement

ComputeComputeElementElement

Information Service

ReplicaCatalogue

submitted

waiting

ready

scheduled

running

done

Job Status

Job Status

outputready

Output Sandbox


UIJDL


ResourceBroker (RB)

Job SubmissionService (JS)

StorageElement(SE)




Output Sandbox

cleared

submitted

waiting

ready

scheduled

running

done

Job Status

outputready


Grid Scenario

QuickTime™ and aPhoto decompressor

are needed to see this picture.

我们看到一些东西 ,但太落弱 .

请模拟加强信号并识别 !

WashU Potsdam

Thessaloniki

OK! 资源预计：需要 5TB, 2TF.

什么地方可完成此任务 ?

RZG

NCSA

1Tbit/secHong KongQuickTime™ and a

Photo decompressorare needed to see this picture.

资源代理 :LANL 是最好的匹配…

资源代理 :NCSA + Carching但是，需要

10Gbit/sec…

LANLNow..

LANL

Applications

software网格挑战

Storage

Networks

Sensors

Instruments统一访问 ?

统一管理 ?

单一视图 ?

PC DevicesSupercomputer

按需服务 ?

Info.

Persons

网格三个阶段

互联网服务提供方

服务网格• Virtualization of services• Dynamic service provisioning• Self-healing of services• Integratable with Enterprise ap

plications

企业间及合作伙伴

合作网格DOE, UK Grid & DoD• 协同共享• 公用的数据中心• 动态的提供资源

企业内部

time

共享程度

企业网格Toshiba, TI, GM• Cluster-to-cluster sharing ma

nagement• Reliable file transfer & staging• User account mapping, Firew

alls, Kerboros

1996 2000 2004 2008

Using a grid: A user’s perspective

• Enrolling and installing grid software

• Logging onto the grid

• Queries and submitting jobs

• Data configuration

• Monitoring progress and recovery

• Reserving resources

Using a grid: An administrator’s perspective

• Planning

• Installation

• Managing enrollment of donors and users

• Certificate authority

• Resource management

• Data sharing

Using a grid: An application developer’s perspective

• Globus

• Grid Middleware

• Grid Portal etc.

Building a Grid -The Project Manager’s View

• Keys to success:– Realize that grids are built, not bought!– Early identification of business drivers and potential

applications for the grid project

• Doing these things should help you quickly identify:– Is there a good business case for building a grid?– What’s the right kind of grid to build?

• Desktop or Server Aggregation?• Integrated or Toolkit?

Building a Grid -The Project Manager’s View

• Use a Lifecycle Project Model, e.g.– Requirements: identify apps, users and their needs– Initial Planning: scope out hardware, middleware– Prototype: build a testbed– Review results– Final Planning: gap analysis for production implementa

tion– Deploy: purchase & install hardware, software; training

for users– Maintain: break-fix, identify and gridify other apps– (Iterate!)

Building a Grid -The Systems Administrator’s View

• Establish installation and operational standards• Establish security infrastructure to manage grid iden

tities• Establish resource registry infrastructure• Install grid middleware and configure for appropriat

e services, e.g.– Compute engines– Data sources

• Establish grid identities for services and users• Work with users to gridify their applications

• Early 90s– Gigabit testbeds, metacomputing

• Mid to late 90s– Early experiments (e.g., I-WAY), academic software projects (e.

g., Globus, Legion), application experiments

• 2002– Dozens of application communities & projects– Major infrastructure deployments– Significant technology base (esp. Globus ToolkitTM)– Growing industrial interest – Global Grid Forum: ~500 people, 20+ countries

The Grid:A Brief History

The evolution of the Grid

• The First Generation– The mid 1990’s– To provide computational resources to a range of high-performanc

e applications.– FAFNER: RSA public key encryption algorithm

• Setup to factor RSA130 using a new numerical technique called the Number Field Sieve(NFS) factoring method using computational Web servers.

– I-WAY(The Information wide area year): an experimental high-performance network linking many high-performance computers and advanced visualization environments(CAVE).

– To produce metacomputing environment by integrating resources from opposite ends of the computing spectrum.

FAFNERFactoring via Network-Enabled Recursion

• RSA公钥加密算法（ Rivest, Shamri以及 Adelman ）

– 前提：很大的数很难进行因数分解 •实现方法：

– 通过Web进行因数分解（原来 EMAIL ）– 并行算法： NFS （ Number Field Sieve ）– 瓶颈： Web 服务器的层次化– 效果：很小的计算能力也可以有贡献

I-WAYInformation Wide Area Year

• 不是建造新的网络，而是集成已有的网络• ATM （ Asynchronous Transfer Mode ）网络技术• 接口管理 I-POP （ Installed point-of-presence ）服务器

– I-Soft 的标准软件环境，试图解决异构，扩展性，性能以及安全等问题。

– CRB （ Computational Resource Broker ） – 低层的通信库 Nexus – 应用

• 超级计算• 访问远程资源• 虚拟现实• 视频、 Web 等

对比计算能力应用缺点后续项目

FAFNER 低端专用扩展，观念

SETI@HOME

I-WAY 高端通用扩展，观念

Globus, Legion

The I-WAY Experiment (1995)

Source: Linda Winkler and Richard Foster

The evolution of the Grid(cont.)

• The Second of Generation– There are three main issues:

• Heterogeneity 、 Scalability 、 adaptability

– Requirements for the data and computation infrastructure• Administrative hierarchy• Communication services• Information services• Naming services• Distributed fie system and caching• Security and authorization• System status and fault tolerance• Resource management and scheduling• User and administrative GUI


– Core technologies• Globus: provides a software infrastructure that enabl

es applications to handle distributed heterogeneous computing resources as a single virtual machine.

• Legion: provided the software infrastructure so that a system of heterogeneous, geographically distributed, high-performance machines could interact seamlessly.


– Distributed object systems• CORBA

• Jini and RMI

• The common component architecture forum


– Grid resource brokers and schedulers• Batch and scheduling systems

– Condor

– The portable batch system(PBS)

– The SUN Grid engine(SGE)

– The load sharing facility(LSF)

• Storage resource broker: to provided ‘uniform access to distributed storage’ across a range of storage devices via a well-defined API.

• Nimrod/G resource broker and GRACE


– Grid portals• Allows application scientist and researchers to acces

s resources specific to a particular domain of interest via a Web interface.

• The NPACI HotPage

• The SDSC Grid port toolkit

• Grid Portal Development Kit (GPDK)

• Gridsphere


– Integrated systems• Cactus

• DataGrid

• UNICORE

• Webflow

– Peer-to-Peer computing• JXTA


• The Third Generation– Serviced-oriented

architectures• Web services

• The Open Grid Services Architecture(OGSA) framework

• Agents

Grid computing

Web servicesAgents e-Business

E-Science

Some Characteristics of GridsNumerousresources

Different securityrequirements

& policies

Resources areheterogeneous

Geographicallydistributed

Different resourcemanagementpolicies

Connected byheterogeneous, multi-level networks

Owned by multiple organizations &

individuals

Unreliable resources and environments

Slide by Hiro

What are Grid benefits?• Resource sharing across multiple administrative

boundaries– Effective utilisation of the (existing) resources

– Dynamic provisioning

• Application Acceleration

• Scalability

• Reliability

• Virtualisation: – applications, services, resources,…

Documents

网格计算技术 第一章 绪 论

网格计算技术第一章绪论