15
Kernel-based Machine Learning for Molecular Energy Estimation Matthias Rupp ETH Zurich, Switzerland CECAM workshop on Machine Learning in Atomistic Simulations Lugano, Switzerland, September 10–12, 2012

Kernel-based Machine Learning for Molecular Energy Estimation · Kernel-based Machine Learning for Molecular Energy ... Theory for Molecular Structure ... learning for molecular energy

  • Upload
    vunhan

  • View
    233

  • Download
    0

Embed Size (px)

Citation preview

Kernel-based Machine Learning forMolecular Energy Estimation

Matthias Rupp

ETH Zurich, Switzerland

CECAM workshop on Machine Learning in Atomistic SimulationsLugano, Switzerland, September 10–12, 2012

Outline

Introduction Motivation, previous work

Density functionals Statistical functionals

Direct energy estimates Chemical compound space

Selected aspects Representation, domain

J. C. Snyder, M. Rupp, K.Hansen, K.-R.Muller, K. Burke: Finding Density Functionals withMachine Learning, Phys. Rev. Lett. 108(25): 253002, 2012.

M. Rupp, A. Tkatchenko, K.-R.Muller, O. A. von Lilienfeld: Fast and Accurate Modeling ofMolecular Atomization Energies with Machine Learning, Phys. Rev. Lett. 108(5): 058301, 2012.

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 2

Introduction: motivation

Machine learning estimates of molecular energies

Idea:

I Similar geometries have similar energies

I Exploit this to save computational resources

Calculate refer-ence energies

→ Train machinelearning model

→ Estimates fornew geometries

I Applications: Virtual screening, de novo design, . . .

M. Johnson, G.Maggiora: Concepts and Applications of Molecular Similarity, Wiley, 1990.

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 3

Introduction: previous work

Moleculardynamics 2012

2011201020092008200720062005200420032002

199919981997199619951994

1992

698688743223512421

Chemicalcompoundspace

2012

201020092008

2005

20032002

1997

11111211

Electronicstructure 2012

2009

2004

2001

1997

1991

121111

© = parametric, � = non-parametric

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 4

Density functionals: introduction

Density functional theory (DFT):

I Popular method for electronic structure of atomic systems

I Functional = function of a function, e.g. density 7→ energy

Idea: Learn map from electron density to kinetic energy from data

A quanta of quantum

• Classical vs. quantum: position and momentum of electrons given as a probability distribution

• Heisenberg’s uncertainty principle

• Schrödinger’s equation

�−1

2

∂2

∂x2+ v(x)

�φ(x) = �φ(x)

∆x∆p ≥ �/2

�4 �2 0 2 40.0

0.1

0.2

0.3

0.4

x

n�x�

�4 �2 0 2 40.0

0.1

0.2

0.3

0.4

x

n�x�

v(x)

Tuesday, July 5, 2011

blue = potential v(x)red = density n(x)

Learn TML[n] given references(n1,T1), . . . , (nN ,TN)

H.Chen, A. Zhou: Orbital-Free Density Functional Theory for Molecular Structure Calcu-lations, Numer.Math. Theor.Meth. Appl. 1(1): 1–28, 2008K. Burke: Perspective on density functional theory, J. Chem. Phys. 136(15): 150901, 2012

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 5

Density functionals: proof-of-principle study

Toy system:

I 1d potential well

I Non-interacting electrons

I Gaussian mixture potential

0.0 0.2 0.4 0.6 0.8 1.0�8

�6

�4

�2

0

x

v�x�

0.0

0.5

1.0

1.5

2.0

n�x�

Approach:

I Discretized densities

I Kernel ridge regression

I Gaussian kernel k(n,n′) = exp(− ||n−n′||2

2σ2

)

I Model TML[n] =∑

i αik(ni ,n)

Results:

I MAE < 1 kcal/mol with < 100 references

J. C. Snyder, M. Rupp, K.Hansen, K.-R.Muller, K. Burke: Finding Density Functionals withMachine Learning, Phys. Rev. Lett. 108(25): 253002, 2012.

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 6

Density functionals: self-consistent densities

Use model gradient to find density with minimum energy

0 0.5 1-40

-20

0

20

40

MLAExact

x

−∇

nT

ML(n

)/∆x

0 0.5 1

-15

-10

-5

0

5

MLAExact

x

−P

m,`

(n)∇

nT

ML(n

)/∆x

I Model is limited to space of reference densities

I Projection to this space removes noise

I Gradient descent finds self-consistent densities

J. C. Snyder, M. Rupp, K.Hansen, K.-R.Muller, K. Burke: Finding Density Functionals withMachine Learning, Phys. Rev. Lett. 108(25): 253002, 2012.

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 7

Density functionals: summary

I Empirical map from electron density to kinetic energy

I Accuracy of 1 kcal/mol with few samples

I Allows for self-consistent densities

J. C. Snyder, M. Rupp, K.Hansen, K.-R.Muller, K. Burke: Finding Density Functionals withMachine Learning, Phys. Rev. Lett. 108(25): 253002, 2012.

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 8

Energy estimates: introduction

Idea: Use machine learning to directly map molecules to energies

Challenge: how to represent and compare different molecules?

Requirements:

I Invariance against translations and rotations, but not scaling

I Invariance against renumbering of atoms

I Resolve energetically different states

I Continuity; allow for derivatives

I Use only positions and proton numbers

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 9

Energy estimates: representation

I “Coulomb” matrix

I Encodes element and inverse distances

I Rows/columns sorted by Frobenius norm

Mij =

12Z

2.4i for i = j

ZiZj

|Ri−Rj | for i 6= j, d2(M,M′) =

∑i ,j|Mij −M′ij |2

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 10

Energy estimates: validation study [approach]

Setup:

I 7 165 small organic molecules (H,C,N,O,S; 1–7 non-H atoms)

I DFT PBE0 atomization energies

I Kernel ridge regression, Gaussian kernel k(M,M′) = exp(−d2(M,M′)

2σ2

)

Model:

Eest(M) =∑

iαik(Mi ,M) =

∑iαi exp

(−d2(Mi ,M)

2σ2)

L.C. Blum, J.-L. Reymond: 970 Million Druglike Small Molecules for Virtual Screening in theChemical Universe Database GDB-13, J. Am. Chem. Soc. 131(25): 8732–8733, 2009

M.Rupp, A. Tkatchenko, K.-R.Muller, O.A. von Lilienfeld:Fast and Accurate Modeling ofMolecular Atomization Energies with Machine Learning, Phys. Rev. Lett. 108(5): 058301, 2012

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 11

Energy estimates: validation study [results]

��

��

��

��

���

��

���

��

��

����

�����

���

��

��

��

��������

��

��

��

��

��

�������

��

��

��

��

���

��

��

���

���

����

��

���

��

���

������������

�����

��

��

��

��

���

���

��

��

��

��

��

��

��

��

��

������

��

��

��

��

��

������

���

��

��

���

��

��

��

��

���

���

��

��

��

��

��

��

��

��

�����

��

��

���

���

��

��

��

��

����

��

��

��

��

��

���

��

��

��

��

��

��

��

��

��

��

��

����

��

��

��

����

��

���

��

���

��

��

��

��

��

��

��

��

��

���

��

��

��

��

���

��

��

��

��

��

��

��

���

��

��

����

��

��

���

��

��

��

��

��

����

��

��

��

���

��

��

��

��

��

��

��

��

���

��

����

��

��

��

��

���

��

��

��

��

���

����

��

��

��

��

��

��

��

��

���

������

���

����

��

��

���

��

��

���

��

��

��

���

��

��

���

��

��

���

��

��

�����

���

��

� ��

�������

��������

���

�������������������������

���������

��

������

��

����

��

�����

��

��

����

��

���

���

��

����

�����

��

��

��

�����

���

���

���

��

��

���

���

��

��

�����

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

� ��

����

���

��

������������

��

���

��

��� �

���

��

����

��

���

��

�������

�������

��

���

��

��

��

��

��

��

��

��

���

��

��

��

���

��

��

���

��

��

��

��

��

��

��

��

��

��

����

�����

��

��

��

��

���

��

��

���

����

���

���

���

��

��

��

�����

��

��

��

��

����

����

��

��

��

��

��

��

����

�����

�����

���

��

��

��

�����

����

������

���

����

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

���

��

����

��

��

���

��

��

��

��

��

��

��

���

��

��

��

��

��

��

���

���

��

��

��

���

������������

�����

����

�����

���

��

���

���

��

��

��

��

��

��

��

��

��

��

��

���

��

��

��

��

��

��

���

��

��

��

��

���

����

��

��

��

��

��

����

�������

���

���

��

���

��

��

����

���

��

��

�������

��

��

��

��

��

��

��

��

��

���

��

��

��

��

���

��

���

��

���

���

��

��

���

���

��

����

�������

���

���

��

��

��

���

��

��

��

��

������

��

�������

��

��

��

��

���

��

�����

����

��

��

��

��

��

��

���

���

��

��

���

���

���

���

��

���

���

��

��

��

��

��

��

��

��

��

���

��

��

����

��

��

��

��

��

��

�� ���

���

����������

��

���� �

��

��

��

���

��

��

��

��

����

�����

��

��

��

���

����

���

��

��

��

��

��

��

��

���

��

��

��

��

��

��

��

���

����

�����

��

��

��

���

���

���

����

���

��

��

��

��

��

��

��

���

��

��

��

��

���

��

��

��

������

���

��

���

��

��

��

��

����

��

��

��

��

��

��

��

��

����

���

��

��

���

��

���

��

��

���

��

��

���

��

��

��

��

��

��

��

��

��

��

��

��

��

���

��

����

��

��

���

��

��

���

��

��

���

��

����

��

��

��

��

��

��

��

��

����

��

��

��

��

��

���

��

��

�����

��

��

��

��

��

��

��

��

��

���

�����

��

���

����

��

��

��

���

��

��

��

���

���

���

��

��

��

��

��

��

��

��

��

��

��

��

���

��

���

����

��

��

�����

��

��

��

���

���

��

���

��

��

��

��

��

��

��

��

��

��

��

��

��

��

���

��

��

���

���

��

��

��

��

�����

��

��

��

��

��

��

����

���

��

��

��

���

��

��

��

��

� ���

����

��

���

��

��

��

���

��

���

����

��

��

��

��

�����

���

��

���

��

��

��

����

���

���

��

���

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

���

��

��

��

��

��

��

�����

��

��

����

��

��

��

��

� �

��

��

�����

�� �

��

��

��

��

��

���

���

��

��

���

��

���

��

��

��

��

���

����

��

��

���

��

���

���

��

��

��

��

��

���

��

��

��

��

��

����

��

��

���

���

��

��

��

��

��

��

���

��

���

��

��

�����

��

��

��

��

��

��

����

��

��

��

���

� ��

���

����

��

����

��

��

����

��

���

��

��

����

���

��

��

���

��

��

��

��

���

��

���

���

��

��

��

���

����

��

��

��

��

���

��

��

��

��

��

��

���

��

���

��

����

��

��

����

��

��

��

��

��

��

��

��

����

��

���

����

��

��

��

��

��

��

��

���

���

������

���

��

���

���

���

��

��

��

��

��

��

��

��

���

����

������

������

���

��

��

� ��

��

��

���

��

��

����

��

��

����

��

��

��

��

�����������

��

��

��

���

��

��

���

���

��

��

����

��

��

����

��

��

����

��

��

��

���

���

���

���

��

��

���

��

���

��

��

����

��

����

��

��

��

��

��

�����

���

���

���

���

��

��

��

��

��

��

��

��

���

��

��

��

���

���

���

����

���

��

��

��

��

���

��

��

��

��

���

�����

��

��

��

����

��

��

��

�����������

��

���

���

��

��

���

���

��

���

��

��

�����

��

����

��

��

��

��

��

��

���

��

����

�������

����

��

��

��

��

��

��

��

��

��

��

��

��

��

��

���

���

��

��

���

���

��

���

��

��

��

��

�� �

���

��

��

��������

��

��

��

���

��

��

�����

�����

��

��

��

���

���

��

��

���

��

��

��

��

�����

��

��

��

��

��

��

��

���

���

��

��

��

���

�������

���

��

��

��

��

��

��

��

���

���

� �

���

��

��

��

��

��

����

���

���

��

��

����

�� ���

��

��

��

��

��

���

��

���

��

����

��

��

��

��

��

��

��

��

��

��

��

��

��

��

���

��

��

���

��

��

��

��

���

��

��

��

����

��� ��

��

������

��

��

���

��

��

���

��

��

��

��

����

��

����

��

����

��

�����

���

�����

��

���

��

���

��

��

����

��

��

��

��

��

��

��

���

�����

��

��

��

�� �

��

��

��

���

���

��

� ��

������

��

��

��

��

��

��

��

��

��

��

��

��

��

��

���

��

��

���

��

���

��

���

��

���

���

��

��

���

��

��

��

��

��

������

��

��

��

��

���

��

��

��

��

���

��

��

����

��

������

�����

���

��

���

��

���

��

��

��

��

����

��

��

��

��

���

��

��

��

��

��

��

��

���

���

��

����

��

��

��

��

��

��

����

��

��

��

�� �

��

���

���

��

������

����

�����

��

��

��

���

���

��

��

���

��

���

���

���

��

��

��

��

��

��

��

��

��

���

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

çç

ç

ç

çç

çç

ç

çç

ç

ç

çç

ç

ççç

ç

ç

ç

ç

ç

çç

ç

çç

çç

çç

ç

ç

ç

ç

ççç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çççç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

çççç

ç

çç

ç

ç

çç

ç

ç

ççç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ççççççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççççççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çççç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

çç

çç

ç

çççç

ç

çç

ç

ççç

çç

çç

ç

ç

ç

ççç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ççç

ç

ç

ç

ççç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ççççç

çç

çç

çççç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

çç

çççç

çç

çç

ç

çç

ç

ç

çççç

ç

ç

çç

ç

çç

çççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

çç

ç

ç

çç

çç

çç

ç

ç

çççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ççç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ççç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

çç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çççç

ç

ç

çç

ç

çç

ç

ç

ççç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çç

çççç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ççç

ç

çç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

çççç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ççç

çç

ç

ç

çç

çç

çç

ççç

ç

ç

ççç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

çç

çç

ççç

ççç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ççç

ç

ç

çç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ççç

ç

çç

çç

ç

ç

ç

ç

çç

ç

ççç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

çç

ççç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ççççççç

ç

ççççç

ççççç

ç

ç

ç

çççç

çççç

ç

ç

ççç

çç

ççç

ç

ç

ç

ç

ççç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

çç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

çççç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

çççç

çç

ç

ççççç

ççç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

çç

çç

çççççççç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

çç

ç

çç

çç

çç

ç

çç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

çç

çç

ççç

çç

ççç

çç

ç

ç

ççç

ç

ç

ç

çç

ç

ç

ç

ççç

ççç

çç

ç

çç

ç

ç

ç

ç

çç

ççç

ç

çççç

ç

ç

çç

ççç

ç

ç

ççççççç

çç

ç

çç

ççç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

ççç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çççççç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ççççç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ççç

çç

ç

ç

ç

ç

ç

ççççç

ç

ç

ç

ç

ç

ççç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ççç

çç

çç

ç

ç

çç

ç

çç

ç

çç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ççç

ççç

ç

ç

ç

ç

çç

ç

ç

ç

ççç

çç

ç

ç

ççç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

çççç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

çççççççç

çç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ççç

çç

çç

ç

ç

çç

ç

çç

ç

çç

ççç

ç

ç

ç

ç

ç

ç

ççç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ççç

ç

ç

çççç

çç

ç

çç

ç

çç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ççç

ç

ç

çç

çç

ç

çç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

çç

ç

ççç

ç

çççç

ç

ç

ççççç

ç

çç

ç

ç

ç

ç

ç

çç

ççç

ç

ç

ç

ç

ççç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

çççç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

çç

ç

ççç

ç

ç

çç

çç

ç

ç

ç

ç

ç

çç

çç

çç

çççç

ç

ç

ç

çç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

çç

ç

ç

ç

ç

çççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

çç

çç

ç

çç

ç

çç

çç

ççç

ç

ç

ççç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

çç

ç

ççç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çççç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

çç

ç

ççç

ç

ç

ç

çç

çç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

çççç

ç

çç

ç

ç

çç

çç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

çç

çççç

ç

ç

çç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ççç

ç

ç

ç

ç

ç

ç

çç

ç

ççççç

ç

çç

çç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ççç

ç

çç

ç

ç

ç

ç

ç

ç

ççç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ççç

ç

ç

çççç

ç

çç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ççç

ç

çç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ççç

ççç

ççç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

çç

ç

çç

ç

çç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ççç

ç

ç

ççç

ççç

ç

ç

ç

çççç

ç

çç

çç

ççççç

çç

ç

çç

ç

ç

çç

ç

ç

çç

ç

çç

ççç

ç

ççç

ççç

ççç

ç

çç

ç

çç

ç

çç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

çç

ççç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

çç

ççççç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

çç

çççç

ç

ç

ç

çç

ç

ç

ççç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

çç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

çç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ççççç

ççç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ççç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

çç

ç

çç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ççç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççççç

ç

çç

ç

ç

ç

çç

ç

ç

ççç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

çç

çç

ç

ç

ççççç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ççç

ç

ç

ç

ç

ç

çççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ççç

çç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ççç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çççç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

çç

ç

çç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ççç

ç

ç

çç

ç

ç

ç

ççç

ç

ç

çç

çç

çç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

çç

çç

çç

ç

ç

ç

ççç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

çç

ç

ç

çç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

çç

ç

ç

çç

çç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ççç

ç

ç

ç

ççç

ç

ç

çç

çç

ç

ç

ççç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ççç

ç

ç

çç

çç

çç

çç

çççç

ç

ç

çççç

çç

ç

ç

çç

çç

ç

çç

ççç

ç

ç

çç

çç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ççç

ç

ç

ç

çç

ç

ççç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

çç

ç

çç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

çççç

çç

ççç

ç

ç

ç

ç

ç

ç

ç

çççç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

çç

çç

çç

ç

ç

ç

ç

ç

çç

çç

çççç

çç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ççç

ç

çç

ç

çç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

çç

ç

ç

çç

ççç

ç

ç

çç

ç

çç

çççççç

ç

ç

ç

çççç

çççç

çç

ç

ç

ç

ç

çç

çç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ççç

ç

ç

ç

ç

ççç

ç

ç

ç

çç

ç

ççç

çç

ç

ç

ç

ç

ç

ç

ççç

çççççççççç

ç

ç

ç

ç

ç

çç

çç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ççç

çç

çç

çç

ç

ç

çç

ççç

ç

ç

ç

çç

ç

ç

ç

çç

ççç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ççç

çç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ççç

ç

ççç

ççç

ç

ç

ççç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

çç

ç

ç

çç

çç

çç

ç

ççç

ç

ç

çç

çççç

çç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ççç

ç

çç

ç

ç

ççç

çç

ç

ç

çç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

çç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ççç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

çç

ç

ç

ç

ççç

çç

ç

ç

ç

ççç

çç

çç

ç

ç

ç

ç

ç

ç

çç

ççç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ççççç

ç

ç

ç

ç

ç

ç

çç

çç

ç

çç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ççç

ç

ç

çççççççç

ç

ç

ç

ç

ç

çç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

çç

ç

ç

ççç

ç

çç

ççç

ç

çç

çç

ç

ç

ç

ççç

ç

çç

ç

ç

ç

ç

çç

çç

ç

çç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

çç

çç

ç

ç

ç

ççççç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

çç

çç

ç

ç

ç

ççç

ççç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ççç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ççççççç

ç

ç

çç

ç

ç

çç

ç

ç

çç

çç

ççç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ççççç

ç

ç

çççç

çç

çç

ç

ç

ç

ççç

ç

ççç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ççç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çççç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ççççççç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

çç

çç

çç

ç

ç

ç

ç

ç

çç

çç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ççç

ç

çççç

ç

çç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

çç

ç

ç

ç

ç

çç

ççç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

çç

ç

çç

ç

çç

ç

ç

ç

çç

çç

ç

çç

çç

ç

ç

ç

çç

ç

ç

çç

çç

çç

ç

ç

çç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

çç

çç

ççç

ççç

çç

ç

ç

çç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

çç

ççççç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ççç

ç

ç

ç

ç

ç

ç

çç

çççç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çççç

ç

ç

ç

ççç

ç

ççççç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

çççç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çççç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

çç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ççç

çç

çç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

çç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

çç

ç

ççç

ç

ççç

ç

çç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ççç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççççç

ç

ç

ç

ç

çççç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

çç

çç

ç

ççç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

çç

çç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

çç

ç

ç

ç

ç

ç

çççççç

ç

çççç

ç

ç

ç

ç

ç

ç

ç

ç

ççççç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

çç

ç

ççç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ççç

çç

ç

ç

ç

ç

ççç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

çççççç

ç

ç

çç

ç

ç

ç

çç

ççç

çç

ç

ç

ç

çççç

çç

çççç

ç

ç

çç

ç

ç

çç

ç

çç

ç

ç

ç

çç

çç

ç

çç

ç

ç

ç

çç

ç

ç

ççççç

ç

ç

ç

ç

ç

çççççç

ç

ç

ççççç

ç

ç

ç

ççç

çç

çç

ç

ç

çç

ççç

çç

ç

ç

ç

ç

ç

ç

çççç

ç

ç

ç

çç

ç

çççççç

ç

ç

ç

ççç

ç

ç

ç

çççç

çç

çç

ç

çç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

çç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ççç

çç

ç

çç

ç

ç

ç

ç

çççç

ç

ç

ç

ç

ç

çç

çç

ç

çç

ç

ç

ççç

çç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çççç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

çç

ç

çç

ç

çç

ç

ç

ç

çç

çç

ç

ç

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õõ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ õ

õ

õõ

õ

õ

õ

õõ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õõõ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õõõ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õõ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õõ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õõ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õõ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õõ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õõ

õ

õõ

õ

õ

õ

õ

õõ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ õ

õ

õ

õ

õ

õ

õõõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõõ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õõ

õõ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õõ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

������������

�����

��������������������������

��

��

��������������

� ��

�������

��������

���

�������������������������

���������

����� �

��

�� ��

��

�����

����

����

��

���

���

��

����

�����

��

��

��

�����

��

���

��

���

���

��

���

�����

��

��

����

��

��

���

��

��

��

��

��

���

��

��

��

��

��

��

��

��

���

��������� ���

� ��

���

��� ��

��

� ��

���

��

������

��

��

�������

��

������

��

��

��

����

��

���

��

��

���

��

���

��

��

��

��

��

����

�����

��

��

��

��

��

��

��

���

��

��

���

����

�����

�����

��

���

��

���

����

������

��

������

�����

�����

��

���

��

������

���

����

��

��

��

��

��

��

��

��

��

��

��

��

���

����

��

���

��

����

�����

��

���

��

��

��

��

���

��

��

����

��

��

���

���

��

��

��

���

��

��

���

��

��

���

��

��

��

����

����

���

��

��

��

��

��

��

��

��

���

��

��

��

��

���

��

��

��

���

��

��

���

��

��

��

��

��

���

��

��

��

��

��

��

����

�������

���

���

��

��

���

��

��

���

���

���

���

����

�����������

���

��

��

���

��

����

���

���

��

� �����

��

����

�������

���

���

��

��

��

��

��

��

��

��

��

�����

���

�����

��

���

����

���

��

����

����

��

���

���

��

� �����

���

���

����

���

���

����

������

����������

�������

�������� �� ���� ���

���

��������������

��

���

���

���

��

��

��

���

��

��

�����

��

��

����

���

��

���

�����

��

����

����

��

������

��

��

������

���

��

����

��

��

���

�����

����

��

�����

���

��

��

���

���

��

��

��

��

��

��

��

��

���

����

���

��

����

�����

��

���

����

��

��

��

���

��

����

��

��

��

�����

��

��

��

����

��

��

��

��

���

��

��

����

��������

��

��

���

���

����

��

���

��

��

��

����

���

���

��

�����

��

��

��

��

��

��

��

��

��

�� �

�����

��

���� �

��

��

��

���

�����

��

��

��

��

��

��

��

��

��

����

��

���

����

���

��

����

��

��

���

����

��

�����

���

��

��

���

�����

�������

�����

��

����

���

��

����

������

���

����

�������

��������

��������� ��� ���������������������������������������������������������

��

���

����

��

��

���

���

���

����

���

�� �

��

��� �

����

��

���

��

��

�������������

��

��

����

� ��

��

�������

��������������

��

��

��

��

���

���

��

�����

�����������������������������

��

��

��

����

��

��

��

��

������

��

� ��������������������

�����

��

��

���

����

��

������

���������������������

�����������

��

�� �������

���

�����������

çç

ç

ççççç

çççç

ç

ç

çççççççççç

çç

ç

çç

ç

çç

ç

ç

çççççççççç

ç

ç

ç

ç

çç

ççççççççççççççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

çç çç

ç

ç

ççç

ç

çç ççç

ç

çç

çç

ç

ç

çç

çççç

ç

ç

çççç

ççç

ç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

çç

ççç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

çç

ç

çç

ç

ç

çç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ççç

çç

ç

çç

ç

ç

çç

ç

ç

çç

çç

çç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çç

çççç

çç

ç

ççççç

çç

ç

ççç

ç

ç

ç

çç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

çç

çççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ççç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çççç

ç

ç

çç

ç

çç

çç

çççççççç

ç

ç

ç

ç

çççç

ç

ç

ç

ç

çç

ççç

ççç

çç

ç

ç

ç

çççç

ççç

ççç

çç

ç

çç

ç

ç

ç

ççççççç

ç

çç

ççç

ç

ç

çççççç

ç

çççç

ççç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

çç

çç

ç

çç

ç

ç

ç

ç

ç

çç

ç

çç

çç

ç

ç

ççççç

çç

ççç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ççç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

ççç

ççç

ç

ç

ç

ç

çç

ççççç

ççç

ç

ç

çç

ç

ç

ççç

ç

ç

çç

ç

çç

ç

çç

ç

ç

çç

ç

ççç

çç çç

ç

ç

ç

ç

ççç

çççç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ççç

çç

ç

çççç

ç

çç

çç

ç

ç

ç

ç

çç

çç

ç

çççç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

çç

ç

ç

ççç

ççç

çç

ç

ç

çççç

ç

çç

ç

ç

ç

ççç

ç

ç

çççççççç

ç

ççç

ççç

çç

çç

ç

ç

ç

ç

ç

ççç

ççç

ç

çç

çç

ç

çç

ç

ç

ç

ççç

ç

çç

ç

ç

çç

ç

ç

ççççç

ç

çç

çç

çççç

ç

ç

ççç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ççççç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ç

çç

çççç

ç

ç

ç

ç

çç

ç

çç

ç

ç

çç

ç

ç

çç

çç

ç

ç

çç

ç

ç

ç

çççç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ççççç

ç

ç

ççç

çç

ç

ççççç

ç

ç

ç

ççç

ç

çç

ç

ç

çç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

çç

çç

ç

ç

çç

ç

ç

ç

ç

çç

ççç

çççç

ççç

çç

ç

ç

çççç

ç

ç

çççç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

çççç

çç

ç

ç

ç

çç

ç

çç

ç

çççç

ç

çç

çççç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

çç

çççç

ç

ç

çç

ç

ç

ç

ç

ç

ç

çç

çççç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ççç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çççç

ç

ç

ççç

ç

çççç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

çç

ç

çç

ç

ç

ç

çç

ç

ç

çç

ç

çç

ç

ç

ç

ç

çççç

ççç

ç

ç

ççç

ç

ç

çç

ç

ççç

çç

çç

ç

ç

ç

çç

ç

çç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

ç

çç

ç

ç

ççççç

çç

ççç

ç

ç

çç

ç

çç

ç

çç

ç

ç

çç

ççç

ççççç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ç

ç

ç

çç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ççç

ç

ç

ç

çç

ççç

ç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ççç

ç

ç

ç

ç

çç

ç

ç

ççç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

çç

ç

ç

çç

ç

ç

çççç

çç

ç

ç

ç

çç

çç

çç

ççç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

ççç

ç

çç

ç

ççç

ç

ç

ç

ç

ç

ç

ç

çççç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ç

çç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ççç

ç

ç

çççç

ç

ç

ç

ç

çççç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ççç

ç

çç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çç

ç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ççççççç

çççççç

çç

ççççç

çç

ç

çççççççççç

ççççç

çç

ç

ç

çç

ç

ççççç

ç

ççç

ççç

ç

çç

ç

ç

çç

ç

ç

çç

ç

ççççç

ç

ç

ç

çç

ççç

ç

ç

ççç

ç

çççç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

ççç

ççç

ç

ç

ç

çç

ççç

ç

ç

çç

çç

ç

ç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

çç

ççç

ç

çç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ççççççççççç

ç

ç

çç

çç

çç

ç

çç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

ççççç

çç

çç

ç

ç

ç

ççççç

ç

çççç

çç

ç

ç

çç

ç

çç

çç

ç

çç

ççç

ç

ççç

ç

ç

ç

ç

ççç

ç

ç

çç

çç

ç

ççç

ç

ççç

ç

ç

ç

ççç

ççççççççççç

ç

çççççççç

ç

ç

ç

çç

çç

ç

ç

çççç

çç

ç

ç

çç

ç

ç

çç

çç

ç

ç

çç

ç

çç

ç

çç

çç

ç

ç

çç

ç

ç

ç

çç

ç

çç

ç

ç

çççççç

ç

ççç

ç

ççççççç

ç

çç

ç

ççççç

ç

ç

çç

çç

ççç

ç

çççç

ç

ç

ç

çç

ç

çççç

ç

ççç

ç

çç

ç

ç

ç

ç

ç

ççççç

ç

çç

çç

ç

ç

ç

ç

ç

ç

ççç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çççç

ç

ç

ç

ç

çççç

ç

ç

ç

çç

ç

çç

ç

ççç

ç

çç

ç

çç

ççç

ç

ççç

ç

ççç

çç

ç

ç

ç

ç

ç

çç

ççç

ç

ç

ç

çç

ç

çç

ç

ç

ç

ç

ç

ç

ç

ç

çç

ççç

ççç

ç

ç

ç

ç

ççç

ç

çç

ç

ç

ç

ç

ç

ç

ç

çç

çç

ç

ç

ç

çç

ç

çç

çç

ç

ççç

ç

ç

ç

ç

çç

ç

ç

ç

çç

çç

ç

ç

çç

çççç

ç

ç

ç

ç

ç

ç

ç

ç

çççççç

ç

çç

ç

ç

ç

ç

ççççç

ç

ç

ç

çç

ççç

ççç

ç

ç

çç

ççç

çç

ç

çç

ççç

çç

ççç

çç

çç

ççççç

ç

ç

çç

çççç

ç

ç

çççç

ç

ç

ç

ççç

ç

ç

çç

ççç

ç

çççççç

çç

ççç

ç

çççç

çç

ç

çç

çç

ç

çç

ç

ç

ç

ççç

ç

çç

çç

ç

ç

ç

çç

ççç

çç

çç

ç

ç

ç

ç

ç

çç

ç

ç

çç

ççç

ççç

çç

ç

çç

ç

çç

ççç

ççç

ç

çççç

çççççç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

çç

ç

ç

ç

çç

çç

çç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çççç

ç

ç

ç

ç

ç

ç

ç

çç

ç

ç

ç

ç

ç

çç

çççç

çç

ç

ç

ç

çç

çç

ç

ç

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õõõ

õ

õ

õõõ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õõ

õ

õõ

õ

õ

õ

õ

õõ

õ

õ

õ

õõ

õõ

õõ

õ

õ

õ

õ

õ

õõ

õ

õ

õ

õõ

õ

õ

õ

õ

õ õ

õ

õ

õõ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ

õ õ

õ

õ

õ

õ

õ

� — Bond countingç — PM6õ — ML

-2 -1.5 -1 -0.5

-2

-1.5

-1

-0.5

Eref @103kcal�molD

Ees

t @103 kc

al�m

olD

Scatter plot

æ

æ

æ æ

ææ

æ æ ææ æ æ

æ ææææ

æææææææææææ

à

à

à

à

àà

àà à

à à à à à

à

à

ààà

à

à

à

à

àà

à

àà

RMSE

MAE

500 1000 2000 500010

20

log2HNL

Err

or@k

cal�m

olD

Saturation

M.Rupp, A. Tkatchenko, K.-R.Muller, O.A. von Lilienfeld:Fast and Accurate Modeling ofMolecular Atomization Energies with Machine Learning, Phys. Rev. Lett. 108(5): 058301, 2012

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 12

Energy estimates: summary

I Good estimates, without electrons

I Simple representation

I Ansatz in principle allows other levels of theory than DFT,non-relaxed geometries, and excited state properties

M.Rupp, A. Tkatchenko, K.-R.Muller, O.A. von Lilienfeld:Fast and Accurate Modeling ofMolecular Atomization Energies with Machine Learning, Phys. Rev. Lett. 108(5): 058301, 2012

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 13

Aspects

I Non-parametric approach:Number of training samples and performance

I Simple representation:Permutation invariance

I Domain of applicability:Confidence into individual predictions

I Constructive approaches:Beyond prediction

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 14

Acknowledgments

Machine learningKatja Hansen, Klaus-Robert Muller

Density functionalsJohn Snyder, Kieron Burke

Energy estimatesO. Anatole von Lilienfeld, Alexandre Tkatchenko

ETH ZurichGisbert Schneider, Gerd Folkers

Institute for Pure and Applied MathematicsProgram on Chemical Compound Space

European UnionIEF Grant 273039

Matthias Rupp: Kernel-based machine learning for molecular energy estimation 15