Тема доклада

Почему распределения параметров сложных систем:

1. часто имеют высокую неоднородность (Принцип 80/20)

2. часто имеют степенные хвосты с низкими показателями степени (обычно от 1 до 3)Причины:

• эффект случайного смещения результата (1)• эффект естественного отбора (1+2)• "чистые распределения" (1+2)

Принцип 80/20• 20% ассортимента

продукции - 80% от общего объема продаж

• 20% покупателей и клиентов - 80% от общего объема продаж

• 20% ассортимента продукции или 20% покупателей - 80% прибыли

• 20% преступников - 80% преступлений

• 20% водителей - 80% дорожно-транспортных происшествий

• 20% вступивших в брак - 80% разводов

• 20% детей - 80% возможностей, предоставляемых системой образования в данной стране

• 20% площади ковров - 80% воздействий, ведущих к их износу

• 80% всего времени - 20% имеющейся у вас одежды

• 80% всех ложных тревог при срабатывании противоугонной сигнализации - 20% возможных причин

Кривая ЛоренцаM(S)

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 0,2 0,4 0,6 0,8 1

M(S)

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 0,2 0,4 0,6 0,8 1

r

dttprS0

)()(

r

dttpt

dttpt

dttpt

rM

rr

0

0

0

)(

)(

)(

)(

Меры однородности G и Г)1(2 S

10

2G

10 G G2

Три меры неоднородности

• Меры Г и G "работают" только для неотрицательных "r" - мера Ф работает всегда

• Свойства меры Ф проще анализировать

GG 1

1

1][

][2

2

2

r

r

r

rD

r

rD

- коэффициент Джини

Свойства меры однородности G

r

Sr

r

drrS

drrS

drrS

G 2

)(

)(

)(0

2

0

0

2

r

r

dttprSdttprS0

)(1)(1)()(

drrSdrrSdrrrpr

000

)())(1()(

Однородность G разных распределений вероятности

Распределение (r≥0) G Г Ф

дельта-функция 1 1 0

экспоненциальное ("водораздел") 1/2 0,64 1

равномерное ≥2/3 ≥0,62 ≤1/3

"две дельта-функции", случай "p(r) → δ(r)" с сохранением двух

дельта-функций

0 0 +∞

логнормальное 1 при σ=00,03 при σ=3

1 при σ=00,13 при σ=3

0 при σ=08102 при σ=3

чисто степенное: p(r)=C/rk, 0<r<∞ 0 при 1≤k≤21 при k→+∞

0 при 1≤k≤21 при k→+∞

0 при 1≤k≤31 при k→+∞

Неоднородность чисто степенного распределения

G(k)

0

0,2

0,4

0,6

0,8

1

0 1 2 3 4 5 6 7

k

Ф(k)

0123456789

10

0 1 2 3 4 5 6 7

k

Модель эффекта случайных смещений результата

0

22

)(12

drrpr

GG xx

xyx

xx

yyxx

x

yyx r

D

r

D

2,2

2

Можно условно считать, что:1.добавление нового параметра "у" увеличивает дисперсию и 2.среднее значение результата не меняется

1-й случай: r=x+y, где r≥0 1) если у "у" корреляция с "х" не отрицательная, то рост всегда будет:

2) возможен случай p(r) → δ(r), G →1, иначе G≥2/3

1]exp[ 22

r

D

2-й случай: r=x+y, где -∞≤r≤+∞ – неоднородность Ф растет, но пропорционально числу параметров: σ~N

3-й случай: r=x*y – σ~N, но дисперсия растет гораздо быстрее. Для логнормального распределения:

G

0

0,2

0,4

0,6

0,8

1

1,2

0 0,5 1 1,5 2 2,5 3 3,5 4

Эффект естественного отбора

"Побеждают сильнейшие":

1. G = результат усреднения однородности Gi "гармоник" с весовым коэффициентом ki~(<ri>)1/2

2. Если среди суммируемых "гармоник", т.е. распределений с фиксированным значением параметров , существуют распределения со степенными "хвостами", то итоговое распределение тоже будет иметь степенной хвост, потому что он убывает медленнее.

ydyrurw k ),()(

ЭЕО: Большая неоднородность

0

2121 drSSuu

r

dtturS )()(

0|)(||||| rGSuuuL

Скалярное произведение порождает сепарабельное гильбертово пространство:

Поведение меры однородности G при суммировании гармоник

,),()( ydyrurw k i

iyrurw ),()(

0|||| rGuuuL

iii

ii

iiiii

ii

i

rWW

GrWWe

rW

LGL

||

ir

Сумма гармоник:

- "длина вектора"

То есть побеждают наибольшие

ЭЕО: Появление "степенных хвостов" распределений

)(

)(

)(ln

))((ln)]([)(

rf

rfdr

dr

rd

rfdrfmrm

),(

),()],([

yru

yrur

ryrumr

ydyru

ydyruyrum

ydyru

ydyrur

rrwmm

k

kr

k

k

),(

),()],([

),(

),()]([

ii

iii

ii

iii

u

um

ru

rurumrwmm

)(

)()]([)]([

Эффективный показатель степени:

"Степенное усреднение":

В дискретном случае:

Дрейф показателя суммы гармоник вниз вплоть до

наименьшего из показателей

Dr

mdr

dmm

rm

dr

dm

dr

d

11 2

0)( 222 mmmmD

"Степенная дисперсия":

:ln0r

r Dm

d

dmmm

d

dm

d

d

2

Отклонение эфф-го показателя степени от минимального

),(min)(min yrmrmyr

)(112

12

2

1

),()(ln)],([exp),(),( ySr

r

r eyrurdyrumyruyru

)(),(ln),(ln 1212 ySyruyru

dymdyrumrdyrumySr

r

r

r

r

r 2

1

2

1

2

1

),()],([)(ln)],([)(12

?)(),(min min rmyrmy

Эффективный показатель степени для конечных результатов

1

2

122min )10ln()(

m

SArm

"Чистые" законы распределения

• не объясняются эффектом естественного отбора

• объясняются эффектом случайных смещений параметра только для некоторых распределений (логнормальное, логнормальное)

Условие сокрытия параметров для марковских процессов

GNA

),(0),(0 yryrN

),,','),((),','())()(),((),,',',( 21 yryrrwGryrgyrwyruyryruG ssss

),',(),',',(),,','),(( 02 rrwGryrwGydyryrrwG ssn

s

),','(1 ryrg - произвольная функция

Чисто степенные распределения для марковских процессов

Разумно предположить, что если в результате эволюции получается чисто степенное распределение, то оператор эволюции почти всегда можно представить в виде "ВА", где "А" – масштабно-инвариантный оператор (глобально или только локально), а оператор "В" нулевую функцию переводит в нулевую. Исключения представляют собой вырожденные случаи и, видимо, не должны часто встречаться.

Оператор "А" является масштабно-инвариантным: • глобальная масштабная инвариантность может существовать

только если объекты не взаимодействуют или эволюционирует один объект

• локальная масштабная инвариантность может возникнуть, только если на объекты влияют параметры всей совокупности других объектов как целое: "температура", число, "давление"

Оператор "В" в общем случае не является масштабно-инвариантным и, соответственно, не будет масштабно-инвариантным и итоговый оператор "ВА".

Цикл статей "Доказательный менеджмент"

1. Общий подход к расчету проектов2. Критика книги "От хорошего к великому" Филом

Розенцвейгом – насколько она обоснована?3. Расчет эффективностей и их использование 4. Тестирование в бизнесе5. Инновация как враг прибыльного бизнеса6. Как объяснить Принцип 80/20 с помощью эффектов

"естественного отбора" и случайных смещений результата

7. Оценка вероятностей человеком – дважды неожиданные эффекты

8. Система Тойоты и реинжиниринг – чем могут помочь численные модели?