Upload
others
View
19
Download
0
Embed Size (px)
Citation preview
Красимира ИвановаКрасимира Иванова
За областта “Извличане, основано на съдържанието на изображенията”изображенията
Специфика на естетическото възприятие
Цветът - различни гледни точкиЦветът различни гледни точки
Семантика на цвета
Цветови моделиЦветови модели
Хармонии и контрасти – предложени характеристики: проектиране, програмни примитиви, интеграцияпроектиране, програмни примитиви, интеграция
Експерименти и анализ
2
3
1992г - Тошикацу Като (експерименти за автоматично извличане по цвят и форма от картини съхранени в база от данни)от картини, съхранени в база от данни)
В фВсяка технология, която помага да се организират цифрови изображения въз основа на тяхното съдържание.
В началото – търсене на базата на визуално сходство между дадена снимка или скица и снимки, съхранявани в цифров д д ц , р ц фрресурс
Днес – полезни асистенти за търсене на обекти както чрез визуално, така и чрез семантично сходство
4
Вътрешно пространствоВътрешно пространство::Проектиране на характеристиките (Feature design)математическо описание на изображенията –под формата на сигнатури (комплекти от визуални характеристики) [Datta, 2010]р р ) [ , ]
Индексиране (Indexing)организиране на базите от изображения с цел ефективно съхранение и бързо търсене
ИзвличанеИзвличане
Заявка Превод във вътр. формат Търсене
5
Представяне на резултатитеПроверка за съответствие
Видове: цвят (MPEG7…), текстура (visual vocabularies...), форма (ART…), забележителни точки (ръбове,била,ъгли,петна; SIFT, SURF, LESH, GLOH…), пространствени релации (partitioning, segmentation) ...р р р ц"проклятието на размерността" [Bellman, 1961]
6
7
Измерването на сходството между два обектаИзмерването на сходството между два обекта
8
Във вътрешното пространство
Групиране (clustering);Групиране (clustering);
Категоризация (categorization);
Подобряване удовлетворяването на потребителските заявки
Обратна връзка за съответствие (relevance feedback)
Многомодалeн синтез (multimodal fusion)
Онтологии (ontologies)• Общи - WordNet;• За описание на артефакти – IconClass или CDWA;• Getty Vocabularies - AAT, ULAN, TGN, CONA.• thesaurus of brushwork terms [Marchenko et al, 2007]
9
10
( )1. Сензорна пропаст (sensory gap) [Smeulders et al, 2000] –разликата между обекта в реалния свят и способността на машината за представяне на този обект в цифровия свят.
-Picasso's Guernica: 3.59 m x 7.76 m-The miniatures of Isaac and Peter Oliver: 2.5 cm x 2.5 cm
Digitised art images: quality and usage
Detail of the photo of the Goya's painting"A Hunter and his dog"
11
from Prado Museum
User question: “Answer to Life, the Universe, and Everything“.S h h f ½ illiSupercomputer Deep Thought answer after 7½ million years: “42“.
Douglas Adams
2. Cемантична пропаст (semantic gap) [Smeulders et al, 2000] -липсата на съвпадение между • информацията, която машината извлича от визуалните данни, • и семантичните понятия, използвани от човека, за изразяване
на търсенията муна търсенията му.
12
3. Cубективна пропаст (subjective gap) [Agrawal, 2009] –трудността да бъдат описани потребителските нужди в рационална форма.
[Castelli and Bergman, 2002] - междинно ниво на извличане от [ g , ] двизуалното съдържание, свързано с емоционалното възприятие на изображенията.
4. Абстрактни аспекти (abstract aspects) [Hurtut, 2010] –специфични за обектите на изкуството и се изразяват основно в:специфични за обектите на изкуството и се изразяват основно в: • културните особености на средата, • индивидуалната изразителност на автора • и техническите специфики.
13
[Jaimes and Chang, 2002] :d• Received percepts
• Abstract concepts
[Burford, Briggs & Eakins, 2003] [Hurtut, 2010]
[Ivanova, 2011] :
14
15
Физика, Химия, Математика, Физиология, Психология
• Трихроматична теория – рецептори в ретината на човешкото око, отговарящи за трите основни цвята (BGR)Thomas Young (1801), Hermann von Helmholtz (1850), Gunnar Svaetichin (1956)
• Опонентна теория – три канала-антагонисти: червено-зелено, синьо-жълто черно-бяло (ахроматичен) в областта на оптичнитесиньо жълто, черно бяло (ахроматичен) в областта на оптичните връзки между очите и мозъкаLeonardo da Vinci (c. 1500), Ewald Hering (1872), Leo Hurvich & Dorothea Jameson (1950s)
• Ретинексна теория – постоянство към възприемането на цвета при промяната на осветеността (в определени граници)при промяната на осветеността (в определени граници)Edwin Land (1971)
16
Психология – влиянието на цвета върху човешкото възприятие(Colour perception)
• Интерференция на вълните – поантилизмът на Seurat• Законът за взаимна индукция на Павлов при възприятие на цветовете:
• Едновременен контраст (Simultaneous), Michel Eug. Chevreul (1839)
• Последователен контраст (Succesive), afterimage effect
човешкото око е удовлетворено (в равновесие)човешкото око е удовлетворено (в равновесие)
17
човешкото око е удовлетворено (в равновесие) човешкото око е удовлетворено (в равновесие) само когато са налични допълващите се цветовесамо когато са налични допълващите се цветове
/Семиология/семиотика
Дълбокото напластяване на религиозни, социални, исторически морални етични психологически и присторически, морални, етични, психологически и пр. символики понякога води до невъзможност да се открие каква е основната афективна стойност на даден цвят.
Румен Райчев
Изобразително изкуство
Визуалните, умствените и духовните възприятия взаимно се координират и съотнасят в сферата на цвета и цветовото изкуство.
J h IttJohannes Itten
18
19
Първата половина на XX век - школата "Баухаус" за визуално-пластични изкуства, дизайн и занаяти
Josef Albers (1888-1976). “The Interaction of Colour” (1963)Светло / тъмно (Light/dark value contrast)Д (C l t ti )Допълване (Complementary reaction)Изваждане (Subtraction)
Adolf Hoelzel (1853-1934) :Контраст на нюансаСветло / тъмно
Johannes Itten (1888-1967) :Контраст на нюансаКонтраст светло/тъмно
Топло / студеноДопълванеЛъскаво / матово
Контраст топло/студеноКонтраст на допълванеЕдновременен контраст
20
Много / малкоЦветно / ахроматично
р рКонтраст на наситеносттаКонтраст на пропорциите
"Picasso's blue period was characterized by his dominant use of a monochromatic blue color scheme to enhance the melancholy subjects of the paintings"
Picasso: La Vie (1903)
paintings"[Koenig, 2010]
Picasso: The Tragedy (1903)MonochromaticMonochromatic
Monochromatic and analogous schemes are very harmonious and emphasize visual unity.
21
Monet: Ice Floes Misty Morning, 1894Analogous: blue / blue-green
Picasso: The Girl with a Goat (1906)Analogous: yellow/orange
Theotokos of the Passion (13th-15th c.)Contrast of Hue is often used in Icons
Botticelli: Lamentation over the Dead Christ (1490-1492)
"The totality of hues symbolizes the cosmic significance of the epochal event" [Itten,1961]
22
Cezanne: Apples and Oranges (1895-1900)Double Complementary - red/orange and green/blue[Itten,1961]
Rogier Van der Weyden: Deposition (1436) Primary triad - red, yellow, blue [Koenig, 2010]
Friedrich: Woman before the Setting Sun (1818)Warm
Friedrich:
Friedrich:Monk by the Sea (1808)
Cold
Neubrandenburg (1816)Cold-Warm
23
Gris: Landscape with Houses at Ceret (1913)
Braque: Still Life with Mandola and Metronome (1909)
24
Monet: Water Lilies 1908
Rembrandt: Portrait of Saskia (1633)Light-Dark Contrast
Monet: Water Lilies, 1908Light-middle, smooth
Mucha: Flower Lily (1898) Monet: Water Lilies, 1915Dark middle smooth
25
van Gogh: Cafe Terrace at Night (1888)Light-Dark Contrast + Opposite hues Yellow/blue
Very Light Dark-middle, smooth
26
http://www.colorsystem.com/
• Цветови модел: абстрактен математически модел за описване на цвета като числов вектор, обикновено с три/четири атрибута (цветови компоненти)
27! цветови модел <> цветово пространство
Runge (1807):“прост символ на светата троица”синьо червено жълто
Newton (1666):
– синьо, червено, жълто
Lambert (1772):cinnibar King’s yellow andNewton (1666):
7 цвята в съответствие с музи-калните интервали в октавата
cinnibar, King s yellow and azurite – първата тримерна система
28Munsell (1905-16)
• RGB използван за представяне на изображенията• RGB – използван за представяне на изображенията, но трудно четивен от потребителите.
• HSL - Hue Saturation LightnessRED
MAGENTA
YELLOW
Hue: 0..3600 и "-1" за ахроматичните; Saturation: 0 (сиво) to 1 (чисто)Lightness: 0 (черно) to 1 (бяло)
HSL Hue, Saturation, Lightness
BLUE
CYANGREEN
Lightness: 0 (черно) to 1 (бяло)
Conversion from RGB to HSL:
R G B in [0 255]; max = max(R G B); min = min (R G B)
0 if =
1 if 2
max minmax minS max minmax min
⎧⎪⎪
−⎪= + ≤⎨ +⎪
o o o
0 if
(60 360 ) mod 360 if
max minG B max R
max minH B R
=−× + =−
= −
⎧⎪⎪⎪⎪⎨
max minL +=
R,G,B in [0,255]; max = max(R,G,B); min = min (R,G,B)
1 if 22 ( )
max minmax min max minmax min
+⎪−⎪ + >⎪ − +⎩
o o
o o
60 120 if
60 240
B R max Gmax minR G
max min
× + =−−× +−
if max B
⎨⎪⎪⎪ =⎪⎩
2* 255L
YCbC ф б0.299* 0.587* 0.114*
255R G BLuma + +=
• YCbCr – използван за съхраняване и трансфер на видеоизображения.
Hue – от HSL-модела; с отчитане на изместването на цветовия кръг, въприет от
RED
VIOLET
ORANG
E
художниците BLUE
GREEN
YELLOW
Saturation – от HSL-модела (и HSV)
Luma - от YCbCr-моделаLuma от YCbCr модела
30
31
Цветова хистограма -> тримерен масив, съдържащ фракциите на съответните цветове, базирани на квантуването на атрибутите на HSL-artists color model.
Fuzzy function for calculating quantization part of colour
characteristic.
{ ( ) | 1 1 0 1 0 1}A A ih i il ih NH i NS il NL{ ( , , ) | -1,..., -1; 0,..., -1; 0,..., -1}A A ih is il ih NH is NS il NL= = = =
Вектор на нюанса
1
1
1 1
1 :
< i i
p
n n
p pi i
nh if h xnh
nh n if h x and h x−
= ≥⎧⎪⎨
= ≥⎪⎩
∑ ∑
32Вектор на наситеността, вектор на светлотата – по същия начин
1 1i i= =⎩
Функции-примитиви за нюанса
33
34
Фамилии от цветове: pwarm, pcold, pneutral.pwarm, pcold, pneutral.
warmwarm
cold
neutralneutral
warm-cold
lwarm-neutral
cold-neutral
35
КомбинацииКомбинации
Clear/Dull Contrast:• soft/sharp for light images,• ground/spectral for images with medium lightness, • dull/clear for dark images
Light/dark contrast:k k l l h l h• very dark, dark, middle, light, very light,
• dark-light, light-dark, etc.36
Основни функции:
Въвеждане на данни
Извличане на визуални х-киИзвличане на визуални х-ки
Интерфейс за заявки
Обработка на заявките
Визуализация
Връзки с други системи (пакети):Връзки с други системи (пакети):
MILOS, CLUTO
ORANGE, WEKA, PaGaNe
37
38
iMovement ArtistIcons (60) Icons (60)Renaissance (90) Botticelli (30); Michelangelo (30); Raphael (30)Baroque (90) Caravaggio (30); Rembrandt (30); Rubens (30)Romanticism (90) Friedrich (30); Goya (30); Turner (30)Impressionism (90) Monet (30); Pissarro (30); Sisley (30)Cubism (90) Braque (30); Gris (30); Leger (30)Modern Art (90) Klimt (30); Miro (30); Mucha (30)
Weka:OneR (decision rules)JRip (=RIPPER decision rule)J48 (=C 4.5 decision tree)
39
( )PaGaNe:
PGN (CAR classifier) [Mitov, 2011]
Икони (контраст на нюанса сИкони (контраст на нюанса с използване на чисти цветове)
Барок (маслени бои, ателиета свещи)Причини за доминиране на топлите цветове:
• Цвета на лицата и телатаЦвета на лицата и телата• Лаковете с времето - жълтеникав оттенък• Синьото и зеленото – не издържат на влияние на светлината
• Специфики в художествените практики
40
Специфики в художествените практики (кафяво вместо зелено)
41
Частични триади:Триади: в картините на автори Частични триади:в Импресионизма -
представяне на природата(Pissarro, Sisley )
Триади: в картините на автори, чиито техники са базирани основно на този тип контраст(Botticelli and Goya)
Частични триади: и в силно абстракт-
ните картини от КубизмаКубизма
(Gris, Leger)
Монохроматични и аналогови: когато се използва друга форма на експресиянапр. светлотата: “light-dark contrast” в Барока; “gradient expressions” в стила на Braque ...
Студени тонове:Студени тонове: представяне на
природата в Импресионизма
Топли цветове в иконите:златен фон и червен цвят като символ на
43
жертвоприношението Тъмни топли цветове –специфични за Барока
44
Baroque
45
1. Нов методологичен подход за интегриране на извличането на цветовите характеристики спрямо по-високо семантични концепти
2. Предлагане на цветови модел, подходящ за извличане на характеристиките, описващи хармониите и контрастите.
3 Формално описание на (някои от) хармониите и контрастите от гледна3. Формално описание на (някои от) хармониите и контрастите от гледна точка на трите основни характеристики на цвета – нюанс, наситеност и осветеност.
4. Описание на примерна архитектура и разработка на експериментална система за извличане, основано на съдържанието на изображенията.
5 Провеждане на експерименти върху използването на системата за5. Провеждане на експерименти върху използването на системата за различни задачи (търсене на сходство, удовлетворяване на потребителски заявки, описателен и прогнозен анализ).
46
Анализ на възможностите за използване ORB-описатели [Rublee et al, 2011], като основа за дефиниране на концепти от[Rublee et al, 2011], като основа за дефиниране на концепти от по-високо ниво;
Фокусиране върху процеса на изхвърляне на малко значещи атрибути при извличането на знания с цел постигане на по-ясни и по-бързи резултати;
П бПрилагане на вече извлечените, както и нови атрибути и съответните методи в областта на анализ на източната иконографска живопис по школи и тематика в иконите.
47
Красимира ИвановаКрасимира Ивановаkivanova@math bas bgkivanova@math bas [email protected] [email protected]
48
[Jaimes and Chang, 2002] Jaimes, A., Chang, S.-F.: Concepts and techniques for indexing visual semantics. Image D t b S h d R t i l f Di it l I J h Wil & S 2002 497 565Databases: Search and Retrieval of Digital Imagery. John Wiley & Sons, 2002, pp. 497-565.
[Burford et al, 2003] Burford, B., Briggs, P., Eakins, J.: A taxonomy of the image: on the classification of content for image retrieval. Visual Communication, 2(2), 2003, pp. 123-161.
[Hurtut 2010] Hurtut T 2D Artistic Images Analysis a Content based Survey[Hurtut, 2010] Hurtut, T. 2D Artistic Images Analysis, a Content-based Survey. http://hal.archives-ouvertes.fr/hal-00459401_v1/
[Itten, 1961] Itten, J.: The Art of Color: the Subjective Experience and Objective Rationale of Color, Reinhold Publishing Corporation of New York, 1961.
[Koenig, 2010] Koenig, B.: Color Workbook, Prentice Hall, Third edition, 2010, 242 p.
[Arnheim, 1974] Arnheim, R.: Art and Visual Perception: A Psychology of the Creative Eye. University of California Press, Berkeley, 1974.
[Holte, 1993] Holte, R.: Very simple classification rules perform well on most commonly used datasets. Machine Learning, Vol. 11, 1993, pp.63-91.
[Cohen, 1995] Cohen, W.: Fast effective rule induction. In Proc. of the 12th Int. Conf. on Machine Learning, Lake Taho, California, Morgan Kauffman, 1995.California, Morgan Kauffman, 1995.
[Quinlan, 1993] Quinlan, R.: C4.5: Programs for Machine Learning. Morgan Kaufmann Publ., 1993.
[Mitov, 2011] Mitov, I.: Class Association Rule Mining Using Multi-Dimensional Numbered Information Spaces. PhD Thesis, Hasselt University, Belgium, 2011., y, g ,
[Rublee et al, 2011] Rublee, E., Rabaud, V., Konolige, K., Bradski, G.: ORB: An Efficient Alternative to SIFT or SURF. In Proc. of ICCV 2011, Barcelona, pp.2564-2571.
49