Information visualization for biosensing

Fernando V. Paulovichhttp://www.icmc.usp.br/~paulovic

paulovic@icmc.usp.br

Instituto de Ciências Matemáticas e de Computação (ICMC)Universidade de São Paulo (USP)

1 / 60

Sumário

1 Motivação

2 Visualização de Informação

3 Projeções Multidimensionais

4 Sensores e BiossensoresDetecção de Ácido FíticoDistinção Leishmaniose/ChagasEliminação de Cross-TalkProjection Explorer Sensors (PEx-Sensors)

5 Conclusões

2 / 60

Sumário

1 Motivação

2 Visualização de Informação

3 Projeções Multidimensionais

4 Sensores e BiossensoresDetecção de Ácido FíticoDistinção Leishmaniose/ChagasEliminação de Cross-TalkProjection Explorer Sensors (PEx-Sensors)

5 Conclusões

3 / 60

Introdução

A informação vem crescendo 30% ao ano [Tan et. al, 2005]

4 / 60

Crescimento em Números

Em 2007 existiam cerca de 30 milhões de câmeras de vigilânciasomente nos EUA

Mais de 4 bilhões de horas de vídeo toda semana [J. Vlahos,2008]

Em 2002, 5 exabytes de nova informação impressa, magnética eótica foi produzida

Equivalente a 37,000 cópias de todos os 7 milhões de livros daBiblioteca do Congresso americano [Lyman & Hal, 2003]

Na média, atualmente uma pessoa em uma grande companhiatroca cerca de 177 mensagens por dia [Tanaka, 1998]

Uma unica edição do New York Times atual contém maisinformação do que uma pessoa comum no século 17 tevecontato em toda sua vida [Tanaka, 1998]

5 / 60

Crescimento em Números

Em 2007 existiam cerca de 30 milhões de câmeras de vigilânciasomente nos EUA

Mais de 4 bilhões de horas de vídeo toda semana [J. Vlahos,2008]

Em 2002, 5 exabytes de nova informação impressa, magnética eótica foi produzida

Equivalente a 37,000 cópias de todos os 7 milhões de livros daBiblioteca do Congresso americano [Lyman & Hal, 2003]

Na média, atualmente uma pessoa em uma grande companhiatroca cerca de 177 mensagens por dia [Tanaka, 1998]

Uma unica edição do New York Times atual contém maisinformação do que uma pessoa comum no século 17 tevecontato em toda sua vida [Tanaka, 1998]

6 / 60

Crescimento em Números

Em 2007 existiam cerca de 30 milhões de câmeras de vigilânciasomente nos EUA

Mais de 4 bilhões de horas de vídeo toda semana [J. Vlahos,2008]

Em 2002, 5 exabytes de nova informação impressa, magnética eótica foi produzida

Equivalente a 37,000 cópias de todos os 7 milhões de livros daBiblioteca do Congresso americano [Lyman & Hal, 2003]

Na média, atualmente uma pessoa em uma grande companhiatroca cerca de 177 mensagens por dia [Tanaka, 1998]

Uma unica edição do New York Times atual contém maisinformação do que uma pessoa comum no século 17 tevecontato em toda sua vida [Tanaka, 1998]

7 / 60

Crescimento em Números

Em 2007 existiam cerca de 30 milhões de câmeras de vigilânciasomente nos EUA

Mais de 4 bilhões de horas de vídeo toda semana [J. Vlahos,2008]

Em 2002, 5 exabytes de nova informação impressa, magnética eótica foi produzida

Equivalente a 37,000 cópias de todos os 7 milhões de livros daBiblioteca do Congresso americano [Lyman & Hal, 2003]

Na média, atualmente uma pessoa em uma grande companhiatroca cerca de 177 mensagens por dia [Tanaka, 1998]

Uma unica edição do New York Times atual contém maisinformação do que uma pessoa comum no século 17 tevecontato em toda sua vida [Tanaka, 1998]

8 / 60

Simples! Colete menos dados...

Nome Posição Altura Peso Data NascimentoBrennan Bosch Centro 1,75 77 14/02/1988Scott Wasden Centro 1,85 91 04/01/1988Colton Grant Ala Esquerda 1,75 79 20/03/1989Darren Helm Ala Esquerda 1,83 83 21/01/1987Derek Dorsett Ala Direita 1,08 81 20/12/1986

Daine Todd Centro 1,78 76 10/01/1987Tyler Swystun Ala Direita 1,80 82 15/01/1988

Matt Lowry Centro 1,83 83 02/03/1988Kevin Undershute Ala Esquerda 1,83 82 12/04/1987

Jerrid Sauer Ala Direita 1,78 94 12/09/1987Tyler Ennis Centro 1,75 70 06/10/1989

Jordan Hickmott Centro 1,83 82 11/04/1990Jakub Rumpel Ala Direita 1,73 75 27/01/1987

Bretton Cameron Centro 1,80 77 26/01/1989Chris Stevens Ala Esquerda 1,78 89 20/08/1986Gord Baldwin Defesa 1,96 93 01/03/1987

David Schlemko Defesa 1,85 88 22/01/1988Trevor Glass Defesa 1,83 85 22/01/1988Kris Russell Defesa 1,80 80 02/05/1987

Michael Sauer Defesa 1,91 93 07/08/1987Mark Isherwood Defesa 1,83 82 31/01/1989Shayne Brown Defesa 1,85 86 20/02/1989Jordan Benfield Defesa 1,91 104 09/02/1988

Ryan Holfeld Goleiro 1,80 75 29/06/1989Matt Keetley Goleiro 1,88 86 27/04/1986

Tabela: Time de hoquei junior do Medicine Hat Tigers de 2007 [Gladwell,2008].

9 / 60

Simples! Colete menos dados...

Nome Posição Altura Peso Data NascimentoBrennan Bosch Centro 1,75 77 14/02/1988Scott Wasden Centro 1,85 91 04/01/1988Colton Grant Ala Esquerda 1,75 79 20/03/1989Darren Helm Ala Esquerda 1,83 83 21/01/1987Derek Dorsett Ala Direita 1,08 81 20/12/1986

Daine Todd Centro 1,78 76 10/01/1987Tyler Swystun Ala Direita 1,80 82 15/01/1988

Matt Lowry Centro 1,83 83 02/03/1988Kevin Undershute Ala Esquerda 1,83 82 12/04/1987

Jerrid Sauer Ala Direita 1,78 94 12/09/1987Tyler Ennis Centro 1,75 70 06/10/1989

Jordan Hickmott Centro 1,83 82 11/04/1990Jakub Rumpel Ala Direita 1,73 75 27/01/1987

Bretton Cameron Centro 1,80 77 26/01/1989Chris Stevens Ala Esquerda 1,78 89 20/08/1986Gord Baldwin Defesa 1,96 93 01/03/1987

David Schlemko Defesa 1,85 88 22/01/1988Trevor Glass Defesa 1,83 85 22/01/1988Kris Russell Defesa 1,80 80 02/05/1987

Michael Sauer Defesa 1,91 93 07/08/1987Mark Isherwood Defesa 1,83 82 31/01/1989Shayne Brown Defesa 1,85 86 20/02/1989Jordan Benfield Defesa 1,91 104 09/02/1988

Ryan Holfeld Goleiro 1,80 75 29/06/1989Matt Keetley Goleiro 1,88 86 27/04/1986

Tabela: Time de hoquei junior do Medicine Hat Tigers de 2007 [Gladwell,2008].

10 / 60

Simples! Colete menos dados...

Nome Posição Altura Peso Data NascimentoBrennan Bosch Centro 1,75 77 14/02/1988Scott Wasden Centro 1,85 91 04/01/1988Colton Grant Ala Esquerda 1,75 79 20/03/1989Darren Helm Ala Esquerda 1,83 83 21/01/1987Derek Dorsett Ala Direita 1,08 81 20/12/1986

Daine Todd Centro 1,78 76 10/01/1987Tyler Swystun Ala Direita 1,80 82 15/01/1988

Matt Lowry Centro 1,83 83 02/03/1988Kevin Undershute Ala Esquerda 1,83 82 12/04/1987

Jerrid Sauer Ala Direita 1,78 94 12/09/1987Tyler Ennis Centro 1,75 70 06/10/1989

Jordan Hickmott Centro 1,83 82 11/04/1990Jakub Rumpel Ala Direita 1,73 75 27/01/1987

Bretton Cameron Centro 1,80 77 26/01/1989Chris Stevens Ala Esquerda 1,78 89 20/08/1986Gord Baldwin Defesa 1,96 93 01/03/1987

David Schlemko Defesa 1,85 88 22/01/1988Trevor Glass Defesa 1,83 85 22/01/1988Kris Russell Defesa 1,80 80 02/05/1987

Michael Sauer Defesa 1,91 93 07/08/1987Mark Isherwood Defesa 1,83 82 31/01/1989Shayne Brown Defesa 1,85 86 20/02/1989Jordan Benfield Defesa 1,91 104 09/02/1988

Ryan Holfeld Goleiro 1,80 75 29/06/1989Matt Keetley Goleiro 1,88 86 27/04/1986

Tabela: Time de hoquei junior do Medicine Hat Tigers de 2007 [Gladwell,2008].

11 / 60

Enfim...

Como lidar com isso?

12 / 60

Sumário

1 Motivação

2 Visualização de Informação

3 Projeções Multidimensionais

4 Sensores e BiossensoresDetecção de Ácido FíticoDistinção Leishmaniose/ChagasEliminação de Cross-TalkProjection Explorer Sensors (PEx-Sensors)

5 Conclusões

13 / 60

Visualização

“O uso de representações visuais de dados interativas eapoiadas por computador, para ampliar a cognição”

Card et al., Readings in Information Visualization, 1999

14 / 60

Visualização

“O uso de representações visuais de dados interativas eapoiadas por computador, para ampliar a cognição”

Card et al., Readings in Information Visualization, 1999

15 / 60

Mapas de Calor (Copa FIFA 2010)

http://pt.fifa.com/worldcup/statistics/players/

16 / 60

Mapas de Calor (Copa FIFA 2010)

http://pt.fifa.com/worldcup/statistics/players/

17 / 60

Exemplo New York Times

http://www.nytimes.com//interactive/2009/07/31/business/20080801-metrics-graphic.html?ref=business

18 / 60

Exemplo New York Times

http://www.nytimes.com//interactive/2009/07/31/business/20080801-metrics-graphic.html?ref=business

19 / 60

Exemplo

Qual é a maior renda? Média? DistribuiçãoQual a relação entre renda e educação?Anomalias?

20 / 60

Exemplo (Scatterplots)

21 / 60

Sumário

1 Motivação

2 Visualização de Informação

3 Projeções Multidimensionais

4 Sensores e BiossensoresDetecção de Ácido FíticoDistinção Leishmaniose/ChagasEliminação de Cross-TalkProjection Explorer Sensors (PEx-Sensors)

5 Conclusões

22 / 60

Projeção Multidimensional

IDH/ONU de 2006 (http://hdr.undp.org/hdr2006/statistics/)

23 / 60

Projeção Multidimensional

δ : xi,xj→ℜ,xi,xj ∈ X

d : yi,yj→ℜ,yi,yj ∈ Y

f : X→ Y, |δ (xi,xj)−d(f (xi), f (xj))| ≈ 0,∀xi,xj ∈ X

24 / 60

Projeção Multidimensional

δ : xi,xj→ℜ,xi,xj ∈ X

d : yi,yj→ℜ,yi,yj ∈ Y

f : X→ Y, |δ (xi,xj)−d(f (xi), f (xj))| ≈ 0,∀xi,xj ∈ X

25 / 60

Projeção Multidimensional

δ : xi,xj→ℜ,xi,xj ∈ X

d : yi,yj→ℜ,yi,yj ∈ Y

f : X→ Y, |δ (xi,xj)−d(f (xi), f (xj))| ≈ 0,∀xi,xj ∈ X

26 / 60

Projeção Multidimensional

δ : xi,xj→ℜ,xi,xj ∈ X

d : yi,yj→ℜ,yi,yj ∈ Y

f : X→ Y, |δ (xi,xj)−d(f (xi), f (xj))| ≈ 0,∀xi,xj ∈ X

27 / 60

Coleções de Documentos

28 / 60

Projection Explorer (PEx)

http://infoserver.lcad.icmc.usp.br/

29 / 60

Projection Explorer Image (PEx-Image)

http://infoserver.lcad.icmc.usp.br/

30 / 60

Projeções Variantes no Tempo

Projeções multidimensionais variantes no tempo de coleções dedocumentos

Evolução temporal

31 / 60

Sumário

1 Motivação

2 Visualização de Informação

3 Projeções Multidimensionais

4 Sensores e BiossensoresDetecção de Ácido FíticoDistinção Leishmaniose/ChagasEliminação de Cross-TalkProjection Explorer Sensors (PEx-Sensors)

5 Conclusões

32 / 60

Sensores e Biossensores

Espectroscopia por Impedância

Unidade sensorial mede a impedância (valores real eimaginário) em diferentes faixas de frequências, permitindocaracterizar diferentes substâncias

Alta-dimensionalidade dos dados se muitas faixas de frequênciasforem consideradas

33 / 60

Sumário

1 Motivação

2 Visualização de Informação

3 Projeções Multidimensionais

4 Sensores e BiossensoresDetecção de Ácido FíticoDistinção Leishmaniose/ChagasEliminação de Cross-TalkProjection Explorer Sensors (PEx-Sensors)

5 Conclusões

34 / 60

Detecção de Ácido Fítico

Objetivo

Distinguir diferentes concentrações de Ácido Fítico (fitase)

Dados

Amostras em 5 diferentes concentrações (10−2, 10−3, 10−4, 10−5,10−6), 10 por concentraçãoSolução tampão, 10 amostrasDiferentes sensores: (1) PAH/PVS e (2) PAH/phytase

Moraes, M.L., Maki, R.M., Paulovich, F.V., Rodrigues Filho, U.P., Oliveira, M.C.F., Riul Jr., A.,Souza, N.C., Ferreira, M., Gomes, H.L., Oliveira Jr., O.N. Strategies to Optimize BiosensorsBased on Impedance Spectroscopy to Detect Phytic Acid Using Layer-by-Layer Films.Analytical Chemistry(Washington), v. 82, p. 3239-3246, 2010.

35 / 60

PAH/PVS

Projeção Sammon’s Mapping para dados do sensor PAH/PVS

36 / 60

PAH/phytase

Projeção Sammon’s Mapping para dados do sensor PAH/phytase

37 / 60

PAH/phytase e PAH/PVS

Projeção Sammon’s Mapping para dados dos sensores PAH/phytase e PAH/PVS unidos

38 / 60

Sumário

1 Motivação

2 Visualização de Informação

3 Projeções Multidimensionais

4 Sensores e BiossensoresDetecção de Ácido FíticoDistinção Leishmaniose/ChagasEliminação de Cross-TalkProjection Explorer Sensors (PEx-Sensors)

5 Conclusões

39 / 60

Distinção Leishmaniose/Chagas

Objetivo

Distinguir amostras com anticorpos para Leishmaniose e doençade Chagas

Muitos falso positivos devido a dificuldade de distinguir entre essesdois tipos de anticorpos

Paulovich, F.V., Maki, R., Oliveira, M.C.F., Colhone, M.C., Santos, F.R., Migliaccio, V.,Ciancaglini, P., Daghastanli, K.R., Stabeli, R.G., Perinoto, A.C., Oliveira Jr., O.N., Zucolotto,V. Using multidimensional projection techniques for reaching a high distinguishing ability inbiosensing Analytical and Bioanalytical Chemistry, v. 400, p. 1153-1159, 2011.

Perinoto, A.C., Maki, R.M., Colhone, M.C., Santos, F.R., Migliaccio, V., Daghastanli, K.R.,Stabeli, R.G., Ciancaglini, P., Paulovich,F.V., Oliveira, M.C.F., Zucolotto, V. Biosensors forEfficient Diagnosis of Leishmaniasis: Innovations in Bioanalytics for a Neglected Disease.Analytical Chemistry(Washington), v. 82, p. 9763-9768, 2010.

40 / 60

Dados Mensurados

Dados25 substâncias distintas com 9 amostras cada = 225 amostras4 diferentes configurações de sensores58 frequências analisadas para cada sensor116 atributos para cada sensor, resultando em 464 atributos paraos dados

Amostrassolução tampão (usada como referência)soro infectado com Leishmania (em quatro concentrações)soro infectado com Tripanossoma Cruzi (em quatroconcentrações)soro com ausência de anticorpos contra os parasitas (em quatroconcentrações)soro com anticorpos negativos (em três concentrações)soro com anticorpos anti-Leishmania (em três concentrações)soro com anticorpos anti-T. Cruzi (em três concentrações)mistura de soro com anticorpos anti-T. Cruzi e anti-Leishmania(em três concentrações)

41 / 60

Principal Components Analysis (PCA)

Projeção PCA com a medida de apenas um sensor

42 / 60

Sammon’s Mapping

Projeção Sammon’s Mapping com a medida de apenas um sensor

43 / 60

Sammon’s Mapping

Projeção Sammon’s Mapping com a medida dos 4 sensores (standardization)

44 / 60

Sumário

1 Motivação

2 Visualização de Informação

3 Projeções Multidimensionais

4 Sensores e BiossensoresDetecção de Ácido FíticoDistinção Leishmaniose/ChagasEliminação de Cross-TalkProjection Explorer Sensors (PEx-Sensors)

5 Conclusões

45 / 60

Eliminação de Cross-Talk

Objetivo

Eliminar interferência entre sensores próximos

Siqueira, J.R., Maki, R.M., Paulovich, F.V., Werner, C.F., Poghossian, A., Oliveira, M.C.F.,Zucolotto, V., Oliveira Jr., O.N., Schöning, M.J. Use of Information Visualization MethodsEliminating Cross Talk in Multiple Sensing Units Investigated for a Light-AddressablePotentiometric Sensor. Analytical Chemistry (Washington), v. 82, p. 61-65, 2010.

46 / 60

Sumário

1 Motivação

2 Visualização de Informação

3 Projeções Multidimensionais

4 Sensores e BiossensoresDetecção de Ácido FíticoDistinção Leishmaniose/ChagasEliminação de Cross-TalkProjection Explorer Sensors (PEx-Sensors)

5 Conclusões

47 / 60

Projection Explorer Sensors (PEx-Sensors)

Objetivo

Ferramenta de visualização de propósito geral para análise dedados de sensores e biossensores

Dados

Os mesmos usados para a identificação de Ácido Fítico

Paulovich, F.V., Moraes, M.L., Maki, R.M.,Ferreira, M., Oliveira Jr., O.N., Oliveira,M.C.F. Information visualization techniquesfor sensing and biosensing. Analyst(London. 1877. Print), v. 136, p.1344-1350, 2011.

48 / 60

Interpretando Dados de Sensores

(a) Bare electrode (b) PAH/phytase

(c) PAH/PVS

Projeções com diferentes sensores

49 / 60

Interpretando Dados de Sensores

Interpretando as frequencias (sensor PAH/PVS)

50 / 60

Interpretando Dados de Sensores

Escolhendo as melhores frequencias (sensor PAH/PVS)

51 / 60

Interpretando Dados de Sensores

Escolhendo as melhores frequencias (todos sensores)

52 / 60

Sumário

1 Motivação

2 Visualização de Informação

3 Projeções Multidimensionais

4 Sensores e BiossensoresDetecção de Ácido FíticoDistinção Leishmaniose/ChagasEliminação de Cross-TalkProjection Explorer Sensors (PEx-Sensors)

5 Conclusões

53 / 60

Conclusões

O crescimento da quantidade de dados produzidos é latenteQual o custo de se gerar dados?Qual o benefício de ser possível analisar mais dados?

Análise se torna cada vez mais complexaMaior quantidade de dados e medidas (atributos)Multimodalidade (diferentes dispositivos)Análise limitada pode levar a interpretações ERRADAS!

O que o VICG/ICMC/USP pode prover como soluçãoAnálise de similaridade (verificar reprodutividade)Visualização de variações temporais (modificações/degradações)...

54 / 60

Conclusões

O crescimento da quantidade de dados produzidos é latenteQual o custo de se gerar dados?Qual o benefício de ser possível analisar mais dados?

Análise se torna cada vez mais complexaMaior quantidade de dados e medidas (atributos)Multimodalidade (diferentes dispositivos)Análise limitada pode levar a interpretações ERRADAS!

O que o VICG/ICMC/USP pode prover como soluçãoAnálise de similaridade (verificar reprodutividade)Visualização de variações temporais (modificações/degradações)...

55 / 60

Conclusões

O crescimento da quantidade de dados produzidos é latenteQual o custo de se gerar dados?Qual o benefício de ser possível analisar mais dados?

Análise se torna cada vez mais complexaMaior quantidade de dados e medidas (atributos)Multimodalidade (diferentes dispositivos)Análise limitada pode levar a interpretações ERRADAS!

O que o VICG/ICMC/USP pode prover como soluçãoAnálise de similaridade (verificar reprodutividade)Visualização de variações temporais (modificações/degradações)...

56 / 60

Conclusões

O crescimento da quantidade de dados produzidos é latenteQual o custo de se gerar dados?Qual o benefício de ser possível analisar mais dados?

Análise se torna cada vez mais complexaMaior quantidade de dados e medidas (atributos)Multimodalidade (diferentes dispositivos)Análise limitada pode levar a interpretações ERRADAS!

O que o VICG/ICMC/USP pode prover como soluçãoAnálise de similaridade (verificar reprodutividade)Visualização de variações temporais (modificações/degradações)...

57 / 60

Grupo de Pesquisa

Grupo de Visualização, Imagens e Computação Gráfica (VICG)http://infoserver.lcad.icmc.usp.br/

Professores

Afonso Paiva (Computação Gráfica)

Maria Cristina Ferreira de Oliveira (Visualização)

Fernando Paulovich (Visualização)

Luis Gustavo Nonato (Visualização)

Moacir Ponti Jr. (Processamento de Imagens)

Rosane Minghim (Visualização)

Antonio Castelo Filho (Computação Gráfica)

João Do Espirito Santo Batista Neto (Processamento deImagens)

Colaboradores

Alexandru Telea (RUG - Holanda)

Alneu de Andrade Lopes (ICMC - USP)

Anton Heijs (Treparel - Holanda)

Charl P. Botha (TU-Delft - Holanda)

Haim Levkowitz (UMASS - EUA)

Lars Linsen (Jacobs University - Alemanha)

Osvaldo Novais de Oliveira Jr (IFSC - USP)

...

58 / 60

Fim

Perguntas???Prof. Dr. Fernando Vieira Paulovich

paulovic@icmc.usp.br

59 / 60

Referências

[Lyman & Varian, 2003] Peter Lyman and Hal R. Varian, HowMuch Information, 2003; www2.sims.berkeley.edu/research/projects/how-much-info/

[Tanaka, 1998] Jennifer Tanaka, Drowning in Data, Newsweek,4/28/98, p. 85[Cetron & Davies, 1991] Marvin Cetron and Owen Davies,Crystal Globe, New York, St. Martin’s Press, 1991, pp. 361-2[Cetrin & Davies, 1989] Marvin Cetron and Owen Davies,American Renaissance, New York, St. Martin’s Press, 1989, p.65[Gladwell, 2008] Malcolm Gladwell, Fora de Série : Outliers,Sextante, 2008.

60 / 60