Corpora Comparáveis Corpora Comparáveis

Belinda Maia Belinda Maia

FLUPFLUP

Citações de: Citações de:

EAGLES - EAGLES - Expert Advisory Group Expert Advisory Group on Language Engineering on Language Engineering Standards Standards

Guidelines – 1996 – at:Guidelines – 1996 – at: http://www.ilc.pi.cnr.it/EAGLES96/brohttp://www.ilc.pi.cnr.it/EAGLES96/bro

wse.htmlwse.html

Comparable corpora - definitionComparable corpora - definition

““A comparable corpus is one which A comparable corpus is one which selects similar texts in more than one selects similar texts in more than one language or variety. There is as yet language or variety. There is as yet no agreement on the nature of the no agreement on the nature of the similarity, because there are very similarity, because there are very few examples of comparable few examples of comparable corpora”. corpora”.

Comparable corpora - usesComparable corpora - uses

““The possibilities of a comparable The possibilities of a comparable corpus are to compare different corpus are to compare different languages or varieties in similar languages or varieties in similar circumstances of communication, but circumstances of communication, but avoiding the inevitable distortion avoiding the inevitable distortion introduced by the translations of a introduced by the translations of a parallel corpus”. parallel corpus”.

Corpora Comparáveis (CC)Corpora Comparáveis (CC)

Textos que reflectem as convenções Textos que reflectem as convenções da cultura subjacente da cultura subjacente

Textos legais do sistema legal local Textos legais do sistema legal local Textos socialmente convencionados: Textos socialmente convencionados:

participações de falecimentos, participações de falecimentos, anúncios de casas ou empregosanúncios de casas ou empregos

Textos académicos / científicos – Textos académicos / científicos – convenções diferentes em culturas e convenções diferentes em culturas e domínios diferentesdomínios diferentes

CC – VantagensCC – Vantagens

Disponibilidade de mais textos – e Disponibilidade de mais textos – e mais variedademais variedade

Versatilidade para investigação em:Versatilidade para investigação em:• Análise do discursoAnálise do discurso• PragmáticaPragmática• Pesquisa de informaçãoPesquisa de informação• Engenharia do conhecimento Engenharia do conhecimento

O que torna textos/corpora

COMPARÁVEIS?

EAGLES - quoteEAGLES - quotess

““A comparable corpus is one which A comparable corpus is one which selects similar texts in more than one selects similar texts in more than one language or variety”.language or variety”.

Similar – em mais do que uma línguaSimilar – em mais do que uma língua

E/OUE/OU Similar – em variedadeSimilar – em variedade

““... circunstâncias ... circunstâncias similares de similares de communicaçãocommunicação..”..”

Similares em Similares em – Forma/conteúdo?– Forma/conteúdo?

FormaForma• Tamanho> num. de palavras, frases, Tamanho> num. de palavras, frases,

parágrafosparágrafos• Tamanho dos textosTamanho dos textos• Formato - .txt, .doc, .html, .xmlFormato - .txt, .doc, .html, .xml

ConteúdoConteúdo• Linguagem geralLinguagem geral• Domínios especializadosDomínios especializados

Similares em Similares em – Estrutura / Função?– Estrutura / Função?

EstruturaEstrutura• Textos formais e bem construídos – ex. Textos formais e bem construídos – ex.

Textos legaisTextos legais• Discurso informal – ex. Transcrições de Discurso informal – ex. Transcrições de

conversasconversas FunçãoFunção

• SocialSocial• CulturalCultural

Similares Similares - Registo?- Registo?

RegistoRegisto• ‘‘Field’ – situação, assunto, etcField’ – situação, assunto, etc• ‘‘Tenor’ – relações interpessoaisTenor’ – relações interpessoais

ex. formal/informal, cortesia, etcex. formal/informal, cortesia, etc

• ModoModo Falado: ex. diálogo formal / informalFalado: ex. diálogo formal / informal Escrito: ex. livro, artigo, manual de Escrito: ex. livro, artigo, manual de

instruçõesinstruções Multimedia: ex. Encarta, cinema, internetMultimedia: ex. Encarta, cinema, internet

Similar - Dialecto?Similar - Dialecto?

DialectoDialecto• Geográfico > ex. Áreas urbanas/rurais, Geográfico > ex. Áreas urbanas/rurais,

países desenvolvidos / em países desenvolvidos / em desenvolvimento desenvolvimento

• Temporal > ex. Período histórico, Temporal > ex. Período histórico, grupos etários diferentes grupos etários diferentes

• Social > ex. Classes sociais, níveis de Social > ex. Classes sociais, níveis de educaçãoeducação

Comparabilidade Comparabilidade de Corpora Muito Grandesde Corpora Muito Grandes

Corpora Muito Grandes são Corpora Muito Grandes são comparáveis se:comparáveis se:• Similares em tamanhoSimilares em tamanho• Construídos segundo os mesmos Construídos segundo os mesmos

critérios > ex. quantidade e qualidade critérios > ex. quantidade e qualidade de tipos de textode tipos de texto

Por exemplo? Por exemplo? • British National CorpusBritish National Corpus• Mannheimer CorpusMannheimer Corpus

Comparabilidade Comparabilidade de corpora jornalísticosde corpora jornalísticos

Corpora jornalísticos variam em:Corpora jornalísticos variam em:• Tipo: qualidade/popular, conteúdo Tipo: qualidade/popular, conteúdo

geral/especializadogeral/especializado• Data de publicação: o mesmo Data de publicação: o mesmo

dia/mês/ano dia/mês/ano • Por exemplo? Por exemplo?

• CETEMPúblico – PortuguêsCETEMPúblico – Português• Corpus da Reuter – InglêsCorpus da Reuter – Inglês

Comparabilidade Comparabilidade em Corpora Literáriosem Corpora Literários

Período:Período:• Medieval, Século XVIII, Pós-guerraMedieval, Século XVIII, Pós-guerra

Escola:Escola:• Romantismo, Realismo, Pós-modernismoRomantismo, Realismo, Pós-modernismo

Género (Genre):Género (Genre):• Romance, ficção científica, teatro, Romance, ficção científica, teatro,

poesiapoesia

Comparabilidade em corpora Comparabilidade em corpora técnicos e científicos - formatécnicos e científicos - forma

PanfletosPanfletos ManuaisManuais Livros de ensinoLivros de ensino Artigos e comunicaçõesArtigos e comunicações Dissertações, tesesDissertações, teses

Comparabilidade em corpora Comparabilidade em corpora técnicos e científicos - conteúdotécnicos e científicos - conteúdo

Informação geralInformação geral Informação enciclopédicaInformação enciclopédica InstruçõesInstruções EducaçãoEducação Comunicação entre peritosComunicação entre peritos

Construir CC – linguagem geralConstruir CC – linguagem geral

Começar?Começar? Corpora Muito Grandes comparáveis Corpora Muito Grandes comparáveis

em 2 ou mais línguas >só a página em 2 ou mais línguas >só a página da Comissão Europeia!da Comissão Europeia!

Corpora gerais, cuidadosamente Corpora gerais, cuidadosamente seleccionados – ex. ICAME corpora seleccionados – ex. ICAME corpora (Brown, LOB etc) = possível mas (Brown, LOB etc) = possível mas limitado limitado

Utilizar CCUtilizar CCde linguagem geral de linguagem geral

Vantagens:Vantagens:• Investigação comparativa a todos os Investigação comparativa a todos os

níveisníveis• Úteis para investigação do léxico e das Úteis para investigação do léxico e das

estruturas sintácticasestruturas sintácticas Desvantagens:Desvantagens:

• Dificuldades para análise mais cuidadosaDificuldades para análise mais cuidadosa• Desnecessários para certos tipos de Desnecessários para certos tipos de

análiseanálise

Construir CC Construir CC – Textos de jornais– Textos de jornais

Fáceis de adquirirFáceis de adquirir Grande variedade de temasGrande variedade de temas Comparáveis a vários níveisComparáveis a vários níveis Possível arranjar versões diferentes Possível arranjar versões diferentes

da ‘mesma’ notícia – ‘concurrent da ‘mesma’ notícia – ‘concurrent corpora’corpora’

Utilizar CC Utilizar CC – Textos de jornais– Textos de jornais

Comparação de tratamento de Comparação de tratamento de notícias: notícias:

ex.ex.• Política – campanhas eleitoriaisPolítica – campanhas eleitoriais• Futebol durante a Taça MundialFutebol durante a Taça Mundial

OU > estilos de jornalistas individuaisOU > estilos de jornalistas individuais

Construir CC – linguagem geral + Construir CC – linguagem geral + textos semelhantestextos semelhantes

Tipos de texto semelhante: ex. Tipos de texto semelhante: ex. Entradas em enciclopédias, Entradas em enciclopédias, publicidade turísticapublicidade turística

Textos literários do mesmo autor, Textos literários do mesmo autor, período, escola ou ‘genre’ período, escola ou ‘genre’

Textos técnicos e científicos com Textos técnicos e científicos com uma forma ou função semelhante – uma forma ou função semelhante – ex. Livros de ensinoex. Livros de ensino

Utilizar CC – linguagem geral + Utilizar CC – linguagem geral + textos semelhantestextos semelhantes

PragmáticaPragmática Análise do discursoAnálise do discurso Análise de ‘genre’Análise de ‘genre’ Análise sociolinguísticoAnálise sociolinguístico Análise culturalAnálise cultural

Construir CC – domínios Construir CC – domínios especializados especializados

Domínios especializados a níveis Domínios especializados a níveis diferentes – ex.diferentes – ex.• Geografia > demografia da população Geografia > demografia da população

> minorias étnicas ...> minorias étnicas ...• Engenharia > engenharia mecânica > Engenharia > engenharia mecânica >

tribologia ...tribologia ...• Medicina > oncologia > cancro da Medicina > oncologia > cancro da

mamamama

Utilizar CC – domínios Utilizar CC – domínios especializados especializados

Análise de ‘genre’Análise de ‘genre’ Extracção de terminologiaExtracção de terminologia Pesquisa de informaçãoPesquisa de informação Tecnologia de ‘browsers’Tecnologia de ‘browsers’ Engenharia do conhecimentoEngenharia do conhecimento

A construcção de CC - deveA construcção de CC - deve

Estabelecer uma política geral em Estabelecer uma política geral em relação: relação: • À forma – estrutura computacionalÀ forma – estrutura computacional• Ao conteúdo dos sub-corporaAo conteúdo dos sub-corpora• À possibilidade de partilhar os recursos À possibilidade de partilhar os recursos

com um público geral ou restritocom um público geral ou restrito Especificar os objectivos para a Especificar os objectivos para a

construção dos sub-corporaconstrução dos sub-corpora

A construção de CC - deveA construção de CC - deve

Respeitar os direitos de autor (‘copyright’)Respeitar os direitos de autor (‘copyright’) Lembrar factores contextuais e/ou Lembrar factores contextuais e/ou

exteriores ao textoexteriores ao texto• O estilo e particularidades do autor individualO estilo e particularidades do autor individual• As convenções da escrita numa situação As convenções da escrita numa situação

específica cultural/socialespecífica cultural/social• Efeito homogenizante da internacionalizaçãoEfeito homogenizante da internacionalização

‘‘Eurospeak’Eurospeak’ Anglicismos em terminologia científica e técnicaAnglicismos em terminologia científica e técnica

CC - limitaçõesCC - limitações

Qualquer corpus pequeno é Qualquer corpus pequeno é construído para um fim específico – construído para um fim específico – ex. extracção de terminologia, ex. extracção de terminologia, análise de ‘genre’, estudo análise de ‘genre’, estudo contrastivo de línguascontrastivo de línguas

Estes corpora têm um uso específico Estes corpora têm um uso específico e um ‘prazo de validade’e um ‘prazo de validade’

Corpógrafo - permiteCorpógrafo - permite

Construir CC em várias línguasConstruir CC em várias línguas Analisar a linguagem dos textos com Analisar a linguagem dos textos com

concordâncias, n-gramas, etcconcordâncias, n-gramas, etc Extrair terminologia semi-Extrair terminologia semi-

automaticamenteautomaticamente Criar bases de dados terminológicasCriar bases de dados terminológicas Extrair definições e relações semânticas Extrair definições e relações semânticas

semi-automaticamentesemi-automaticamente