Upload
internet
View
109
Download
1
Embed Size (px)
Citation preview
TECNOLOGIA DA
INFORMAÇÃO
Ana CláudiaAna Carnelossi Andréia VieiraErick Tsuneto
Flávia Siqueira
DATA MINING
DATA MINING
Recursos computacionais - grandes volumes de dados.
Necessidade de novas técnicas e ferramentas.
Sistemas convencionais de gerenciamento de banco de dados.
Data Mining - Mineração de Dados (três áreas: estatística clássica, inteligência artificial e aprendizado de máquina).
Data mining – é o processo de extração de informações, sem conhecimento prévio, de um grande banco de dados e seu uso para tomada de decisões.
DATA MINING
Data Mining é parte de um processo maior conhecido como KDD (Knowledge Discovery in Databases) – Descoberta de Conhecimento em Bases de Dados.
Permite a extração não trivial de conhecimento previamente desconhecido e potencialmente útil de um banco de dados.
Processo e Subprocesso
Descoberta de Conhecimento em Base
de Dados (KDD)
Data Mining (DM)
Processo de Descoberta de Conhecimento em Base de Dados (KDD)
Iteração Interação
Etapas do Processo de Descoberta de Conhecimento em Base de Dados (KDD)
Etapas do Processo de Descoberta de Conhecimento em Base de Dados (KDD)
Limpeza de Dados (DC)
Qualidade dosDados Selecionados
80% do Tempo
Armazenagem adequada dos Dados Pré- Processados (DW)
Dados organizados
Data Warehouse: depósito central de dados, extraído de dados operacionais, em que a informação é orientada a assuntos, não volátil e de natureza história.
Etapas do Processo de Descoberta de Conhecimento em Base de Dados (KDD)
Etapas do Processo de Descoberta de Conhecimento em Base de Dados (KDD)
Mineração dos dados pré-processados e já organizados (DM)
Informações pertinentes
Data Mining: processo automatizado de extração de informações, sem conhecimento prévio, de um grande banco de dados e seu uso para tomada de decisões.
Classificação
Modelos de Relacionamento entre variáveis
Análise de Agrupamento
Sumarização
Modelo de Dependência
Regras de Associação
Análise de Séries Temporais
Métodos do Data Mining para definição de Metas
Mineração dos dados pré-processados e já
organizados (DM)
MetasEstabelecidas
DATA MINING - EXEMPLOS DE APLICAÇÕES
MARKETING:
Análise do perfil do consumidor;
Posicionamento de itens em prateleira;
Controle de estoque.
DATA MINING - EXEMPLOS DE APLICAÇÕES
ECONOMIA:
Análise de mercado;
Análise de ações;
Análise de investimentos.
DATA MINING - EXEMPLOS DE APLICAÇÕES
SEGURANÇA:
Detecta intrusões em rede;
Detecta vírus.
DATA MINING - EXEMPLOS DE APLICAÇÕES
WALMART:
Análise do perfil do consumidor; Verificação de semelhanças; Otimização das atividades; Redefinição de layout; Aumento do consumo em 30%.
DATA MINING - EXEMPLOS DE APLICAÇÕES
VESTIBULAR PUC – RJ:
Análise dos candidatos à vestibular;
Candidatos do sexo feminino, que trabalham e obtiveram aprovação;
Regra: não efetivavam a matrícula;
Existiam exceções.
Ferramentas da Mineração de Dados
Darwin Data Mining Software
Oracle; Transformação de dados
Inteligência corporativa
Darwin Data Mining Software Atuação:
- criação de padrões e correlações de dados;
Resultados;
Algoritmos;
Darwin Data Mining Software Ponto Forte: wizards
Criação de modelos
Seleção
FERRAMENTA CLEMENTINE
Da empresa SPSS Inc.
Essa metodologia é composta por seis fases.
FERRAMENTA CLEMENTINE
Entendimento do Negócio (Business Understanding):Visa entender os objetivos e requisitos do projeto, do ponto de vista do negócio.
Entendimento dos Dados (Data Understanding):Coleta de dados e identificação dos problemas.
Preparação dos Dados (Data Preparation):Seleção dos dados relevantes.
Modelagem (Modelling):Aplicação de técnicas de modelagem para obter valores ótimos.
Avaliação (Evaluation):A partir do modelo, avalia-se os passos para verificar se representa o objetivo. Deverá obter uma decisão sobre o uso dos resultados da mineração de dados.
Utilização ou Aplicação (Deployment):Duas formas: 1. O analista recomenda ações a serem tomadas baseado no
modelo e resultados; 2. O modelo apliado a diferentes conjunto de dados.
Possui uma interface de programação visual, facilitando a construção de modelos de Data Mining.
Oferece ricas facilidades para a exploração e manipulação de dados.
Possui várias técnicas de modelagem e recursos gráficos, para visualização dos dados.
As operações são representadas numa área de trabalho, formando um fluxo de dado, chamados streams.
Área de trabalho é a área de construção e manipulação dos streams e dados.
FERRAMENTA CLEMENTINE Interface
FERRAMENTA CLEMENTINE Interface
Na paleta de objeto localizam-se os nós, onde possuem as seguintes funções:- Source: importar dados;- Record Ops: manipular registros e campos;- Graphs: visualizar os dados a partir de gráficos;- Modelling: construir modelos a partir de diversas
técnicas de modelagem;- Output: Avaliação dos resultados com os
recursos.
FERRAMENTA CLEMENTINE Interface
FERRAMENTA CLEMENTINE Interface
Na paleta de modelos gerados, aparecem os resultados de um modelo construído depois de executado.
FERRAMENTA CLEMENTINE Interface
FERRAMENTA CLEMENTINE Interface
Para execução de um modelo, clicar no botão de execução, assim todos os streams válidos serão executados.
FERRAMENTA CLEMENTINE Interface
FERRAMENTA CLEMENTINE Interface
O Report Window mostra um feedback do progresso das operações.
O Status Window mostra informações sobre o que a aplicação está realizando no momento. Também mostra mensagens de pedido de retorno do usuário.
FERRAMENTA CLEMENTINE Interface
FERRAMENTA CLEMENTINE Interface
FERRAMENTA CLEMENTINE Estudo
Dados fornecidos pelo IBGE – Instituto Brasileiro de Geografia e Estatística.
Estes dados referem-se a Pesquisa Nacional por Amostra de Domicílios (PNAD) – 1999.
Finalidade: Produção de informações básicas para o estudo do desenvolvimento socioeconômico do País.
Os dados encontram-se disponíveis em dois arquivos, um referente a pessoas e o outro a domicílios.
FERRAMENTA CLEMENTINE Estudo
Arquivo pessoas: possui informações de identificação e caracterização dos moradores.
Arquivo domicílio: possui informações com características das moradias.
O estudo analisou somente as pessoas ocupadas em atividades agrícolas.
Os dados encontram-se disponíveis em dois arquivos, um referente a pessoas e o outro a domicílios.
Variáveis selecionadas: Unidade de Federação, Sexo, Idade, Cor/Raça, Sabe Ler/Escrever, Anos de Estudo, Rendimento Mensal Domiciliar.
FERRAMENTA CLEMENTINE Aplicação
1º Passo: A partir do nó Source, carregar os dois arquivos no Software Clementine.
2º Passo: Uní-los com o nó Merger.
FERRAMENTA CLEMENTINE Aplicação
3º Passo: Separou-se as informações através do nó Select, dividindo-as por unidade federativa.
FERRAMENTA CLEMENTINE Aplicação
4º Passo: Realizou-se uma análise exploratória de dados utilizando o nó Statistics na paleta Output.
Assim, gerou-se um relatório com várias medidas estatísticas (média, desvio padrão, erro, variância, entre outros) referente a Renda Mensal Domiciliar.
FERRAMENTA CLEMENTINE Aplicação
FERRAMENTA CLEMENTINE Aplicação
5º Passo: Construção de uma árvore de decisão.
Utilizou-se o nó Build C5.0 para a região Centro-Oeste.
FERRAMENTA CLEMENTINE Aplicação
Foi necessário inserir diversas variáveis de entrada, então utilizou-se o nó Type.
FERRAMENTA CLEMENTINE Aplicação
Resultado: árvore de decisão obtida após modelagem.
FERRAMENTA CLEMENTINE Entendendo as Árvores de Decisão
As árvores de decisão funcionam e trabalham recursivamente, ou seja, ocorre a divisão dos dados com base nos valores dos campos de entrada.
Estes dados que são divididos são chamados de ramo ou galho, porém, apenas o galho inicial, onde estão englobadas todos os registro, é chamado de raiz.
Já os galhos que não podem ser mais divididos são conhecidos como galhos terminais ou folha.
CONSIDERAÇÕES FINAIS
Nas ferramentas estudadas identificou-se a utilização de uma técnica específica de Data Mining, ou seja, a classificação dos dados por meio de árvores de decisão.
O uso da ferramenta proporciona aos usuários meios para encontrar informações que permitam detectar tendências e características disfarçadas e confirmar a necessidade de estudos de novas relações.
Deve ficar claro que nenhuma ferramenta de Data Mining trabalha por si só e elimina a necessidade de conhecimento, entendimento do negócio e a compreensão dos dados a serem minerados, nem mesmo substitui os analista e pesquisadores desta área.
CONSIDERAÇÕES FINAIS
Portanto, conclui-se que a utilização do Data Mining está crescendo, é um auxílio para as organizações tomarem as decisões com base em banco de dados, com agilidade e confiança para as decisões futuras tanto a curto como a longo prazo.