A Computação de Alto Desempenho e seu papel na Ciência de ... · Scilab Scilab inclui centenas de funções matemáticas. Possui uma linguagem de programação de alto nível,

A Computação de Alto Desempenho e seu papel na

Ciência de Dados

Grupo de Computação Científica Distribuída - LNCC

7 de novembro de 2019 Grupo de Computação Científica Distribuída 2

Objetivo

● Mostrar como a computação de alto desempenho poderá ser utilizada em prol das atividades e desafios na ciência de dados.

● Mostrar, quais ferramentas você poderá utilizar,quais ferramentas você poderá utilizar, para que mesmo sem acesso a computadores para que mesmo sem acesso a computadores de alto desempenho, você possa estar de alto desempenho, você possa estar preparado para um dia vir a trabalhar e utilizá-preparado para um dia vir a trabalhar e utilizá-loslos em prol da solução destes desafios e execução destas atividades.


Computação Alto Desempenho

● A computação de alto desempenho consiste no uso em alta escala da computação para solução de problemas científicos, de engenharia e de negócios.


Ciência de Dados

● A Ciência de Dados destina-se a aquisição de conhecimento por meio da análise de dados, sendo uma atividade interdisciplinar, cujo domínio, tornou-se necessário para criação de soluções e produtos: científicos, comerciais e sócio políticos. O seu uso nos auxiliará a:– Tomar Decisões– Melhor compreensão dos fatos passados– Inferência sobre resultados futuros– Criação de novas soluções e produtos.


Situação do Mundo Moderno

● Grande quantidade de dados estruturados ou não

● Determinação do que realmente importa/impacta

● Capacidade de processar estes dados, transformando-os em informação (contexto)

● Necessidade de resposta rápida


Desafio

Processarde Dados

Coletar Dados

Análise,Hipóteses

TestesAM. IA

Tomada de Decisão

OProblema

Entender o problema (contexto), determinando o que obter (dados), ser capaz de processar esta informação, extrair valor desta informação (conhecimento) e transmitir de forma útil este conhecimento.


Universo

Drew Conway

Capacidade de aquisição, armazenamento manipulação e tratamento eletrônico dos dados

Matemáticae Estatística

Aprendizadode

Máquina

Zona Zona PerigosaPerigosa

Data Data ScienceScience

PesquisaPesquisaTradicionalTradicional

Conhecimento Conhecimento do Problemado Problema

MotivaçãoMotivação


Processamento de Alto Desempenho

Drew Conway



Aprendizadode

Máquina







Processamento dos Dados

● Big Data● Machine Learning● Data Mining● Artificial Inteligence


Ciência de dados

● A Ciência de Dados destina-se a aquisição de conhecimento por meio da análise de dados, sendo uma atividade interdisciplinar, cujo domínio, tornou-se necessário para criação de soluções e produtos: científicos, comerciais e sócio políticos


ComputaçãoMatemática

Problema


HPC - Contribuição

● Data Science Sparks The Gap Between HPC And Hyperscale (March, 2019)

● The convergence of HPC and BigData: What does it mean for HPC sysadmins? (February 5, 2019)

● Understanding Why AI and Analytics Have to Run on HPC Clusters (July 22, 2019)


Data Science-HPC Aceleradores


Como posso me preparar?

● Mostrar, quais ferramentas você poderá utilizar,quais ferramentas você poderá utilizar, para que mesmo sem acesso a computadores para que mesmo sem acesso a computadores de alto desempenho, você possa estar de alto desempenho, você possa estar preparado para um dia vir a trabalhar e utilizá-preparado para um dia vir a trabalhar e utilizá-loslos em prol da solução destes desafios e execução destas atividades.


ComCiDis - LNCC

● ComCiDis – Grupo de Computação Científica Distribuída– Coordenador: Professor Bruno Schulze


Ambientes Virtualizados – Nuvens Computacionais












Universo Data Science

Drew Conway



Aprendizadode

Máquina







HPC - Clusters

● Cluster

O SDumont possui capacidade instalada de processamento na ordem de 1,1 Petaflop/s (1,1 x 1015 float-point operations per second),

possui um total de 18.144 núcleos de CPU, distribuídos em 756 nós computacionais (24 núcleos por nó)


Primeiro PassoCluster Virtualizado


Cluster Virtualizados● Hipervisors

– KVM, VirtualBox, Vmware, HiperV

● Containers– LXC, LXD e Docker,

Open-VZ, Linux-VServer

https://insights.sei.cmu.edu/sei_blog/2017/09/virtualization-via-containers.html


Segundo Passo

● Cluster Linux– Rocks

– Kubernets

● Cloud – Openstack (SO Para Nuvens)


Segundo Passo

● Cluster Linux


Segundo Passo

● Cluster Linux


Terceiro Passo

● Python– Porquê Python

● Simplicidade, ● Multiplataforma● Grande suporte● Módulos já prontos voltados para Data ScienceMódulos já prontos voltados para Data Science


Python - Módulos


NumFocus

● Organização sem fins lucrativos responsável por hospedar projetos promovendo praticas voltadas para comunidade de pesquisa científica e de dados.


IPython


WEKA

Weka é uma coleção de algoritmos de aprendizado de máquina para tarefas de mineração de dados.

Ele contém ferramentas para preparação, classificação, regressão, clustering, mineração de regras de associação e visualização de dados.


Weka


R Project for Statistical Computing

● R é uma linguagem e ambiente para análise estatística.

● R fornece uma ampla variedade de técnicas estatísticas (modelagem linear e não linear, testes estatísticos clássicos, análise de séries temporais, classificação, agrupamento, entre outros) e técnicas gráficas.


R Project for Statistical Computing


Octave


Octave


Scilab

● Scilab inclui centenas de funções matemáticas. Possui uma linguagem de programação de alto nível, permitindo acesso a estruturas de dados avançadas, funções gráficas 2D e 3D– Controle, simulação, otimização, processamento

de sinais e simulador de sistemas dinâmicos híbridos


Data Science e HPC

Considerações Finais

Obrigado

Perguntas?

Documents

A Computação de Alto Desempenho e seu papel na Ciência de ... · Scilab Scilab inclui centenas de funções matemáticas. Possui uma linguagem de programação de alto nível,