Upload
others
View
27
Download
0
Embed Size (px)
Citation preview
Página 1 2013 © CTI Renato Archer, direitos reservados
CTI RENATO ARCHER
Relatório Técnico CTI – TRT0083113
Método de Avaliação da CERTICS
Documento de Detalhamento
Versão 1.1
Este documento apresenta o detalhamento do Método de Avaliação da CERTICS, que é um dos componentes da Metodologia de Avaliação da CERTICS para Software, desenvolvido pelo Centro de Tecnologia da Informação Renato Archer (www.cti.gov.br), Rodovia Dom Pedro I, km 143,6, Campinas – SP – Brasil.
Método de Avaliação da CERTICS
Página 2 2013 © CTI Renato Archer, direitos reservados
Sumário Resumo Executivo ......................................................................................................................... 3
1. Introdução ............................................................................................................................. 4
2. Regras de Pontuação ............................................................................................................. 6
3. Visão Geral e Elementos do Método de Avaliação da CERTICS ............................................ 7
3.1 Objetivo ............................................................................................................................. 7
3.2 Arranjo Institucional e Sistema de Apoio à Avaliação ....................................................... 7
3.3 Papéis e Responsabilidades na Avaliação ......................................................................... 8
3.4 Artefatos da Avaliação ...................................................................................................... 9
3.5 Relação das Fases, Processos e Atividades ..................................................................... 11
3.6 Diagramas das Fases e Processos .................................................................................... 16
4. Fases do Método de Avaliação da CERTICS ......................................................................... 23
4.1 Fase 1: Exploração ........................................................................................................... 25
4.2 Fase 2: Contratação ......................................................................................................... 36
4.3 Fase 3: Preparação .......................................................................................................... 44
4.4 Fase 4: Visita .................................................................................................................... 55
4.5 Fase 5: Validação ............................................................................................................. 68
4.6 Fase 6: Conclusão ............................................................................................................ 76
5. Considerações Finais ........................................................................................................... 80
Método de Avaliação da CERTICS
Página 3 2013 © CTI Renato Archer, direitos reservados
Resumo Executivo
Este documento descreve o detalhamento do Método de Avaliação da CERTICS que é um dos
componentes da Metodologia de Avaliação da CERTICS para Software. A Metodologia de
Avaliação da CERTICS para Software é definida por meio de dois componentes principais: o
Modelo de Referência para Avaliação da CERTICS e o Método de Avaliação da CERTICS,
descrito neste documento. Esses componentes se encontram disponibilizados em
http://www.certics.cti.gov.br.
O objetivo da avaliação é determinar se o software é resultante de desenvolvimento e
inovação tecnológico no País, com base nas análises de evidências objetivas relacionadas ao
software. Uma avaliação gera como resultado principal um relatório, denominado “Relatório
da Avaliação”, com informações sobre o contexto da avaliação, a pontuação atribuída aos
Resultados Esperados do Modelo de Referência, a justificativa para cada pontuação e o
resultado da avaliação. Caso o resultado da avaliação seja positivo, a Organização Solicitante
pode requerer a certificação CERTICS à SEPIN do MCTI.
A certificação é composta por dois processos: o Processo de Avaliação, que está descrito na
metodologia e resulta da aplicação deste Método de Avaliação da CERTICS, e o Processo de
Certificação, no qual a Organização Solicitante submete um pleito à SEPIN/MCTI para a
emissão do certificado CERTICS.
O processo de avaliação segue o Método de Avaliação da CERTICS, descrito neste documento,
que é composto por seis fases sequenciais: Fase 1 - Exploração, Fase 2 – Contratação, Fase 3 -
Preparação, Fase 4 - Visita, Fase 5 - Validação e Fase 6 – Conclusão. Para garantir que os
resultados da avaliação sejam objetivos, imparciais, consistentes, repetíveis e representativos,
a Metodologia de Avaliação da CERTICS para Software segue os requisitos estabelecidos na
Norma ABNT NBR ISO/IEC 15504, inclusive quanto à sua pontuação.
O objetivo principal da Fase 1 - Exploração é permitir que uma Organização Solicitante explore
e conheça a Metodologia de Avaliação da CERTICS para Software e os requisitos necessários
para que o seu software seja avaliado. O objetivo da Fase 2 - Contratação é estabelecer o
Contrato de Avaliação para a realização de uma avaliação. O objetivo da Fase 3 - Preparação é
preparar a Organização Solicitante e a Equipe de Avaliação para a visita de avaliação. O
objetivo da Fase 4 - Visita é executar uma visita da Equipe de Avaliação à Organização
Solicitante para analisar as evidências, pontuar o grau de atendimento dos Resultados
Esperados a partir das evidências analisadas, consolidar e apresentar o resultado da avaliação,
conforme acordado no Plano da Avaliação. O objetivo da Fase 5 - Validação é assegurar que a
avaliação foi realizada em conformidade com a Metodologia de Avaliação da CERTICS para
Software. O objetivo da Fase 6 - Conclusão é concluir o processo de avaliação.
Informações adicionais sobre a CERTICS, a forma de contratação de uma avaliação da CERTICS,
o Modelo de Referência e o Método de Avaliação podem ser obtidas no endereço
http://www.certics.cti.gov.br.
Método de Avaliação da CERTICS
Página 4 2013 © CTI Renato Archer, direitos reservados
1. Introdução
Este documento descreve o detalhamento do Método de Avaliação da CERTICS que é um dos
componentes da Metodologia de Avaliação da CERTICS para Software. A Metodologia de
Avaliação da CERTICS para Software é definida por meio de dois componentes principais: o
Modelo de Referência para Avaliação da CERTICS e o Método de Avaliação da CERTICS,
descrito neste documento. Esses componentes se encontram disponibilizados em
http://www.certics.cti.gov.br.
O desenvolvimento da metodologia atende a uma demanda da Secretaria de Política de
Informática (SEPIN), do Ministério da Ciência, Tecnologia e Inovação (MCTI), dirigida ao Centro
de Tecnologia da Informação Renato Archer (CTI Renato Archer).
A estrutura do Modelo de Referência e a do Método de Avaliação seguem os requisitos para
modelos e métodos estabelecidos pela Norma ABNT NBR ISO/IEC 15504-2 (2008) –
“Tecnologia da informação - Avaliação de processo - Parte 2: Realização de uma avaliação”.
Esta Norma é uma tradução da Norma Internacional ISO/IEC 15504-2 - Information technology
- Process assessment Part 2: Performing an assessment, publicada em 2003 e trata da
avaliação de processo e de sua aplicação para a melhoria e determinação da capacidade de
processo. Ela define o conjunto mínimo de requisitos para a realização de uma avaliação de
processos de software. Esses requisitos procuram garantir que os resultados da avaliação
sejam objetivos, imparciais, consistentes, repetíveis e representativos com relação aos
processos avaliados.
A Metodologia de Avaliação CERTICS para Software surgiu da necessidade de verificar se um
software é resultante de desenvolvimento e inovação tecnológica realizados no País. Por meio
da aplicação desta metodologia, pretende-se viabilizar as condições para o uso da margem de
preferência em compras públicas, contribuindo para o desenvolvimento nacional sustentável.
A metodologia conceitua software resultante de desenvolvimento e inovação tecnológica
realizados no País como aquele cujo desenvolvimento cria ou amplia competências
tecnológicas e correlatas no País, contribuindo para a criação de negócios baseados em
conhecimento, para o aumento de autonomia tecnológica e para o aumento da capacidade
inovativa. O alcance desses resultados, de modo convergente, em uma Organização, será
monitorado pelo Órgão Responsável pela Metodologia, uma vez que contribui para o
desenvolvimento nacional. A fixação de competências no País, como fator de contribuição
para o desenvolvimento nacional, é função da capacidade técnica e negocial de uma
Organização e deve estimular a produção doméstica de bens e serviços, consubstanciando o
poder indutor de desenvolvimento das compras governamentais nas cadeias produtivas
nacionais.
A metodologia pode ser aplicada a uma avaliação de software para obtenção da certificação
CERTICS. Neste contexto, as seguintes situações também podem se beneficiar da certificação:
1) um serviço decorrente de um software certificado, desde que executado pela Organização
proprietária do software ou pela Organização que detém suficientes autorizações para
exploração econômica do software disponível sob a modalidade de licença de software livre; e
Método de Avaliação da CERTICS
Página 5 2013 © CTI Renato Archer, direitos reservados
2) as versões criadas para atender necessidades específicas, a partir de um software
certificado.
A Metodologia de Avaliação CERTICS para Software e o seu desenvolvimento seguem as
seguintes diretrizes:
A avaliação é do software, não da empresa, e é baseada na análise dos processos
utilizados no software;
A metodologia é baseada na Norma ABNT NBR ISO/IEC 15504 para avaliação de
processo e na experiência do CTI Renato Archer e de seus parceiros;
Um novo conceito (“software resultante de desenvolvimento e inovação tecnológica
realizados no País”) demanda um novo modelo de referência e um novo método para
avaliação;
A metodologia apresenta um conjunto mínimo de Resultados Esperados para a
caracterização de desenvolvimento e inovação tecnológica realizados no País e exige a
demonstração da obtenção desses resultados;
Nenhuma forma específica de estruturação, operação e documentação são exigidas da
Organização Solicitante.
O processo de avaliação segue o Método de Avaliação da CERTICS, descrito neste documento,
que é composto por seis fases sequenciais: Fase 1 - Exploração, Fase 2 – Contratação, Fase 3 -
Preparação, Fase 4 - Visita, Fase 5 - Validação e Fase 6 – Conclusão. Para garantir que os
resultados da avaliação sejam objetivos, imparciais, consistentes, repetíveis e representativos,
a Metodologia de Avaliação da CERTICS para Software segue os requisitos estabelecidos na
Norma ABNT NBR ISO/IEC 15504, inclusive quanto à sua pontuação.
O objetivo da avaliação é determinar se o software é resultante de desenvolvimento e
inovação tecnológico no País, com base nas análises de evidências objetivas relacionadas ao
software. Uma avaliação gera como resultado principal um relatório, denominado “Relatório
da Avaliação”, com informações sobre o contexto da avaliação, a pontuação atribuída aos
Resultados Esperados do Modelo de Referência, a justificativa para cada pontuação e o
resultado da avaliação. Caso o resultado da avaliação seja positivo, a Organização Solicitante
pode requerer a certificação CERTICS à SEPIN do MCTI.
A certificação é composta por dois processos: o Processo de Avaliação, que está descrito na
metodologia e resulta da aplicação deste Método de Avaliação da CERTICS, e o Processo de
Certificação, no qual a Organização Solicitante submete um pleito à SEPIN/MCTI para a
emissão do certificado CERTICS.
Método de Avaliação da CERTICS
Página 6 2013 © CTI Renato Archer, direitos reservados
2. Regras de Pontuação
O resultado de uma avaliação na Metodologia de Avaliação da CERTICS para Software é
expresso como um valor binário, Sim ou Não, obtido a partir da pontuação de cada Área de
Competência que também é expressa como um valor binário: Sim ou Não. Esta pontuação de
cada Área de Competência é obtida a partir da pontuação de cada Resultado Esperado, que
por sua vez é baseada numa escala de quatro valores, definida na Norma ABNT NBR ISO/IEC
15504-2 (2008). Essa Norma define seis níveis de capacidade, sendo que o Método de
Avaliação da CERTICS avalia somente o nível 1 de capacidade (Processo Realizado).
A escala de pontuação ordinal definida a seguir deve ser utilizada para expressar o alcance de
cada Resultado Esperado em uma avaliação:
F (Fully)
Completamente
atendido:
Suficientes evidências relacionadas ao software estão identificadas
e são adequadas para demonstrar o total atendimento do
Resultado Esperado.
L Largamente
atendido:
Suficientes evidências estão identificadas e são adequadas para
demonstrar o atendimento dos aspectos mais importantes do
Resultado Esperado. Existe um ou mais pontos fracos relacionados
a esse Resultado Esperado, porém estes não comprometem o
atendimento do Resultado Esperado.
P Parcialmente
atendido:
Algumas evidências estão identificadas e são adequadas para
demonstrar o atendimento parcial do Resultado Esperado. Existem
um ou mais pontos fracos que comprometem o atendimento do
Resultado Esperado.
N Não atendido: Todas as evidências necessárias estão ausentes ou as evidências
presentes são inadequadas para demonstrar o atendimento do
Resultado Esperado.
A atribuição da pontuação F, L, P ou N é acompanhada de uma justificativa que mostre o
racional utilizado pelo avaliador. Quando a pontuação atribuída for diferente de F, além do
conteúdo do racional utilizado será indicado pelo menos um ponto fraco encontrado.
Cada Área de Competência é pontuada em uma escala binária (Sim ou Não), com base no
resultado das avaliações de cada um de seus Resultados Esperados. A pontuação será Sim se
cada Resultado Esperado estiver pontuado como F ou L. A pontuação será Não, caso contrário.
Software resultante de desenvolvimento e inovação tecnológica realizados no País é também
pontuado em uma escala binária (Sim ou Não), com base no resultado das avaliações de cada
uma das Áreas de Competência. A pontuação será Sim se todas as Áreas de Competência
estiverem pontuadas como Sim. A pontuação será Não, caso contrário.
Esta pontuação é construída durante a realização de uma avaliação que segue o Método de
Avaliação da CERTICS, descrito a seguir.
Método de Avaliação da CERTICS
Página 7 2013 © CTI Renato Archer, direitos reservados
3. Visão Geral e Elementos do Método de Avaliação da CERTICS
O Método de Avaliação da CERTICS orienta a realização de uma avaliação de um determinado
software, tendo como base o Modelo de Referência para Avaliação da CERTICS.
O software objeto da avaliação é mencionado com diferentes qualificações durante a
avaliação. Na descrição do método de avaliação são utilizados os termos “software a ser
avaliado”, “software em avaliação”, ou simplesmente “software”.
3.1 Objetivo
O objetivo da avaliação é determinar se o software é resultante de desenvolvimento e
inovação tecnológico no País, com base nas análises de evidências objetivas relacionadas ao
software.
3.2 Arranjo Institucional e Sistema de Apoio à Avaliação
A realização de uma avaliação para a certificação pressupõe a existência de um arranjo
institucional, que envolve cinco Instituições, e é apoiada por um Sistema de Apoio à Avaliação,
que são descritos a seguir:
Organização Solicitante (ou Organização) – É uma organização sediada no Brasil que:
(a) detém com exclusividade, excetuando os morais, todos os direitos autorais e de exploração econômica sobre o software; ou
(b) detém as suficientes autorizações para exploração econômica do software disponível sob a modalidade de licença de software livre.
Unidade de Serviços de Avaliação - Entidade responsável por promover e assegurar o
credenciamento das Entidades Credenciadas, fornecer treinamentos e credenciar os
avaliadores. É também responsável pela administração jurídica e financeira de uma
avaliação, pela validação de uma avaliação realizada e pelo fornecimento do suporte
técnico à Equipe de Avaliação. Pode realizar avaliações esporádicas.
Entidade Credenciada - Entidade credenciada pela Unidade de Serviços de Avaliação
para administrar e realizar avaliações segundo a Metodologia de Avaliação da CERTICS
para Software. Para realizar uma avaliação, essa entidade tem que contar com
avaliadores capacitados e credenciados, que podem ser membros do seu próprio
corpo funcional ou contratados especificamente para essa finalidade.
Órgão Responsável pela Metodologia - Instituição que controla o desenvolvimento, o
monitoramento e a melhoria contínua da Metodologia de Avaliação da CERTICS para
Software. É responsável por revisar o resultado da avaliação e emitir o laudo de uma
avaliação. Esta instituição é o Centro de Tecnologia da Informação Renato Archer (CTI
Renato Archer).
Órgão Responsável pela Certificação – É a Secretaria de Política de Informática (SEPIN)
do MCTI.
Sistema CERTICSys (ou Sistema) - Sistema de Apoio à Avaliação. É um sistema de
software projetado para gerenciar todas as etapas de um processo de avaliação,
permitindo o armazenamento, o monitoramento e o compartilhamento das
Método de Avaliação da CERTICS
Página 8 2013 © CTI Renato Archer, direitos reservados
informações cadastrais e das evidências relevantes para a avaliação. Esse sistema
apoia a comunicação entre os envolvidos e gera os resultados da avaliação.
3.3 Papéis e Responsabilidades na Avaliação
Uma avaliação envolve vários papéis, cada um com suas respectivas responsabilidades, que
são descritos a seguir:
Avaliador Credenciado - Profissional vinculado a uma ou mais Entidades Credenciadas ou
alocado pela Unidade de Serviços de Avaliação que, junto com o Avaliador Líder, vai
efetivamente realizar a avaliação, compondo a Equipe de Avaliação.
Avaliador Líder - É o membro da Equipe de Avaliação responsável por liderar a avaliação, por
garantir que ela atinja sua finalidade e esteja em conformidade com a Metodologia de
Avaliação da CERTICS para Software. É um Avaliador Credenciado para atuar como Avaliador
Líder. Esse Avaliador Líder pode estar vinculado a uma ou mais Entidades Credenciadas ou ser
alocado pela Unidade de Serviços de Avaliação.
Equipe de Avaliação - Equipe formada, no mínimo, pelo Avaliador Líder, podendo incluir um
ou mais Avaliadores Credenciados.
Participantes da Avaliação – São profissionais da Organização Solicitante que podem fornecer
informações sobre o software em avaliação, ligados direta ou indiretamente ao
desenvolvimento desse software. Entre estes profissionais estão:
Responsáveis pelo software: Integrantes da organização que são os principais
responsáveis pelo software;
Equipe de gerência do desenvolvimento: Pessoas que tiveram, ou ainda têm, papel
gerencial no desenvolvimento do software, isto é, participaram da coordenação e
controle das atividades executadas;
Equipe técnica de desenvolvimento: Profissionais que participaram, ou participam, de
atividades técnicas de desenvolvimento ou customização, tais como: atividades de
levantamento de requisitos, análise de requisitos, projeto (design) de software,
projeto (design) de bancos de dados, programação, testes, integração de software e
eventualmente outras cujo objetivo tenha sido elaborar elementos que integram o
software;
Equipe de apoio ao desenvolvimento: Profissionais que participaram, ou participam,
de atividades consideradas auxiliares ou de apoio ao desenvolvimento, tais como:
elaboração de documentação e manuais, atividades de marketing, atividades de
geração de novos negócios, atividades relacionadas à gestão de pessoas, atividades
relacionadas à P&D, etc;
Equipe de suporte técnico do software: Profissionais que participam de atividades de
apoio ao usuário do software, tais como: solução de dúvidas, prestação de
esclarecimentos sobre a operação do software, orientação de utilização, recebimento
e identificação de problemas e falhas do software, etc;
Equipe de manutenção do software: Profissionais que executam as atividades que
mantêm o software atendendo às necessidades para as quais ele foi desenvolvido, tais
Método de Avaliação da CERTICS
Página 9 2013 © CTI Renato Archer, direitos reservados
como: remoção de defeitos identificados, introdução de novas funcionalidades e
realização de melhorias gerais.
Patrocinador da Avaliação (ou Patrocinador) - Representante da Organização Solicitante com
cargo de direção apropriado para garantir os recursos necessários à avaliação e demandar o
atendimento dos seus objetivos.
Ponto de Contato da Avaliação (ou Ponto de Contato) - Um representante da Organização
Solicitante encarregado de: facilitar e concentrar a comunicação entre os envolvidos na
avaliação, providenciar os recursos necessários, remover obstáculos, acionar o que for preciso,
tomar ou solicitar a tomada de decisões, etc.
Responsável pela Metodologia - Representante do CTI Renato Archer, que é o responsável
pela Metodologia de Avaliação da CERTICS para Software, pela revisão do resultado da
avaliação e pela emissão do laudo de uma avaliação.
Validador - Um profissional treinado, alocado pela Unidade de Serviços de Avaliação,
encarregado de verificar se a avaliação foi conduzida em conformidade com a Metodologia de
Avaliação da CERTICS para Software e de verificar se o resultado obtido na avaliação está
consistente.
3.4 Artefatos da Avaliação
A realização da avaliação produz e/ou utiliza os seguintes artefatos:
Apresentação da Abertura da Avaliação – Formulário que contém informações sobre a
Organização Solicitante, o software a ser avaliado, a Equipe de Avaliação responsável pela
execução da visita de avaliação, agenda, confidencialidade da avaliação entre os envolvidos,
entre outros. Esse formulário é apresentado no início da Fase 4 – Visita.
Apresentação do Resultado da Avaliação – Formulário que apresenta as pontuações
atribuídas pela Equipe de Avaliação para cada Resultado Esperado, a justificativa/racional de
cada pontuação atribuída e a recomendação da Equipe de Avaliação do resultado obtido. Esse
formulário é apresentado no encerramento da Fase 4 – Visita.
Base de Dados de Avaliação - Representa um conjunto de dados sobre uma avaliação,
incluindo informações sobre a Organização Solicitante e o software, evidências para apoiar o
grau de atendimento, estado de cada evidência e as pontuações e suas justificativas. Durante a
realização da avaliação, esses dados são completados e têm seus estados alterados.
Checklist da Validação - Checklist que contém uma lista de elementos a serem validados por
um Validador para uma avaliação realizada.
Contrato de Avaliação - Contrato firmado entre a Organização Solicitante, a Unidade de
Serviços de Avaliação e a Entidade Credenciada responsável pela avaliação. Quando a
avaliação for realizada pela Unidade de Serviços de Avaliação, de forma esporádica, esse
contrato será firmado entre a Organização Solicitante e a Unidade de Serviços de Avaliação.
Método de Avaliação da CERTICS
Página 10 2013 © CTI Renato Archer, direitos reservados
Estimativa de Sucesso – Informação apresentada no final da Fase de Exploração, a partir dos
dados fornecidos no Sistema pela Organização Solicitante. Essa informação indica o sucesso de
o software ser avaliado e conseguir a certificação.
Estimativa do Grau de Prontidão – Informação apresentada, no final da Fase de Preparação,
com base nas informações fornecidas pela Organização Solicitante e analisadas pelo Avaliador
Líder. Essa informação indica o quanto a Organização Solicitante está pronta para a realização
da Fase de Visita.
Laudo de Avaliação - Documento que declara que a Organização Solicitante foi aprovada na
avaliação da CERTICS.
Lições Aprendidas – Formulário que contém informações sobre os pontos positivos, pontos
negativos e recomendações de melhorias, levantados pelos envolvidos no processo de
avaliação, a partir da Fase 2 - Contratação.
Nota Fiscal – Documento fiscal que comprova o pagamento da avaliação do software pela
Organização Solicitante.
Parecer de Validação da Avaliação – Formulário que relaciona as validações realizadas e um
parecer sobre a validade ou não da avaliação, com a justificativa do parecer.
Plano da Avaliação - Plano acordado entre a Organização Solicitante e a Equipe de Avaliação
sobre a forma de condução da avaliação.
Relatório da Avaliação – Relatório que apresenta as informações sobre as pontuações de cada
Resultado Esperado por Área de Competência, o racional utilizado (justificativa), os pontos
fracos e o resultado da Avaliação. Este relatório passa por três estados: Preliminar gerado na
Fase 4 - Visita, Validado gerado na Fase 5 - Validação e Final gerado na Fase 6 – Conclusão.
Termo de Confidencialidade – Documento assinado pela Equipe de Avaliação no início da Fase
4 – Visita e entregue ao Patrocinador da Avaliação. Este termo garante a confidencialidade das
informações acessadas e obtidas nas sessões de entrevistas durante a visita.
Termo de Quitação - Documento que encerra formalmente o Contrato de Avaliação.
Termo de Uso - Documento que descreve as condições de uso do Sistema CERTICSys e que
deve ser aceito pela Organização Solicitante para habilitar o seu primeiro acesso; também
indica que a Unidade de Serviços de Avaliação assume o compromisso de utilizar as
informações fornecidas estritamente para a realização da avaliação, não podendo utilizá-las
para qualquer outro fim.
Método de Avaliação da CERTICS
Página 11 2013 © CTI Renato Archer, direitos reservados
3.5 Relação das Fases, Processos e Atividades
As fases, processos e atividades que compõe o Método de Avaliação da CERTICS estão
relacionados a seguir.
FFaassee 11:: EExxpplloorraaççããoo
Processo 1.1 Solicitar Acesso ao CERTICSys
Atividade 1: Obter o acesso ao CERTICSys
Atividade 2: Aceitar Termo de Uso
Processo 1.2: Fornecer Informações Gerais
Atividade 1: Fornecer dados sobre a Organização Solicitante
Atividade 2: Fornecer dados complementares do Ponto de Contato
Atividade 3: Fornecer dados sobre o software
Processo 1.3: Editar Evidências e Emitir Estimativas de Sucesso
Atividade 1: Cadastrar os profissionais da Organização Solicitante
Atividade 2: Cadastrar as informações sobre as evidências objetivas
Atividade 3: Associar profissionais a uma evidência objetiva
Atividade 4: Associar evidências a um Resultado Esperado
Atividade 5: Estimar atendimento de um Resultado Esperado
Atividade 6: Solicitar Estimativa de Sucesso
Atividade 7: Finalizar a edição das evidências objetivas
Processo 1.4: Analisar Continuidade da Avaliação
Atividade 1: Analisar a continuidade da avaliação
Atividade 2: Decidir sobre a realização da avaliação
Método de Avaliação da CERTICS
Página 12 2013 © CTI Renato Archer, direitos reservados
FFaassee 22:: CCoonnttrraattaaççããoo
Processo 2.1: Efetuar Pré-Análise dos Dados
Atividade 1: Verificar os dados gerais cadastrados
Atividade 2: Verificar os dados cadastrados das Evidências
Processo 2.2: Definir Executor da Avaliação
Atividade 1: Indicar as Entidades Credenciadas
Atividade 2: Fornecer o período da avaliação
Atividade 3: Definir o responsável pela execução da avaliação
Atividade 4: Aprovar a Equipe de Avaliação
Processo 2.3: Estabelecer Contrato
Atividade 1: Definir o Contrato
Atividade 2: Aprovar o Contrato
Atividade 3: Emitir a Nota Fiscal
Atividade 4: Levantar as Lições Aprendidas
FFaassee 33:: PPrreeppaarraaççããoo
Processo 3.1: Analisar e Editar Evidências
Atividade 1: Analisar as evidências gerais e dos Resultados Esperados
Atividade 2: Reeditar as evidências
Processo 3.2: Analisar Prontidão
Atividade 1: Registrar grau de satisfação das evidências
Atividade 2: Analisar a prontidão da Organização Solicitante
Atividade 3: Emitir a Estimativa do Grau de Prontidão da Organização Solicitante
Processo 3.3: Preparar Visita
Atividade 1: Solicitar os recursos necessários para a realização da visita da avaliação
Atividade 2: Definir a Agenda
Atividade 3: Estabelecer Plano da Avaliação
Método de Avaliação da CERTICS
Página 13 2013 © CTI Renato Archer, direitos reservados
Processo 3.4: Providenciar Visita
Atividade 1: Verificar providências para a visita de avaliação
Atividade 2: Elaborar apresentação da Abertura da Avaliação
Atividade 3: Levantar as Lições Aprendidas
Atividade 4: Carregar os dados
FFaassee 44:: VViissiittaa
Processo 4.1: Iniciar Visita
Atividade 1: Realizar reunião inicial
Atividade 2: Realizar apresentação da abertura da avaliação
Processo 4.2: Analisar Evidências
Atividade 1: Realizar sessões de entrevistas
Atividade 2: Analisar o conteúdo das evidências
Processo 4.3: Pontuar Atendimento
Atividade 1: Pontuar os Resultados Esperados
Atividade 2: Pontuar as Áreas de Competência
Atividade 3: Pontuar o resultado da avaliação
Processo 4.4: Apresentar Resultado
Atividade 1: Consolidar o resultado da avaliação no Relatório Preliminar da Avaliação
Atividade 2: Apresentar o resultado da avaliação
Processo 4.5: Concluir Visita
Atividade 1: Organizar e registrar as informações relevantes sobre a avaliação
Atividade 2: Levantar as Lições Aprendidas
Método de Avaliação da CERTICS
Página 14 2013 © CTI Renato Archer, direitos reservados
FFaassee 55:: VVaalliiddaaççããoo
Processo 5.1: Consolidar Relatório
Atividade 1: Consolidar o Relatório Preliminar da Avaliação
Processo 5.2: Designar Validador
Atividade 1: Designar o Validador da Avaliação
Processo 5.3: Validar Resultado da Avaliação
Atividade 1: Validar o resultado da avaliação
Atividade 2: Fornecer o parecer da avaliação
Processo 5.4: Concluir Validação
Atividade 1: Gerar o Relatório Validado da Avaliação
Atividade 2: Enviar Relatório Validado à Organização Solicitante
Atividade 3: Levantar as Lições Aprendidas
FFaassee 66:: CCoonncclluussããoo
Processo 6.1: Enviar Resultado
Atividade 1: Gerar o Relatório Final da Avaliação
Atividade 2: Enviar Relatório Final ao Responsável pela Metodologia
Atividade 3: Emitir o Laudo de Avaliação
Atividade 4: Enviar o resultado da avaliação à Organização Solicitante
Processo 6.2: Concluir Avaliação
Atividade 1: Registrar as lições aprendidas
Atividade 2: Emitir o Termo de Quitação
Atividade 3: Bloquear o acesso ao Sistema
Método de Avaliação da CERTICS
Página 15 2013 © CTI Renato Archer, direitos reservados
A tabela a seguir relaciona como um resumo a quantidade de processos para cada fase, a
quantidade de atividades para cada processo e o total de processos e atividades do método.
FASE PROCESSOS
Total
ATIVIDADES
Total
1 4 14
2 3 10
3 4 12
4 5 11
5 4 7
6 2 7
Total 22 61
Página 16 2013 © CTI Renato Archer, direitos reservados
3.6 Diagramas das Fases e Processos
O Diagrama das fases do Método de Avaliação CERTICS e os diagramas de cada fase são apresentados a seguir utilizando a notação visual para
representação de fluxos de processos BPMN (Business Process Modeling Notation) com a ferramenta Bizagi Process Modeler.
Diagrama das Fases do Método de Avaliação da CERTICS
Método de Avaliação da CERTICS
Página 17 2013 © CTI Renato Archer, direitos reservados
Diagrama dos Processos da Fase F1 -Exploração
Método de Avaliação da CERTICS
Página 18 2013 © CTI Renato Archer, direitos reservados
Diagrama dos Processos da Fase F2 – Contratação
Método de Avaliação da CERTICS
Página 19 2013 © CTI Renato Archer, direitos reservados
Diagrama dos Processos da Fase F3 – Preparação
Método de Avaliação da CERTICS
Página 20 2013 © CTI Renato Archer, direitos reservados
Diagrama dos Processos da Fase F4 – Visita
Método de Avaliação da CERTICS
Página 21 2013 © CTI Renato Archer, direitos reservados
Diagrama dos Processos da Fase F5 – Validação
Método de Avaliação da CERTICS
Página 22 2013 © CTI Renato Archer, direitos reservados
Diagrama dos Processos da Fase F6 – Conclusão
Página 23 2013 © CTI Renato Archer, direitos reservados
4. Fases do Método de Avaliação da CERTICS
O Método de Avaliação da CERTICS orienta a realização de uma avaliação de um determinado
software, tendo como base o Modelo de Referência para Avaliação da CERTICS.
O Método de Avaliação da CERTICS é composto por seis fases sequenciais:
Figura 1 – Fases do Método de Avaliação da CERTICS
As fases do Método de Avaliação da CERTICS estão descritas a seguir e ilustradas com
diagramas da notação do processo. Cada fase é composta por um conjunto de processos.
Figura 2 – Diagrama das Fases do Método de Avaliação da CERTICS
O Método de Avaliação é executado por meio de um processo de avaliação. O processo de
avaliação é iniciado pela Fase 1 e concluído na Fase 6, podendo ser cancelado em qualquer
uma de suas fases, mediante uma multa contratual a partir da Fase 3 – Preparação. Estas fases
são apoiadas pelo Sistema CERTICSys.
Método de Avaliação da CERTICS
Página 24 2013 © CTI Renato Archer, direitos reservados
O Método de Avaliação da CERTICS está descrito como um processo, utilizando a notação
visual para representação de fluxos de processos BPMN (Business Process Modeling Notation)
com a ferramenta Bizagi Process Modeler, com detalhamento de cada fase de avaliação,
processos e atividades que o compõe. Cada processo está definido pelas informações contidas
nos seguintes elementos apresentados no Quadro 1: Propósito, Responsável e Outros
Participantes, Critérios de Entrada, Entrada, Atividades, Critérios de Saída e Saída. É
importante ressaltar que cada atividade tem um único papel designado como responsável por
assegurar que ela seja bem sucedida e que atinja seus objetivos.
Quadro 1 – Elementos para representação do Processo
Elemento Descrição
Propósito Descreve de forma concisa o objetivo geral de cada
processo.
Responsável e Outros Participantes Descreve quem é a pessoa responsável pelo
processo e outros participantes envolvidos na
realização de cada processo.
Critérios de Entrada Apresenta as condições que devem ser satisfeitas
para que cada processo possa ser iniciado.
Entradas Identifica os produtos de trabalho/artefatos
utilizados como entrada para a execução de cada
processo.
Atividades Descreve as etapas de cada processo de forma
detalhada.
Critérios de Saída Apresenta as condições que devem ser satisfeitas
para que cada processo possa ser dado como
finalizado.
Saídas Identifica os produtos de trabalho/artefatos a serem
gerados como saída da execução de cada processo.
Método de Avaliação da CERTICS
Página 25 2013 © CTI Renato Archer, direitos reservados
4.1 Fase 1: Exploração
O objetivo principal da Fase 1 - Exploração é permitir que uma Organização Solicitante explore
e conheça a Metodologia de Avaliação da CERTICS para Software e os requisitos necessários
para que o seu software seja avaliado. Outro objetivo é possibilitar que a Organização
Solicitante forneça informações sobre ela e sobre o seu software a ser avaliado no sistema
CERTICSys. O Sistema orienta a coleta desses registros com a opção da utilização de um tutor
automatizado. Com base nas informações que a Organização Solicitante fornece, sem
verificação nem validação das mesmas, é emitida uma Estimativa de Sucesso do resultado de
uma avaliação do software.
Esta Fase é realizada somente pela Organização Solicitante, que está interessada numa
avaliação do seu software para obtenção da certificação CERTICS.
Esta fase é concluída com uma decisão da Organização sobre a contratação ou não da
avaliação. Essa decisão deve considerar o aprendizado e a estimativa de sucesso.
Esta fase é composta pelos seguintes processos, conforme apresentada na figura a seguir:
Figura 3 – Diagrama dos Processos da Fase F1 -Exploração
Os quatro processos e suas atividades que compõem esta fase estão descritos a seguir.
Método de Avaliação da CERTICS
Página 26 2013 © CTI Renato Archer, direitos reservados
P1.1 Solicitar Acesso ao CERTICSys
Propósito Solicitar acesso ao CERTICYS para cadastrar um usuário e
senha para conseguir utilizar o Sistema.
Responsável
Outros Participantes
Ponto de Contato.
Critérios de Entrada Sistema CERTICSys disponível na internet.
Termo de Uso disponível no Sistema.
Entradas Formulário para solicitação de acesso ao CERTICSys.
Termo de Uso.
Atividades A1 – Obter o acesso ao CERTICSys.
Um representante de uma Organização interessada em
avaliar um software solicita acesso ao CERTICSys para
cadastrar um usuário e senha para conseguir utilizar o
Sistema. Este representante passa a ser considerado pelo
CERTICSys como o Ponto de Contato.
Ao acessar a nova conta, um Termo de Uso é fornecido,
apresentando as condições de uso do Sistema e que deve
ser aceito pelo Ponto de Contato para habilitar o seu
primeiro acesso. Este Termo também informa que a
Unidade de Serviços de Avaliação utilizará as
informações fornecidas pela Organização no Sistema
estritamente para a realização da avaliação, não
podendo utilizá-las para qualquer outro fim.
A2 - Aceitar Termo de Uso.
O Ponto de Contato reconhece o conteúdo do Termo de
Uso e expressa concordância com o Termo.
Nota:
O Ponto de Contato tem que fornecer o seu nome
completo, CPF e o CNPJ da Organização Solicitante para
poder aceitar o Termo de Uso.
Critérios de Saída Termo de Uso aceito pelo Ponto de Contato.
Acesso ao Sistema CERTICSys liberado.
Saídas Aceite do Termo de Uso.
Método de Avaliação da CERTICS
Página 27 2013 © CTI Renato Archer, direitos reservados
Sistema Liberado para uso.
P.1.2: Fornecer Informações Gerais
Propósito
Fornecer informações gerais sobre a Organização
Solicitante, sobre o Ponto de Contato e sobre o software
a ser avaliado. Estas informações documentam o
contexto do software.
Responsável
Outros Participantes
Ponto de Contato.
Critérios de Entrada Acesso ao Sistema CERTICSys liberado.
Entradas Formulários disponibilizados no Sistema sobre as
Informações Cadastrais da Organização Solicitante e
sobre o software.
Atividades A1 - Fornecer dados sobre a Organização Solicitante.
Os dados sobre a Organização Solicitante devem ser
informados no Sistema pelo Ponto de Contato, tais como:
Nome da Organização Solicitante, razão social,
CNPJ, origem do capital da Organização, tipo de
Organização, endereço, ano de fundação,
quantidade de profissionais, faturamento em
faixas no último ano fiscal, Homepage, nome do
Patrocinador da Avaliação, entre outros.
A2 - Fornecer dados complementares do Ponto de
Contato.
Os dados do Ponto de Contato responsável pelo
fornecimento das informações cadastrais da Organização
Solicitante devem ser completados no Sistema, tais
como:
Endereço, telefone/celular, cargo/função na
Método de Avaliação da CERTICS
Página 28 2013 © CTI Renato Archer, direitos reservados
Organização, entre outros.
A3 - Fornecer dados sobre o software.
Os dados sobre o software para o qual está sendo
solicitada a avaliação devem ser informados no Sistema,
tais como:
Nome do software e versão, responsável e área
responsável pelo software, características sobre
o software a ser avaliado, principal aspecto
tecnológico presente na solução do software,
principal diferencial inovador da solução
presente no software, data de início do projeto e
a data de liberação do software a ser avaliado
para uso, tamanho do software, domínio da
aplicação, plataforma alvo, entre outros.
Critérios de Saída Dados registrados no Sistema da Organização Solicitante,
do Ponto de Contato e do software.
Saídas Formulários contendo os dados da Organização
Solicitante, do Ponto de Contato e do software.
P.1.3: Editar Evidências e Emitir Estimativa de Sucesso
Propósito Identificar e descrever as potenciais evidências objetivas,
indicar estimativas do grau de atendimento e solicitar a
emissão de uma Estimativa de Sucesso para cada
Resultado Esperado do Modelo de Referência da
CERTICS. São fornecidas apenas identificações e
descrições das evidências, não sendo fornecidos ou
anexados os próprios documentos ou arquivos de
evidências.
Responsável
Outros Participantes
Ponto de Contato.
Critérios de Entrada Acesso ao Sistema CERTICSys liberado.
Método de Avaliação da CERTICS
Página 29 2013 © CTI Renato Archer, direitos reservados
Entradas Formulários disponibilizados no Sistema sobre os
Profissionais da Organização Solicitante envolvidos com o
software a ser avaliado e sobre as evidências para o
atendimento dos Resultados Esperados.
Atividades Este processo é realizado por sete (7) atividades das
quais seis (6) delas são iterativas e podem ser executadas
várias vezes cada uma e em qualquer ordem, respeitando
algumas dependências.
As seis (6) atividades iterativas são:
A1 - Cadastrar os profissionais da Organização
Solicitante.
A2 - Cadastrar as informações sobre as
evidências objetivas.
A3 – Associar profissionais a uma evidência
objetiva.
A4 – Associar evidências a um Resultado
Esperado.
A5 – Estimar atendimento de um Resultado
Esperado.
A6 - Solicitar Estimativa de Sucesso.
Este processo é concluído com uma decisão de conclusão
das edições. Esta conclusão é representada pela sétima
atividade A7 – Finalizar a edição das evidências.
A1 - Cadastrar os profissionais da Organização
Solicitante.
O Ponto de Contato cadastra no Sistema os dados dos
principais profissionais da Organização Solicitante
envolvidos com o software a ser avaliado, tais como:
nome, endereço, forma de contato, função,
nacionalidade, período de atuação no software, entre
outros.
Método de Avaliação da CERTICS
Página 30 2013 © CTI Renato Archer, direitos reservados
A2 - Cadastrar as informações sobre as evidências
objetivas.
São cadastradas no Sistema as identificações e as
descrições das evidências objetivas, geradas para o
software.
Caso o Ponto de Contato tenha alguma dúvida durante o
cadastro das evidências, o mesmo poderá utilizar um
tutor automatizado, disponível no Sistema, para orientá-
lo durante esse registro.
Notas:
Evidências objetivas são documentos ou outros
registros, podendo incluir: Políticas
Organizacionais, procedimentos, Guias, artefatos,
instrumentos (questionários, formulários, entre
outros), material de apresentação, e-mail, ata,
etc. Esses documentos podem estar disponíveis
na forma impressa, em arquivos ou digitalizados;
Não será permitido anexar documentos
relacionados às evidências objetivas;
A análise do conteúdo dos documentos
relacionados às evidências cadastradas será
realizada presencialmente, na fase de visita pela
Equipe de Avaliação;
A3 – Associar profissionais a uma Evidência Objetiva.
São associados os principais profissionais envolvidos na
geração de cada uma das evidências objetivas
cadastradas, indicando o grau de envolvimento desses
profissionais, podendo ser alto ou baixo.
A4 – Associar evidências a um Resultado Esperado.
Uma ou mais evidências são associadas a cada Resultado
Esperado. Para cada evidência é indicada a abrangência
Método de Avaliação da CERTICS
Página 31 2013 © CTI Renato Archer, direitos reservados
para apoiar a estimativa do atendimento do Resultado
Esperado, podendo ser total ou parcial. Quando uma
abrangência da evidência for “parcial”, um comentário é
registrado sobre a contribuição dessa evidência ao
Resultado Esperado.
Notas:
Uma mesma evidência pode ser associada a mais de
um Resultado Esperado.
É possível que uma ou mais evidências cadastradas
não esteja associada a nenhum dos Resultados
Esperados.
A5 – Estimar o atendimento de um Resultado Esperado.
O Sistema orienta a estimativa do atendimento e a
identificação e descrição das evidências de duas formas:
uma por meio de um editor e outra com a utilização de
um tutor automatizado.
O editor solicita para um determinado Resultado
Esperado uma estimativa do grau de atendimento do
mesmo pelo software e também solicita possíveis
evidências para apoiar este atendimento.
O tutor apresenta alternativas de possíveis cenários para
a estimativa de atendimento de cada Resultado
Esperado. Caso algum cenário seja considerado como
representativo do desenvolvimento e inovação
tecnológico do software para um determinado Resultado
Esperado, o tutor orienta a identificação de evidências
que podem ser identificadas, solicita a edição destas
evidências e sugere a estimativa de atendimento.
Quando as evidências associadas ao Resultado Esperado
apresentarem diferentes indicações de abrangências, a
seguinte regra é aplicada:
1) Se pelo menos uma evidência apresentar a
Método de Avaliação da CERTICS
Página 32 2013 © CTI Renato Archer, direitos reservados
abrangência “total”, a abrangência do apoio destas
evidências para a estimativa de atendimento é “total”;
2) Se todas as evidências apresentarem a abrangência
“parcial”, uma análise é feita para verificar se a
abrangência do apoio do conjunto de evidências para a
estimativa de atendimento é “parcial” ou “total”;
O resultado desta atividade é composto por dois valores:
estimativa do atendimento e abrangência do apoio de
evidências para esta estimativa. A estimativa do
atendimento é expressa em “atende”, “atende em
termos” ou “não atende”. A abrangência é expressa em
“total”, “parcial” ou “não tem evidências”.
A6 - Consolidar o atendimento das Áreas de
Competência.
Quando os Resultados Esperados pertencentes a uma
Área de Competência apresentarem diferentes graus de
atendimento, a seguinte regra é aplicada:
1) Se todos os Resultados Esperados apresentarem o
grau de atendimento “atende completamente” , então o
Área de Competência é “atendida”;
2) Se pelo menos um Resultado Esperado apresentar o
grau de atendimento “atende em termos”, a Área de
Competência é “não é atendida”.
A7 - Emitir Estimativa de Sucesso.
Com base nas informações fornecidas pelo Ponto de
Contato, pode ser solicitado ao Sistema a emissão de
estimativas de sucesso preliminares de o software ser
avaliado e ser certificado. São emitidas Estimativas de
Sucesso para cada Resultado Esperado, cada Área de
Competência e do resultado da avaliação. Cada
Estimativa de Sucesso é informada em uma escala com
intervalo de um a cinco, sendo 1 (um) menor estimativa
Método de Avaliação da CERTICS
Página 33 2013 © CTI Renato Archer, direitos reservados
de sucesso e 5 (cinco) a maior estimativa.
A estimativa de sucesso para cada Resultado Esperado é
emitida tendo como base a estimativa do atendimento e
abrangência do apoio de evidências para esta estimativa.
A estimativa de sucesso para cada Área de Competência
é obtida com uma média ponderada das estimativas dos
Resultados Esperados da Área de Competência. A
estimativa de sucesso o software é obtida com uma
média ponderada das estimativas das Áreas de
Competência.
A7 – Finalizar a edição das evidências objetivas.
Quando as edições das evidências e a estimativa de
sucesso forem consideradas suficientes, deve ser
encerrada a edição das evidências. Esta suficiência deve
ocorrer quando o grau de atendimento foi fornecido para
todos os Resultados Esperados e não há necessidade de
associar mais evidências aos Resultados Esperados.
Nesta conclusão deve ser solicitada ao Sistema a emissão
de estimativas de sucesso finais dos Resultados
Esperados, das Áreas de Competência e do software ser
avaliado e ser certificado.
Critérios de Saída Dados registrados no Sistema sobre os principais
profissionais envolvidos no software, sobre as evidências
geradas para o software e sobre o relacionamento dos
Resultados Esperados com as evidências e com os
profissionais.
Estimativa de Sucesso calculada e fornecida pelo Sistema.
Saídas Formulário contendo os dados sobre os principais
profissionais envolvidos no software, sobre as evidências
geradas para o software e sobre o relacionamento dos
Resultados Esperados com as evidências e com os
profissionais.
Método de Avaliação da CERTICS
Página 34 2013 © CTI Renato Archer, direitos reservados
Estimativa de Sucesso.
P.1.4: Analisar Continuidade da Avaliação
Propósito Analisar se a Organização Solicitante atende às condições
necessárias para realizar uma avaliação e decidir se é o
momento adequado para realizá-la. Essa análise é
realizada tendo como base a estimativa de sucesso
fornecida pelo Sistema e o conhecimento adquirido pela
Organização sobre a Metodologia.
Responsável
Outros Participantes
Patrocinador da Avaliação.
Ponto de Contato.
Critérios de Entrada Estimativa de Sucesso fornecida pelo Sistema.
Entradas Estimativa de Sucesso.
Atividades A1 - Analisar a continuidade da avaliação.
Com base na estimativa de sucesso e no conhecimento
adquirido sobre a Metodologia, o Ponto de Contato deve
analisar a continuidade da avaliação.
Caso a estimativa de sucesso fornecida seja 4 ou 5, o
risco da avaliação ser contratada e o software não ser
certificado é baixo; enquanto que valores fornecidos
menores do que 4, o risco da avaliação ser contratada e o
software não ser certificado passa a ser alto. Esses
valores servem de subsídios para a decisão de
contratação de uma avaliação.
A2 - Decidir sobre a realização da avaliação.
O Patrocinador da Avaliação, com subsídios fornecidos
pelo Ponto de Contato, tais como a estimativa de sucesso
alcançada e o conhecimento adquirido sobre a
metodologia, decide a continuidade ou não do processo
de avaliação.
Método de Avaliação da CERTICS
Página 35 2013 © CTI Renato Archer, direitos reservados
Caso a decisão seja a não realização da avaliação, o
processo de avaliação é encerrado.
Critérios de Saída Decisão tomada sobre a continuidade da avaliação
registrada no Sistema.
Saídas Decisão sobre a continuidade da avaliação.
Método de Avaliação da CERTICS
Página 36 2013 © CTI Renato Archer, direitos reservados
4.2 Fase 2: Contratação
O objetivo da Fase 2 - Contratação é estabelecer o Contrato de Avaliação para a realização de
uma avaliação.
Antes de o Contrato de Avaliação ser elaborado, um profissional da Unidade de Serviços de
Avaliação verifica se as informações fornecidas pela Organização Solicitante no CERTICSys são
verídicas.
Esta fase é concluída com a assinatura do Contrato e a emissão da nota fiscal para o
pagamento da avaliação contratada.
Esta fase é composta pelos seguintes processos, conforme apresentada na figura a seguir:
Figura 4 – Diagrama dos Processos da Fase F2 – Contratação
Os três processos e suas atividades que compõem esta fase estão descritos a seguir.
Método de Avaliação da CERTICS
Página 37 2013 © CTI Renato Archer, direitos reservados
P.2.1: Efetuar Pré-Análise dos Dados
Propósito Verificar se são verídicas as descrições da Organização
Solicitante, do Ponto de Contato e das evidências
relacionadas aos Resultados Esperados do Modelo de
Referência.
Responsável
Outros Participantes
Responsável da Unidade de Serviços de Avaliação.
Ponto de Contato.
Critérios de Entrada Decisão Positiva sobre a continuidade da avaliação.
Dados registrados no Sistema sobre a Organização
Solicitante, sobre o Ponto de Contato e sobre o software.
Dados registrados no Sistema sobre os principais
profissionais envolvidos no software, sobre as evidências
geradas para o software e sobre o relacionamento dos
Resultados Esperados com as evidências e com os
profissionais.
Entradas Formulários contendo os dados da Organização
Solicitante, do Ponto de Contato e do software.
Formulários contendo os dados dos principais
profissionais envolvidos no software, das evidências
geradas para o software e do relacionamento dos
Resultados Esperados com as evidências e com os
profissionais.
Atividades A1 - Verificar os dados gerais cadastrados.
Um responsável da Unidade de Serviços de Avaliação
verifica se os dados da Organização Solicitante, do Ponto
de Contato e do software, fornecidos pelo Ponto de
Contato da Organização Solicitante, não são dados
fictícios, e se necessário, confirma a veracidade desses
dados com o Ponto de Contato.
Caso algum dado não seja considerado real, o
responsável pela Unidade de Serviços de Avaliação
Método de Avaliação da CERTICS
Página 38 2013 © CTI Renato Archer, direitos reservados
solicita a sua atualização ao Ponto de Contato.
A2 - Verificar os dados cadastrados das Evidências.
Um responsável da Unidade de Serviços de Avaliação
verifica se são plausíveis as descrições dos nomes das
evidências para cada Resultado Esperado do Modelo de
Referência. Esta verificação é para eliminar casos nos
quais os dados cadastrados destas evidências estão sem
sentido, como: “aaaa”, “teste1”, etc.
Caso algum dado não seja considerado plausível, o
responsável pela Unidade de Serviços de Avaliação
notifica o Ponto de Contato para que os dados sejam
atualizados.
Critérios de Saída Dados da Organização Solicitante, do Ponto de Contato e
do software, verificados pela Unidade de Serviços de
Avaliação em relação à veracidade.
Dados dos principais profissionais envolvidos no
software, das evidências geradas para o software e do
relacionamento dos Resultados Esperados com as
evidências e com os profissionais, verificados pela
Unidade de Serviços de Avaliação em relação à
veracidade.
Saídas
Formulários contendo os dados da Organização
Solicitante, do Ponto de Contato e do software.
Formulários contendo os dados dos principais
profissionais envolvidos no software, das evidências
geradas para o software e do relacionamento dos
Resultados Esperados com as evidências e com os
profissionais.
Método de Avaliação da CERTICS
Página 39 2013 © CTI Renato Archer, direitos reservados
P.2.2: Definir Executor da Avaliação
Propósito Definir a Entidade Credenciada e o Avaliador Líder
responsáveis pela execução da avaliação, no período
solicitado pela Organização Solicitante.
Responsável
Outros Participantes
Patrocinador da Avaliação.
Responsável pela Unidade de Serviços de Avaliação.
Responsáveis pelas Entidades Credenciadas.
Critérios de Entrada Lista de Entidades Credenciadas disponíveis no Sistema.
Entradas Lista de Entidades Credenciadas.
Atividades A1 – Indicar as Entidades Credenciadas.
O Patrocinador da Avaliação consulta a lista de Entidades
Credenciadas e indica até três Entidades Credenciadas,
no Sistema, por ordem de preferência, para executar a
avaliação.
A2 - Fornecer o período da avaliação.
O Patrocinador da Avaliação fornece no Sistema o
período da avaliação desejado, para que seja realizada a
visita pela Equipe de Avaliação.
A3 - Definir o responsável pela execução da avaliação.
Cada responsável pela Entidade Credenciada é
consultado pelo Sistema, seguindo a ordem de
preferência indicada pelo Patrocinador da Avaliação,
para verificar a sua disponibilidade em executar a
avaliação no prazo desejado pelo Patrocinador da
Avaliação.
Se a primeira Entidade Credenciada não puder atender a
demanda, esta deve informar o motivo, e a próxima
Entidade Credenciada da lista de preferência é
consultada pelo Sistema até que uma das três Entidades
Credenciadas aceite a demanda.
Método de Avaliação da CERTICS
Página 40 2013 © CTI Renato Archer, direitos reservados
A gestão do atendimento da demanda da avaliação é
feita pelo responsável da Unidade de Serviços de
Avaliação. Caso nenhuma Entidade Credenciada indicada
aceite a demanda, este responsável entra em contato
com as Entidades Credenciadas indicadas para entender
o motivo do não atendimento. Ações são realizadas a fim
de atender essa demanda, mesmo que seja necessário
negociar um novo período de avaliação junto ao
Patrocinador da Avaliação.
A Entidade Credenciada selecionada para atender a
demanda indica a Equipe de Avaliação, composta no
mínimo por um Avaliador Líder.
Nota:
Caso nenhuma Entidade Credenciada consiga atender a
demanda, a Unidade de Serviços de Avaliação poderá
realizar a avaliação.
A4 – Aprovar a Equipe de Avaliação.
O Patrocinador da Avaliação deve aprovar os integrantes
da Equipe de Avaliação indicados para executar a
avaliação. E caso não os aceite, o Patrocinador da
Avaliação deve justificar o motivo da recusa e novos
integrantes serão negociados entre os envolvidos.
Nota:
Micros e Pequenas Empresas: a Equipe de
Avaliação é formada, no mínimo, pelo Avaliador
Líder, podendo incluir um Avaliador Credenciado;
Médias e Grandes Empresas: a Equipe de
Avaliação é formada pelo Avaliador Líder e mais
um ou dois Avaliadores Credenciados.
Critérios de Saída Entidade Credenciada selecionada para a avaliação.
Período da avaliação definido.
Método de Avaliação da CERTICS
Página 41 2013 © CTI Renato Archer, direitos reservados
Equipe de Avaliação aprovada pela Organização
Solicitante para a avaliação.
Saídas
Entidade Credenciada.
Equipe de Avaliação.
Período da avaliação.
P.2.3: Estabelecer Contrato
Propósito Negociar um contrato para a realização da avaliação
entre a Unidade de Serviços de Avaliação e a Organização
Solicitante.
Responsável
Outros participantes
Responsável pela Unidade de Serviços de Avaliação.
Patrocinador da Avaliação da Organização Solicitante.
Ponto de Contato, Responsável pela Entidade
Credenciada e a Equipe de Avaliação.
Critérios de Entrada Entidade Credenciada selecionada para a avaliação.
Equipe de Avaliação aprovada pela Organização
Solicitante para a avaliação.
Período da avaliação definido.
Entradas Formulários contendo os dados da Organização
Solicitante e do software.
Atividades A1 - Definir o Contrato.
O responsável pela Unidade de Serviços de Avaliação, em
conjunto com o jurídico, elabora o contrato, via sistema,
contendo, no mínimo, as seguintes informações:
- Qualificação da Entidade Credenciada;
- Qualificação da Unidade de Serviço de Avaliação;
- Qualificação da Organização Solicitante;
Método de Avaliação da CERTICS
Página 42 2013 © CTI Renato Archer, direitos reservados
- Preço da avaliação, definido conforme a classificação da
empresa (Micro, Pequena, Média e Grande);
- Período da avaliação;
-Responsabilidades e obrigações da Entidade
Credenciada, da Organização Solicitante e da Unidade de
Serviços de Avaliação;
- Multas relacionadas à rescisão de contrato;
- Esforço máximo que o Avaliador Líder deve utilizar na
Fase 3 - Preparação.
A2 - Aprovar o Contrato.
O responsável pela Unidade de Serviços de Avaliação e o
Patrocinador da Avaliação da Organização Solicitante
assinam o contrato para a realização da avaliação,
estipulando as condições para a realização da avaliação.
A3 - Emitir a Nota Fiscal.
O responsável pela Unidade de Serviços de Avaliação
emite a Nota Fiscal, via sistema, para o pagamento da
avaliação contratada.
A4 - Levantar as Lições Aprendidas.
O Ponto de Contato, os responsáveis pela Unidade de
Serviços de Avaliação e da Entidade Credenciada e a
Equipe de Avaliação levantam as lições aprendidas sobre
as atividades realizadas nesta fase, fornecendo os pontos
positivos, pontos negativos e recomendações de
melhorias na execução dessas atividades.
Nota:
As lições aprendidas devem estar registradas no Sistema
até o final da Fase 6- Conclusão.
Critérios de Saída Contrato para a realização da avaliação aprovado.
Nota Fiscal emitida.
Método de Avaliação da CERTICS
Página 43 2013 © CTI Renato Archer, direitos reservados
Lições aprendidas da Fase 2-Contratação levantadas.
Saídas
Contrato de avaliação.
Nota Fiscal.
Lições Aprendidas.
Método de Avaliação da CERTICS
Página 44 2013 © CTI Renato Archer, direitos reservados
4.3 Fase 3: Preparação
O objetivo da Fase 3 - Preparação é preparar a Organização Solicitante e a Equipe de Avaliação
para a visita de avaliação.
Nesta fase, o Avaliador Líder revisa as informações sobre a Organização e o software, a
identificação e a descrição das potenciais evidências e verifica a adequação das informações
fornecidas.
Com base nas informações fornecidas e revisadas, a Organização Solicitante recebe uma
estimativa do Grau de Prontidão, que indica o quanto a Organização Solicitante está pronta
para a realização da Fase 4 – Visita.
Durante esta fase é desenvolvido um Plano da Avaliação. Esta fase é concluída com a
aprovação desse plano e a execução pela Organização do upload no Sistema, das evidências
identificadas, cujas descrições foram validadas nesta Fase de Preparação.
Esta fase é composta pelos seguintes processos, conforme apresentada na figura a seguir:
Figura 4 – Diagrama dos Processos da Fase F3 –Preparação.
Os quatro processos e suas atividades que compõem esta fase estão descritos a seguir.
Método de Avaliação da CERTICS
Página 45 2013 © CTI Renato Archer, direitos reservados
P.3.1: Analisar e Editar Evidências
Propósito Analisar as identificações e as descrições das evidências
associadas aos Resultados Esperados, com o objetivo de
preparar os dados para a visita.
Responsável
Outros Participantes
Avaliador Líder.
Ponto de Contato.
Critérios de Entrada Contrato de Avaliação assinado.
Nota Fiscal paga pela Organização Solicitante.
Dados dos principais profissionais envolvidos no
software, das evidências geradas para o software e do
relacionamento dos Resultados Esperados com as
evidências e com os profissionais, verificados pela
Unidade de Serviços de Avaliação em relação à
veracidade.
Entradas Formulários contendo os dados dos principais
profissionais envolvidos no software, das evidências
geradas para o software e do relacionamento dos
Resultados Esperados com as evidências e com os
profissionais.
Atividades A1 - Analisar as evidências gerais dos Resultados
Esperados.
O Avaliador Líder revisa as informações sobre a
Organização Solicitante e sobre o software, as
identificações e descrições das potenciais evidências
associadas a cada Resultado Esperado que foram
identificadas na Fase 1 – Exploração pela Organização
Solicitante e verifica a adequação dessas informações.
Durante esta revisão, são realizadas interações com o
Ponto de Contato da Organização Solicitante para
esclarecimentos, identificação e descrição de possíveis
novas evidências. O Contrato de Avaliação estabelece a
Método de Avaliação da CERTICS
Página 46 2013 © CTI Renato Archer, direitos reservados
quantidade de horas que o Avaliador Líder deve atuar
nessa atividade, sendo que o Ponto de Contado é
informado sobre o saldo de horas disponível conforme as
mesmas são utilizadas.
Caso alguma evidência, informada na Fase 1 - Preparação
não seja considerada satisfatória para a realização da
avaliação, o Avaliador Líder solicita informações
adicionais ao Ponto de Contato. Esta consideração é feita
com base na descrição da evidência.
A2 - Reeditar as evidências.
Dentro de um prazo previamente estabelecido, o Ponto
de Contato reedita as identificações e descrições das
evidências no Sistema, que foram consideradas não
satisfatórias pelo Avaliador Líder para a realização da
avaliação. O objetivo é ter evidências satisfatórias para
todos os Resultados Esperados.
Notas:
A inclusão, alteração ou exclusão das
identificações e descrições das evidências
associadas aos Resultados Esperados é de
responsabilidade da Organização Solicitante;
Esta análise fornece base à Organização
Solicitante para a preparação dos dados a serem
utilizados na visita de avaliação. Para o Avaliador
Líder essa análise fornece uma ideia prévia do
contexto da Organização e do software a ser
avaliado;
Esta atividade só termina quando o Avaliador
Líder considerar que as evidências identificadas e
descritas estão adequadas e a Organização
Solicitante preparada para receber a visita, ou no
final do esforço estabelecido no Contrato de
Avaliação da dedicação do Avaliador Líder nesta
Método de Avaliação da CERTICS
Página 47 2013 © CTI Renato Archer, direitos reservados
atividade (o que acontecer primeiro).
Critérios de Saída Identificações e descrições dos dados dos principais
profissionais envolvidos no software, das evidências
geradas para o software e do relacionamento dos
Resultados Esperados com as evidências e com os
profissionais, analisados em relação à adequação pela
Unidade de Serviços de Avaliação e reeditados pela
Organização Solicitante.
Saídas Formulários contendo os dados dos principais
profissionais envolvidos no software, das evidências
geradas para o software e do relacionamento dos
Resultados Esperados com as evidências e com os
profissionais.
P.3.2: Analisar Prontidão
Propósito Analisar se a Organização Solicitante está pronta ou não
para a realização da visita de avaliação.
Responsável
Outros Participantes
Avaliador Líder.
Patrocinador da Avaliação.
Critérios de Entrada Identificações e descrições dos dados dos principais
profissionais envolvidos no software, das evidências
geradas para o software e do relacionamento dos
Resultados Esperados com as evidências e com os
profissionais, analisados em relação à adequação pela
Unidade de Serviços de Avaliação e reeditados pela
Organização Solicitante.
Entradas
Formulários contendo os dados dos principais
profissionais envolvidos no software, das evidências
geradas para o software e do relacionamento dos
Resultados Esperados com as evidências e com os
profissionais.
Método de Avaliação da CERTICS
Página 48 2013 © CTI Renato Archer, direitos reservados
Atividades A1 – Registrar grau de satisfação das evidências.
O Avaliador Líder registra o grau de satisfação das
evidências que foram consideradas satisfatórias para o
Resultado Esperado. Este registro é feito como “total” ou
“parcial”, sendo que no caso da evidência ser pontuada
“parcial”, um comentário é fornecido para justificar a
parcialidade dessa evidência.
Durante esse registro, são realizadas interações com o
Ponto de Contato para esclarecimentos, identificação e
descrição de possíveis novas evidências.
Quando o Avaliador Líder considerar que as evidências
identificadas e descritas estão adequadas ou o esforço
estabelecido ao Avaliador Líder no Contrato de Avaliação
foi consumido (o que acontecer primeiro) esta atividade
é concluída.
Quando as evidências associadas ao Resultado Esperado
apresentarem diferentes pontuações, a seguinte regra é
aplicada:
1) Se pelo menos uma evidência recebeu o registro de
cobertura como “total”, então o Resultado Esperado é
estimado como “potencialmente atendido”;
2) Se todas as evidências receberam o registro de
cobertura “parcial”, uma análise é feita para verificar se
em conjunto essas evidências atendem o objetivo do
Resultado Esperado. Caso as evidências juntas atendam o
Resultado Esperado, o mesmo recebe a estimativa de
“potencialmente atendido”; caso contrário, o Resultado
Esperado recebe a pontuação “potencialmente
atendimento parcial”.
A2 - Analisar a prontidão da Organização Solicitante.
O Avaliador Líder, tendo como base as estimativas
Método de Avaliação da CERTICS
Página 49 2013 © CTI Renato Archer, direitos reservados
atribuídas aos Resultados Esperados, às evidências e os
respectivos comentários, analisa a prontidão da
Organização Solicitante, isto é, o quanto a Organização
está preparada para a visita de avaliação - Fase 4- Visita.
A3 – Emitir a Estimativa do Grau de Prontidão da
Organização Solicitante.
O Avaliador Líder emite uma estimativa do grau de
prontidão da Organização Solicitante, para a realização
da visita de avaliação. Esta estimativa é apresentada por
meio de um texto livre, que indique a percepção do
Avaliador Líder sobre as informações do software
analisadas e que não estão satisfatórias, as informações
faltantes, entre outras.
Essa estimativa serve como um sinalizador de que a
Organização Solicitante poderá ou não ter seu software
certificado se até antes da visita não forem apresentadas
evidências mais adequadas.
Nota:
O Patrocinador da Avaliação, tendo como base a
estimativa do grau de prontidão, poderá decidir a não
continuação da avaliação, causando o encerramento da
avaliação, com a tomada de providências conforme
estabelecido no Contrato de Avaliação.
Critérios de Saída Estimativa do Grau de Prontidão da Organização
Solicitante emitida.
Saídas Estimativa do Grau de Prontidão.
P.3.3: Preparar Visita
Propósito Preparar a visita para a realização da avaliação.
Responsável Avaliador Líder.
Equipe de Avaliação, Ponto de Contato e Patrocinador da
Método de Avaliação da CERTICS
Página 50 2013 © CTI Renato Archer, direitos reservados
Outros Participantes Avaliação.
Critérios de Entrada Estimativa do Grau de Prontidão da Organização
Solicitante emitida pelo Sistema.
Entradas Formulários contendo os dados dos principais
profissionais envolvidos no software, das evidências
geradas para o software e do relacionamento dos
Resultados Esperados com as evidências e com os
profissionais.
Formulários contendo os dados da Organização
Solicitante e do software.
Atividades A1 - Solicitar os recursos necessários para a realização
da visita da avaliação.
O Avaliador Líder solicita ao Ponto de Contato os
recursos necessários para a realização da avaliação, tais
como: sala adequada para a realização das sessões de
entrevistas, projetor, pessoas que serão entrevistadas,
facilidades de comunicação, entre outros.
A2 - Definir a Agenda.
O Avaliador Líder, com base no resultado da análise das
identificações e descrições das evidências que foram
associadas a cada Resultado Esperado e da ideia prévia
que o mesmo obteve sobre o contexto do software
elabora uma agenda para as sessões de entrevistas.
A duração de cada sessão de entrevista é variável,
dependendo das dúvidas que o Avaliador tem sobre as
informações analisadas e quantidade de profissionais
participantes das sessões de entrevistas.
As sessões de entrevistas podem ser organizadas por
Áreas de Competência, por grupo de profissionais
envolvidos na geração das evidências, por áreas afins,
entre outros.
Método de Avaliação da CERTICS
Página 51 2013 © CTI Renato Archer, direitos reservados
O Ponto de Contato da Organização Solicitante valida a
agenda da avaliação para garantir quais profissionais e
recursos devem estar disponibilizados para assegurar que
a visita de avaliação seja bem sucedida.
A3 - Estabelecer Plano da Avaliação.
Para a realização da avaliação contratada é necessário à
elaboração de um Plano da Avaliação. Esse plano é
elaborado pelo Avaliador Líder, que interage com o Ponto
de Contato para obter as informações necessárias,
esclarecimentos de dúvidas, ajustes de expectativas dos
envolvidos na avaliação, negociações da agenda
proposta, entre outras.
O Plano da Avaliação deve conter, no mínimo, as
seguintes informações:
Identificação e informações da Organização
Solicitante;
Identificação e informações do Patrocinador da
Avaliação;
Identificação e informações do software a ser
avaliado;
Identificação da Equipe de Avaliação (Avaliador
Líder e/ou Avaliador(es));
Agenda para a realização da avaliação;
Assinatura dos responsáveis pela Organização
Solicitante e pela Equipe de Avaliação para
evidenciar o acordo com o Plano da Avaliação
(Patrocinador da Avaliação e Avaliador Líder).
Critérios de Saída Plano da Avaliação assinado pelos responsáveis da
Organização Solicitante e da Equipe de Avaliação.
Saídas Plano da Avaliação acordado.
Método de Avaliação da CERTICS
Página 52 2013 © CTI Renato Archer, direitos reservados
P.3.4: Providenciar Visita
Propósito Tomar as providências finais para a realização da visita da
avaliação.
Responsável
Outros Participantes
Avaliador Líder.
Patrocinador da Avaliação, Ponto de Contato,
Responsável pela Entidade Credenciada e Equipe de
Avaliação.
Critérios de Entrada Plano da Avaliação assinado.
Entradas Plano da Avaliação.
Atividades A1 - Verificar providências para a visita de avaliação.
Para assegurar que a visita de avaliação possa ser
realizada com sucesso, algumas providências devem ser
tomadas, tanto pela Organização Solicitante como pela
Entidade Credenciada e Equipe de Avaliação.
São exemplos dessas providências:
Agenda acordada entre os envolvidos, tais como:
Patrocinador da Avaliação, Ponto de Contato,
profissionais da Organização a serem
entrevistados e Equipe de Avaliação;
Autorização para a Equipe de Avaliação entrar na
Organização Solicitante no dia da visita de
avaliação;
Reserva de salas, equipamento de projeção,
telefone, impressora e outros recursos
necessários;
Coffe break;
Aquisição de passagens;
Reserva em hotel, entre outros.
Essas providências devem estar de comum acordo entre
a Organização Solicitante, Equipe de Avaliação e Entidade
Método de Avaliação da CERTICS
Página 53 2013 © CTI Renato Archer, direitos reservados
Credenciada. Pode ser revisado o Plano da Avaliação.
A2 - Elaborar apresentação da Abertura da Avaliação.
O Avaliador Líder prepara a apresentação da Abertura da
Avaliação contendo informações sobre a Organização, o
software, a identificação da equipe de avaliação, a
agenda acordada, o processo de avaliação, entre outros.
A3 - Levantar as Lições Aprendidas.
A Equipe de Avaliação, o Patrocinador da Avaliação, o
Ponto de Contato, e o responsável pela Entidade
Credenciada levantam as lições aprendidas sobre as
atividades realizadas nesta fase, fornecendo os pontos
positivos, pontos negativos e recomendações de
melhorias na execução dessas atividades.
Nota:
As lições aprendidas devem estar registradas no Sistema
até o final da Fase 6- Conclusão.
A4 - Carregar os dados.
O Ponto de Contato deve disponibilizar no Sistema, por
meio de upload, até a véspera da visita de avaliação, as
evidências associadas a cada Resultado Esperado que
foram analisadas e aceitas pelo Avaliador Líder na Fase
3- Preparação. Outras evidências que ainda não foram
analisadas pelo Avaliador Líder na Fase 3 – Preparação,
mas que o Ponto de Contato as identificou como
adequadas para atendimento aos Resultados Esperados,
também devem ser disponibilizadas no Sistema por meio
de upload.
Critérios de Saída Providências finais tomadas para a realização da
avaliação.
Apresentação da Abertura da Avaliação elaborada.
Lições aprendidas da Fase 3-Preparação levantadas.
Método de Avaliação da CERTICS
Página 54 2013 © CTI Renato Archer, direitos reservados
Dados carregados no Sistema (upload), das evidências
associadas aos Resultados Esperados.
Saídas Apresentação da Abertura da Avaliação.
Lições Aprendidas.
Evidências associadas aos Resultados Esperados.
Método de Avaliação da CERTICS
Página 55 2013 © CTI Renato Archer, direitos reservados
4.4 Fase 4: Visita
O objetivo da Fase 4 - Visita é executar uma visita da Equipe de Avaliação à Organização
Solicitante para analisar evidências, pontuar o grau de atendimento dos Resultados Esperados
a partir das evidências analisadas, consolidar e apresentar o resultado da avaliação, conforme
acordado no Plano da Avaliação. Esse resultado da avaliação apresentado é a recomendação
da Equipe de Avaliação, não é o resultado final da avaliação, pois o mesmo ainda será
confirmado pela Unidade de Serviços de Avaliação, na Fase 5- Validação.
A Fase 4 - Visita é composta pelos seguintes processos, conforme apresentada na figura a
seguir:
Figura 5 – Diagrama dos Processos da fase F4 – Visita
Os cinco processos e suas atividades que compõem esta fase estão descritos a seguir.
Método de Avaliação da CERTICS
Página 56 2013 © CTI Renato Archer, direitos reservados
P.4.1: Iniciar Visita
Propósito
Iniciar a visita de avaliação, realizando uma reunião
inicial, o aceite do Termo de Confidencialidade entre
todos os envolvidos da avaliação e uma sessão de
abertura com todos os participantes da avaliação.
Responsável
Outros Participantes
Avaliador Líder.
Patrocinador da Avaliação.
Equipe de Avaliação.
Ponto de Contato.
Entrevistados da Organização Solicitante.
Critérios de Entrada
Dados registrados no Sistema sobre os principais
profissionais envolvidos no software, sobre as evidências
geradas para o software e sobre o relacionamento dos
Resultados Esperados com as evidências e com os
profissionais.
Dados carregados no Sistema (upload), das evidências
associadas aos Resultados Esperados.
Apresentação da Abertura da Avaliação elaborada.
Termo de Confidencialidade impresso.
Entradas
Formulário contendo os principais profissionais
envolvidos no software, sobre as evidências geradas para
o software e sobre o relacionamento dos Resultados
Esperados com as evidências e com os profissionais.
Apresentação da Abertura da Avaliação.
Termo de Confidencialidade.
Atividades A1- Realizar reunião inicial.
É realizada uma reunião com o Patrocinador da
Avaliação, o Ponto de Contato e a Equipe de Avaliação
para confirmação da agenda e atualizações, se
Método de Avaliação da CERTICS
Página 57 2013 © CTI Renato Archer, direitos reservados
necessário.
Nesse momento a Equipe de Avaliação assina o Termo de
Confidencialidade e entrega ao Patrocinador da
Avaliação. Esse Termo de Confidencialidade garante a
confidencialidade pela Equipe de Avaliação, das
informações que serão acessadas e obtidas nas sessões
de entrevistas.
A2- Realizar apresentação da abertura da avaliação.
Para marcar o início das atividades de avaliação, o
Avaliador Líder, com apoio do Patrocinador da Avaliação,
realiza uma apresentação da abertura da avaliação para
os participantes da avaliação. A equipe de avaliação, os
objetivos e agenda da avaliação são apresentados, e as
dúvidas são esclarecidas. Se necessário, novos ajustes na
agenda são realizados.
Critérios de Saída
Termo de Confidencialidade assinado pela Equipe de
Avaliação e entregue ao Patrocinador da Avaliação.
Apresentação da abertura da avaliação realizada.
Saídas Termo de Confidencialidade.
Apresentação da Abertura da Avaliação.
P.4.2: Analisar Evidências
Propósito
Analisar as evidências associadas a cada Resultado
Esperado, pela Equipe de Avaliação, para verificar a
pertinência das evidências e gerar subsídios para a
pontuação do atendimento aos Resultados Esperados.
Responsável
Outros Participantes
Equipe de Avaliação (Avaliador Líder e/ou Avaliador(es)).
Participantes da avaliação.
Critérios de Entrada Dados carregados no Sistema (upload), das evidências de
todos os Resultados Esperados.
Método de Avaliação da CERTICS
Página 58 2013 © CTI Renato Archer, direitos reservados
Dados registrados no Sistema sobre os principais
profissionais envolvidos no software, sobre as evidências
geradas para o software e sobre o relacionamento dos
Resultados Esperados com as evidências e com os
profissionais.
Participantes da avaliação disponibilizados para as
sessões de entrevista.
Entradas Formulários contendo os dados carregados das
evidências dos Resultados Esperados.
Formulários contendo os dados dos principais
profissionais envolvidos no software, as evidências
geradas para o software e o relacionamento dos
Resultados Esperados com as evidências e com os
profissionais.
Atividades A1-Realizar sessões de entrevistas.
A Equipe de Avaliação realiza sessões de entrevistas com
os Participantes da Avaliação, conforme agenda. As
sessões de entrevistas visam um melhor entendimento
das evidências indicadas para os Resultados Esperados.
No decorrer das sessões de entrevistas o Avaliador Líder
pode solicitar entrevistas adicionais com outros
profissionais da Organização Solicitante, assim como
validações dos entendimentos originados nas entrevistas
já realizadas, dentro dos limites e condições previamente
acordados durante a avaliação. Nesse caso, a
Organização Solicitante deve se empenhar em
providenciar a disponibilização dos profissionais e
recursos adicionais necessários.
A2-Analisar o conteúdo das evidências.
Em reuniões internas ou mesmo durante as sessões de
entrevistas a Equipe de Avaliação analisa o conteúdo das
evidências apresentadas para cada Resultado Esperado,
Método de Avaliação da CERTICS
Página 59 2013 © CTI Renato Archer, direitos reservados
verificando se são ou não pertinentes. Uma evidência é
considerada pertinente para um Resultado Esperado se:
a) A evidência está relacionada ao software em
avaliação. Caso não esteja, a evidência não será
considerada e uma justificativa será fornecida
pela Equipe de Avaliação alegando que a
evidência não pertence ao software, sendo que
excepcionalmente, a Equipe de Avaliação poderá
solicitar ao Ponto de Contato uma nova
evidência, aguardando o seu fornecimento
dentro de um horário limite acordado para o seu
recebimento.
b) A evidência está relacionada ao Resultado
Esperado. Caso o conteúdo da evidência não
esteja relacionado ao Resultado Esperado, uma
justificativa será fornecida pela Equipe de
Avaliação alegando o motivo pelo qual a
evidência não contribui para o atendimento do
Resultado Esperado, sendo que
excepcionalmente, a Equipe de Avaliação poderá
solicitar ao Ponto de Contato uma ou mais novas
evidências que demonstrem o atendimento ao
Resultado Esperado e fica aguardando o
fornecimento dentro de um horário acordado
durante a avaliação.
Caso a identificação e/ou a descrição da
evidência relacionada ao Resultado Esperado não
esteja coerente com o conteúdo avaliado, a
Equipe de Avaliação solicita ao Ponto de Contato
a atualização da identificação e/ou descrição
desta evidência que deverá ser atualizada até
antes do Avaliador Líder liberar o Relatório
Preliminar da Avaliação para a Unidade de
Serviços de Avaliação.
Método de Avaliação da CERTICS
Página 60 2013 © CTI Renato Archer, direitos reservados
c) A evidência não indica nenhuma inconsistência
com o resultado da análise de outros Resultados
Esperados.
Caso indique inconsistência com outros
Resultados Esperados, as análises dos Resultados
Esperados envolvidos devem ser revistas para
produzir análises consistentes e
excepcionalmente, a Equipe de Avaliação poderá
solicitar ao Ponto de Contato uma ou mais novas
evidências que demonstrem o atendimento ao
Resultado Esperado consistente com outros
Resultados Esperados e fica aguardando o
fornecimento dentro de um horário acordado
durante a avaliação.
d) O entendimento obtido pela Equipe de
Avaliação sobre as evidências corresponde com
o que foi reportado durante a entrevista.
Caso a evidência não corresponda ao
entendimento obtido pela Equipe de Avaliação,
excepcionalmente, a Equipe de Avaliação poderá
solicitar ao Ponto de Contato uma ou mais novas
evidências que demonstrem o atendimento ao
Resultado Esperado e fica aguardando o
fornecimento dentro de um horário acordado
durante a avaliação. O Avaliador Líder pode
solicitar entrevistas adicionais para validar o
entendimento obtido pela Equipe de Avaliação
versus a evidência fornecida.
Durante essa análise, se existir uma evidência relevante,
isto é, que atende aos itens a, b, c, d e que sozinha já
atende totalmente o Resultado Esperado, a Equipe de
Avaliação já pode analisar o atendimento desse
Resultado Esperado, sem precisar analisar as demais
evidências associadas a esse Resultado Esperado.
Método de Avaliação da CERTICS
Página 61 2013 © CTI Renato Archer, direitos reservados
Como resultado de uma análise positiva para a
pertinência da evidência ao Resultado Esperado, é
atribuída uma pontuação, “Parcial” ou “Total” para cada
uma das evidências. A evidência é pontuada “Parcial”
quando a evidência atende os aspectos do Resultado
Esperado, mas não sua totalidade. A evidência é
pontuada “Total” quando a evidência atende totalmente
o Resultado Esperado.
Caso uma ou mais evidências seja analisada como
“Total”, a análise das evidências deste Resultado
Esperado pode ser considerada como concluída.
Caso duas ou mais evidências sejam analisadas como
“Parcial” e nenhuma como “Total”, deve ser verificado se
o conjunto das evidências pode ser considerado como
“Total”. Neste caso, a análise das evidências deste
Resultado Esperado pode ser considerada como
concluída. Caso contrário, deve ter um esforço que
excepcionalmente, novas evidências sejam fornecidas
pelo Ponto de Contato, sem comprometer a visita. Caso
novas evidências sejam identificadas, deve ser repetido o
processo a partir da atividade 2 - Analisar o conteúdo
das evidências.
Esta atividade ajuda a equipe de avaliação obter um
entendimento para pontuar os Resultados Esperados.
Durante esta análise, a equipe de avaliação também pode
observar “Pontos Fracos”, “Pontos Fortes” e
“Oportunidades de Melhoria”.
Ponto Fraco é o não atendimento de um, mais de um ou
todos os aspectos de um Resultado Esperado.
Entenda-se como Ponto Forte quando o atendimento de
um ou mais aspectos de um Resultado Esperado supera,
de forma significativa, o que é esperado.
Método de Avaliação da CERTICS
Página 62 2013 © CTI Renato Archer, direitos reservados
Oportunidade de Melhoria quando está atendendo o
Resultado Esperado, mas da forma que está sendo feita
causa um risco para a Organização Solicitante. Este risco
deve ser descrito como parte da Oportunidade de
Melhoria. Não deve ser descrita nenhuma sugestão de
melhoria, mas apenas o risco.
Critérios de Saída Evidências de cada Resultado Esperado analisadas e
pontuadas no Sistema, pela Equipe de Avaliação.
Saídas Formulário contendo as pontuações das evidências de
cada Resultado Esperado.
P.4.3: Pontuar Atendimento
Propósito Atribuir uma pontuação para cada Resultado Esperado de
acordo com a pontuação atribuída às evidências.
Responsável Equipe de Avaliação (Avaliador Líder e/ou Avaliador(es)).
Critérios de Entrada Evidências de cada Resultado Esperado pontuadas no
Sistema, pela Equipe de Avaliação.
Entradas Formulário contendo as pontuações das evidências de
cada Resultado Esperado.
Atividades A1-Pontuar os Resultados Esperados.
Após a análise e pontuação das evidências para os
Resultados Esperados, a Equipe de Avaliação pontua, no
Sistema, o atendimento de cada Resultado Esperado
segundo a seguinte escala de pontuação ordinal:
(F) - Completamente (Fully) atendido: Suficientes
evidências relacionadas ao software estão
identificadas e são adequadas para demonstrar o
total atendimento do Resultado Esperado.
(L) - Largamente atendido: Suficientes evidências estão
identificadas e são adequadas para demonstrar o
atendimento dos aspectos mais importantes do
Método de Avaliação da CERTICS
Página 63 2013 © CTI Renato Archer, direitos reservados
Resultado Esperado. Existe um ou mais pontos
fracos relacionados a esse Resultado Esperado,
porém estes não comprometem o atendimento do
Resultado Esperado.
(P) - Parcialmente atendido: Algumas evidências estão
identificadas e são adequadas para demonstrar o
atendimento parcial do Resultado Esperado.
Existem um ou mais pontos fracos que
comprometem o atendimento do Resultado
Esperado.
(N) - Não atendido: Todas as evidências necessárias
estão ausentes ou as evidências presentes são
inadequadas para demonstrar o atendimento do
Resultado Esperado.
A Equipe de Avaliação deve explicar o
racional/justificativa utilizado para a pontuação definida
para cada Resultado Esperado.
Quando a pontuação atribuída for diferente de “F”, além
do conteúdo do racional/justificativa utilizado deve ser
indicado pelo menos um ponto fraco encontrado.
Nota:
Os “pontos fracos”, “pontos fortes” e “oportunidades de
melhoria” que já foram identificados durante a realização
da atividade A2-Analisar o conteúdo das evidências
podem ter podem ser revisados para possíveis melhorias
no texto, caso necessário.
A2-Pontuar as Áreas de Competência.
Após pontuar cada Resultado Esperado, a Equipe de
Avaliação pontua, no Sistema, as Áreas de Competência
do Modelo de Referência.
Cada Área de Competência é pontuada em uma escala
binária: Sim ou Não com base no resultado das
Método de Avaliação da CERTICS
Página 64 2013 © CTI Renato Archer, direitos reservados
avaliações de cada um de seus respectivos Resultados
Esperados. A pontuação será Sim se cada Resultado
Esperado estiver pontuado como F ou L. A pontuação
será Não caso contrário.
A3-Pontuar o resultado da avaliação.
A Equipe de Avaliação revisa as pontuações obtidas nas
Áreas de Competência, com seus respectivos Resultados
Esperados. Os racionais/justificativas utilizados nas
pontuações dos Resultados Esperados também devem
ser revisados para embasar o resultado da avaliação e os
pontos fracos apontados.
Com base no resultado das avaliações de cada uma das
Áreas de Competência, a pontuação da avaliação será
Sim se todas as Áreas de Competência estiverem
pontuadas como Sim. A pontuação será Não, caso
contrário.
O resultado da avaliação representa a recomendação da
Equipe de Avaliação sobre a avaliação do software,
indicando se o software é resultante de desenvolvimento
e inovação tecnológica realizados no País.
Nota:
Esse resultado não poderá ser divulgado pela
Organização Solicitante, pois ainda passará por uma
validação a ser executada pela Unidade de Serviços de
Avaliação na Fase 5 - Validação.
Critérios de Saída Resultados Esperados e Áreas de Competência pontuadas
pela Equipe de Avaliação no Sistema.
Saídas Formulário contendo os Resultados Esperados e Áreas de
Competência pontuadas pela Equipe de Avaliação no
Sistema.
Método de Avaliação da CERTICS
Página 65 2013 © CTI Renato Archer, direitos reservados
P.4.4: Apresentar Resultado
Propósito
Consolidar o resultado da avaliação no Relatório de
Avaliação preliminar e apresentar o resultado da
avaliação recomendado pela Equipe de Avaliação.
Responsável
Outros Participantes
Avaliador Líder.
Avaliador, Patrocinador da Avaliação, Ponto de Contato.
Critérios de Entrada
Resultados Esperados pontuados com suas respectivas
justificativas e Áreas de Competência pontuadas pela
Equipe de Avaliação, no Sistema.
Entradas
Formulário contendo os Resultados Esperados pontuados
com suas respectivas justificativas e Áreas de
Competência pontuadas.
Formulário da Apresentação do Resultado da Avaliação.
Atividades A1-Consolidar o resultado da avaliação no Relatório
Preliminar da Avaliação.
A Equipe de Avaliação consolida o resultado da avaliação
no relatório preliminar da avaliação, via sistema. O
relatório deve conter as pontuações de cada Resultado
Esperado por Área de Competência, com o racional
utilizado (justificativa), os pontos fracos e a
recomendação final da Equipe de Avaliação do resultado
da avaliação. Poderá conter Pontos Fortes e
Oportunidades de Melhorias.
A2-Apresentar o resultado da avaliação.
Em uma sessão executiva, o Avaliador Líder apresenta a
recomendação da Equipe de Avaliação sobre o resultado
da avaliação, ao Patrocinador da Avaliação e outras
pessoas por ele convidadas. Caso acordado no decorrer
da visita, o Avaliador Líder poderá também apresentar o
resultado a um grupo maior de convidados do
Patrocinador da Avaliação.
Método de Avaliação da CERTICS
Página 66 2013 © CTI Renato Archer, direitos reservados
Critérios de Saída
Resultado da avaliação consolidado no Relatório
Preliminar da Avaliação.
Resultado da avaliação recomendado pela Equipe de
Avaliação apresentado ao Patrocinador.
Saídas
Relatório Preliminar da Avaliação contendo o resultado
recomendado da avaliação.
Apresentação do Resultado da Avaliação.
P.4.5: Concluir Visita
Propósito Concluir a visita de avaliação.
Responsável
Outros Participantes
Avaliador Líder.
Avaliador, Patrocinador, Ponto de Contato e Participantes
da Avaliação.
Critérios de Entrada Resultado da avaliação recomendado pela Equipe de
Avaliação apresentado ao Patrocinador.
Entradas Relatório Preliminar da Avaliação contendo o resultado
recomendado da avaliação.
Atividades
A1-Organizar e registrar as informações relevantes sobre
a avaliação.
A Equipe de Avaliação organiza as informações geradas e
consultadas durante a visita de avaliação e verifica o
registro dessas informações no Sistema, garantindo o seu
armazenamento.
A2-Levantar as Lições Aprendidas.
A Equipe de Avaliação, o Patrocinador da Avaliação, Ponto
de Contato e os participantes da avaliação levantam as
lições aprendidas sobre as atividades executadas nesta
fase, fornecendo os pontos positivos, pontos negativos e
recomendações de melhorias para a execução dessas
atividades.
Método de Avaliação da CERTICS
Página 67 2013 © CTI Renato Archer, direitos reservados
Notas:
As lições aprendidas devem estar registradas no
Sistema até o final da Fase 6- Conclusão;
Durante a realização das lições aprendidas será
solicitado a avaliação da:
Equipe de Avaliação pela Organização
Solicitante;
Organização Solicitante pela Equipe de
Avaliação;
Unidade de Serviços de Avaliação pela
Equipe de Avaliação, pela Entidade
Credenciada quando envolvida e pela
Organização Solicitante;
Entidade Credenciada, quando
envolvida, pela Unidade de Serviço de
Avaliação, pela Equipe de Avaliação e
pela Organização Solicitante.
Critérios de Saída
Informações relevantes sobre a avaliação registradas no
Sistema.
Lições aprendidas da Fase 4-Visita levantadas.
Saídas Informações relevantes sobre a avaliação no Sistema.
Lições Aprendidas.
Método de Avaliação da CERTICS
Página 68 2013 © CTI Renato Archer, direitos reservados
4.5 Fase 5: Validação
O objetivo da Fase 5 - Validação é assegurar que a avaliação foi realizada em conformidade
com a Metodologia de Avaliação da CERTICS para Software.
Um Validador designado pela Unidade de Serviços de Avaliação verifica se o processo de
avaliação foi conduzido conforme o Método de Avaliação.
Esta fase é concluída com os encaminhamentos decorrentes de um parecer fornecido pelo
Validador sobre a execução da avaliação. O parecer com a validação negativa causa a
suspensão da avaliação pela Unidade de Serviços de Avaliação, para que as providências
cabíveis sejam tomadas junto à Equipe de Avaliação. O parecer com a validação positiva causa
o início da Fase 6 - Conclusão. No final desta fase, a Organização Solicitante recebe o resultado
validado da avaliação para que ela possa recorrer, dentro de um prazo estabelecido, junto à
Unidade de Serviços de Avaliação, no caso de discordar do resultado recebido.
Esta fase é composta pelos seguintes processos, conforme apresentada na figura a seguir:
Figura 6 – Diagrama dos processos da fase F5 – Validação.
Os quatro processos e suas atividades que compõem esta fase estão descritos a seguir.
Método de Avaliação da CERTICS
Página 69 2013 © CTI Renato Archer, direitos reservados
P.5.1: Consolidar Relatório
Propósito Revisar o texto do Relatório Preliminar da Avaliação
elaborado durante a fase de visita da avaliação.
Responsável Avaliador Líder.
Critérios de Entrada Relatório Preliminar da Avaliação elaborado contendo as
pontuações dos Resultados Esperados com suas
justificativas.
Entradas Relatório Preliminar da Avaliação.
Atividades A1- Consolidar o Relatório Preliminar da Avaliação.
O Avaliador Líder revisa e complementa o relatório
preliminar da avaliação, atualizando-o onde necessário,
sem modificar o resultado recomendado pela Equipe de
Avaliação na Fase 4- Visita, antes de disponibilizá-lo para
a validação.
Critérios de Saída Relatório Preliminar da Avaliação consolidado no
Sistema.
Saídas Relatório Preliminar da Avaliação consolidado.
P.5.2: Designar Validador
Propósito Designar um Validador para realizar a validação do
resultado da avaliação realizada.
Responsável
Outros participantes
Responsável pela Unidade de Serviços de Avaliação.
Validador da Avaliação.
Critérios de Entrada
Relatório Preliminar da Avaliação consolidado no
Sistema.
Sistema contendo todos os registros do resultado da
avaliação, consolidado no relatório preliminar da
avaliação.
Entradas Lista de Validadores da CERTICS no Sistema.
Método de Avaliação da CERTICS
Página 70 2013 © CTI Renato Archer, direitos reservados
Atividades A1- Designar o Validador da Avaliação.
O responsável pela Unidade de Serviços de Avaliação
designa um Validador para validar a avaliação realizada.
Nota:
O Contrato de Avaliação garante a confidencialidade das
informações pelos profissionais envolvidos na execução
da avaliação, tanto os pertencentes à Unidade de
Serviços de Avaliação, como os vinculados à Entidade
Credenciada.
Critérios de Saída Validador da Avaliação designado.
Saídas N/A.
P.5.3: Validar Resultado da Avaliação
Propósito
Validar o resultado da avaliação realizada pela Equipe de
Avaliação, para assegurar que a avaliação foi conduzida
em conformidade com a Metodologia de Avaliação da
CERTICS para Software, e que os dados utilizados e os
resultados produzidos estão adequados.
Responsável
Outros participantes
Validador da Avaliação.
Avaliador Líder.
Responsável da Unidade de Serviços de Avaliação.
Critérios de Entrada Dados registrados no Sistema sobre Organização
Solicitante e do software.
Dados registrados no Sistema sobre a pontuação
atribuída às evidências consideradas para cada Resultado
Esperado, a pontuação atribuída aos Resultados
Esperados com suas respectivas justificativas, a
pontuação atribuída às Áreas de Competência, e se
houver os registros dos Pontos Fracos, dos Pontos Fortes
e das Oportunidades de Melhoria.
Método de Avaliação da CERTICS
Página 71 2013 © CTI Renato Archer, direitos reservados
Entradas Checklist da Validação.
Formulário contendo os dados registrados no Sistema
sobre Organização Solicitante e do software.
Formulário contendo os dados registrados no Sistema
sobre a pontuação atribuída às evidências consideradas
para cada Resultado Esperado, a pontuação atribuída aos
Resultados Esperados com suas respectivas justificativas,
a pontuação atribuída às Áreas de Competência, e se
houver os registros dos Pontos Fracos, dos Pontos Fortes
e das Oportunidades de Melhoria.
Relatório Preliminar da Avaliação consolidado.
Formulário do Parecer de Validação da Avaliação.
Atividades A1 – Validar o resultado da avaliação.
Para a execução desta atividade, o Validador utiliza um
checklist contendo uma lista de elementos a serem
validados na avaliação realizada.
O Validador analisa o conteúdo do relatório preliminar da
avaliação, no sistema, verifica se o processo de avaliação
foi conduzido conforme o Método de Avaliação, se as
evidências analisadas durante a visita estão coerentes
com os Resultados Esperados e se as pontuações
atribuídas a esses Resultados Esperados e o seu
racional/justificativa estão adequadas para as evidências
analisadas. No caso de ser encontrada alguma
inconsistência, uma justificativa deverá ser registrada no
Parecer de Validação da Avaliação para alertar o
Avaliador Líder da necessidade de serem feitos ajustes.
Também é verificada a clareza e a coerência da redação
do racional/justificativa registrados. Caso seja
encontrada alguma inconsistência, uma justificativa
deverá ser registrada no Parecer de Validação da
Avaliação para alertar o Avaliador Líder da necessidade
Método de Avaliação da CERTICS
Página 72 2013 © CTI Renato Archer, direitos reservados
de serem feitos ajustes.
Durante a validação, o Validador pode interagir com o
Avaliador Líder para possíveis esclarecimentos e ajustes
no relatório preliminar, que passam a ser considerados
para a geração do relatório validado. O Validador pode
interagir com o responsável da Unidade de Serviços de
Avaliação para esclarecer dúvidas ou para que os
problemas não acordados entre o Validador e Avaliador
Líder sejam escalados a um Comitê interno.
A2- Fornecer o parecer da validação.
O Validador fornece o parecer de validação da avaliação,
podendo ter como resultado uma validação positiva ou
uma validação negativa acompanhada da respectiva
justificativa. Esta atividade é concluída com os
encaminhamentos decorrentes deste parecer.
O parecer com validação negativa causa a suspensão da
validação pelo responsável da Unidade de Serviços de
Avaliação. As providências cabíveis devem ser tomadas
junto ao Avaliador Líder. O Avaliador Líder pode interagir
com o Validador para possíveis esclarecimentos sobre o
parecer recebido. Caso não consiga entrar em acordo, o
Validador escala ao responsável da Unidade de Serviços
de Avaliação para resolver o problema.
As mudanças para atender o parecer da validação
deverão constar no Relatório Preliminar da Avaliação,
para que possam ser consideradas na geração do
Relatório Validado da Avaliação, após serem realizadas
novamente, quantas vezes forem necessárias, as
atividades A1 – Validar o resultado da avaliação e A2-
Fornecer o parecer da validação, até o parecer da
validação ser positivo.
Critérios de Saída Parecer de Validação da Avaliação preenchido pelo
Método de Avaliação da CERTICS
Página 73 2013 © CTI Renato Archer, direitos reservados
Validador.
Checklist da Validação preenchido.
Relatório Preliminar da Avaliação atualizado.
Parecer de Validação da Avaliação positivo.
Saídas
Parecer de Validação da Avaliação.
Relatório Preliminar da Avaliação.
Checklist da Validação.
P.5.4: Concluir Validação
Propósito Concluir a Fase de Validação, tendo como resultado o
Relatório Validado da Avaliação e o levantamento das
lições aprendidas dessa fase.
Responsável
Outros participantes
Validador da Avaliação.
Patrocinador da Avaliação.
Avaliador Líder.
Critérios de Entrada
Parecer de Validação da Avaliação preenchido pelo
Validador.
Relatório Preliminar da Avaliação atualizado.
Parecer positivo da validação da avaliação.
Entradas Parecer de Validação da Avaliação.
Atividades A1 – Gerar o Relatório Validado da Avaliação.
Uma vez validados os resultados e a recomendação da
avaliação, estas informações são consolidadas em um
Relatório Validado da Avaliação, pelo Validador,
contendo o resultado final da avaliação. Esse relatório
deve conter as pontuações de cada Resultado Esperado
por Área de Competência, com o racional utilizado
(justificativa). Poderá conter Pontos Fracos, Pontos
Fortes e Oportunidades de Melhorias.
A2- Enviar Relatório Validado à Organização Solicitante.
Método de Avaliação da CERTICS
Página 74 2013 © CTI Renato Archer, direitos reservados
O Patrocinador da Avaliação recebe o Relatório Validado
da Avaliação para que o mesmo aceite o resultado da
avaliação recebido ou possa recorrer junto à Unidade de
Serviços de Avaliação, dentro de um prazo estabelecido e
informado, sobre o resultado recebido.
Quando o Patrocinador da Avaliação discordar do
resultado da avaliação, uma justificativa deve ser
elaborada para cada item do Relatório Validado da
Avaliação, alegando o motivo pelo qual não concorda
com o resultado da avaliação recebido. O responsável
pela Unidade de Serviços de Avaliação analisa a
justificativa recebida, e verifica se os itens apontados
pelo Patrocinador da Avaliação já foram discutidos e
alinhados entre o Avaliador Líder e o Validador. Caso
sejam itens já resolvidos internamente durante a
validação, o responsável pela Unidade de Serviços de
Avaliação informa o Patrocinador que a sua justificativa
não procede e que o resultado da avaliação será
mantido. Caso os itens apontados não foram percebidos
durante a validação, o responsável pela Unidade de
Serviços de Avaliação encaminha ao Avaliador Líder para
a sua análise. Após essa análise, o Avaliador Líder
atualiza o Relatório da Avaliação nos itens que procedem
e justifica os itens que ele não aceitou, enviando esse
resultado ao responsável da Unidade de Serviços de
Avaliação. O responsável da Unidade de Serviços de
Avaliação escala a um Comitê interno, os itens rejeitados
pelo Avaliador Líder, com a respectiva justificativa, para
que uma decisão seja tomada, podendo esse Comitê
concordar ou não com as justificativas fornecidas pelo
Patrocinador. Caso a decisão do Comitê seja favorável, o
Relatório Validado da Avaliação é atualizado pelo
Avaliador Líder e encaminhado ao Patrocinador pelo
responsável da Unidade de Serviços de Avaliação. Caso a
decisão do Comitê seja desfavorável, o Patrocinador da
Avaliação é informado dessa decisão, com a respectiva
justificativa.
As informações presentes no Relatório Validado da
Avaliação são incorporadas no Relatório Final da
Avaliação gerado na Fase 6 – Conclusão.
A3- Levantar as Lições Aprendidas.
O Avaliador Líder e o Validador da Avaliação levantam as
Método de Avaliação da CERTICS
Página 75 2013 © CTI Renato Archer, direitos reservados
lições aprendidas sobre as atividades realizadas nesta
fase, fornecendo os pontos positivos, pontos negativos e
recomendações de melhorias na execução dessas
atividades.
Nota:
As lições aprendidas devem estar registradas no Sistema
até o final da Fase 6- Conclusão.
Critérios de Saída Relatório Validado da Avaliação gerado.
Lições aprendidas da Fase 5-Validação levantadas.
Saídas Relatório Validado da Avaliação.
Lições Aprendidas.
Método de Avaliação da CERTICS
Página 76 2013 © CTI Renato Archer, direitos reservados
4.6 Fase 6: Conclusão
O objetivo da Fase 6 - Conclusão é concluir o processo de avaliação.
Nesta fase, o Relatório Final da Avaliação é enviado ao Responsável pela Metodologia para a
revisão do resultado da avaliação e a emissão do Laudo de Avaliação, no caso do resultado da
avaliação ser positiva. O Relatório e o Laudo são então enviados à Organização Solicitante. As
lições aprendidas são coletadas e registradas no Sistema, e o processo de avaliação é
terminado com a emissão do Termo de Quitação.
Caso o resultado da avaliação seja positivo, a Organização Solicitante pode submeter um pleito
à SEPIN/MCTI para a emissão do certificado CERTICS.
Esta fase é composta pelos seguintes processos, conforme apresentada na figura a seguir:
Figura 7 – Diagrama dos processos da Fase 6 - Conclusão
Os dois processos e suas atividades que compõem esta fase estão descritos a seguir.
Método de Avaliação da CERTICS
Página 77 2013 © CTI Renato Archer, direitos reservados
P.6.1: Enviar Resultado
Propósito Concluir a Fase de Validação, tendo como resultado um
Relatório Final de Avaliação validado e o registro das
lições aprendidas dessa validação.
Responsável
Outros participantes
Responsável pela Unidade de Serviços de Avaliação.
Responsável pela Metodologia, Patrocinador,
Responsável pelo MCTI.
Critérios de Entrada Relatório Validado da Avaliação “aceito” pelo
Patrocinador da Avaliação.
Entradas Relatório Validado da Avaliação.
Atividades A1- Gerar o Relatório Final da Avaliação.
O responsável pela Unidade de Serviços de Avaliação
gera o Relatório Final da Avaliação, contendo as
pontuações de cada Resultado Esperado por Área de
Competência, com o racional utilizado (justificativa).
Poderá conter Pontos Fracos, Pontos Fortes e
Oportunidades de Melhorias. Também deve conter
informações da Organização Solicitante, identificação do
software, identificação da Equipe de Avaliação, entre
outros.
A2 – Enviar Relatório Final ao Responsável pela
Metodologia.
O responsável pela Unidade de Serviços de Avaliação
envia o Relatório Final da Avaliação ao Responsável pela
Metodologia para que o mesmo revise o resultado dessa
avaliação. Caso o resultado da avaliação seja positivo, é
emitido o Laudo de Avaliação.
A3 - Emitir o Laudo de Avaliação.
O Responsável pela Metodologia (CTI RENATO ARCHER)
emite o Laudo de Avaliação tendo como referência as
informações contidas no Relatório Final da Avaliação.
A4- Enviar o resultado da avaliação à Organização
Método de Avaliação da CERTICS
Página 78 2013 © CTI Renato Archer, direitos reservados
Solicitante.
O responsável pela Unidade de Serviços de Avaliação
envia ao Patrocinador da Avaliação o Relatório Final da
Avaliação. Caso o resultado da avaliação seja positivo é
também enviado o Laudo de Avaliação.
Caso o resultado da avaliação seja positivo, a
Organização Solicitante pode submeter um pleito à
SEPIN/MCTI para a emissão do certificado CERTICS.
Critérios de Saída
Relatório Final da Avaliação gerado, revisado e enviado
ao Patrocinador da Avaliação.
Laudo de Avaliação emitido, caso o resultado da
avaliação seja positivo.
Saídas Relatório Final da Avaliação.
Laudo de Avaliação.
P.6.2: Concluir Avaliação
Propósito Orientar a conclusão da avaliação.
Responsável
Outros participantes
Responsável pela Unidade de Serviços de Avaliação.
Equipe de Avaliação (Avaliador Líder e/ou Avaliador).
Participantes da Avaliação.
Critérios de Entrada
Dados gerados durante avaliação e registrados no
Sistema.
Informações das Lições Aprendidas no Sistema.
Entradas Dados da avaliação registrados no Sistema
Atividades A1- Registrar as lições aprendidas.
O responsável pela Unidade de Serviços de Avaliação
solicita o registro das lições aprendidas levantadas nas
fases anteriores que ainda não foram registradas no
Sistema. Essas informações servem como insumo para as
Método de Avaliação da CERTICS
Página 79 2013 © CTI Renato Archer, direitos reservados
atividades de monitoramento e para a melhoria contínua
da Metodologia de Avaliação da CERTICS para Software.
A2- Emitir o Termo de Quitação.
O contrato de avaliação é terminado e o Termo de
Quitação é emitido pelo responsável de Unidade de
Serviços de Avaliação.
A3- Bloquear o acesso ao Sistema.
O acesso ao Sistema deve ser bloqueado pelo
responsável da Unidade de Serviços de Avaliação.
Caso necessário, somente o Administrador do Sistema
terá acesso aos dados da avaliação, no Sistema.
Critérios de Saída
Lições Aprendidas registradas no Sistema.
Termo de Quitação emitido.
Sistema com acesso bloqueado.
Saídas Lições Aprendidas.
Termo de Quitação.
Método de Avaliação da CERTICS
Página 80 2013 © CTI Renato Archer, direitos reservados
5. Considerações Finais
Informações adicionais sobre a CERTICS, a forma de contratação de uma avaliação da CERTICS,
o Modelo de Referência e o Método de Avaliação podem ser obtidas no endereço
http://www.certics.cti.gov.br.