MANUAL DE AVALIAÇÃO – EVIDÊNCIAS - … · 2013 CENTRO PAULA SOUZA VAGNER TADEU DE SOUZA BUENO [MANUAL DE AVALIAÇÃO – EVIDÊNCIAS OBSERVATÓRIO ESCOLAR] Este documento tem

2013

CENTRO PAULA SOUZA VAGNER TADEU DE SOUZA BUENO

[MANUAL DE AVALIAÇÃO – EVIDÊNCIAS

OBSERVATÓRIO ESCOLAR] Este documento tem por finalidade ajudar os observadores sobre o que são evidências e os tipos de que podem ser consideradas durante o Observatório Escolar.

ÁREA : Observatório Escolar

CÓDIGO / VERSÃO OE -002 v. 01

TÍTULO : Manual de avaliação - Evidências

VIGÊNCIA A PARTIR DE: 28/08/2013

2

INTRODUÇÃO Enquanto o conceito de evidência é amplamente reconhecido como um aspecto chave da condução dos trabalhos do Observatório Escolar, na prática, o grau de comprometimento com a obrigação de agrupar e avaliar as evidências varia consideravelmente entre observadores. As variações na prática como o que se constitui evidência suficiente, válida e relevante são freqüentemente explanadas com bases nas diferenças que naturalmente se desenvolvem no exercício do julgamento profissional dos observadores. Embora a opinião do observador seja sempre de vital importância para qualquer avaliação de consenso, deve-se tomar o cuidado com a utilização de subjetividades indevidas quando orientações objetivas poderiam ser desenvolvidas e construtivamente usadas pelos observadores. Este trabalho procura ser um apoio aos observadores na determinação do que se constitui evidência suficiente, válida e relevante e como ela deve ser coletada.

Nesse entendimento, o capítulo 1 (um) explora brevemente a posição da evidência em relação a outros conceitos utilizados na avaliação de consenso para estabelecer de maneira clara a natureza da evidência e a que ela se propõe.

O capítulo 2 (dois) discute os aspectos práticos da coleta de evidências durante o Observatório Escolar, revendo os vários tipos de evidências disponíveis e as técnicas que podem ser usadas para agrupá-las.

O capítulo 3 (três) enfoca o significado dos termos suficiência, validade e relevância quando se trata de evidência no Observatório Escolar e os fatores que os observadores devem considerar quando da avaliação da adequação das evidências coletadas para amparar o conteúdo do relatório de consenso. O capítulo 4 (quatro) identifica certos fatores que devem ser reconhecidos na avaliação das evidências. A pretensão deste trabalho é suprir os observadores com um claro entendimento sobre o assunto evidência durante o Observatório Escolar. Este manual deve fornecer ao observador orientações que contribuirão para o grau de objetividade e rigor nas atividades de coleta e avaliação de evidências. CAPÍTULO UM: EVIDÊNCIA E SUA POSIÇÃO NA TEORIA DO OBSERVATÓRIO ESCOLAR Um entendimento do conceito de evidência durante o Observatório Escolar requer um conhecimento de sua relação com outros conceitos . Para estudar o porquê da coleta de evidências pelo observador, devemos conhecer a natureza e o propósito do processo de avaliação como um todo. Um conhecimento fundamental do processo de avaliação supre os observadores com as bases para responder questões como: o que vem a ser evidência? qual quantidade é suficiente? e como deve ser coletada?





3

O Modelo de Avaliação A avaliação realizada pelo Observatório Escolar tem como propósito chegar a certas conclusões a respeito dos processos e resultados das ETECs e classes descentralizadas. Especificamente, espera-se que os observadores identifiquem se:

• os sistemas, procedimentos e controles estão adequadamente dimensionados e desenvolvidos e se estão operando com eficiência e eficácia;

• as informações adequadas estão disponíveis para tomada de decisões e “responsabilidades”;e

• as informações disponíveis são devidamente utilizadas no processo de tomada de decisões;

Evidência no observatório refere-se a algo relevante, confiável e possível que auxiliará o observador na formação de opiniões sobre a extensão em que os critérios acima mencionados serão atingidos. Evidências são obtidas pelo observador, primordialmente, do dimensionamento real, operação e efeitos do sistema de controle da escola sujeita à avaliação, incluindo as ações e relatos daqueles responsáveis pela operação do sistema. Sugere-se, geralmente, que a suficiência, a validade e a relevância da evidência devam ser obtidas e documentadas para dar suporte ao conteúdo dos relatórios do Observatório Escolar. Dois fatores que devem ajudar na avaliação da adequabilidade do nível de evidências coletadas pelo observador são identificados. Basicamente é dado aos observadores uma série de orientações relacionadas a (a) o grau de correspondência que eles devem procurar obter quando comparam as evidências aos critérios estabelecidos para a avaliação; e (b) o grau de prova ou evidência requerida para dar suporte às suas conclusões. CAPÍTULO DOIS: TIPOS DE EVIDÊNCIAS E MÉTODOS DE COLETA Para proceder, adequadamente, a coleta de evidências e as funções de avaliação, um observador deve entender:

• os vários tipos de evidências, como elas diferem em espécie e confiabilidade e as várias estratégias que podem ser empregadas para coletá-las;

• os fatores que ajudam determinar o que se constitui evidência suficiente, válida e relevante necessárias para dar suporte ao conteúdo do relatório do Observatório Escolar; e

• a conduta pessoal que um observador deve manter e desenvolver para assegurar que erros e tendências observados não ponham em risco o processo de coleta de evidências.

Neste capítulo, a discussão será sobre os tipos de evidências disponíveis aos observadores seguida por uma revisão das técnicas de coleta de evidências que os observadores podem empregar. Um entendimento da completa extensão dos tipos de evidências disponíveis e das técnicas para sua extração darão ao observador flexibilidade para desenvolver estratégias de coleta. Cada conhecimento também ajudará a reduzir o risco de confiança indevida sobre um particular tipo de evidência ou técnica de coleta.





4

Tipos de Evidências Em suma, evidência é algo que contribui para o estabelecimento de prova. No Observatório Escolar, evidência inclui aquelas coisas que ajudam na formação da opinião do observador ou na convicção sobre as reais condições existentes na área sob exame. Adicionalmente, evidência é classificada de três diferentes maneiras: por forma, por fonte e pelo tipo de prova fornecida. Classificação das Evidências por Forma A lista seguinte identifica seis tipos de evidências durante uma avaliação de acordo com o critério “o que fornece prova”:

- Presença física de objetos; - Observação de ações do pessoal observado; - Declarações e apresentações orais ou escritas; - Informações contidas em documentos; - Evidências de reexames; e - Consistência mútua entre amostras de dados.

Presença física de objetos A presença física de um objeto representa prova usada para verificar a existência de um objeto, assegurar suas qualidades ou mensurar sua quantidade. Observação de ações do pessoal observado A observação de ações representa prova gerada pelo observador. Este tipo de evidência é tipicamente utilizado para verificar a performance de uma atividade ou procedimento e se ela está sendo realizada como planejado. Além disso, a observação de ações propicia um importante conhecimento dos sistemas e controles do avaliado e pode ajudar o observador a identificar circunstâncias duvidosas. Declarações e apresentações orais e escritas Também conhecida como evidência testemunhal, esta forma de evidência representa informações recebidas de outros agindo como especialistas observadores relacionadas com as pesquisas feitas pelos observadores. Quantidade substancial de evidência testemunhal é coletada das entrevistas pessoais ou solicitações de declarações escritas e cartas de confirmação realizadas pela avaliação. Esse tipo de evidência pode ser usada para descrever a maioria dos aspectos das operações reais sob exame. Informações contidas em documentos Esta forma de evidência é prova derivada de registros escritos diversos como manuais de procedimentos, registros contábeis, contratos e documentos de todos os tipos. Os registros são examinados para verificar a ocorrência de transações ou eventos por meio de fontes documentais. Os





5

registros podem, também, fornecer uma descrição do modelo pretendido pelo sistema sob exame. Finalmente, os resultados registrados podem ser analisados como modo de determinar a eficácia dos controles das operações sob exame. Evidências de reexames A conformidade dos achados de reexames com os achados originais é tipicamente utilizada para verificar a exatidão das medidas e avaliações. Conferência de preços, extensões ou outros dados são exemplos de procedimentos usados nesse tipo de prova. O reexame das adições de listas também ajuda conferir a existência de itens incompletos, já que imprevistos podem indicar inclusões acidentais, duplas contagens ou omissões. O reexame pode demonstrar se o exame original de um controle foi eficaz. Um exemplo seria a repetição do cálculo de uma folha de pagamento que um funcionário tenha executado para verificação. Consistência mútua entre amostras de dados Pode ser questionado que a consistência mútua entre amostras de dados de evidências, por si mesma, não representa uma nova forma de evidência, mas tem meramente um efeito confirmatório. Incrementos de evidências em avaliações apontando diretamente à mesma conclusão tem um efeito confirmatório e deste modo, um grau de persuasão maior que aquele que um incremento individual possuiria isoladamente. A razão, entretanto, para o tratamento da consistência (ou inconsistência) mútua como um tipo de evidência é que importantes trabalhos de avaliação são realizados exclusivamente para encontrá-las. Considerações Relevantes Em geral, a forma intrínseca da evidência influenciará sua integridade em dar suporte às conclusões do relatório do Observatório Escolar. Embora seja primeiro determinada a relevância da fonte das amostras de evidências, considerações secundárias da forma ( física x documental x oral ) darão significados adicionais para assegurar a integridade das provas encontradas. Classificação das Evidências por Fonte Evidência no Observatório Escolar pode ser classificada de acordo com a fonte da qual é derivada, suprindo o observador com perspectivas adicionais para observar a natureza da evidência. Isso deve realçar o entendimento do observador com relação a que evidência está disponível e, por meio disso, aumentar a flexibilidade do observador quando da determinação das estratégias de coleta de evidências. A referência das fontes de evidências é também um meio pelo qual o observador pode avaliar a confiabilidade das provas obtidas. Há quatro principais fontes de evidências as quais podem ser consideradas: - conhecimento pessoal do observador - evidência externa - evidência interna - evidências justapostas





6

Conhecimento Pessoal do observador Conhecimentos pessoais diretos são normalmente derivados do exame físico do observador e da observação das atividades. Este tipo de evidência tende a ser a mais confiável, desde que o observador possa minimizar o risco de erros de observação; Evidência Externa Representa a evidência obtida de terceiros que são organizacionalmente independentes do observado. Há, evidentemente, graus de independência organizacional desde aqueles terceiros que estão no mesmo departamento do avaliado como aqueles que não estão. A confiabilidade deste tipo de evidência depende da avaliação do observador quanto a sua integridade, competência e objetividade. Onde estes fatores não são problema, a evidência externa é tida como sendo mais persuasiva que a evidência criada dentro da escola avaliada. Evidência Interna Representa a evidência originada na escola avaliada. Em uma avaliação, este é o mais prevalente e econômico tipo de evidência a obter. Tende também a ser a menos confiável ( com a evidência oral sendo menos confiável que a documental ) das fontes de evidências. A confiabilidade depende largamente da determinação do observador da competência e integridade do avaliado que fornece as informações. Evidências Justapostas A confiabilidade das evidências desta fonte depende do grau de consistência encontrado entre partes separadas da informação, da persuasão da consistência e da habilidade do observador em avaliar a relação entre partes distintas da evidência. Cada forma de evidência pode ser relacionada com sua fonte. A Tabela 1 ilustra e demonstra exemplos de cada forma de evidência.





7

Tabela 1

Formas de Evidência Classificadas por Fonte

Fonte e Forma de Evidência Exemplo de Evidência A. Conhecimento Pessoal 1. Evidência Física Bens ou materiais disponíveis para inspeção. 2. Conformidade de Reexame Conformidade entre a valoração feita pelo

observador e os valores registrados em acordos contratuais ou faturas.

3. Observação de Ações do Pessoal Execução com segurança, pelo pessoal avaliado,

das rotinas da unidade. B. Evidência Externa 4. Declarações de Terceiros Entrevista pessoal com usuários sobre a

satisfação com os serviços do avaliado. 5. Evidência Documental Externa Estudos ou relatórios preparados por

especialistas. C. Evidência Interna 6. Registros e Relatórios Contábeis Relatórios da “APM” 7. Evidência Documental Interna Relatórios sobre o sistema interno de

informações gerenciais. 8. Declarações da Gerência e Empregados Explanação sobre os procedimentos do avaliado. D. Evidências Justapostas 9. Consistência com outras Evidências Análise de tendências, tais como queixas de

clientes e correlação com outras evidências tais como as conhecidas condições do sistema de controle do avaliado.

(1) ANDERSON, Rodney J., The External Audit 1 - Concepts and Techniques, Toronto, 1977, p. 254.





8

Classificação da Evidência por Tipo de Prova Fornecida O reconhecimento de que as evidências podem fornecer diferentes tipos de prova é útil para os observadores quando estão desenvolvendo sua estratégia de coleta de evidências. A procura por amostras de evidências, as quais fornecem diferentes tipos de prova, contribui para o aspecto persuasivo das conclusões do observador. Nesta parte, o tipo de prova fornecido é visto sob duas perspectivas. Primeiro, a evidência coletada fornece prova negativa ou positiva? Segundo, a evidência coletada representa prova primária, confirmativa ou contraditória? Positivo versus Negativo Evidência que fornece prova positiva é aquela que diretamente dá suporte a uma proposição que está sendo verificada. Por exemplo, se um observador está pretendendo verificar que um controle é adequado, a evidência que gera prova positiva fornece segurança de que o controle, neste caso, é adequado. Evidência que fornece prova negativa é realmente a ausência de evidência, após uma razoável procura, a qual contradiz a proposição que está sendo verificada. Por exemplo, na verificação da adequação de um controle, o observador determinaria primeiro as condições que provavelmente existiriam se o controle fosse inadequado. Assim, o observador procuraria a existência de tais condições. Onde o observador falhasse em descobrir condições sugestivas de controle inadequado, prova negativa seria gerada. Esta prova fornece algumas evidências de que o controle está realmente operando adequadamente. Evidência que fornece prova positiva é inerentemente mais confiável que aquela que gera prova negativa. Encontrar uma certa condição existente é mais seguro que não encontrar algo errado. Testes para estabelecer a efetividade dos controles, entretanto, freqüentemente emprega verificação de procedimentos envolvendo a procura por provas negativas. Procurar por efeitos indesejáveis é às vezes mais fácil que provar que um controle está de fato operando com eficácia. Primária, Confirmativa e Contraditória Evidência pode ser classificada como sendo primária, confirmativa ou contraditória. Primária, como o nome sugere, é a evidência sobre a qual o observador coloca confiabilidade primária relevância quando do estabelecimento das provas das conclusões do relatório da avaliação. Dependendo de quão convincente a evidência primária seja, pode haver ou não a necessidade de evidências adicionais. Quando a evidência adicional é coletada pode ser considerada confirmativa ou contraditória. Evidência confirmativa dá suporte ao tipo de prova fornecido pela evidência primária, enquanto que evidência contraditória o rejeita. Quando a evidência adicional coletada é contraditória, será necessário ao observador estender os exames para confirmar ou refutar a aparente contradição.





9

Resumo Três meios de classificação de evidência são apresentados. O reconhecimento das formas, fontes e provas das evidências deve colaborar na flexibilidade das estratégias de coleta de evidências do observador e reduzir o risco de uma indevida relevância de uma evidência qualquer. Métodos de Coleta de Evidências A qualidade dos resultados do Observatório Escolar é necessariamente dependente da adequação dos métodos usados para coletar evidências. Na prática da avaliação muita relevância está sendo dada a entrevistas como um significado de coleta de evidências. Em muitos casos, essa prática é provavelmente justificada por causa do limitado benefício de outras técnicas. Todavia, os observadores devem ser cuidadosos sobre a relevância habitual de certas técnicas e assegurar que para cada afirmação o completo espectro de métodos de coleta de evidências foi considerado. Nesta parte, há uma consideração das técnicas geralmente disponíveis para o observador. Estas são apresentadas esquematicamente na Tabela 2 em relação às várias fontes e formas de evidências em avaliações previamente discutidas.





10

Tabela 2

Evidência e Procedimentos de Avaliações

Fonte de Evidência

Forma da Evidência Procedimento relacionado

A. Conhecimento Pessoal 1. Evidência Física

1. Exame Físico

2. Conformidade de Reexame

2. Reexame

3. Observação de Ações do Pessoal avaliado

3. Observação

B. Evidência Externa 4. Declarações de Terceiros

4. Entrevista

5. Evidência Documental Externa

5. Exame minucioso, análise e atestação

C. Evidência Interna 6. Registros e Relatórios de

Contabilidade


7. Evidência Documental Interna


8. Declarações da direção, coordenações e empregados

8. Entrevista

D. Evidências Justapostas 9. Consistência com outras

Evidências 9. Correlação com informações relatadas

(2)ANDERSON, Rodney J., The External Audit 1 - Concepts and Techniques, Toronto, 1997, p. 254.





11

Exame Físico Exame físico geralmente envolve a medição da quantidade de um bem ou a determinação de sua qualidade comparada com um padrão pré-determinado. A técnica pode ser utilizada na procura de provas negativas como o exame de evidências de falta ou avaria de bens. Exame físico é freqüentemente usado para testar a efetividade dos controles, particularmente daqueles relativos à segurança de quantidades físicas ou qualidade de bens tangíveis. A evidência é coletada sobre itens tangíveis. Materiais, por exemplo, são freqüentemente um objeto desta forma de teste de avaliação. A confiabilidade da evidência obtida por este método dependerá da habilidade do observador em evitar erros de observação. Observação Os elementos da observação são:

- identificação da atividade específica a ser observada; - observação da sua execução; - comparação do comportamento observado com os padrões; e - avaliação e conclusão.

Normalmente, a observação serve a objetivos como a verificação da performance de vários procedimentos de controle. Na profundidade que o observador pode observar atividades suspeitas na escola, o exame deve ser aproveitado também como um teste da eficácia dos procedimentos de controle. Usualmente, a observação é importante quando ela pode ser economicamente empregada. Além disso, a confiabilidade da evidência derivada deste método depende do conhecimento especializado do observador dada a complexidade das atividades sob exame. Entrevista Entrevista oral com o avaliado Este tipo de evidência é a mais fácil de ser obtida, porém tende a ser a de menor confiabilidade. Em geral, todas as declarações do avaliado relacionadas aos itens materiais devem ser corroboradas com outras evidências. A entrevista pode ser usada de diferentes maneiras:

-como significado da determinação da natureza do sistema de controle sob exame; -para obter explanações sobre itens não usuais descobertos durante a coleta de outras evidências; e





12

-para extrair informações que de outra maneira não seria possível.

A confiabilidade da entrevista oral depende da objetividade e do conhecimento do funcionário que fornece a informação. Adicionalmente, a competência do entrevistador ( conhecimento, tato, objetividade e bom senso) é crucial para a relevância desta técnica. Entrevista escrita com o avaliado Tipicamente, esta técnica é usada no contexto da avaliação no estágio escrito do relatório, quando o avaliado é requisitado a comentar, por escrito, sobre a validade de fato das declarações do relatório de avaliação. É útil para assegurar que cada evidência é obtida:

-para servir como uma conferência final em defesa da interpretação dos fatos pelo observador; -para assegurar que o avaliado compreendeu as conclusões do observador; e -para ajudar na ênfase da responsabilidade do avaliado de tomar providências sobre os achados.

Entrevista com terceiros Neste, terceiros incluem todas as pessoas de fora da escola avaliada. Podem ser incluídos:

-servidores da mesma empresa, mas de fora da unidade avaliada ( desde que provado que são realmente independentes do avaliado ); -servidores de outros órgãos; e -especialistas não incluídos nos grupos acima descritos.

A evidência proveniente de terceiros é geralmente considerada mais confiável que a evidência gerada pelo avaliado. Confiabilidade, entretanto, depende da integridade, competência e independência do terceiro e da retidão e eficácia da comunicação do observador. Os observadores devem ser particularmente cuidadosos com o possível conflito de interesses entre o avaliado e os terceiros, já que essa situação diminuiria a utilidade da entrevista com terceiros. Entrevistas feitas diretamente com usuários dos serviços do avaliado ou com especialistas freqüentemente são meios úteis de coleta de evidência confirmativa. Na utilização de especialistas, entretanto, o observador deve:





13

-estabelecer a competência do especialista referente à qualificação e reputação; -assegurar que a comunicação com o especialista seja efetiva, estabelecendo de forma clara o escopo do trabalho requerido; -assegurar que o especialista explique hipóteses e métodos; e -rever o trabalho do especialista uma vez terminado e testar a sua razoabilidade.

Exame minucioso/Atestação Exame minucioso é a verificação de uma determinada ação pelo exame de documentos fontes correlatas que fornecem a prova necessitada. Esta técnica pode ser usada para comparar a ação sob consideração com fatos documentados e para investigar as diferenças. Atestação envolve a pesquisa de dados para determinar itens importantes que requeiram investigação adicional. Geralmente, essa técnica é usada para fornecer a segurança de que os controles estão operando eficazmente, como, amparado pela ausência de circunstâncias duvidosas que sugeririam possíveis deficiências. A relevância deste tipo de evidência é largamente dependente do conhecimento e experiência do observador. Análise Neste documento, relaciona-se revisão analítica à análise do sistema sob controle para a obtenção de evidência à eficácia do sistema de controle ou como um modo para identificação de causas e efeitos de controles deficientes. Geralmente, a revisão analítica envolve a comparação de tendências normais na escola sob exame com resultados esperados. A relação advinda desta comparação deve ser razoavelmente explanada, de outra maneira haverá provavelmente a necessidade de coletar evidências adicionais para clarear ilógicas ou inesperadas relações que parecem existir. Correlação Esta técnica procura a consistência mútua entre diferentes amostras de evidência. É usada para fornecer evidência confirmativa a qual incrementa a persuasão da prova do observador.





14

CAPÍTULO TRÊS: EVIDÊNCIA SUFICIENTE, VÁLIDA E RELEVANTE Neste capítulo, a atenção será dada aos fatores que ajudam determinar o que se constitui evidência suficiente, válida e relevante necessária para dar suporte ao conteúdo do relatório da observação. A importância de objetivamente determinar evidência suficiente, válida e relevante Regras gerais ou critérios pelos quais os observadores podem assegurar a adequação das evidências coletadas não têm sido codificadas. Atualmente, conclusões sobre se as evidências coletadas são suficientes, válidas e relevantes provêm do exercício do bom senso profissional do observador. Enquanto se reconhece que o julgamento do observador terá sempre papel central em cada decisão, há razões para assegurar que os observadores atribuam importância ao grau de objetividade trazido pela avaliação das evidências onde possível. Quando muita subjetividade é permitida na determinação do que se constitui evidência suficiente, válida e relevante, há um perigo de diferentes observadores escolherem diferentes tipos e quantidades de evidências apesar da avaliação do Observatório Escolar estar sendo conduzida sob as mesmas circunstâncias. Como resultado, o valor da informação de um relatório de avaliação pode também ser variado, dados os diferentes níveis de detalhes sobre os quais o conteúdo do relatório baseia-se. Outra razão para assegurar objetividade nas decisões de coleta de evidências é derivada do interesse que demonstram os usuários nas atividades da avaliação. Para incrementar a objetividade das atividades de coleta de evidências o capítiulo seguinte ampliará o que é entendido como evidência suficiente, válida e relevante e quais os fatores que devem influenciar a decisão do observador, como por exemplo, quando uma quantidade adequada de evidência foi coletada. Evidência Válida, Suficiente e Relevante - Definições Os conceitos de suficiência, validade e relevância interrelacionam-se. Suficiência é a medição da quantidade obtida de evidências e validade e relevância são medidas da qualidade destas evidências. A decisão se determinada quantidade obtida de evidência é suficiente será influenciada pela sua qualidade. Para ser suficiente a evidência deve ser convincente para justificar os conteúdos dos relatórios de avaliação. Suficiência é encontrada quando, ambos, observador e observado estão satisfatoriamente convencidos que os achados e conclusões da avaliação são apropriados. Isso normalmente requer que a quantidade de evidência coletada seja suficiente para também convencer o avaliado, mas em última análise o observador deve estar mais preocupado em persuadir o usuário do relatório que é quem tem o controle sobre as implementações das recomendações do Observatório Escolar.





15

Validade refere-se à força ou credibilidade da evidência em dar suporte às conclusões concernentes à natureza da escola sob exame. Geralmente, quanto maior a confiabilidade da fonte e forma da evidência mais válida ela será. A Tabela 3 é uma ilustração de um ordenamento de grau de confiabilidade que contém os pontos demonstrados no Capítulo 2 e que os observadores têm achado extremamente úteis. Ao mesmo tempo em que é importante reconhecer que sempre haverá exceções em qualquer generalização, esse ordenamento deve ajudar na avaliação da confiabilidade de várias amostras de evidências.

Tabela 3

Confiabilidade da Evidência de acordo com sua Fonte

Diminuindo o Grau de Confiabilidade

# Conhecimento pessoal obtido pelo observador por meio da observação, exame físico, recálculo, etc. # Evidência obtida por meio de confirmação ou entrevista com terceiros competentes, íntegros e independentes . # Evidência documental obtida por meio de exame minucioso de registros produzidos externamente ao auditado. # Documentos desenvolvidos, pelo observado, sob satisfatórias condições de controle interno. # Declarações da organização observada; deve-se subdividir as declarações de acordo com as seguintes categorias elencadas em termos de confiabilidade:

- declarações de funcionários graduados de confiança; - declarações de funcionários com conhecimentos específicos; - declarações que podem ser corroboradas por declarações de outros funcionários.

Nota: Esta tabela é baseada na premissa de que , em geral, conhecimento pessoal é mais confiável do que evidência indireta e evidência externa é mais confiável do que evidência interna. (3) ANDERSON, Rodney J., The External Audit 1 - Concepts and Techniques, Toronto, 1977, p. 252.





16

Relevância significa o grau de relação entre as evidências e os objetivos do observador. Os objetivos da avaliação podem ser divididos em de conformidade e de materialidade. Objetivos de conformidade são relacionados com a garantia da adequação do modelo e da operação dos controles da escola sob exame. Especificamente, a evidência derivada de procedimentos de conformidade é relacionada à verificação: (a) da existência e adequabilidade dos controles; (b) se eles estão operando como planejado; e (c) se eles são eficazes.

Objetivos materiais dizem respeito à evidenciação de deficiências significativas e ineficiências no modelo e operação dos controles, de maneira a identificar suas causas e efeitos. Claramente, o observador deve procurar obter evidências para cada um desses objetivos individuais. Obter a mais convincente evidência para a existência de um controle não será compensatório com a falha em estabelecer sua eficácia. A evidência deve ser relevante para o objetivo específico da avaliação que ela serve e cada objetivo específico deve ser coberto. É instrutivo considerar a extensão da evidência que foi coletada para cada objetivo da avaliação. Já que a evidência relacionada com a operação e o modelo do controle pode prevalecer ou ser mais facilmente obtida do que a evidência relacionada com a eficácia de sua operação, pode haver a tendência de certas avaliações centrarem-se desproporcionalmente nos processos de controle sem comprometer-se em considerar o êxito daqueles controles. Sem um equilíbrio na verificação dos objetivos da avaliação, entretanto, a completa utilidade da avaliação será grandemente diminuída. Com esses significados de evidência suficiente, válida e relevante em mente, a próxima parte indica como os observadores devem testar aqueles atributos. Testando a Relevância, Validade e Suficiência O que segue, representa orientações que podem ser usadas para testar se os dados coletados apresentam evidência relevante, válida e suficiente. Relevância Testes Determinar se os dados coletados referem-se:

- às atividades incluídas no escopo da avaliação; - aos objetivos de conformidade ou materialidade; e - a uma matéria importante.

Comentários Onde as amostras de dados coletadas são comprovadamente relevantes, elas serão úteis ao observador como evidência. Nesse contexto, os dados referem-se aos fatos e matérias disponíveis ao





17

observador. Evidência é distinguida de dados já que ela fornece fatos ou materiais que são relevantes aos objetivos da avaliação e que apoiarão os observadores na formação de suas conclusões sobre a escola avaliada. Além de considerar relevância em termos absolutos, o observador deve reconhecer que existem graus de relevância que dependem da qualidade do relacionamento entre a evidência e os objetivos do avaliador. Se a relevância de uma dada amostra de evidência é extremamente baixa, é usualmente mais econômico examinar algumas alternativas de maior relevância direta do que despender tempo coletando e avaliando evidências de significância indireta. Validade Testes Determinar a solidez, integridade ou garantia da evidência coletada, avaliando a confiabilidade:

- da fonte da evidência coletada ( conhecimento pessoal, externa, interna e justaposta ); - da natureza intrínseca da evidência ( evidência física vs. evidência documental vs. evidência testemunhal, etc. ); e - do método usado para coletar a evidência ( exame físico vs. entrevista vs. análise, etc. ).

Comentários Como notado nos comentários sobre relevância, quanto menor a confiabilidade de uma dada amostra de evidência, mais antieconômica será a sua coleta. Suficiência Testes: Determinar se a evidência coletada é convincente o bastante para justificar as conclusões da avaliação relacionadas às matérias sujeitas aos exames dos observadores. Comentários O teste para suficiência da evidência coletada deriva da necessidade dos observadores conduzirem exames e verificações a uma profundidade razoável. Um critério que pode ajudar o observador a avaliar se a evidência coletada é suficiente pode ser resumido como:

- uma quantidade suficiente de evidência foi coletada quando ela satisfaz o “grau de confiança” que um observador e o usuário do relatório do Observatório espera ter em relação aos achados e conclusões da avaliação.





18

Quando a evidência coletada não encontra suficiência necessária o observador é orientado a decidir se informações adicionais devem ser coletadas. Resumo Os testes descritos foram sugeridos como um modo pelo qual os observadores podem testar amostras de dados coletados quanto à evidência suficiente, válida e relevante.

Há quatro aspectos problemáticos para os testes descritos: - Primeiro, nos testes para relevância, um observador deve ter um método para determinar o grau de relevância e o que se constitui matéria importante; - Segundo, nos testes de validade, o observador deve avaliar a credibilidade ou confiança da evidência; - Terceiro, nos testes para suficiência, o observador deve entender como determinar se um “grau de confiança” satisfatório foi encontrado em relação às conclusões da avaliação.





19

FATORES QUE INFLUENCIAM A AVALIAÇÃO DE EVIDÊNCIA SUFICIENTE, VÁLIDA E RELEVANTE Como introdução, a Figura 1 ilustra esquematicamente os fatores e relações cobertos em detalhes no capítulo Três. Sugere-se que o leitor reveja como cada assunto é discutido. Materialidade Nível de Confiança Requerido Viabilidade da Evidência Nível de Detalhe Habilidade para Minimizar Tempo Custo Requerido Risco de Erro Restrições Minimizar Falhas Minimizar Erros na Detecção de Erros de Impropriedade ou Deficiências sobre Erros Existentes Minimizar Minimizar Risco Risco Relativo de Auditoria Pressões para Coletar Maiores Pressões para Limitar a Níveis de Evidência Quantidade de Evidência Coletada Natureza e Quantidade da Evidência Coletada

Figura 1





20

Materialidade Na avaliação um item seria considerado material se um erro nesse item (ou sua completa omissão) causasse que os usuários mudassem decisões que de outra forma seriam tomadas baseadas em informações fornecidas pelo avaliado. O problema prático para os observadores é determinar que erros que influenciariam significativamente o processo de tomada de decisões dos usuários devem descobrir. Falhas no estabelecimento do limite de materialidade resultarão coleta de evidências e resultado do relatório de avaliação com inapropriado nível de detalhe. Um limite que é colocado em um nível muito alto de detalhe resultará comentários muito gerais para serem de uso importante para o leitor do relatório. Um limite que é colocado em um nível muito baixo pode resultar excesso na avaliação, relatórios confusos e “preciosismo” no nível de detalhe. Auditores internos, como os externos, devem usar seu julgamento profissional quando do estabelecimento do nível de detalhe coberto pelo seu exame. A Tabela 4 lista um número de fatores que o observador pode considerar quando da determinação dos itens que podem ser considerados materiais e conseqüentemente requerem avaliação dos seus controles.

Tabela 4

Orientações para Materialidade A relação a seguir representa os fatores que o auditor deve considerar na determinação da materialidade de itens sob exame. O auditor, com apropriadas informações dos usuários, deve revisar os itens e verificar se eles envolvem: - sabida ou provável ordem ou interesse da administração; - áreas de particular e contínuo interesse identificadas em avaliações prévias; - questões de não cumprimento de regras financeiras, fraude ou outras irregularidades; - áreas antieconômicas ou com operação ineficiente; - dúvidas concernentes ao conhecimento da entidade sobre a eficácia dos seus programas e deficiências nos procedimentos da entidade em avaliar a eficácia; - um programa ou atividade de interesse particular por causa da sua natureza ou relativa dimensão e sua importância ou impacto; - atividades ou programas importantes, novos ou ampliados;





21

- características não usuais dos programas da administração, como restrições ou liberdades em conduzir funções; e - recursos financeiros, humanos e físicos de particular interesse por causa de sua natureza e importância; É provável que quando um item envolve no mínimo um desses fatores, ele será “material” para o usuário do relatório de avaliação. As estratégias de coleta de evidências devem ser estabelecidas de modo que os controles relacionados a todos os itens materiais sejam avaliados. Nota-se que o processo de auditoria envolve essencialmente a coleta de evidências para dar suporte ao conteúdo do relatório de avaliação. Na decisão de que controles investigar e quantas evidências coletar, o observador deve considerar a materialidade dos itens sujeitos ao controle. A matéria deve ser julgada material se o conhecimento dos erros nela existentes provavelmente influenciariam o usuário do relatório a alterar decisões tomadas com base em informações provenientes e sobre o avaliado. Para resumir, um observador deve: - questionar os usuários dos relatórios, quando útil, para adquirir informações referentes ao que se constitui item material; e - explicitar em todas as tarefas, opiniões sobre quais itens são materiais e imateriais e quais as bases dos julgamentos. Nível Requerido de Confiança Além das considerações sobre materialidade, a quantidade e tipo de evidência coletada pelos observadores devem também depender do grau de confiança que eles desejam ter na validade das conclusões da avaliação dadas as necessidades dos usuários dos relatórios. Em avaliações, cem por cento de certeza não é possível e confiança é usada para representar o grau de certeza que um observador tem que um erro ou omissão não foi cometido ao formular as conclusões do relatório. Tipos de erros que o observador pode cometer A questão de se um razoável nível de confiança na validade dos relatórios de avaliação foi obtido, pode ser examinada em termos do complemento de cada confiança: o risco de que as conclusões do observador estejam erradas. Observadores podem cometer dois tipos de erros nos conteúdos do seu relatório. Eles podem : - concluir que não existem deficiências materiais nos controles da entidade sob exame quando, de fato, tais deficiências existem; ou - concluir que as deficiências materiais do controle existem na entidade sob exame quando, de fato, tais deficiências não existem.





22

Concluindo que deficiências materiais não existem quando, de fato, existem é provavelmente o erro mais cometido pelos observadores. Em geral, é prática normal que observadores evidenciem a existência, causas e efeitos de qualquer deficiência material que é detectada. Tal exploração adicional de fraquezas identificadas, juntamente com o desafio do processo do avaliado inerentes da condução de uma avaliação, provavelmente minimizará a importância do risco de que o observador erroneamente conclua que erros existem quando, na verdade, não existem. A discussão seguinte centra-se nos meios pelos quais o risco de deficiências no controle não detectadas podem ser garantidos pelo observador e minimizados. Viabilidade Prática da Evidência Na busca pela razoabilidade da confiança de que não existem erros materiais, o observador deve necessariamente ser influenciado pela restrição de tempo e de custo sobre a quantidade e qualidade da evidência disponível para exame.

Todas as avaliações sofrem restrições de tempo e custo. Relatórios de avaliações que estão muito tempo atrasados serão pouco úteis para o usuário. O custo da coleta de evidências não deve exceder a utilidade derivada do relatório de avaliação. Deste modo, apesar de evidências mais precisas e confiáveis estarem disponíveis para o observador, deve-se considerar o custo adicional ou o excesso de tempo que devem incorrer para coletar evidências adicionais. O estudo da relação custo/benefício é tipicamente feito informalmente pelo observador. É claro, entretanto, que essa relação existe em avaliações. Enquanto leitores do relatório de avaliação beneficiam-se do incremento da confiança do observador nas conclusões da avaliação baseadas na suficiência dos detalhes, é evidente que o aumento desses benefícios é obtido unicamente ao custo de executar procedimentos de avaliação mais abrangentes. Observadores devem explicitamente considerar, no mínimo em termos qualitativos, essa relação de custo/benefício quando determinar que constitui um adequado nível de evidência para uma trabalho particular. Sob tal consideração, o observador interno deve tentar achar um entendimento básico das expectativas dos usuários sobre a avaliação. Uma determinação cuidadosa de que os usuários gostariam de ter ou, no mínimo, estariam dispostos a aceitar em termos de resultado da avaliação ajudarão o observador nas decisões de alocação de recursos. Resumo No capítulo 3 a discussão é centrada sobre o significado de evidência suficiente, válida e relevante e quais fatores influenciam a garantia do observador quanto à adequação do nível de evidência coletada.





23

CAPÍTULO QUATRO : AVALIAÇÃO DA EVIDÊNCIA Para assegurar que a adequação da evidência em preencher os objetivos da avaliação é propriamente avaliada, o observador deve considerar o seguinte: * Estar seguro das hipóteses que ajudam a estruturar a abordagem de avaliação escolhida. Várias hipóteses existem em avaliações, permitindo ao observador realizar seus testes de maneira eficiente. Algumas dessas hipóteses abrangem: número de itens sob exame que são materiais ou imateriais; certos tipos de evidências ou procedimentos de avaliação são mais confiáveis do que outros; a incidência de erros ocorridos no sistema de controle sob exame influencia a probabilidade de ocorrência de erros correntes; e procedimentos especiais de avaliação para testar a existência de fraudes, falsificações ou desfalques dissimulados não são esperados. Um observador deve manter um senso de razoável ceticismo sobre a validade dessas hipóteses. Hipóteses falhas podem causar a omissão de itens importantes. A descoberta de hipóteses falhas normalmente dita a necessidade de evidências adicionais. * Assegurar que os atos de observação da avaliação temporariamente não mudam a natureza das atividades do controle sujeitas a exame. A ocorrência tal situação é chamada “contaminação de observação” e envolve, tipicamente, maior consciência das obrigações do controle por pessoas seguras do fato de que suas atividades estão sendo observadas pelo observador. Esta contaminação reduz seriamente o valor de cada evidência relacionada com a atividade sob exame. * Explicitamente considerar a “auditabilidade” da área sob revisão e a necessidade de conhecimentos especializados para propriamente completar os trabalhos da avaliação. Quando tal conhecimento é requerido, o observador não será capaz de avaliar, propriamente, a adequação da evidência coletada para completar os objetivos da avaliação sem a adição de especialistas no assunto à equipe de avaliação. * Assegurar que os erros de observação não apareceram como resultado de desvios ou de mau aplicação dos procedimentos de avaliação. * Exercício cuidadoso do julgamento profissional, guiado, onde possível, pelo auxílio de decisões objetivas. Erros de observação devido a julgamento insatisfatório do observdor sobre procedimentos de avaliação requeridos e conclusões impróprias da avaliação resultantes de projeções inválidas dos resultados dos testes, sempre constituem risco para o uso da evidência que foi acumulada para completar os objetivos da avaliação. CONCLUSÃO Poucos observadores contestariam que um entendimento do assunto evidência em avaliações é crucial para um processo de avaliação eficaz. Enquanto que a concordância para a importância do assunto existe, uma explanação do que constitui evidência suficiente e apropriada e como ela deve melhor ser coletada não está geralmente disponível, na literatura. A carência de informações sobre evidência em avaliações tem resultado na grande relevância do julgamento do observador quando da determinação do que constitui a coleta e avaliação





24

adequadas da evidência. Enquanto este trabalho claramente não refuta a importância do julgamento do observador em todos os assuntos, ele tem procurado reduzir o grau de subjetividade do observador tornando explícitos os fatores e técnicas que devem ser considerados para todas as decisões sobre evidências. Evidência é a informação que o observador precisa obter para registrar, na minuta do relatório, suas constatações, também denominadas de achados do Observatório, as quais servirão para a sustentação das conclusões da equipe. As conclusões da equipe somente se justificam se amparadas pelo suporte de evidências que devem atender a determinados requisitos/atributos de validade: a) Ser suficientes (permitir a terceiros que cheguem às mesmas conclusões do observador); b) Ser relevantes ou pertinentes; c) Ser adequadas ou fidedignas (obtidas mediante a aplicação de um procedimento aceito profissionalmente). Os procedimentos utilizados no Observatório Escolar são no âmbito do Centro Paula Souza, o conjunto de técnicas que permitem ao observador obter, legitimamente, evidências relevantes, suficientes e adequadas para fundamentar sua opinião.





25

BIBLIOGRAFIA Textos ANDERSON, Rodney J., “How Much Comprehensive Auditing is Enough?”, Audit Research Working Paper Series Report 81-001. Athens: Center for Audit Research, University of Georgia, 1980. ANDERSON, Rodney J., The External Audit 1 - Concepts and Techniques, Toronto: Copp Clark Pitman, 1977. ARTHUR ANDERSEN & Co., Guide for Studying and Evaluating Internal Controls in the Federal Government, Chicago: Arthur Andersen & Co., 1982. EDDS, John A., Management Auditing - Concepts and Practice, Dubuque, Iowa and Toronto, Ontário: Kendall/Hunt Publishing Company, 1980. GERMAIN, Gaston, Operational Auditing - Lesson Notes, Society of Management Accountants of Canada, 1979. HOLSTRUM, Gary L., “Audit Evidence under Uncertainty: Empirical Evidence and Implications for Audit Practice” - Audit Research Working Paper Series Report 80-017, Athens: Centre for Audit Research, University of Georgia, 1980. MAUTZ, R.K. and SHARAF, H.A., The Philosophy of Auditing, Evanston: American Accounting Association, 1961. MILBURN, J. Alex, Limited Audit Engagements and the Expression of Negative Assurance, Toronto: The Canadian Insitute of Chartered Accountants, 1980. PATTON, James M., Evans III, John H. and Lewis, Barry L., A Framework for Evaluating Internal Audit Risk, Altamonte Springs, Florida: Institute of Internal Auditors, Inc., 1982. Referências do Governo e de Profissionais AMERICAN ACCOUTING ASSOCIATION, A Statement of Basic Auditing Concepts, Florida: The American Accounting Association, 1972. CANADIAN INSTITUTE OF CHARTERED ACCOUNTANTS, “Audit Evidence” - CICA Handbook, Sections 5300 and 5360, Toronto: Thr Canadian Institute of Chartered Accountants, 1981. ________________, Extent of Testing, Toronto: The Canadian Institute of Chartered Accountants, 1980.





26

CERTIFIED GENERAL ACCOUNTANTS’ ASSOCIATION, Audit Evidence-Exposure Draft, Vancouver: Auditing Standards Committee, Certified General Accountants’ Association of Canada, 1983. ___________, Auditor Judgement-Exposure Draft, Vancouver: Auditing Standards Committee, Certified General Accountants’ Association of Canada, 1983. TREASURY BOARD OF CANADA, “Standards for Internal Audit in the Government of Canada”, Office of the Comptroller General, 1982.

www.ResumosConcursos.hpg.com.br Apostila: Auditoria Interna - Evidência – por Romualdo Anselmo dos Santos * Traduzido do original Internal Audit Handbook. Vol. II, Part 2, Chapter 5 (Treasury Board of Canada), por Romualdo Anselmo dos Santos - Analista de Finanças e Controle -SFC/SEAUD/CONOR/DIDES CONTROLE DE REVISÕES

VERSÃO DATA NATUREZA DA ALTERAÇÃO 1 28/08/13 Primeira emissão

Documents

MANUAL DE AVALIAÇÃO – EVIDÊNCIAS - … · 2013 CENTRO PAULA SOUZA VAGNER TADEU DE SOUZA BUENO [MANUAL DE AVALIAÇÃO – EVIDÊNCIAS OBSERVATÓRIO ESCOLAR] Este documento tem