Manual_CESO_10MAI

As respostas às questões de avaliação prospectiva e formativa são prosseguidas atravésde indicadores: INPUTS INDICADORES DE INPUTACTIVIDADES OUTPUTS INDICADORES DE OUTPUTFINALIDADES INDICADORES DE RESULTADO IMPACTOSAs respostas às questões de avaliação sumativasão prosseguidas através de indicadores quepermitem medir as seguintes interacções ao longodo ciclo das políticas públicas: NecessidadesAprendizagem ACT DEFINIÇÃO Sustentabilidade DE AGENDA AVALIAÇÃOCHECK PLAN Relevância Resultados Eficácia PretendidosResultados CONCEPÇÃO Efectivos DE POLÍTICAS Utilidade Coerência EquidadeSinergia TOMADA Recursos DE DECISÃO AlocadosRealizações IMPLEMENTAÇÃO DOAlcançadas Eficiência Realizações Previstas Recursos Utilizados CICLO DE OPERAÇÕES DE PLANEAMENTO - CICLO DE OPERAÇÕES DE PLANEAMENTO | 51

2.4.7.1.5. PERIODICIDADE DAS AVALIAÇÕESOs diferentes tipos de avaliação obedecem à seguinte periodicidade: 1) As avaliações prospectivas têm lugar anualmente, no quadro dos procedimentos de preparação do Programa de Investimento Público, sendo conduzidas pelos Ministérios Sectoriais no quadro de orientações metodológicas produzidas pela DNP; 2) As avaliações formativas são: permanentes, através do registo do comportamento dos indicadores de input e output apresentados nos relatórios de progresso disponibilizados pelas UGPs e registados na Base de Dados para o efeito desenvolvida; periódicas (duas vezes por ano económico), através de visitas estruturadas, por parte de técnicos da DNP, a uma amostra de projectos representativa da composição da carteira de investimentos públicos, visando registar os indicadores de eficácia, impacto e sustentabilidado potencial. 3) As avaliações sumativas de políticas têm lugar imediatamente após conclusão da implementação do PND e 3 anos após a conclusão do ciclo de implementação da política em causa.2.4.7.2. RESPONSABILIDADE DA DNPAo longo desta etapa serão realizadas, pela DNP, as seguintes actividades: 1) Preparar o calendário anual de actividades de avaliação e comunicar o mesmo a todos os órgãos da administração; 2) Produzir orientações metodológicas para a realização de avaliações prospectivas por parte de Ministérios Sectoriais, em preparação do PIP; 3) Formular questões-standard descritivas e normativas que deverão ser consideradas pelas UGPs na estruturação dos seus sistemas de avaliação de programas e projectos; 4) Registar periodicamente, em Base de Dados, o comportamento dos indicadores disponibilizados através dos relatórios de progresso enviados pelas UGPs; 5) Seleccionar, anualmente, uma amostra de projectos de investimento público representativos da composição da carteira; 6) Organizar duas rondas anuais visitas de campo aos projectos constantes da amostra definida; 7) Produzir relatórios consolidadas de avaliação formativa que combinem o comportamento dos indicadores de input-output (adquiridos através da análise de relatórios) e dos indicadores de eficácia, impacto e sustentabilidade potencial (adquiridos através da visitas a projectos constantes da amostra seleccionada); 8) Identificar, anualmente, as avaliações sumativas de política a terem lugar no ano em causa; 9) Seleccionar questões de causa-efeito que poderão suportar as avaliações sumativas a terem lugar; 10) Identificar os indicadores que permitirão obter as respostas às questões de causa-efeito seleccionadas bem como as estratégias para obtenção dos mesmos; 11) Produzir relatórios de avaliação sumativa de políticas e assegurar a sua divulgação junto de agentes públicos, privados, nacionais e estrangeiros relevantes.CICLO DE OPERAÇÕES DE PLANEAMENTO - CICLO DE OPERAÇÕES DE PLANEAMENTO | 52

DIRECÇÃO DE DIRECÇÃO DIRECÇÃO PLANEAMENTO DE POLÍTICAS DE MONITORIA E PROSPECTIVA E AVALIAÇÃO MACRO- Propor o calendário -ECONÓMICAS Consolidar o das avaliações calendário de acordo PROPOR CALENDÁRIO prospectivas com os contributos deANUAL DE ACTIVIDADES de acordo com o calendário de outras Direcções DE AVALIAÇÃO elaboração do PIP PRODUZIR Produzir as Divulgar as ORIENTAÇÕES recomendações recomendaçõesMETODOLÓGICAS PARA a serem enviadas A REALIZAÇÃO DE AVALIAÇÕES anualmente PROSPECTIVAS aos sectores, em preparação para o PIPFORMULAR QUESTÕES Propor as questões Consolidar todas as STANDARD a serem consideradas questões e divulga as mesmas junto de DESCRITIVAS E em avaliações Ministérios Sectoriais NORMATIVAS prospectivas Assegurar o registo REGISTAR na Base de Dados PERIODICAMENTE, EM Definir critérios para BASE DE DADOS O constituição da amostra,COMPORTAMENTO DOS fazer os mesmos INDICADORES serem aprovados pela SELECCIONAR, tutela e produz ANUALMENTE, UMA a amostraAMOSTRA DE PROJECTOS DE INVESTIMENTO Organizar e realizar as visitas aos projectos PÚBLICO Produz os relatórios ORGANIZAR, DUASRONDAS ANUAIS VISITAS Identificar os indicadores que permitirão responder DE CAMPO AOS às questões e seleccionarPROJECTOS CONSTANTES as estratégias de recolha DA AMOSTRA de dadosPRODUZIR RELATÓRIOS Coordenar a redacção CONSOLIDADAS DE e divulgação.AVALIAÇÃO FORMATIVA IDENTIFICAR, Identificar as ANUALMENTE, AS avaliações sumativasAVALIAÇÕES SUMATIVAS a terem lugar DE POLÍTICASELECCIONAR QUESTÕES Propor a redacção DE CAUSA-EFEITO QUE de questões dePODERÃO SUPORTAR AS avaliação tendoAVALIAÇÕES SUMATIVAS por base o PND IDENTIFICAR OS INDICADORES QUEPERMITIRÃO OBTER AS RESPOSTAS ÀS QUESTÕES DE CAUSA-EFEITOPRODUZIR RELATÓRIOS Colaborar na DE AVALIAÇÃO redacçãoSUMATIVA DE POLÍTICAS E ASSEGURAR A SUA DIVULGAÇÃO CICLO DE OPERAÇÕES DE PLANEAMENTO - CICLO DE OPERAÇÕES DE PLANEAMENTO | 53

03GESTÃODE OPERAÇÕESDE AVALIAÇÃO 3.1. AVALIAÇÃO FORMATIVA 3.2. AVALIAÇÃO SUMATIVA

03. GESTÃODE OPERAÇÕESDE AVALIAÇÃOAs tarefas envolvidas nas avaliações prospectivas foram objecto de detalhe nos capítulosdedicados às fases de identificação e formulação do Ciclo de Operações de Planeamento.Importa, assim, abordar, de forma mais detalhada, a fase de Implementação, durante a qualdecorrerão as actividades de: 1) Avaliação formativa permanente e periódica de programas e projectos; 2) Avaliação sumativa intercalar de políticas.3.1. AVALIAÇÃO FORMATIVA 3.1.1. CONCEITOS FUNDAMENTAISTendo em vista identificar com clareza os diferentes níveis de responsabilidade envolvidosna criação de um sistema de avaliação formativa (na recolha e análise das informaçõese na elaboração e distribuição dos relativos Relatórios), considerámos importante distinguir,claramente, programas e projectos: 1) Projecto: conjunto de actividades destinadas a produzir outputs (produtos, bens de capital ou serviços), cuja finalidade é gerar benefícios para o cidadão de forma sustentável, contribuindo, deste modo, para gerar mudanças que contribuem para impactos positivos a longo-prazo, dentro de um enquadramento temporal e financeiro bem definido; 2) Programas: integram diferentes projectos que pretendem produzir, no horizonte de longo-prazo, impactos comuns. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 55

3.1.2. AVALIAÇÃO FORMATIVA PERMANENTE3.1.2.1. OBJECTIVOS E RESPONSABILIDADESA avaliação formativa permanente de um projecto/programa é uma actividade continuaefectuada pelos gestores de projecto das UGPs através da recolha regular de informações sobreo progresso na realização das actividades e disponibilização dos outputs, em cumprimentodo plano de trabalho e dos recursos programados e utilizados, bem como sobre todas outrasvariáveis necessárias à obtenção das finalidades desejadas e impactos esperados. Constitui umaactividade regular que permite informar sobre o estado de progresso de um projecto/programaem termos de utilização dos recursos, de realização das actividades, de disponibilização dosoutputs, obtenção de finalidades e objectivos e de gestão de riscos. A sua finalidade é de verificaro progresso da intervenção, de tomar ações corretivas e de eventualmente atualizar os planos detrabalho e de mobilização de recursos.Os objectivos da avaliação formativa permanente são, portanto: 1) Acompanhar o desempenho da intervenção (projecto e/ou programa) por meio da recolha sistemática de informações e dados, através de instrumentos adequados, com a finalidade de sistematizá-los em suporte pré-definidos, procedendo à sua análise com o propósito final de permitir aos decisores, através de relatórios periódicos (e outras fontes de comunicação), a identificação atempada de eventuais problemas de implementação, encontrando soluções adequadas para os mesmos; 2) Fornecer evidências de que o projecto/programa está a ser implementado de acordo com os planos de trabalho e de mobilização de recursos.Estes objectivos são prosseguidos através da obtenção de informação actualizada sobre osindicadores de input-ouput e que serão fornecidas, principalmente, através de relatóriosperiódicos sobre: O progresso das actividades previstas nos planos de actividades e de gestão de recursos; O progresso na disponibilização de outputs.As responsabilidades dos técnicos das UGPs e da DNP são complementares:TÉCNICOS RESPONSABILIDADES RELATÓRIOSTÉCNICOS 1. Disponibilizam e actualizam A. Disponibilizam e actualizam a DNP instrumentos para recolha, estrutura de relatórios de progresso registo e análise de dados.TÉCNICOS a serem utilizadas pelas UGPs. UGP 2. Registam os indicadores de input-output provenientes das B. Produzem relatórios consolidados UGPs e em Base de Dados da DNP. periódicos de análise de indicadores 1. Asseguram que os gestores de input-output. dos projectos que integram o programa recolhem os indicadores A. Asseguram que os projectos que integram o programa produzem de input-output validados relatórios contendo os indicadores de input-output validados e sua correspondente análise.GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 56

3.1.2.2. METODOLOGIA DE AVALIAÇÃO FORMATIVA PERMANENTEUm sistema de avaliação formativa (permanente e periódica) deve incluir os seguintes elementos: Formatos e procedimentos standardizados para a recolha, registo e análise dos dados para a elaboração dos relatórios. Definição clara e precisa das tarefas de monitoria, dos papéis e das responsabilidades. Processos de reflexão, de análise e de tomada de decisões. Divulgação das informações e comunicação.3.1.2.2.1. PILARES DO SISTEMAO sistema de avaliação formativa permanente repousa em quatro pilares fundamentais: 1) Modelo Lógico da Intervenção; 2) Pressupostos; 3) Indicadores; 4) Fluxos de Informação.O Modelo Lógico da Intervenção é uma peça central do sistema de avaliação formativa permanente.Conforme já descrito, o projecto de investimento público tem de encontrar-se suportado nummodelo lógico de intervenção contemplando os seguintes elementos estruturais: INPUTS RecursosACTIVIDADES Ações OUTPUTS Produtos Produtos, Bens de Capital ou ServiçosFINALIDADES que expressam os resultados imediatos IMPACTOS da intervenção Benefícios Efeitos de médio-prazo decorrentes da utilização dos outputs e observáveis através de mudanças junto dos grupo-alvo Mudanças Os efeitos de longo-prazo, de natureza financeira, institucional, social ou ambiental gerados junto da sociedade, comunidade ou grupo de cidadãos e decorrentes da intervenção GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 57

O segundo pilar do sistema são os Pressupostos, todos os aspectos externos ao projecto e que podemter impacto no modelo lógico da intervenção, ou seja, na realização das actividades, disponibilizaçãodos outputs, obtenção das finalidades e dos impactos. Os pressupostos podem ser de três naturezasdistintas, mas complementares: POLÍTICOS Com impacto na perenidade dos benefícios gerados pela utilização dos outputs, podendo comprometer os impactos OPERACIONAIS GERENCIAIS Com impacto na Com impacto na realização das actividades, utilização dos outputs, podendo comprometer a podendo comprometer a obtenção das finalidades disponibilização dos outputsO terceiro pilar do sistema são, naturalmente, os Indicadores. Os indicadores são quantidades,qualidades, tempos ou espaços que nos permitem medir o progresso na realização de actividades,disponibilização de outputs e obtenção de objectivos.Existem quatro tipos fundamentais de indicadores: Indicadores de Input que medem a transformação de meios em actividades; Indicadores de output que medem a forma como as actividades foram concretizadas em outputs; Indicadores de resultado que medem os benefícios decorrentes da utilização dos outputs por parte do grupo-alvo; Indicadores de impacto, que medem a perenidade dos benefícios decorrentes da utilização dos outputs e de que forma os mesmos promoveram mudanças politicamente relevantes.INPUTSACTIVIDADES INDICADORES DE INPUTOUTPUTS INDICADORES DE OUTPUTFINALIDADES INDICADORES DE RESULTADOIMPACTOS INDICADORES DE IMPACTOGESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 58

O derradeiro pilar do sistema é uma clara definição dos fluxos de informação envolvidos na gestãodo processo de avaliação. Este pilar assenta em responsabilidades claramente atribuídas a todosos intervenientes no sistema de avaliação, envolvendo as seguintes dimensões: QUEM QUEM RECOLHE PROCESSAOS DADOS? OS DADOS? QUEM QUEMREPORTA? COORDENA O FLUXO?3.1.2.2.2. PLANO DE MONITORIAO sistema deve, portanto, previamente identificar as informações necessárias e os instrumentosúteis para a sua recolha e como estas informações são analisadas e agregadas. Os elementosnecessários para o estabelecimento deste sistema podem ser resumidos como segue.Definição de claros objectivos e princípios da abordagem da avaliação formativa permanente.Um dos principais objectivos da avaliação formativa permanente é de reforçar o papel da DNPna coordenação dos investimentos públicos, dispondo de informações claras e factuais a fimde poder habilitar os decisores com informação substantiva.Elaboração de um Plano de Avaliação Formativa Permanente, apresentado por cada projectoe cada programa, realizado pelos Parceiros da Implementação e pelos Gestores dos Programasonde é descrita a metodologia e as actividades previstas, seguindo as orientações metodológicasconstantes deste manual. Com base nestes planos, as informações-chave serão produzidase transmitidas aos respectivos responsáveis.Os principais documentos de gestão do projecto, ou seja, a Matriz de Enquadramento Lógico(MEL), o Plano de trabalho (ou Cronograma de Actividades), o Orçamento, a Linha de base(informações de base anteriores ao início do projecto) e a Matriz de Gestão dos Riscos.Estes documentos devem ser regularmente atualizados. Os técnicos da DNP e das UGPs devemcompreender a necessidade e o uso destas ferramentas, exigindo aos gestores dos programase dos projectos a sua correta elaboração, apresentação e actualização. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 59

O conteúdo indicativo do Plano de Monitoria a ser elaborado pelos projectos e pelos programasé o seguinte: 1) Descrição do projecto Definição do Objectivo Geral, Objectivo Específico e Resultados do projecto; Definição dos pressupostos. 2) Indicadores Informações da linha de base; Definição de Indicadores Objetivamente Verificáveis (IOVs), ao nível do Objectivo Geral, do Objectivo Específico e dos Resultados. 3) Metodologia de Avaliação Formativa Permanente Documentos de gestão: a Matriz do Enquadramento Lógico, o Plano de trabalho e o Orçamento do projecto. A regularidade da actualização desses documentos deve ser claramente definida; Métodos de recolha de dados e as fontes de verificação; Plano de trabalho para as actividades de avaliação formativa: a regularidade da recolha de dados, visitas no terreno, produção dos relatórios, eventualmente plano de trabalho para as actividades da fase de encerramento (estratégia de saída, análise de sustentabilidade); Matriz gestão dos riscos. 4) Relatórios Regularidade e formato dos relatórios de progresso e anuais do Programa/Projecto; Ao nível dos projectos, a regularidade dos relatórios a serem apresentados pelos Parceiros de implementação; Formato standardizado para registo de boas práticas e lições aprendidas. 5) Organização das actividades de Avaliação Formativa Pessoal e meios necessários para a implementação do Plano de Avaliação Formativa. 6) Coordenação e comunicação Descrição do modelo de governação do projecto / programa (Comité de Pilotagem) e outros mecanismos (por exemplo, o Comitê de coordenação ou de coordenação com outros projectos); Plano de comunicação e visibilidade. 7) Orçamento Orçamento necessário para implementar o Plano de Avaliação.GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 60

3.1.2.2.3. RECOLHA DE DADOSA recolha de dados estrutura-se em torno dos pilares do sistema.MODELO LÓGICO DA INTERVENÇÃOO Modelo Lógico da Intervenção, normalmente sintetizado na Matriz de Enquadramento Lógico,cuja adequação técnica e metodológica deverá ser avaliada de acordo com os seguintes critériosde qualidade: 1) Os Impactos que projecto deverá produzir são relevantes e consistentes com a política do Governo, com as necessidades reais dos grupos-alvo e beneficiários; 2) A Finalidade do projecto indica claramente os benefícios diretos que resultarão para o grupo-alvo em consequência do investimento realizado; 3) Os Outputs descrevem uma melhoria concreta dos serviços, equipamentos e/ou conhecimentos que diretamente irão apoiar a realização da Finalidade do Projecto; 4) O conjunto das Actividades encontra-se bem descrito, é viável e indica claramente que os outputs do projecto podem ser obtidos dentro de prazos realistas; 5) A estratégia escolhida não é excessivamente rígida e alterações podem ser consideradas durante a implementação.O modelo lógico deve ser complementado por um Plano de Trabalho que apoie a programaçãodo projecto e o seu acompanhamento, devendo ser regularmente revisto e adaptadoprincipalmente durante a fase de arranque. Independentemente do formato usado, o plano detrabalho deve fornecer os seguintes elementos: Uma apresentação visual das principais actividades a serem realizadas dentro de um determinado período de tempo (por exemplo: anual), especificando as entidades responsáveis pela execução e o momento em que serão realizadas; Um desenvolvimento lógico e sequencial das várias actividades que indique quando os respectivos outputs poderão ser disponibilizados; Um calendário previsional das tarefas de de avaliação e de disponibilização de relatórios. Com base nestes elementos podem ser adequadamente programadas as necessidades em recursos, com o relativo orçamento e o fluxo de Caixa;O Plano de Trabalho deverá ser avaliado de acordo com os seguintes critérios de qualidade.TÓPICOS DESCRIÇÃO INDICADORES Uma comparação entre o valor quantitativo registado peloDE PROGRESSO indicador e o valor quantitativo programado (expressa, se possível, em %) dá uma ideia do que foi alcançado. PROGRESSO A análise do Plano de Trabalho permitirá verificar as actividades DO PLANO que devem ser concluídas.DE TRABALHO No caso em que alguns outputs foram já produzidos, é importante OBTENÇÃO saber se os grupos-alvo os utilizam, produzindo os benefícios DOS antecipados. Estas informações não podem ser recolhidas que por meio de visitas de terreno. BENEFÍCIOS Comparando o total das despesas incorridas face ao orçamento EXECUÇÃO previsto, a execução dará uma % que, comparada com a % do tempo FINANCEIRA decorrido desde o inicio do projecto, permitirá concluir se a execução financeira é razoável, tendo em conta o tempo de implementação. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 61

Finalmente, o Modelo Lógico é complementando pelo Orçamento e outra documentaçãorelevante, de natureza financeira. Uma primeira análise do Orçamento Global e da sua repartiçãonas várias linhas orçamentais permite, através da comparação das várias rúbricas (em termospercentuais), medir o grau de “importância” atribuída às diferentes componentes de um projectode investimento (infraestruturas, assistência técnica, despesas de funcionamento, etc.): 1) A lista das actividades principais encontra-se dividida de acordo com os seus correspondentes outputs; 2) Para cada actividade, definir o responsável pela sua implementação; 3) Especificar o orçamento associado a cada actividade durante o período considerado; 4) Analisar a sequência das actividades; a ordem temporal em que estas devem ser realizadas e sua interdependência; 5) Assegurar que o tempo estabelecido para a execução de cada actividade é realista; 6) Assegurar que a alocação de recursos humanos e materiais permitirá a execução da actividade em causa (ou seja, que a mesma pessoa ou o mesmo equipamento não foi programado para duas actividades diferentes em simultâneo); 7) Adicionar o custo de todas as actividades e assegurar-se que os pedidos de pagamento correspondem aos recursos planeados; 8) Definir as etapas importantes do projecto como a realização das principais actividades ou obtenção de metas (milestones). Devem ser também incluídos outros aspectos, como a apresentação de relatórios, as reuniões de Comitê de Pilotagem.INDICADORESPara um bom seguimento de programas e projectos é indispensável que os IndicadoresObjetivamente Verificáveis (IOVs) sejam claramente definidos. Os indicadores devem respeitaros seguintes critérios de qualidade. 1) Os indicadores devem ser SMART: específicos, mensuráveis, disponíveis, relevantes e tempestivos; 2) Específicos dos outputs e os objectivos que é suposto medirem. É essencial ter indicadores claros e precisos ao nível dos objectivos (impactos e finalidades) e dos outputs; 3) Mensuráveis (quantitativamente e/ou qualitativamente). Isto significa definir métodos de recolha dos dados, especificar as fontes de informação (arquivos administrativos, levantamento quantitativo, estatísticas nacionais, etc.) e definir responsabilidades (quem, quando e como serão medidos); 4) A medição regular dos indicadores requer tempo e dinheiro. Para garantir que os indicadores são disponbilizados a um custo aceitável, poderá ser útil escolher indicadores standardizados (por exemplo, os Objectivos de Desenvolvimento Sustentável).A disponibilidade de uma linha de base (dados registados pelos indicadores, antes do inicio daintervenção) que permita a aferir o comportamento dos indicadores durante e após a conclusãodo projecto, é absolutamente fundamental. Sempre que possível, essas informações devem serrecolhidas durante as etapas de identificação e formulação do projecto, ilustrando a situaçãoreal decorrente dos problemas que o investimento deverá ultrapassar ou mitigar. Embora muitasvezes a definição de uma linha de base se revele extremamente difícil, exigindo bastante tempo,deverá ser realizado um esforço para quantificar a linha de base a nível dos indicadores deoutput, resultado e impacto.GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 62

Estas informações são essenciais para avaliar a eventual mais-valia do projecto e o seu impacto.A recolha de dados visando a constituição de uma linha de base deve tomar em linha de contaas seguintes questões práticas: 1) Os impactos a serem produzido pelo projecto são relevantes e consistentes com a política do Governo e com as necessidades reais dos grupos-alvo e beneficiários e irão contribuir para a obtenção dos objectivos de desenvolvimento de longo-prazo; 2) A Finalidade do projecto indica claramente os benefícios diretos para os grupo-alvo que irá beneficiar do investimento; 3) Os outputs descrevem uma melhoria concreta dos serviços, equipamentos e/ou conhecimentos que diretamente irão apoiar a realização da finalidade do investimento; 4) O conjunto das actividades é bem descrito, é viável e indica claramente que os outputs do projecto podem ser obtidos dentro de prazos realistas; 5) A estratégia escolhida não é excessivamente rígida e alterações podem ser feitas durante a implementação.PRESSUPOSTOS E GESTÃO DE RISCOSConforme já descrito, a obtenção dos objectivos do programa/projecto está sempre sujeita,a factores que escapam ao controlo de gestores de projecto.. É portanto particularmenteimportante acompanhar as evoluções do “ambiente externo” com a finalidade deatempadamente verificar se os pressupostos previstos confirmam-se e quais os novosriscos que podem eventualmente surgir, introduzindo, deste modo, actividades de mitigação.Neste contexto é também muito importante poder determinar as capacidades (flexibilidade)da intervenção em adaptar-se às eventuais mudanças das condições externas a fim de continuara assegurar os benefícios previstos para os grupos-alvo/beneficiários.3.1.2.2.4. ANÁLISE E SISTEMATIZAÇÃO DE DADOSAs informações recolhidas devem ser sistematizadas e analisadas a fim de serem utilizadas.Conforme já referido, a actividade da avaliação formativa consiste em comparar o que foifeito com as metas programadas e, se necessário, fornecer uma explicação para a diferençaentre “programado” e “registado”. Os indicadores escolhidos para avaliar o desempenho fisico(indicadores de output) bem como a taxa de execução financeira (indicadores de input) dosprojectos serão o ponto de partida desta análise e permitirão de dar uma indicação do progressodo projecto (se os resultados e os objectivos foram ou não alcançados conforme o esperado).Estes indicadores são registados em base de dados, especificamente desenvolvida para o efeito.Recolher dados é uma coisa, mas analisá-los de maneira eficaz e convertê-los em informaçãoútil para os decisores é outra. Se não for correctamente analisada ou apresentada, uma grandeparte da informação resultante da avaliação formativa pode ser desperdiçada.Quando reflectimos sobre a análise de dados, geralmente, diferentes abordagens são necessárias,tratando-se de dados qualitativos ou quantitativos. Por definição, os dados quantitativos sãonúmeros que podem ser submetidos a diferentes formas de análise estatística.Os dados qualitativos, por outro lado, fornecem, em geral, informação sobre os pontos de vista,opiniões ou observações e são frequentemente apresentados sob a forma de narrativa. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 63

O quadro abaixo oferece uma visão de alguns dos principais métodos que podem ser utilizadospara analisar e apresentar os dados de forma prática.TIPO DE ANÁLISE DESCRIÇÃOPROGRAMADO / O seguimento consiste em comparar o que foi inicialmente REALIZADO previsto com o que foi efectivamente realizado. Este tipo de análise deve estar na base de todo sistema de avaliação formativa e de produção dos respectivos relatórios. Em caso de diferenças entre os dois, os gestores devem analisar as causas do problema e propor as medidas correctivas que se impõem.PERCENTAGENS / Apresentar a informação sob forma de percentagem e de taxas TAXAS é particularmente interessante. Supondo que os objectivos visados sejam razoavelmente realistas, esse tipo de cálculo permite ver em que medida nos aproximamos das previsões iniciais. Se, por exemplo, comparamos o progresso planeado com o progresso real, baixas percentagens revelam imediatamente o ponto fraco que devem estimular uma análise das causas e produzir decisões para remediá-las. EVOLUÇÃO Uma análise dos dados disponíveis em diferentes períodos de NO TEMPO tempo pode ser extremamente útil para avaliar o desenvolvimentoE COMPARAÇÃO progressivo do projecto. Permite uma melhor visão do sucesso SÉRIES e/ou insucesso, e permite também identificar as variações sazonais. TEMPORAIS Pode ser igualmente útil realizar comparações com períodos anteriores. A referência do que se passou em períodos/anos anteriores pode fornecer uma indicação quanto aos resultados que podem ser esperados. Analisando a evolução no tempo é importante lembrar que só se deve comparar ‘o que é comparável’. É, consequentemente, essencial recorrer a indicadores estáveis (medir a mesma coisa, da mesma maneira, em diferentes momentos). VARIAÇÃO Os projectos que são executados em lugares diferentes podem serGEOGRÁFICA objeto de um seguimento que permite identificar as variações de progresso em função do local. Os Indicadores podem evidenciar um comportamento consentâneo com o programado, mas sem revelar os problemas específicos a um lugar e que deveriam ser objeto de estudo adicional.VARIAÇÃO ENTRE Como nos casos de variações geográficas, poderá ser importante GRUPOS observar a variação entre os resultados registados em diferentes grupos sociais. Por exemplo, o efeito diferenciado do projecto sobre homens e mulheres representa, em diversos casos, uma preocupação importante, exigindo que a informação seja ventilada por género e seguidamente analisada de forma sistemática. É igualmente importante investigar se o projecto inclui grupos vulneráveis, como deficientes (em termos de concepção do projecto). Os projectos de redução da pobreza deverão, igualmente, determinar quais os grupos no seio da comunidade que beneficiam das intervenções nele previstas. NORMAS Muitas actividades de prestação de serviços podem E PADRÕES ser monitoradas estabelecendo e recolhendo a informação sobreDE REFERÊNCIA normas ou padrões de referência. Por exemplo, o tempo de resposta de uma agência aos pedidos de ajuda, a relação alunos/ professores, podem ser analisados e comparados com as normas ou padrões de referência adequados, apoiando os gestores na medição da qualidade dos serviços e determinando os aspectos a serem melhorados.GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 64

O processo de análise dos dados pelos gestores de projecto será facilitado se foram consideradosos seguintes aspectos:ASPECTOS DESCRIÇÃO INDICADORES Uma comparação entre o valor quantitativo do indicadorDE PROGRESSO e os previstos (expressos, se possível, em %) dá uma ideia do que foi alcançado. PROGRESSO NA A análise do Plano de Trabalho permitirá verificarIMPLEMENTAÇÃO as actividades que devem ser concluídas. DO PLANO DE TRABALHO PRODUÇÃO Caso alguns outputs tenham já sidoproduzidos, é importante DE OUTPUTS saber se os destinatários os utilizam. Estas informações E GERAÇÃO não podem ser recolhidas por meio de visitas ao terreno.DE BENEFÍCIOSEXECUÇÃO Comparando o total das despesas efectuadas com o orçamentoFINANCEIRA previsto, a execução dará uma % que, comparada com a % do tempo decorrido dirá se a execução financeira é razoável em termos temporais. Um desempenho desadequado poderá explicar por que razão algumas actividades não foram realizadas (por exemplo: se um perito não foi recrutado ou o equipamento não foi comprado). O excesso de despesas è um elemento importante que também pode ser despistado.A metodologia de sistematização dos dados é determinada pela especificidade de cada intervenção.Neste manual apresentamos, a título indicativo, orientações genéricas que devem serconsideradas pelos gestores de projectos e programas de investimento público.O sistema contempla três diferentes tipos de actividades de avaliação formativa permanente,sistematizadas de acordo com os responsáveis pela sua gestão: Parceiros de Implementação,Gestores de Unidades de Gestão de Projectos (UGPs), Técnicos da DNP. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 65

As principais características destas actividades são detalhadas na Tabela abaixo: PARCEIRO DE GESTOR DE TÉCNICO DNP IMPLEMENTAÇÃO UGP • Apoiar o papel do técnico da DNP comoOBJECTIVOS • Apoiar o papel • Apoiar o papel da parceiro informado do parceiro de UGP na tomada de na tomada de decisões MÉTODO implementação na decisões e promover • Auxiliar na elaboração PRODUTO tomada de decisões a responsabilidade de relatórios no uso dos recursos • Agregar os dados • Auxiliar na elaboração e a obtenção dos para informar de relatórios resultados e objectivos os outros serviços de planeamento • Agregar os dados para • Assistir os Técnicos informar a UGP sobre o da DNP na tomada • Recolha e análise andamento do projecto de decisões rápidas das informações e eficazes e dos relatórios • Consulta com a UGP • Agregar os dados • Se possível, visitas para informar a DNP de terreno sobre o andamento • Se for o caso, do Programa consulta com outras partes interessadas • Recolha e análise • Preparação dos • Participação no das informações planos do Programa Comité de Pilotagem e elaboração dos do programa relatórios do projecto • Elaboração de relatórios do • Relatório Semestral • Consulta com a UGP Programa de Avaliação Formativa •Se for o caso, consulta • Visitas de terreno com outras partes interessadas • Recolha de dados e sua análise •Participação no Comité de Pilotagem • Consulta das do Programa partes interessadas • Participação no Comité de Pilotagem do Programa • Plano de monitoria • Relatórios de progresso • Conforme acordado • Conforme • Formato-Padrão acordado com a • Semestral FORMATO com a UGP UGP CICLO DERELATÓRIOSPonto central deste sistema são as UGPs que, durante o período de arranque, elaboram os Planosde Avaliação dos programas e apoiam os Gestores dos Projectos na definição de uma estratégiaque permita um eficaz e correcto acompanhamento da sua implementação a partir, naturalmente,da preparação dos relativos Planos de Avaliação dos projectos neles abrangidos.No fim de cada semestre, com base nos dados recolhidos através dos principais instrumentosnormalmente utilizados (Matriz do Enquadramento Lógico, Plano de Trabalho/Cronograma,Orçamento e Matriz de Gestão dos Riscos) os responsáveis pela implementação dos projectos,devem elaborar e apresentar aos Gestores dos Programas (UGP), uma Ficha de Síntese de Projecto(Anexo 2) que descreve os progressos registados.A UGP analisa os dados apresentados e no fim de cada semestre (juntamente com os Relatóriosde progresso) completam e enviam aos Técnicos da DNP responsáveis pelo seguimento, uma FichaSíntese de Programa (Anexo 3) contendo a consolidação dos dados disponibilizados pelos váriosprojectos abrangidos.GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 66

De facto, neste Sistema, três níveis de informação devem ser considerados: 1) Relatórios de progresso de cada projecto, capeados por uma Ficha Síntese do Projecto preparada pelo parceiro de implementação, sendo ambos os documentos remetidos para a UGP correspondente; 2) Relatórios de progresso do Programa, capeados por uma Ficha Síntese do Programa preparada pela UGP, sendo ambos os documentos remetidos à DNP; 3) Relatório Semestral de Avaliação Formativa que deve conter uma breve descrição sobre a execução dos Programas. Deve ser atualizado regularmente a partir dos documentos recolhidos e analisados: relatórios de progresso, relatórios anuais, relatórios de visita de terreno e principalmente a Folha de Avaliação Formativa Periódica (que suportam os exercícios de avaliação formativa periódica e cujo conteúdo será descrito mais à frente).Conforme já mencionado, cada nível do sistema de avaliação (projectos, programas e DNP)contempla um conjunto de documentos (Fichas Síntese do Projecto e do Programa,Folha de Avaliação Formativa Periódica, Relatórios de Execução) para a sistematizaçãoe análise dos dados.Ao nível dos projectos, as informações periodicamente recolhidas pelos Parceiros da Implementaçãodevem ser sistematizadas numa Ficha Síntese de Projecto que deve ser enviada semestralmentepara o Gestor do Programa (UGP) para a sua análise, com cópia aos serviços competentesda DNP (Direcção de Monitorização e Avaliação).Os dados de todas as Fichas Síntese dos Projectos coordenados pelo Programa devem serconsolidados em uma Ficha Síntese do Programa.Ao nível do Programa, além das informações consolidadas sobre os vários projectos abrangidos,a UGP fornecerá informações e dados, através das Fichas Síntese do Programa, também sobre asacções internas (actividades, outputs e objectivos), tais como as acções de coordenação,de formação, de aumento das capacidades institucionais, etc. Estas Fichas, juntamente comos relatórios periódicos, serão enviadas para a Direcção de Monitoria e Avaliação da DNP.As informações sobre a situação atual dos projectos podem, de maneira indicativa, ser incluídasno anexo ao Relatório de Progresso do Programa (UGP) e sistematizadas em tabela.PROGRAMA PROJECTO LOCALIZAÇÃO PARCEIRO DE ORÇAMENTO VALORIZAÇÃO OBS. EXECUÇÃO TOTAL DESEMPENHO UTILIZADOO suporte documental do sistema deve ser considerado como provisório, podendo ser ajustadoe adaptado durante a implementação do sistema de avaliação, de acordo com as liçõesaprendidas e necessidades especificas dos decisores. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 67

3.1.3. AVALIAÇÃO FORMATIVA PERIÓDICA3.1.3.1.1. OBJECTIVOS E RESPONSABILIDADESA avaliação formativa periódica, dispõe de uma orientação mais abrangente: inclui não somenteas actividades e os outputs mas também os benefícios (resultantes da utilização dos outputs)e as mudanças (a contribuição de um projecto a solução de um problema ou satisfação de umanecessidade politicamente relevantes). Deverá ser realizada por técnicos e avaliadores senioresda Direcção de Monitoria e Avaliação da DNP.Os objectivos da avaliação formativa periódica são, portanto: 1) Avaliar a adequação do desenho do projecto ou programa à resolução dos problemas ou necessidades que pretende ultrapassar, centrando-se no critério da relevância; 2) Avaliar o nível de implementação do projecto, centrando-se na eficácia.Estes objectivos são prosseguidos através da obtenção de informação actualizada sobreos indicadores de resultado e de impacto e que serão fornecidos, principalmente,através de visitas periódicas (semestrais) a um universo representativo de projectos.As responsabilidades dos técnicos das UGPs e da DNP são complementares:TÉCNICOS INDICADORES RELATÓRIOSTÉCNICOS 1. Disponibilizam e actualizam A. Disponibilizam e actualizam a DNP Folha de Avaliação Formativa estrutura de relatórios de avaliação Periódica de suporte a visitas B. Produzem relatórios de execuçãoTÉCNICOS a projectos dos projectos objecto de visitas UGP ao terreno 2. Registam os indicadores de resultado e de impacto recolhidos A. Asseguram que os projectos durante as visitas ao terreno em que integram o programa Base de Dados da DNP produzem relatórios contendo os indicadores validados e sua 1. Organizam a logística das visitas a correspondente análise projectos por parte de técnicos da DNP 2. Acompanham os técnicos da DNP nas visitas ao terreno 3. Asseguram que os gestores dos projectos que integram o programa se encontram disponíveis para acompanhar as visitas ao terrenoGESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 68

3.1.3.1.2. METODOLOGIA DE AVALIAÇÃO FORMATIVA PERIÓDICARegularmente, serão efectuadas visitas ao terreno (semestrais) conjuntas (DNP / UGPs) ad hoca uma amostra representativa da composição da carteira de projectos de investimento público,com a finalidade de realizar uma avaliação formativa mais abrangente, focalizada também sobreos efeitos produzidos junto dos beneficiários.A amostra de projectos a visitar deve ser constituída tendo presentes os seguintes critérios: 1) Viabilidade - o número de projectos a visitar deve ser adequado aos recursos disponíveis para realização de actividades de avaliação, mantendo a mesma uma relação custo-beneficio aceitável; 2) Representatividade - o conjunto de projectos a visitar deve ser representativo dos sectores, tipologia de projecto, localização, dimensão que compõem a carteira de investimento públicos.Compete à Direcção de Monitoria e Avaliação da DNP desenhar, semestralmente, a amostra deprojectos que serem objecto de avaliação formativa periódica.As conclusões destas visitas serão reflectidas numa Folha de Avaliação Formativa Períodica(Anexo 4) instrumento que, conjuntamente com as Fichas Síntese dos Programas fornece asbases para a elaboração do relativo Relatório de Avaliação (Anexo 5).Estes documentos (Ficha das Conclusões e Relatório de Avaliação) reflectem os progressosna implementação e fornecem os elementos para a análise do programa/projecto baseadanos quatro aspectos: 1) Os aspectos administrativos, que determinam se o sistema de aprovação dos documentos e os aspectos contratuais são geridos adequadamente a fim de garantir a boa execução do programa/projecto (eficiência); 2) Os aspectos financeiros que determinam se a execução financeira é executada de acordo com a programação. Por exemplo, os avaliadores deverão confirmar se as despesas incorridas pelo programa/projecto correspondem ao orçamento previsto; devem ser analisadas as informações financeiras constantes dos relatórios sobre o andamento do projecto (identificando linhas orçamentais que tenham sido esgotadas ou ultrapassadas), assim como os relatórios de auditoria; 3) Os aspectos técnicos, que são a principal preocupação da avaliação. A fim de determinar se os outputs e os objectivos são suscetíveis de serem atingidos conforme programado deverão ser analisados os progressos nos seguintes elementos: i) a execução das actividades do projecto, ii) a disponibilização dos outputs, iii) a probabilidade de atingir finalidade do projecto e a sua sustentabilidade futura), (iv) o funcionamento e a eficiência dos mecanismos de governação do projecto; 4) A capacidade de gestão (dos projectos e dos programas) é também importante para determinar se as informações são fornecidas no tempo previsto, se são de boa qualidade, se o Plano de Avaliação adoptado e as ações propostas a fim de resolver os problemas identificados são adequadas.Para cada aspecto, com base na situação encontrada, será atribuída uma nota de avaliaçãoque ilustrará o grau de desempenho e de risco com relação ao andamento do projecto(caso nenhum comentário possa ser produzido sobre um determinado aspecto, tal seráassinalado como “não aplicável”). No final do exercício será atribuída uma nota de valorizaçãoagregada do desempenho do projecto. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 69

As Conclusões serão resumidas no Relatório de Execução do Projecto com as respectivas notas.Sucessivamente, as notas assim determinadas serão registadas em base de dados gerida pelosTécnicos da Direcção de Monitoria e Avaliação da DNP. O Sistema de Classificação estrutura-seem quatro níveis. DESCRIÇÃOA Progresso Muito Bom, evidenciando baixo risco de incumprimento de objectivosB Progresso conforme Programado, evidenciado baixo risco de incumprimento, mas com oportunidades de melhoriaC Algum Riscos, Problemas que Afectam o Progresso e que devem ser CorrigidosD Riscos e Fraquezas que Afectam Claramente o DesempenhoN/A Não AplicávelAs valorizações são indicativas e baseadas nas informações disponíveis. É, portanto, recomendadode proceder com cautela na atribuição destas valorizações confirmando que as notas atribuídascorrespondem aos comentários explicativos e que estes últimos respondem às exigências quedevem ser consideradas.No final do exercício, uma avaliação global do progresso registado pelo projecto deve ser calculadaem função destas notas, utilizando a seguinte chave de avaliação global. DIMENSÃO PESO RELATIVO NA AVALIAÇÃO FINAL ASPECTOS ADMINISTRATIVOS 10 % ASPECTOS FINANCEIROS 25 % ASPECTOS TÉCNICOS 45 % CAPACIDADE DE GESTÃO 20 %Uma vez que todas as informações são recolhidas e analisadas pelos Técnicos Direcçãode Monitoria e Avaliação da DNP, estes devem elaborar um Relatório de Execuçãodo programa/projecto. A actualização periódica das informações irá permitir compararo desempenho atual em relação ao anterior, de modo a apresentar as informaçõesàs principais partes interessadas e assim poder determinar as medidas à adoptar em cada caso.O sistema pretende-se modular e progressivo. Assim, as Folhas de Avaliação FormativaPeriódica, apenas consideram os dados administrativos, financeiros e os critérios de eficiênciae eficáciaGESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 70

Os Relatórios de Execução sintetizam a informação recolhida durante as visitas a projectosconstantes da amostra e deverão respeitar a seguinte estrutura. 1) Dados do projecto: número de identificação, data da assinatura da nota de cabimentação orçamental, data de início e de fim do projecto, política que o enquadra, programa em que se insere, classificação funcional e sub-funcional do investimento, nome do técnico da DNP que participa na avaliação, nome da UGP que executa o projecto e do técnico que acompanhou a avaliação. 2) Dados Financeiros: dados-chave sobre o orçamento, fonte de recurso (de financiamento), autorizados, desembolsados, e despesas incorridas pelo projecto até à data. 3) Síntese da Execução do Projecto: principais características da execução do projecto nas seguintes áreas: Valorização do risco de execução em função da revisão nos aspectos administrativos, financeiros, técnicos e de gestão, incluindo uma valorização global. Incluirá também, se existentes, os relatos de avaliações anteriores; Principais questões explicando os resultados atuais e a sua evolução, assim como e se for o caso, os principais desenvolvimentos desde o último relatório (incluindo as mudanças no contexto operacional e no ambiente do projecto); Progresso na realização das actividades, disponibilização dos resultados e obtenção das finalidades, usando corretamente os indicadores da Matriz de Enquadramento Lógico, incluindo explicita referência à eficiência do projecto (execução financeira, implementação das actividades e disponibilização de outputs) e a eficácia potencial (reação dos grupos-alvo aos outputs já disponibilizadas e / ou tendência para produção dos benefícios esperados). 4) Medidas a serem Adoptadas: fazer um resumo dos elementos seguintes: Principais obstáculos ou problemas que o Programa está experimentando e ações a ser tomadas (e por quem); Outras medidas necessárias a fim de apoiar a execução (e por quem). 5) Anexo: A “Folha de Avaliação Formativa Períodica” representa a base analítica. É dividida em quatro áreas onde os aspectos a avaliar são tomados em consideração a fim de avaliar o estado de execução. Cada aspecto tem um peso com a atribuição de uma nota para cada critério e uma nota global é atribuída ao Programa, recorrendo à chave de análise já apresentada. A pontuação do desempenho e dos riscos irá ajudar a determinar os pontos fortes e fracos do Programa e, consequentemente, os aspectos onde devem ser beneficiar de medidas corretivas.A preparação dos Relatórios de Execução envolve quatro etapas: 1) Recolher a informação necessária (Relatórios de Progresso e Fichas de Síntese do Programa) 2) Preencher a Folha de Avaliação Formativa Períodica, respondendo às questões indicativas para cada aspecto e valorizando o desempenho registado. 3) Preencher o Relatório de Execução com os dados gerais e financeiros e resumir a informação relevante sobre a evolução do desempenho, progresso na realização das actividades, no alcance dos resultados e objectivos e suas valorizações. 4) Registar na Base de Dados do SNP os dados do Relatório de Execução.As fontes de informação a serem utilizadas na elaboração do Relatório de Execução são as seguintes: a) Relatórios de progresso e anuais da UGP b) Relatórios de execução anteriores c) Relatórios das visitas de terreno d) Reuniões do Comité de Pilotagem e) Informações financeiras f) Relatórios de Auditorias (se realizadas) GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 71

Após a elaboração dos Relatórios de Execução, todos os dados recebidos sobre o desempenhodo Programa e respectivos projectos serão usados para alimentar, juntamente com os dadosrecolhidos através da avaliação formativa permanente, a Base de Dados do SNP, que fornecerá,de forma sintética mas exaustiva, todas as informações relevantes sobre os progressosdos Programas e dos Projectos nele incluídos. A Base de Dados devera permitir extrair tabelasque evidenciem a evolução da pontuação atribuída a cada Programa, assim como as medidasa serem tomadas.As visitas ao terreno constituem o aspecto central da avaliação formativa periódica. Os relatóriosdas visitas ao terreno são indispensáveis para uma melhor compreensão do desempenho de umprojecto/programa. Permitem de discutir com o gestor do programa e o parceiro da execuçãoos progressos alcançados e avaliar respostas preliminares dos beneficiários às actividadesrealizadas e outputs disponibilizados.As visitas ao terreno são organizadas pela UGP e realizadas em conjunto com os Técnicos da Direcçãode Monitoria e Avaliação de Políticas Públicas (DMAPP), podendo integrar técnicos de entidadesterceiras. Devem ser curtas (podem ir desde um dia até uma semana no máximo). A Tabelaa seguir resume os pontos importantes a considerar antes de efetuar uma visita de terreno. ETAPA ASPECTOS A CONSIDERAR RECOLHER Contratos ligados à Execução do Projecto, Matriz de EnquadramentoE ANALISAR AS Lógico, Plano de trabalho e Orçamento, Relatórios de Avaliação,INFORMAÇÕES- Dados da Base de Dados do SNP referentes ao projecto. A análise das informações deve determinar: -CHAVE 1) as actividades que devem ser realizadas e os outputs a serem disponibilizados pelo projecto; 2) as dificuldades enfrentadas ESCLARECER e (3) o tempo decorrido desde o início com relação às despesas A FINALIDADE efectuadas (execução financeira). DA VISITA O propósito da visita dependerá da avaliação dos riscos de execução. Deverá ser analisado o progresso e, caso o projecto DETALHAR apresente bons níveis de execução, deverão ser evidenciadas boas A AGENDA práticas. Caso sejam detectados riscos, deverão ser produzidas recomendações específicas para os ultrapassar. Se forem encontradas deficiências significativas, poderá ser sugerida a revisão do desenho do projecto. A agenda deverá ser definida com o parceiro de execução, estabelecendo a UGP os contactos necessários. É indispensável visitar os beneficiários finais assim como as autoridades locais e outros agentes relevantes envolvidos. A análise detalhada, com os parceiros de implementação, do modelo lógico da intervenção, do plano de trabalho e da sua execução financeira constituem actividades consumidoras de tempo e de recursos que devem ser adequadamente planeadosIDENTIFICAR Com base nas informações recolhidas sobre a situação do projectoOS ASPECTOS e nos agentes a serem contactados, serão definidas as questões A VERIFICAR de avaliação a serem colocadas aos diferentes entrevistados. Serão utilizadas questões do tipo descritivo e normativo. ESCLARECER Uma reunião de briefing será organizada no final da visita.OS BENEFÍCIOS O briefing terá como objectivo informar o parceiro de execução e, eventualmente, os agentes entrevistados, sobre os possíveis ESPERADOS DA VISITA benefícios da visita, e que um relatório será elaborado e distribuído em tempos breves.GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 72

3.1.4. RELATÓRIOS DE AVALIAÇÃO FORMATIVAA DMA assegurará a produção de relatórios semestrais de formação formativa que articulamos dados recolhidos através de acções permanentes e periódicas.A estrutura destes relatórios será a seguinte:SUMÁRIO EXECUTIVO CORPO DO RELATÓRIO Parágrafo Introdução • Finalidade da Avaliação Introdutório de • Contexto de Desenvolvimento das PolíticasContextualização • Objectivos e Metas das Políticas da Avaliação Descrição Descrição da • Âmbito da Avaliaçãoda Avaliação Metodologia • Metodologia de Avaliaçãoe das Grandes de Avaliação • Grandes Questões de AvaliaçãoQuestões que • Estratégia de Análise de Dados a Basearam • Limitações Metodológicas • Participantes no Exercício de Avaliação Análise Global Evidências • Deverão ser Inteligíveis de Eficiência Quantitativas • Os dados deverão ser apresentados do Investimento Recolhidas de forma Selectiva Público (Avaliação • As Evidências Quantitativas devem ser suportadas Permanente) Tendências de em indicadores de input-output extraídosEficácia Potencial Evidências da base de dados de suporte ao SNP do Investimento Qualitativas • As Evidências Qualitativas devem ser suportadas Recolhidas nos Relatórios de Execução de Projectos Público (Avaliação e Programas que integram a amostragem. Periódica) • Tabelas e Gráficos deverão para Suportar a Apresentação das Evidências Síntese Conclusões • Deverão ser curtas das Conclusões (suportadas • Utilizando terminologia simplese Recomendações nas evidências • Não adicionar detalhes que não tenham recolhidas) sido já explorados em secções anteriores Recomendações • Não deverão sintetizar o relatório (decorrentes • Deverão ser simples e claras das conclusões) • Baseadas nas Conclusões • Deverão ser apresentadas por parágrafos, de forma enfática e clara. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 73

3.2. AVALIAÇÃO SUMATIVA3.2.1. CONCEITOS FUNDAMENTAISA avaliação sumativa incide sobre as políticas públicas, beneficiando das conclusões das avaliaçõesformativas dos programas e projectos de investimento público.O sistema contempla dois tipos de avaliação sumativa: 1) Avaliação Final: a ter lugar imediatamente após conclusão de todos os programas que integram o PND; 2) Avaliação de Impacto: a ter lugar 3 anos após a conclusão de todos os programas que integram o PND.3.2.2. OBJECTIVOS E RESPONSABILIDADESO objectivo das avaliações sumativas é identificar o impacto das políticas públicas na vidados cidadãos, identificando boas práticas a serem reproduzidas e erros a serem evitadosna formulação e gestão de políticas públicas.As avaliações sumativas incidem, assim, sobre: O sistema contempla dois tipos de avaliação sumativa: A adequação da formulação das políticas públicas às necessidades reais dos São Tomenses, incidindo sobre os seguintes critérios: Relevância; Coerência; Sinergia. A qualidade da implementação das políticas públicas e a forma como as mesmas produziram as realizações esperadas, incidindo sobre os seguintes critérios: Eficiência, Eficácia; Equidade. O impacto das políticas públicas na vida do cidadãos e a forma como as mesmas geraram resultados efectivos, incidindo sobre os seguintes critérios: Utilidade; Sustentabilidade; Impacto. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO SUMATIVA | 74

DIMENSÕES OBJECTO CRITÉRIOS DE AVALIAÇÃO SUMATIVA Formulação de Políticas • Relevância FINAL Implementação de Políticas • Coerência Implementação de Políticas • Sinergia SUMATIVA • EficiênciaDE IMPACTO • Eficácia • Equidade • Utilidade • Sustentabilidade • ImpactoAs avaliações sumativas de políticas públicas exigem objectividade total, pelo que deverão serrealizadas por peritos independentes, sem responsabilidades na formulação e implementaçãode políticas públicas.As responsabilidades dos técnico da DNP (Direcção de Monitoria e Avaliação)e dos Avaliadores Independentes são, naturalmente, complementares.TÉCNICOS TAREFAS DE RELATÓRIOS AVALIAÇÃO SUMATIVATÉCNICOS DNP 1. Definem e actualizam termos A. Disponibilizam e actualizam de referência padrão para exercícios a estrutura de relatórios deTÉCNICOS de avaliação sumativa. avaliação sumativa, de acordo com UGP as melhores práticas internacionais. 2. Definem o referencial metodológico p/ realização de avaliações sumativas. B. Validam os relatórios de avaliação sumativa submetidos 3. Procedem ao lançamento por avaliadores independentes. de concursos públicos internacionais visando a contratação de Avaliadores C. Asseguram a disseminação Independentes. das conclusões e recomendações emanadas dos relatórios de 4. Seleccionam Avaliadores, de acordo avaliação junto de decisores políticos. com critérios claramente definidos. D. Asseguram que os resultados 5. Supervisionam o desenvolvimento da avaliação são adequadamente do trabalho de campo a cargo registados e preservados em base de avaliadores independentes. de dados de suporte à gestão do SNP. 6. Facilitam os contactos dos avaliadores com entidades relevantes. 1. Conduzem o trabalho de campo, A. Produzem os relatórios de acordo com os referenciais de avaliação, de acordo com metodológicos internacionais as melhores praticas internacionais. de avaliação de políticas públicas 2. Mantém a DNP informada sobre o desenrolar dos trabalhos e sobre eventuais dificuldades de obtenção de informação relevante. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO SUMATIVA | 75

3.2.3. METODOLOGIA DE AVALIAÇÃO SUMATIVACompete à Direcção de Monitoria e Avaliação definir o referencial metodológico a ser prosseguidopelos avaliadores independentes.As avaliações sumativas a cargo de avaliadores independentes deverão estruturar-se em tornode questões de avaliação que, conforme, já explicitado no capítulo 2.4.7, podem ser de três tipos: Os objectivos O QUE É? As intervenções justificam-se à luz das estão alinhadasnecessidades/ prioridades? Procuram compreender com os objectivos? ou descrever um projecto ou processo. Perguntas Directas: Quem? O Quê? Aonde? Quando? Como? Quanto?Os resultados previstos DESCRITIVA Os resultados obtidos foram alcançados? são duradouros? O QUE CAUSA- E ENTÃO? DEVERIA SER? -EFEITO Determinam a diferença NORMATIVAComparam “o que é” com que a intervenção produziu. “o que deveria ser” Comparam a situação actual Pretendem medir o que mudou em consequência com uma meta da intervenção pré-definida SUSTENTABILIDADE Que Mudanças foram É possível utilizar os recursos determinadas pela Política?públicos mais adequadamente?Esta tipologia de questões articula-se logicamente com os critérios de avaliação. CRITÉRIOS DESCRITIVAS NORMATIVAS CAUSA-EFEITO RELEVÂNCIA COERÊNCIA EFICIÊNCIA SINERGIA EQUIDADE UTILIDADE EFICÁCIASUSTENTABILIDADE IMPACTOGESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 76

A selecção das questões de avaliação deverá obedecer a uma abordagem sistemática, em que,sucessivamente, são eliminadas questões redundantes e de reduzida relevância, recorrendoa um sistema de notação simples, conforme o que se propõe na tabela seguinte. A QUESTÃO SERÁ... QUESTÕES DE AVALIAÇÃO 1 2 3 4 5 6 7 ...1 De interesse para actores-chave?2 Importante para reduzir a incerteza actual?3 Relevante para a obtenção de info importante?4 De interesse continuado?5 Crítica para o âmbito e detalhe da avaliação?6 Terá impacto em processos de tomada de decisão?7 Passível de resposta7.1. Tendo em conta os RH e financeiros?7.2. Tendo em conta o factor tempo?Os avaliadores independentes submetem à Direcção de Monitoria e Avaliação da DNP umaproposta de lista de grandes questões de avaliação, desdobradas em sub-questões especificas,organizadas por tipologia. Os avaliadores independentes deverão apresentar a lista de questõesde avaliação de acordo com o seguinte formato.QUESTÕES ESTRATÉGIAS ANÁLISEquestão sub- tipo- design indicadores fontes amostra instrumento análise -questão - questão (se aplicável) de recolha dos dados GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO SUMATIVA | 77

3.2.4. RELATÓRIOS DE AVALIAÇÃO SUMATIVACompete à DNP validar a listagem de questões de avaliação antes do inicio do trabalho de campo.Uma vez concluído o trabalho de campo, deverão ser produzidos relatórios de avaliação sumativaque deverão estar organizados em duas secções.SUMÁRIO EXECUTIVO CORPO DO RELATÓRIO Parágrafo Introdutório Introdução • Finalidade da Avaliação de Contextualização • Contexto de Desenvolvimento das Políticas Descrição • Objectivos e Metas das Políticas da Avaliação da Metodologia • Âmbito da AvaliaçãoDescrição da Avaliação de Avaliação • Metodologia de Avaliaçãoe das Grandes Questões • Grandes Questões de Avaliação Evidências • Estratégia de Análise de Dados que a Basearam Recolhidas • Limitações Metodológicas • Participantes no Exercício de Avaliação Síntese das Principais Conclusões Evidências Recolhidas (suportadas • Deverão ser Inteligíveis nas evidências • Os dados deverão ser apresentadosSíntese das Conclusões recolhidas) e Recomendações de forma Selectiva Recomendações • As Evidências devem ser Apresentadas (decorrentes em torno de Questões das conclusões) • Tabelas e Gráficos deverão para Suportar a Apresentação das Evidências • Deverão ser curtas • Utilizando terminologia simples • Não adicionar detalhes que não tenham sido já explorados em secções anteriores • Não deverão sintetizar o relatório • Deverão ser simples e claras • Baseadas nas Conclusões • Deverão ser apresentadas por parágrafos, de forma enfática e clara.GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 78

04

AABORDAGEM DO QUADRO LÓGICOA Abordagem do Quadro Lógico (Log Frame Approach) é uma metodologia para planear,gerir e avaliar programas e projetos, envolvendo a análise dos agentes, a análise do problema,a análise dos objetivos, a análise das estratégias, e preparação da matriz de enquadramentológico e Planos de Atividades e de Recursos.AGENTESIndivíduos ou grupos de indivíduos, interesses ou grupos de interesses que possam ter uminteresse significativo no sucesso ou insucesso do projeto. A influência dos agentes diminuiao longo do ciclo de vida do projeto, sendo mais elevada nas fases iniciais de identificaçãoe formulação.ÁRVORE DE PROBLEMASFerramenta utilizada durante a Fase de Análise da Abordagem do Quadro Lógico para identificaros aspetos negativos da situação existente e estabelecer relações de causa e efeito entreos problemas identificados. As causas (raiz) são apresentadas nos ‘ramos’ mais baixos da árvore,enquanto os efeitos se apresentam nos ramos superiores. O problema fulcral está representadono centro da árvore.ATIVIDADESAs ações necessárias para desenvolver os produtos e serviços que o projeto deve produzir.AVALIAÇÃOUma aferição permanente ou periódica da eficiência, eficácia, impacto, sustentabilidadee relevância de um projeto no contexto dos objetivos declarados. Costuma realizar-se comoum exame independente, de modo a retirar lições que possam orientar futuras tomadasde decisão. A avaliação envolve input externo (para preservar a objetividade), sendo um exercícioperiódico que pretende retirar lições para projetos futuros. Tomando a matriz do quadro lógicocomo referência, esta matriz centra-se na forma como traduzimos os resultados em objetivos(finalidade e objetivos globais).AVALIAÇÃO FINALA avaliação que decorre imediatamente após a conclusão de todas as atividades do projetoe a produção dos resultados do projeto. A avaliação final centra-se na eficiência, eficácia,relevância e sustentabilidade. GLOSSÁRIO | 80

AVALIAÇÃO FORMATIVAA recolha, análise e uso sistemáticos e contínuos de informação com fins de gestão e tomadade decisão. A avaliação formativa é uma responsabilidade permanente da gestão interna quepretende avaliar o progresso, introduzir medidas corretivas e atualizar planos. Se tomarmos aMatriz de Enquadramento Lógico como referência, a monitorização centra-se na forma comotransformamos meios/inputs em atividades, e atividades em outputs. A avaliação formativapermanente poderá ser complementada por avaliações periódicas, envolvendo visitas aprojectos com o fim de determinar a qualidade do processo pelo qual estão a ser produzidosos outputs, avaliando uma primeira reacção dos beneficiários às actividades realizadas e,eventualmente, o grau de utilização dos outputs.AVALIAÇÃO PROSPECTIVAO processo de avaliação que se realiza antes da implementação das atividades do projeto,para definir uma imagem instantânea da realidade antes das mudanças que virão por meio doprojeto, identificando problemas e necessidades e uma estratégia de resposta às mesmas. Estaimagem será a linha de base do projeto. Posteriormente, a definição de uma linha de base serácrítica para medir o impacto do projeto.AVALIAÇÃO DE IMPACTO (OU EX-POST)O processo de avaliação que se realiza um tempo razoável (3-5 anos) após a conclusão de todasas atividades do projeto, para medir a contribuição dos objetivos do projeto às metas políticaspara as quais se pretendia. Combinada com a linha de base definida durante a avaliação ex-ante,a avaliação ex-post fornecerá o input necessário para medir o impacto. A avaliação ex-postcentra-se principalmente na forma como a finalidade do projeto contribuiu para o cumprimentodos objetivos globais.AVALIAÇÃO INTERCALARProcesso de avaliação que decorre mais ou menos a meio do prazo do projeto de modo a acederao desempenho e retirar lições para futuros projetos.BBENEFICIÁRIOSSão aqueles que beneficiam de alguma forma da implementação do projeto.Pode-se distinguir entre:(a) Grupo-Alvo (Beneficiários Directos): o grupo/entidade que será imediatamente positivamenteafetado pelo projeto ao nível da Finalidade do Projeto;(b) Beneficiários Indirectos: aqueles que beneficiam do projeto a longo prazo ao nívelda sociedade ou do sector em geral, por exemplo “crianças”, devido ao aumento das despesascom saúde e educação, ou “consumidores”, devido à melhoria da produção agrícola e marketing. GLOSSÁRIO | 81

CCALENDÁRIO DAS ATIVIDADESUm gráfico de Gantt, uma representação semelhante a um gráfico de barras, definindo a calendarização,sequência e duração das Atividades do projeto. Também se pode utilizar para identificar marcosdo progresso do projecto e para atribuir responsabilidades pelo cumprimento desses marcos.A programação de custos especifica os recursos necessários para realizar cada atividade,estabelecendo assim uma programação por período de planeamento do projeto. A programaçãode custos traduz-se num gráfico Gantt em que as quantidades e montantes necessários pararealizar as atividades são distribuídos pelos diferentes dias / semanas / meses consideradosno tempo do projeto.CICLO DO PROJETOO ciclo do projeto segue a vida de um projeto desde a ideia inicial até à sua conclusão.Fornece uma estrutura para garantir que os agentes são envolvidos em todas as etapas, e defineas principais decisões, requisitos de informação e responsabilidades em cada fase, para que sepossam tomar decisões fundamentadas em cada fase da vida de um projeto. Recorre à avaliaçãoparanormal integrar as lições da experiência na conceção de futuros programas e projetos.EEFICÁCIAUm dos atributos do quadro de qualidade na base dos processos de tomada de decisãoque têm lugar ao longo do ciclo de vida do projeto. A eficácia mede até que ponto o projetoestá a produzir os benefícios previstos. A eficácia centra-se na forma como os outputs estãoa contribuir para o cumprimento da finalidade do projeto.EFICIÊNCIAO facto de os resultados serem obtidos a um custo razoável, isto é, quão bem os meiose as atividades foram convertidos em outputs, e a qualidade do processo subjacente.ESTUDO DE VIABILIDADEEstudo realizado durante fase de formulação e que pretende caracterizar o problemaque o projeto deve abordar e elaborar a hierarquia de objetivos para lidar com ele.Os estudos de pré-viabilidade integram a tipologia das avaliações prospectivas.ESTUDO DE PRÉ-VIABILIDADEO estudo pré-viabilidade, realizado durante a fase de identificação, garante que todos osproblemas estejam identificados e que se analisem soluções alternativas, e seleciona umaalternativa preferida com base em Atributos de Qualidade. O estudo ao suficiente para justificara aceitação, modificação ou rejeição do projeto proposto a nova apreciação. Os estudos deviabilidade integram a tipologia das avaliações prospectivas. GLOSSÁRIO | 82

FFINALIDADEBenefícios para o grupo-alvo que surgem do uso dos produtos ou serviços desenvolvidos porum projeto. De modo a cumprir a finalidade de um projeto, devemos produzir todos os outputsprevistos. Se alcançarmos a finalidade do projeto, estaremos a contribuir para a produção dosimpactos esperados (objectivos de política de médio / longo-prazo). A finalidade pode, também,por vezes ser designado como Objectivo Especifico do Projecto / Programa.FIPA FIP (Ficha de Identificação do Projeto) é o modelo normalizado utilizado pelas entidadesresponsáveis pela gestão do SNP para apresentar a intervenção proposta com base numaanálise dos problemas identificados, lições aprendidas a partir das capacidades e necessidadesdas partes interessadas, questões transversais, riscos e pressupostos, sustentabilidade.As Unidades Sectoriais e Regionais de Planeamento esboçam e propõem a resposta maisapropriada com base na análise. A ficha de identificação pretende funcionar como ummecanismo de apoio inicial que fornece a base para mais discussão e feedback da DNP antesdo início da fase de formulação.A DNP conduz o diálogo com UGPs, Parceiros de Implementação e Entidades Financiadorassobre a conceção do projeto. Neste contexto os parceiros são responsáveis pela conceçãodo projeto. O pessoal da DNP tem a responsabilidade de facilitar este processo para quea qualidade e apropriação pelos parceiros seja assegurada.FONTES DE VERIFICAÇÃOIntegram a matriz de enquadramento lógico e indicam onde e de que forma se pode encontrarinformação sobre a produção dos Impactos, Finalidade(s) do Projeto e Outputs (descritospelos Indicadores Objetivamente Verificáveis). Devem incluir informações sintéticas sobre ométodo de recolha, quem é responsável e com que frequência a informação deve ser recolhida ecomunicada.GGCPA expressão GCP (Gestão do Ciclo do Projeto) é utilizada para descrever as atividades de gestãoe procedimentos referentes à tomada de decisão usados durante o ciclo de vida de um projeto.GRUPO-ALVOO grupo/entidade que beneficiará, directamente, da utilização dos outputs gerados peloprojecto/programa. GLOSSÁRIO | 83

HHIERARQUIA DE OBJETIVOSUma ferramenta utilizada durante a Fase Analítica da Abordagem do Quadro Lógico, para descrevera situação uma vez ultrapassados os problemas identificados. A hierarquia de objetivos estabelecea relação entre os meios e os fins, em que os meios (outputs são apresentados nos níveisinferiores da árvore e os fins (impactos) são apresentados nos níveis superiores. A finalidadedo projeto é representada no centro da árvore. A hierarquia de objectivos também pode serdesignada por Cadeia de Resultados.IIMPACTOOs efeitos de longo-prazo do projeto sobre a realidade na qual interveio, traduzindo as mudançasdecorrentes da sustentabilidade dos benefícios gerados pela utilização dos outputs. A mediçãodo impacto de uma intervenção decorre da diferença entre a linha de base e o comportamentodestes mesmos indicadores após uma avaliação sumativa de impacto.INDICADORESQualidades, Quantidades, Lugares ou Prazos que permitirão aferir em que medida os objetivosforam ou não atingidos nos três níveis mais elevados do quadro lógico (impactos, finalidadese outputs). Os indicadores fornecem a base para a criação de um sistema adequado de avaliação.Os indicadores devem ser SMART: Specific/Específicos, Measurable/Mensuráveis, Available/Realizáveis, Relevant/Relevantes e Timely/Tempestivos.LLÓGICA DE INTERVENÇÃOA estratégia subjacente ao projeto. É a descrição narrativa do projeto em cada um dos quatro níveisda ‘hierarquia de objetivos’, utilizada no quadro lógico. GLOSSÁRIO | 84

MMATRIZ DE ENQUADRAMENTO LÓGICOA Matriz do Enquadramento Lógico (Log Frame Matrix) é a matriz na qual se apresentam a Lógicade Intervenção, Pressupostos, Indicadores Objetivamente Verificáveis, Linha de Base, MetasValores Actuais e Fontes de Verificação de um projeto ou programa. É uma tabela onde a Lógicade Intervenção (Impactos, Finalidades, Outputs e Atividades) é apresentada em linha e os IndicadoresObjetivamente Verificáveis, Linha de Base, Metas, Valores Actuais, Fontes de Verificação ePressupostos são apresentadas em coluna. Fornece uma visão resumida do projeto, sendo umaferramenta de gestão do projeto (para fins de avaliação formativa e sumativa) e um documentoque suporta processos de tomada de decisão.MEIOSOs recursos exigidos para desempenhar as atividades consideradas necessárias para produziros outputs do projeto.OOUTPUTSOs produtos ou serviços desenvolvidos pelo projeto e que serão fornecidos ao grupo-alvo.De modo a produzir ouptus do projeto, devem realizar-se atividades. A conjugação dos diferentesprodutos e serviços permitirá ultrapassar problemas e satisfazer necessidades do grupo-alvo,cumprindo assim a finalidade do projeto.PPRESSUPOSTOSFatores externos que podem afetar o sucesso do projeto, mas sobre os quais o gestor do projetonão tem qualquer controlo direto. Integrada a Matriz de Enquadramento Lógico, e são redigidosde forma positiva, por exemplo: “Reforma do processo penal implementada com sucesso”.Na Matriz de Enquadramento Lógico, apenas são apresentados pressupostos nas linhascorrespondendo a atividades, resultados e finalidade:Se desenvolvermos todas as atividades e os pressupostos apresentados na linha correspondenteda Matriz se confirmarem, então produziremos os outputs.Se produzirmos os outputs e os pressupostos apresentados na linha correspondente da Matrizse confirmarem, então cumpriremos a finalidade.Se cumprirmos a finalidade e os pressupostos apresentados na linha correspondente da Matrizdo Quadro Lógico se confirmarem, então produziremos os Impactos. GLOSSÁRIO | 85

PROGRAMAPode ter diversos significados, sendo ou (i) um conjunto de projetos reunidos sob o enquadramentogeral de Impactos comuns; (ii) um conjunto permanente de iniciativas/serviços que apoiam objetivoscomuns (ex. um Programa de Cuidados de Saúde Primários); ou (iii) um Programa Sectorial, quese define pela política sectorial do governo responsável (ex. um Programa no Sector da Saúde).PROJETOUma intervenção que pretende produzir uma alteração na realidade, exigindo a mobilizaçãode meios que fomentem atividades que, quando conjugadas, devem resolver problemas reaise satisfazer as necessidades de um grupo-alvo bem definido.QQUADRO DE QUALIDADEO Quadro de Qualidade é uma ferramenta de apoio à avaliação prospectiva de projetos, sendoutilizada nas fases de identificação e formulação. Integra 3 Atributos de Qualidade (Relevância,Viabilidade e Eficácia), desdobrados em 16 Critérios complementares. O Quadro de Qualidadepode ser utilizado ou como uma lista de verificação das questões principais a serem avaliadas/analisadas nas fases de identificação e formulação.RRELEVÂNCIAUm dos atributos do quadro de qualidade na base dos processos de tomada de decisão que têmlugar nas etapas de identificação e formulação. A relevância incide sobre a forma como o projetoaborda (ou não aborda) uma necessidade demonstrada e politicamente prioritária.RISCOSRisco é a probabilidade de que um pressuposto não ser confirmado, comprometendo a realizaçãode actiividades, produção de outputs e obtenção dos objetivos do projeto. Os riscos são compostospor fatores internos e externos ao projeto, embora o foco se centre habitualmente naquelesfatores fora do controlo direto da gestão do projeto. GLOSSÁRIO | 86

SSISTEMA NACIONAL DE PLANEAMENTOConjunto articulado de instrumentos de curto, médio e longo-prazo que apoiam a concretizaçãode objectivos de politico de médio / longo-prazo.SUSTENTABILIDADEA probabilidade de haver continuação no fluxo de benefícios produzidos pelo projecto ouprograma após conclusão da intervenção Os fatores chave que influenciam a probabilidadede sustentabilidade incluem: (i) apropriação por parte dos beneficiários; (ii) apoio/coerênciadas políticas; (iii) tecnologia adequada; (iv) ambiente; (v) questões socioculturais; (vi) igualdadede género; (vii) capacidade institucional; e (viii) viabilidade económica e financeira.VVIABILIDADEUm dos atributos do quadro de qualidade na base dos processos de tomada de decisão quetêm lugar ao longo das etapas de identificação e formulação. A viabilidade mede quão realista,em particular no que toca ao prazo de execução de orçamento. GLOSSÁRIO | 87

05ANEXOS 05.1. MATRIZ SNP 05.2. FICHA SÍNTESE DE PROJECTO 05.3. FICHA SÍNTESE DE PROGRAMA 05.4. FOLHA DE CONCLUSÕES 05.5. RELATÓRIO DE AVALIAÇÃO

05.1. MATRIZ SNP ANEXOS - MATRIZ SMP | 89

ANEXO 1 - MATRIZ SNP ESTRATÉGIAS DE LONGO PRAZO PLANOS NACIONAIS Agenda Estratégias Plano Nacional Grandes Opções PLANOS REGIONAIS PLANOS DISTRITAIS Desenvolvimento Sectoriais de Desenvolvimento do PlanoANEXOS - MATRIZ SMP | 90 de Longo Prazo Planos Sectoriais Define os objectivos Finalidade Define os objetivos e as orientações Estabelece as orientações Estabelecem, no quadro Fundamenta a proposta Estabelece o quadro Estabelece o quadro de e as orientações estratégicas para estratégicas de médio das orientações de Orçamento Geral do de articulação entre articulação entre as intervenções Natureza estratégicas para Estado ao estabelecer as intervenções de natureza Horizonte sectores ou domínios prazo, em todos estratégicas definidas nacional e sectorial na Região de natureza nacional Temporal o desuenvolvimento de política os sectores relevantes pelo PND e pelo os objectivos, Autónoma do Príncipe e sectorial nos Distritos do país para o desenvolvimento as prioridades e as e as intervenções tuteladas e as intervenções tuteladas Referencial. Com base Programa do Governo, medidas de política pelo Governo da Região, pelas Câmaras Distritais. Prospectiva. Com base em diagnóstico económico e social as orientações económica do Governo de acordo com o seu Programa. em cenários sobre do país, em consonância para o ano seguinte. grandes tendências e tendências de desen- de médio prazo para volvimento do sector com o Programa os sectores-alvo. exógenas e nacionais. ou domínio. do Governo. Definição Referencial estratégico Referencial estratégico Referencial estratégico Referencial de coordenação Referencial de coordenação (políticas nacionais (políticas nacionais e operacional. e operacional. e operacional. e regionais) e regionais) Longo Prazo Longo Prazo Legislatura Legislatura Anual Legislatura Regional Mandato da Câmara (12 a 20 anos) (12 a 20 anos) Responsabilidade Governo Governo Assembleia Nacional Governo Assembleia Nacional Governo Regional Câmara Distrital Política Variável Variável Primeira sessão Primeira sessão legis- Proposta até 30 de Primeira sessão legislativa Variável Calendário legislativa e até três lativa e até três meses Setembro, de acordo e até três meses após de Aprovação Serviço que coordena Serviço que coordena meses após a aprovação após a aprovação do Serviço que coordena ou Revisão tecnicamente o SNP tecnicamente o SNP do Programa do Governo. Programa do Governo. com calendário a aprovação do Programa tecnicamente o SNP (em colaboração com do Orçamento Geral do Governo. Preparação técnica Orientações serviço de planeamento Serviço que coordena Serviço que coordena Serviço de planeamento da proposta Metodológicas do(s) ministério(s) tecnicamente o SNP tecnicamente o SNP do Estado. Serviço que coordena das Câmaras Distritais (em colaboração com tecnicamente o SNP Responsabilidade envolvido(s)) serviço de planeamen- Serviço que coordena (em colaboração com serviço Serviço de planeamento técnica pela to do(s) ministério(s) tecnicamente o SNP das Câmaras Distritais elaboração de planeamento da proposta envolvido(s)) do Governo Regional) Contributos Serviço que coordena Serviço de planeamento Serviço que coordena Serviço de planeamento Serviço que coordena Serviço de planeamento do Técnicos tecnicamente o SNP do(s) ministério(s) tecnicamente o SNP do(s) ministério(s) tecnicamente o SNP Governo Regional envolvido(s) envolvido(s) Serviços de Serviço que coordena Serviços de planeamento Serviço que coordena Serviços de planeamento Serviço de planeamento da planeamento de todos tecnicamente o SNP e, de todos os ministérios tecnicamente o SNP de todos os ministérios Região Autónoma do Príncipe e da Região Autónoma e, eventualmente, de e da Região Autónoma os ministérios e da eventualmente, outros ministérios Região Autónoma de outros ministérios do Príncipe do Príncipe do Príncipe

ANEXO 1 - MATRIZ SNP ESTRATÉGIAS DE LONGO PRAZO PLANOS NACIONAIS Agenda Estratégias Plano Nacional Grandes Opções PLANOS REGIONAIS PLANOS DISTRITAIS Desenvolvimento Sectoriais de Desenvolvimento do Plano de Longo Prazo Planos Sectoriais Coordenação Serviço que coordena Serviço que coordena Serviço que coordena Serviço que coordena n.a. Serviço que coordena Serviço que coordena técnica global tecnicamente o SNP tecnicamente o SNP tecnicamente o SNP tecnicamente o SNP tecnicamente o SNP tecnicamente o SNP Monitorização Alimentação Serviços Serviços de planeamento Serviços Serviços de planeamen- n.a. Serviço de planeamento do Serviço de planeamento do sistema de planeamento de todos os ministérios de planeamento to dos ministérios en- Governo Regional e serviço da Câmara Distrital de informação de todos os ministérios envolvidos e serviços de todos os ministérios volvidos e serviço que Não aplicável (incluído superintende o SAFE na proposta do ano que superintende o SAFE Variável Tipo de reporte e serviço que especializados e serviço que seguinte) e periodicidade superintende o SAFE das finanças superintende o SAFE Relatório Anual (até final do 1º trimestre Relatório Anual Relatório Anual • Relatório Anual Relatório Anual (até final (até final do 1º trimestre (até final do 1º trimestre (até final do ano seguinte) do 1º trimestre do ano seguinte) do ano seguinte); do 1º trimestre do ano seguinte) • Informação física do ano seguinte) e financeira do 1º semestre. Responsabilidade Serviço que coordena Serviços Serviço que coordena Serviços n.a. Primeira sessão legislativa Serviços da Câmara Distrital, pelo reporte tecnicamente o SNP de planeamento dos tecnicamente o SNP de planeamento dos n.a. e até três meses após quando aplicável ministérios envolvidos ministérios envolvidos a aprovação do Programa do Governo Coordenação Serviço que coordena Serviço que coordena Serviço que coordena Serviço que coordena Serviço que coordena Serviço que coordena técnica global tecnicamente o SNP tecnicamente o SNP tecnicamente o SNP tecnicamente o SNP tecnicamente o SNP tecnicamente o SNPANEXOS - MATRIZ SMP | 91 Alimentação Serviço que coordena Serviço Serviço que coordena Serviço n.a. Serviço de planeamento Serviço de planeamento do sistema tecnicamente o SNP de planeamento tecnicamente o SNP de planeamento do Governo Regional da Câmara Distrital de informação do(s) ministério(s) do(s) ministério(s) Avaliação envolvido(s) envolvido(s) Tipo de reporte Entidade externa Entidade externa Entidade externa Entidade externa n.a. Entidade externa Variável (externa ou serviço e periodicidade seleccionada por selecionada por serviço seleccionada por selecionada por n.a. que coordena tecnicamente serviço que coordena de planeamento do(s) serviço que coordena serviço de planeamento Responsabilidade tecnicamente o SNP ministério(s) envolvido(s) tecnicamente o SNP do(s) ministério(s) o SNP) pelo reporte envolvido(s) Variável, em função Variável, em função da • Meio-Percurso: 2 a 3 • Meio-Percurso: 2 a 3 • Meio-Percurso: 2 a 3 Variável da necessidade necessidade de revisão. anos após aprovação; anos após aprovação; anos após aprovação; de revisão. • Final: 1 a 2 anos após • Final: 1 a 2 anos após • Final: 1 a 2 anos após conclusão. conclusão. conclusão.

05.2. FICHA SÍNTESEDE PROJECTOANEXOS - FICHA SÍNTESE DE PROJECTO | 92

ANEXO 2 - FICHA SÍNTESE DE PROJECTO FICHA SÍNTESE DE PROJECTO Data : Preparada e actualizada por : Pessoa contacto : Nome, Função, Contacto Parceiro de implementaçao : Nº de beneficiários previstos Vs Nº de beneficiários atendidos IOVs + Lógica Data Realizações Comentários Objectivo da intervenção Descrição específicoANEXOS - FICHA SÍNTESE DE PROJECTO | 93 Outputs Produtos, Bens de Capital ou Serviços Output 1 Output 2 Output 3 Output 4 Actividades Actividade 1 Actividade 2 Actividade 3 Actividade 4 Actividade 5 Actividade 6

05.3. FICHA SÍNTESEDE PROGRAMAANEXOS - FICHA SÍNTESE DE PROGRAMA | 94

ANEXO 2 - FICHA SÍNTESE DE PROGRAMA FICHA SÍNTESE DE PROJECTO Data : Preparada e actualizada por : Pessoa contacto : Nome, Função, Contacto Parceiro de implementaçao : Nº de beneficiários previstos Vs Nº de beneficiários atendidos IOVs + Lógica Realizações Comentários da intervenção Objectivos Data Descrição específicosANEXOS - FICHA SÍNTESE DE PROGRAMA | 95 (ou finalidades) Outputs Produtos, Bens de Capital ou Serviços Output A Output B Output C Output D Output E Actividades Actividade A Actividade B Actividade C Actividade D Actividade E Actividade F

05.4. FOLHADE CONCLUSÕESANEXOS - FOLHA DE CONCLUSÕES | 96

FOLHA DE AVALIAÇÃO FORMATIVA PERIÓDICATítulo do Projecto/Programa: Gestor do Projecto/Programa:Código do Projecto/Programa: Data do Relatório:1. ASPECTOS ADMINISTRATIVOS/TEMÁTICOS N/A A B C D Balanço dos 10% resultados1.1. Os aspectos contratuais são geridosde maneira adequada a fim de assegurar umaboa execução do projecto?a) Respostas atempadas aos pedidos da UGPe de apresentação e aprovação dos relatóriosb) Necessidades de mudanças do Contratoe/ou no IV Acordo de Financiamentoc) Os aspectos administrativos sãodevidademente tomados em contad) Houve atrasos entre a assinatura da NCe o início das operações? Quais são as razões? CONCLUSÃO DO DESEMPENHO PARA OS ASPECTOS ADMINISTRATIVOS/TEMÁTICOS2. ASPECTOS FINANCEIROS N/A A B C D Balanço dos 25% resultados2.1. Os recursos foram atempadamente dis-ponibilizados e a execução financeira segue aprogramação?a) Os recursos financeiros são disponibiliza-dos a tempo por todas as partes implicadasb) Execução financeira em relação com otempo passado na execução do projectoc) Conclusões dos relatórios de auditoriad) Pagamento pontual pelo programa e pelosprojectose) As linhas orçamentais foram sub ou sobreorçamentados? CONCLUSÃO DO DESEMPENHO PARA OS ASPECTOS FINANCEIROS3. ASPECTOS TÉCNICOS N/A A B C D Balanço dos 45% resultados3.1 A implementação das actividadesé gerida correctamente?a) Utiliza-se o quadro lógico ou o calendáriodas actividades como instrumento de gestão?b) Actividades realizadas segundo o planode trabalhoc) Recursos humanos e físicos utilizadospara a execução das actividades3.2 Os produtos do projecto são obtidosde forma apropriada e como previsto?a) Os produtos planeados foram realizadosa tempo? E segundo uma sequência lógica?b) Qualidade dos produtos realizados até agorac) Acções necessárias para implementaras acções propostas a fim de ultrapassaras dificuldades na execução do Projecto/Programad) Beneficiários reais vs previstos ANEXOS - FOLHA DE CONCLUSÕES | 97

FOLHA DE AVALIAÇÃO FORMATIVA PERIÓDICA N/A A B C D Balanço dos 45% resultados3.3 Em que medida o Projecto/Programa asseguraa produção de outputs previstosa) Os indicadores definidos ao níveldos outputs e dos objectivos estão a seratingidos como previsto?b) No estado actual de execução doProjecto/Programa, qual é a probabilidadede que a finalidade possa ser obtida?c) Como o Projecto/Programa se organiza e seadapta aos factores externos (outros projectos,doadores, etc)3.4 Os mecanismos de coordenaçãofuncionam correctamente?a) Regularidade das reuniões do Comitéde Pilotagem do Programab) Se um Comité de Coordenação existe,as reuniões permitem uma melhor sinergiaentre os Projectos? DESEMPENHO DOS ASPECTOS TÉCNICOSGESTÃO DA UGP N/A A B C D Balanço dos 20% resultados4.1 Como a Unidade de Gestão do Projecto/Programa (UGP) gere o Projecto/Programa ?a) Apresentação atempada dos relatórios esua qualidade (inclusive a actualização dosindicadores e dos objectivos do projecto)b) Qualidade da informação fornecida sobreo desempenho dos Projectos e qualidade dasvisitas de terreno e aos Projectos/Programasc) Qualidade do quadro lógico, dos planos detrabalho e das medidas tomadas para a suaactualização e melhoriad) Qualidade das medidas adoptadas paramelhorar a execução do Projecto/Programae) Se existe, qual é a qualidadeeficácia doComité de Gestão?f) Qualidade do Plano de Avaliação e da suaimplementação DESEMPENHO DA GESTÃO DA UGP CONCLUSÃO DO DESEMPENHO GLOBAL ANEXOS - FOLHA DE CONCLUSÕES | 98

RELATÓRIO DE EXECUÇÃO DO PROJECTOTÍTULO DO PROJECTO/PROGRAMA: DATA DO RELATÓRIO:1. INFORMAÇÕES SOBRE O PROJECTO/PROGRAMACódigo do Projecto: Gestor Projecto:Data da Assinatura da Nota Cabimentação: UGP:Data de Início do Projecto: Parceiro de Implementação:Data do Fim do Projecto: Outros Intervenientes:2. INFORMAÇÕES FINANCEIRASOrçamento Total: Dbs:Contribuição do Estado: Dbs:Contribuição Parceiros Internacionais: Dbs:Fundos Comprometidos: Dbs:Fundos Transferidos: Dbs:Despesas Efectuadas: Dbs:3. RESUMO DA EXECUÇÃO DO PROJECTO/PROGRAMA RELATÓRIO ACTUAL RELATÓRIOS PRECEDENTES Data Data Data1. Aspectos Administrativos/Temáticos2. Aspectos Financeiros3. Aspectos Técnicos4. Gestão da UGPConclusões GeraisNota:A = Progresso Muito Bom, evidenciando baixo risco de incumprimento de objectivosB = Progresso conforme Programado, evidenciando baixo risco de incumprimento mas com oportunidades de melhoriaC = Alguns Riscos, Problemas que Afectam o Progresso e que devem ser Corrigidos;D = Riscos e Fraquezas que Afectam Claramente o Desempenho;N/A = Não Aplicável3.1. Principais questões que explicam as actuais notas e a sua evolução3.2. Progressos na produção dos outputs e objectivos preconizados Eficiência (progressos na execução das actividades, realização das despesas e na disponibilização dos outputs - sempre que possível incluir os indicadores) Eficácia (progressos na concretização das finalidades do projecto - sempre que possível incluir os indicadores)4. ACÇÕES A SEREM ADOPTADAS ANEXOS - FOLHA DE CONCLUSÕES | 99

05.5. RELATÓRIODE AVALIAÇÃO*O Relatório de Monitorização Semestral de reproduzir o mesmo modeloANEXOS - RELATÓRIO DE AVALIAÇÃO | 100