Manual_CESO_STP_Versão Final

Os critérios para avaliação prospectiva de programas e projectos são definidos da seguinte forma: RELEVÂNCIA O projecto satisfaz uma necessidade prioritária e demonstrada? EFICÁCIA VIABILIDADE As actividades O projecto encontra-se e outputs previstos correctamente definido permitirão gerar os e irá gerar benefícios benefícios esperados? sustentáveis para o Grupo-Alvo? Os critérios para a avaliação formativa de programas e projectos são definidos da seguinte forma: RELEVÂNCIA O projecto destina-se a resolver um problema ou satisfazer uma necessidade prioritária EFICÁCIA O projecto disponibiliza os benefícios esperados e está a ser bem gerido A eficiência afere, do ponto de vista quantitativo EFICIÊNCIA e qulitativo, outputs e input As mudanças, positivas e negativas, IMPACTO produzidas por uma intervenção, directa ou indirectamente, de forma intencional ou não A sustentabilidade mede em que medida os SUSTENTABILIDADE benefícios gerados por uma determinada intervenção continuarão a ser produzidos após conclusão do projecto CICLO DE OPERAÇÕES DE PLANEAMENTO - CICLO DE OPERAÇÕES DE PLANEAMENTO | 51

Os critérios para avaliação sumativa de políticas são definidos da seguinte forma: A distribuição dos A intervenção responde RELEVÂNCIA aos desafios prioritários? EQUIDADE benefícios é justa? As vários componentes Os resultados da intervenção estão COERÊNCIA alinhadas entre si e com UTILIDADE atingidos são social e outras intervenções? economicamente úteis? As realizações EFICIÊNCIA alcançadas justificam os EFICÁCIA A intervenção atingiu os recursos utilizados? resultados esperados? As intervenções SUSTEN- Os benefícios da SINERGIA complementam-se ou intervenção são conflituam? TABILIDADE duradouros? A conjugação destes diferentes critérios permitirá aferir o impacto das políticas. 2.4.7.1.4. METODOLOGIA DE AVALIAÇÃO As avaliações desenvolvem-se através de questões de avaliação as quais podem ser de três tipos: O QUE É? Os objectivos Procuram compreender As intervenções justificam-se à luz das ou descrever um projecto estão alinhadas necessidades/prioridades? ou processo. com os objectivos? Perguntas Directas: Quem? O Quê? Aonde? Quando? Como? Quanto? DESCRITIVA Os resultados previstos Os resultados obtidos foram alcançados? são duradouros? O QUE CAUSA- DEVERIA SER? NORMATIVA -EFEITO E ENTÃO? Determinam a diferença Comparam “o que é” com que a intervenção produziu. “o que deveria ser” Pretendem medir o que Comparam a situação actual mudou em consequência com uma meta da intervenção SUSTENTABILIDADE pré-definida É possível utilizar os recursos Que mudanças foram públicos mais adequadamente? determinadas pela Política? As questões descritivas e normativas são utilizadas em avaliações prospectivas e formativas de programas e projectos. As questões causa-efeito são utilizadas em avaliações sumativas de políticas. CICLO DE OPERAÇÕES DE PLANEAMENTO - CICLO DE OPERAÇÕES DE PLANEAMENTO | 52

As respostas às questões de avaliação prospectiva e formativa são prosseguidas através de indicadores: INPUTS INDICADORES DE INPUT ACTIVIDADES OUTPUTS INDICADORES DE OUTPUT FINALIDADES INDICADORES DE RESULTADO IMPACTOS As respostas às questões de avaliação sumativa são prosseguidas através de indicadores que permitem medir as seguintes interacções ao longo do ciclo das políticas públicas: Necessidades DEFINIÇÃO DE AGENDA Aprendizagem Sustentabilidade Relevância Resultados Pretendidos AVALIAÇÃO CONCEPÇÃO Eficácia Resultados DE POLÍTICAS Efectivos Utilidade Coerência Equidade Sinergia CHECK ACT PLAN TOMADA Recursos IMPLEMENTAÇÃO Alocados Realizações DO DE DECISÃO Alcançadas Eficiência Recursos Realizações Utilizados Previstas CICLO DE OPERAÇÕES DE PLANEAMENTO - CICLO DE OPERAÇÕES DE PLANEAMENTO | 53

2.4.7.1.5. PERIODICIDADE DAS AVALIAÇÕES Os diferentes tipos de avaliação obedecem à seguinte periodicidade: 1) As avaliações prospectivas têm lugar anualmente, no quadro dos procedimentos de preparação do Programa de Investimento Público, sendo conduzidas pelos Ministérios Sectoriais no quadro de orientações metodológicas produzidas pela DNP; 2) As avaliações formativas são: permanentes, através do registo do comportamento dos indicadores de input e output apresentados nos relatórios de progresso disponibilizados pelas UGPs e registados na Base de Dados para o efeito desenvolvida; periódicas (duas vezes por ano económico), através de visitas estruturadas, por parte de técnicos da DNP, a uma amostra de projectos representativa da composição da carteira de investimentos públicos, visando registar os indicadores de eficácia, impacto e sustentabilidado potencial. 3) As avaliações sumativas de políticas têm lugar imediatamente após conclusão da implementação do PND e 3 anos após a conclusão do ciclo de implementação da política em causa. 2.4.7.2. RESPONSABILIDADE DA DNP Ao longo desta etapa serão realizadas, pela DNP, as seguintes actividades: 1) Preparar o calendário anual de actividades de avaliação e comunicar o mesmo a todos os órgãos da administração; 2) Produzir orientações metodológicas para a realização de avaliações prospectivas por parte de Ministérios Sectoriais, em preparação do PIP; 3) Formular questões-standard descritivas e normativas que deverão ser consideradas pelas UGPs na estruturação dos seus sistemas de avaliação de programas e projectos; 4) Registar periodicamente, em Base de Dados, o comportamento dos indicadores disponibilizados através dos relatórios de progresso enviados pelas UGPs; 5) Seleccionar, anualmente, uma amostra de projectos de investimento público representativos da composição da carteira; 6) Organizar duas rondas anuais visitas de campo aos projectos constantes da amostra definida; 7) Produzir relatórios consolidadas de avaliação formativa que combinem o comportamento dos indicadores de input-output (adquiridos através da análise de relatórios) e dos indicadores de eficácia, impacto e sustentabilidade potencial (adquiridos através da visitas a projectos constantes da amostra seleccionada); 8) Identificar, anualmente, as avaliações sumativas de política a terem lugar no ano em causa; 9) Seleccionar questões de causa-efeito que poderão suportar as avaliações sumativas a terem lugar; 10) Identificar os indicadores que permitirão obter as respostas às questões de causa-efeito seleccionadas bem como as estratégias para obtenção dos mesmos; 11) Produzir relatórios de avaliação sumativa de políticas e assegurar a sua divulgação junto de agentes públicos, privados, nacionais e estrangeiros relevantes. CICLO DE OPERAÇÕES DE PLANEAMENTO - CICLO DE OPERAÇÕES DE PLANEAMENTO | 54

DIRECÇÃO DIRECÇÃO DE DE POLÍTICAS DIRECÇÃO PLANEAMENTO MACRO- DE MONITORIA E PROSPECTIVA -ECONÓMICAS E AVALIAÇÃO Propor o calendário Consolidar o PROPOR CALENDÁRIO das avaliações calendário de acordo ANUAL DE ACTIVIDADES prospectivas de acordo com DE AVALIAÇÃO o calendário de com os contributos de outras Direcções elaboração do PIP PRODUZIR Produzir as ORIENTAÇÕES recomendações METODOLÓGICAS PARA a serem enviadas Divulgar as A REALIZAÇÃO DE anualmente recomendações AVALIAÇÕES aos sectores, em PROSPECTIVAS preparação para o PIP FORMULAR QUESTÕES Propor as questões Consolidar todas as STANDARD a serem consideradas questões e divulga DESCRITIVAS E em avaliações as mesmas junto de NORMATIVAS prospectivas Ministérios Sectoriais REGISTAR PERIODICAMENTE, EM Assegurar o registo BASE DE DADOS O COMPORTAMENTO DOS na Base de Dados INDICADORES Definir critérios para SELECCIONAR, constituição da amostra, ANUALMENTE, UMA fazer os mesmos AMOSTRA DE PROJECTOS DE INVESTIMENTO serem aprovados pela PÚBLICO tutela e produz a amostra ORGANIZAR, DUAS RONDAS ANUAIS VISITAS Organizar e realizar as DE CAMPO AOS PROJECTOS CONSTANTES visitas aos projectos DA AMOSTRA PRODUZIR RELATÓRIOS CONSOLIDADOS DE Produzir os relatórios AVALIAÇÃO FORMATIVA IDENTIFICAR, Identificar as ANUALMENTE, AS AVALIAÇÕES SUMATIVAS avaliações sumativas DE POLÍTICA a terem lugar SELECCIONAR QUESTÕES Propor a redacção DE CAUSA-EFEITO QUE de questões de PODERÃO SUPORTAR AS avaliação tendo AVALIAÇÕES SUMATIVAS por base o PND IDENTIFICAR OS Identificar os indicadores INDICADORES QUE que permitirão responder PERMITIRÃO OBTER AS às questões e seleccionar RESPOSTAS ÀS QUESTÕES as estratégias de recolha DE CAUSA-EFEITO de dados PRODUZIR RELATÓRIOS DE AVALIAÇÃO Colaborar na Coordenar a redacção SUMATIVA DE POLÍTICAS E ASSEGURAR A SUA redacção e divulgação. DIVULGAÇÃO CICLO DE OPERAÇÕES DE PLANEAMENTO - CICLO DE OPERAÇÕES DE PLANEAMENTO | 55

03 GESTÃO DE OPERAÇÕES DE AVALIAÇÃO 3.1. AVALIAÇÃO FORMATIVA 3.2. AVALIAÇÃO SUMATIVA

GESTÃO 03. GESTÃO DE OPERAÇÕES DE OPERAÇÕES DE AVALIAÇÃO DE AVALIAÇÃO As tarefas envolvidas nas avaliações prospectivas foram objecto de detalhe nos capítulos dedicados às fases de identificação e formulação do Ciclo de Operações de Planeamento. Importa, assim, abordar, de forma mais detalhada, a fase de Implementação, durante a qual decorrerão as actividades de: 1) Avaliação formativa permanente e periódica de programas e projectos; 2) Avaliação sumativa intercalar de políticas. 3.1. AVALIAÇÃO FORMATIVA 3.1.1. CONCEITOS FUNDAMENTAIS Tendo em vista identificar com clareza os diferentes níveis de responsabilidade envolvidos na criação de um sistema de avaliação formativa (na recolha e análise das informações e na elaboração e distribuição dos relativos Relatórios), considerámos importante distinguir, claramente, programas e projectos: 1) Projecto: conjunto de actividades destinadas a produzir outputs (produtos, bens de capital ou serviços), cuja finalidade é gerar benefícios para o cidadão de forma sustentável, contribuindo, deste modo, para gerar mudanças que contribuem para impactos positivos a longo-prazo, dentro de um enquadramento temporal e financeiro bem definido; 2) Programas: integram diferentes projectos que pretendem produzir, no horizonte de longo-prazo, impactos comuns. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 57

3.1.2. AVALIAÇÃO FORMATIVA PERMANENTE 3.1.2.1. OBJECTIVOS E RESPONSABILIDADES A avaliação formativa permanente de um projecto/programa é uma actividade continua efectuada pelos gestores de projecto das UGPs através da recolha regular de informações sobre o progresso na realização das actividades e disponibilização dos outputs, em cumprimento do plano de trabalho e dos recursos programados e utilizados, bem como sobre todas outras variáveis necessárias à obtenção das finalidades desejadas e impactos esperados. Constitui uma actividade regular que permite informar sobre o estado de progresso de um projecto/programa em termos de utilização dos recursos, de realização das actividades, de disponibilização dos outputs, obtenção de finalidades e objectivos e de gestão de riscos. A sua finalidade é de verificar o progresso da intervenção, de tomar ações corretivas e de eventualmente atualizar os planos de trabalho e de mobilização de recursos. Os objectivos da avaliação formativa permanente são, portanto: 1) Acompanhar o desempenho da intervenção (projecto e/ou programa) por meio da recolha sistemática de informações e dados, através de instrumentos adequados, com a finalidade de sistematizá-los em suporte pré-definidos, procedendo à sua análise com o propósito final de permitir aos decisores, através de relatórios periódicos (e outras fontes de comunicação), a identificação atempada de eventuais problemas de implementação, encontrando soluções adequadas para os mesmos; 2) Fornecer evidências de que o projecto/programa está a ser implementado de acordo com os planos de trabalho e de mobilização de recursos. Estes objectivos são prosseguidos através da obtenção de informação actualizada sobre os indicadores de input-ouput e que serão fornecidas, principalmente, através de relatórios periódicos sobre: O progresso das actividades previstas nos planos de actividades e de gestão de recursos; O progresso na disponibilização de outputs. As responsabilidades dos técnicos das UGPs e da DNP são complementares: TÉCNICOS RESPONSABILIDADES RELATÓRIOS 1. Disponibilizam e actualizam A. Disponibilizam e actualizam a instrumentos para recolha, estrutura de relatórios de progresso TÉCNICOS registo e análise de dados. a serem utilizadas pelas UGPs. DNP 2. Registam os indicadores B. Produzem relatórios consolidados de input-output provenientes das periódicos de análise de indicadores UGPs e em Base de Dados da DNP. de input-output. A. Asseguram que os projectos que 1. Asseguram que os gestores integram o programa produzem TÉCNICOS dos projectos que integram o relatórios contendo os indicadores UGP programa recolhem os indicadores de input-output validados e sua de input-output validados correspondente análise. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 58

3.1.2.2. METODOLOGIA DE AVALIAÇÃO FORMATIVA PERMANENTE Um sistema de avaliação formativa (permanente e periódica) deve incluir os seguintes elementos: Formatos e procedimentos standardizados para a recolha, registo e análise dos dados para a elaboração dos relatórios. Definição clara e precisa das tarefas de monitoria, dos papéis e das responsabilidades. Processos de reflexão, de análise e de tomada de decisões. Divulgação das informações e comunicação. 3.1.2.2.1. PILARES DO SISTEMA O sistema de avaliação formativa permanente repousa em quatro pilares fundamentais: 1) Modelo Lógico da Intervenção; 2) Pressupostos; 3) Indicadores; 4) Fluxos de Informação. O Modelo Lógico da Intervenção é uma peça central do sistema de avaliação formativa permanente. Conforme já descrito, o projecto de investimento público tem de encontrar-se suportado num modelo lógico de intervenção contemplando os seguintes elementos estruturais: INPUTS Recursos ACTIVIDADES Ações OUTPUTS Produtos Produtos, Bens de Capital ou Serviços que expressam os resultados imediatos da intervenção FINALIDADES Benefícios Efeitos de médio-prazo decorrentes da utilização dos outputs e observáveis através de mudanças junto dos grupo-alvo IMPACTOS Mudanças Os efeitos de longo-prazo, de natureza financeira, institucional, social ou ambiental gerados junto da sociedade, comunidade ou grupo de cidadãos e decorrentes da intervenção GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 59

O segundo pilar do sistema são os Pressupostos, todos os aspectos externos ao projecto e que podem ter impacto no modelo lógico da intervenção, ou seja, na realização das actividades, disponibilização dos outputs, obtenção das finalidades e dos impactos. Os pressupostos podem ser de três naturezas distintas, mas complementares: POLÍTICOS Com impacto na perenidade dos benefícios gerados pela utilização dos outputs, podendo comprometer os impactos OPERACIONAIS GERENCIAIS Com impacto na Com impacto na realização das actividades, utilização dos outputs, podendo comprometer a podendo comprometer a disponibilização dos outputs obtenção das finalidades O terceiro pilar do sistema são, naturalmente, os Indicadores. Os indicadores são quantidades, qualidades, tempos ou espaços que nos permitem medir o progresso na realização de actividades, disponibilização de outputs e obtenção de objectivos. Existem quatro tipos fundamentais de indicadores: Indicadores de Input que medem a transformação de meios em actividades; Indicadores de output que medem a forma como as actividades foram concretizadas em outputs; Indicadores de resultado que medem os benefícios decorrentes da utilização dos outputs por parte do grupo-alvo; Indicadores de impacto, que medem a perenidade dos benefícios decorrentes da utilização dos outputs e de que forma os mesmos promoveram mudanças politicamente relevantes. INPUTS ACTIVIDADES INDICADORES DE INPUT OUTPUTS INDICADORES DE OUTPUT FINALIDADES INDICADORES DE RESULTADO IMPACTOS INDICADORES DE IMPACTO GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 60

O derradeiro pilar do sistema é uma clara definição dos fluxos de informação envolvidos na gestão do processo de avaliação. Este pilar assenta em responsabilidades claramente atribuídas a todos os intervenientes no sistema de avaliação, envolvendo as seguintes dimensões: QUEM QUEM RECOLHE PROCESSA OS DADOS? OS DADOS? QUEM QUEM REPORTA? COORDENA O FLUXO? 3.1.2.2.2. PLANO DE MONITORIA O sistema deve, portanto, previamente identificar as informações necessárias e os instrumentos úteis para a sua recolha e como estas informações são analisadas e agregadas. Os elementos necessários para o estabelecimento deste sistema podem ser resumidos como segue. Definição de claros objectivos e princípios da abordagem da avaliação formativa permanente. Um dos principais objectivos da avaliação formativa permanente é de reforçar o papel da DNP na coordenação dos investimentos públicos, dispondo de informações claras e factuais a fim de poder habilitar os decisores com informação substantiva. Elaboração de um Plano de Avaliação Formativa Permanente, apresentado por cada projecto e cada programa, realizado pelos Parceiros da Implementação e pelos Gestores dos Programas onde é descrita a metodologia e as actividades previstas, seguindo as orientações metodológicas constantes deste manual. Com base nestes planos, as informações-chave serão produzidas e transmitidas aos respectivos responsáveis. Os principais documentos de gestão do projecto, ou seja, a Matriz de Enquadramento Lógico (MEL), o Plano de trabalho (ou Cronograma de Actividades), o Orçamento, a Linha de base (informações de base anteriores ao início do projecto) e a Matriz de Gestão dos Riscos. Estes documentos devem ser regularmente atualizados. Os técnicos da DNP e das UGPs devem compreender a necessidade e o uso destas ferramentas, exigindo aos gestores dos programas e dos projectos a sua correta elaboração, apresentação e actualização. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 61

O conteúdo indicativo do Plano de Monitoria a ser elaborado pelos projectos e pelos programas é o seguinte: 1) Descrição do projecto Definição do Objectivo Geral, Objectivo Específico e Resultados do projecto; Definição dos pressupostos. 2) Indicadores Informações da linha de base; Definição de Indicadores Objetivamente Verificáveis (IOVs), ao nível do Objectivo Geral, do Objectivo Específico e dos Resultados. 3) Metodologia de Avaliação Formativa Permanente Documentos de gestão: a Matriz do Enquadramento Lógico, o Plano de trabalho e o Orçamento do projecto. A regularidade da actualização desses documentos deve ser claramente definida; Métodos de recolha de dados e as fontes de verificação; Plano de trabalho para as actividades de avaliação formativa: a regularidade da recolha de dados, visitas no terreno, produção dos relatórios, eventualmente plano de trabalho para as actividades da fase de encerramento (estratégia de saída, análise de sustentabilidade); Matriz gestão dos riscos. 4) Relatórios Regularidade e formato dos relatórios de progresso e anuais do Programa/Projecto; Ao nível dos projectos, a regularidade dos relatórios a serem apresentados pelos Parceiros de implementação; Formato standardizado para registo de boas práticas e lições aprendidas. 5) Organização das actividades de Avaliação Formativa Pessoal e meios necessários para a implementação do Plano de Avaliação Formativa. 6) Coordenação e comunicação Descrição do modelo de governação do projecto / programa (Comité de Pilotagem) e outros mecanismos (por exemplo, o Comitê de coordenação ou de coordenação com outros projectos); Plano de comunicação e visibilidade. 7) Orçamento Orçamento necessário para implementar o Plano de Avaliação. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 62

3.1.2.2.3. RECOLHA DE DADOS A recolha de dados estrutura-se em torno dos pilares do sistema. MODELO LÓGICO DA INTERVENÇÃO O Modelo Lógico da Intervenção, normalmente sintetizado na Matriz de Enquadramento Lógico, cuja adequação técnica e metodológica deverá ser avaliada de acordo com os seguintes critérios de qualidade: 1) Os Impactos que projecto deverá produzir são relevantes e consistentes com a política do Governo, com as necessidades reais dos grupos-alvo e beneficiários; 2) A Finalidade do projecto indica claramente os benefícios diretos que resultarão para o grupo-alvo em consequência do investimento realizado; 3) Os Outputs descrevem uma melhoria concreta dos serviços, equipamentos e/ou conhecimentos que diretamente irão apoiar a realização da Finalidade do Projecto; 4) O conjunto das Actividades encontra-se bem descrito, é viável e indica claramente que os outputs do projecto podem ser obtidos dentro de prazos realistas; 5) A estratégia escolhida não é excessivamente rígida e alterações podem ser consideradas durante a implementação. O modelo lógico deve ser complementado por um Plano de Trabalho que apoie a programação do projecto e o seu acompanhamento, devendo ser regularmente revisto e adaptado principalmente durante a fase de arranque. Independentemente do formato usado, o plano de trabalho deve fornecer os seguintes elementos: Uma apresentação visual das principais actividades a serem realizadas dentro de um determinado período de tempo (por exemplo: anual), especificando as entidades responsáveis pela execução e o momento em que serão realizadas; Um desenvolvimento lógico e sequencial das várias actividades que indique quando os respectivos outputs poderão ser disponibilizados; Um calendário previsional das tarefas de de avaliação e de disponibilização de relatórios. Com base nestes elementos podem ser adequadamente programadas as necessidades em recursos, com o relativo orçamento e o fluxo de Caixa; O Plano de Trabalho deverá ser avaliado de acordo com os seguintes critérios de qualidade. TÓPICOS DESCRIÇÃO Uma comparação entre o valor quantitativo registado pelo INDICADORES indicador e o valor quantitativo programado (expressa, se possível, DE PROGRESSO em %) dá uma ideia do que foi alcançado. PROGRESSO DO PLANO A análise do Plano de Trabalho permitirá verificar as actividades que devem ser concluídas. DE TRABALHO OBTENÇÃO No caso em que alguns outputs foram já produzidos, é importante saber se os grupos-alvo os utilizam, produzindo os benefícios DOS antecipados. Estas informações não podem ser recolhidas que BENEFÍCIOS por meio de visitas de terreno. Comparando o total das despesas incorridas face ao orçamento EXECUÇÃO previsto, a execução dará uma % que, comparada com a % do tempo FINANCEIRA decorrido desde o inicio do projecto, permitirá concluir se a execução financeira é razoável, tendo em conta o tempo de implementação. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 63

Finalmente, o Modelo Lógico é complementando pelo Orçamento e outra documentação relevante, de natureza financeira. Uma primeira análise do Orçamento Global e da sua repartição nas várias linhas orçamentais permite, através da comparação das várias rúbricas (em termos percentuais), medir o grau de “importância” atribuída às diferentes componentes de um projecto de investimento (infraestruturas, assistência técnica, despesas de funcionamento, etc.): 1) A lista das actividades principais encontra-se dividida de acordo com os seus correspondentes outputs; 2) Para cada actividade, definir o responsável pela sua implementação; 3) Especificar o orçamento associado a cada actividade durante o período considerado; 4) Analisar a sequência das actividades; a ordem temporal em que estas devem ser realizadas e sua interdependência; 5) Assegurar que o tempo estabelecido para a execução de cada actividade é realista; 6) Assegurar que a alocação de recursos humanos e materiais permitirá a execução da actividade em causa (ou seja, que a mesma pessoa ou o mesmo equipamento não foi programado para duas actividades diferentes em simultâneo); 7) Adicionar o custo de todas as actividades e assegurar-se que os pedidos de pagamento correspondem aos recursos planeados; 8) Definir as etapas importantes do projecto como a realização das principais actividades ou obtenção de metas (milestones). Devem ser também incluídos outros aspectos, como a apresentação de relatórios, as reuniões de Comitê de Pilotagem. INDICADORES Para um bom seguimento de programas e projectos é indispensável que os Indicadores Objetivamente Verificáveis (IOVs) sejam claramente definidos. Os indicadores devem respeitar os seguintes critérios de qualidade. 1) Os indicadores devem ser SMART: específicos, mensuráveis, disponíveis, relevantes e tempestivos; 2) Específicos dos outputs e os objectivos que é suposto medirem. É essencial ter indicadores claros e precisos ao nível dos objectivos (impactos e finalidades) e dos outputs; 3) Mensuráveis (quantitativamente e/ou qualitativamente). Isto significa definir métodos de recolha dos dados, especificar as fontes de informação (arquivos administrativos, levantamento quantitativo, estatísticas nacionais, etc.) e definir responsabilidades (quem, quando e como serão medidos); 4) A medição regular dos indicadores requer tempo e dinheiro. Para garantir que os indicadores são disponbilizados a um custo aceitável, poderá ser útil escolher indicadores standardizados (por exemplo, os Objectivos de Desenvolvimento Sustentável). A disponibilidade de uma linha de base (dados registados pelos indicadores, antes do inicio da intervenção) que permita a aferir o comportamento dos indicadores durante e após a conclusão do projecto, é absolutamente fundamental. Sempre que possível, essas informações devem ser recolhidas durante as etapas de identificação e formulação do projecto, ilustrando a situação real decorrente dos problemas que o investimento deverá ultrapassar ou mitigar. Embora muitas vezes a definição de uma linha de base se revele extremamente difícil, exigindo bastante tempo, deverá ser realizado um esforço para quantificar a linha de base a nível dos indicadores de output, resultado e impacto. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 64

Estas informações são essenciais para avaliar a eventual mais-valia do projecto e o seu impacto. A recolha de dados visando a constituição de uma linha de base deve tomar em linha de conta as seguintes questões práticas: 1) Os impactos a serem produzido pelo projecto são relevantes e consistentes com a política do Governo e com as necessidades reais dos grupos-alvo e beneficiários e irão contribuir para a obtenção dos objectivos de desenvolvimento de longo-prazo; 2) A Finalidade do projecto indica claramente os benefícios diretos para os grupo-alvo que irá beneficiar do investimento; 3) Os outputs descrevem uma melhoria concreta dos serviços, equipamentos e/ou conhecimentos que diretamente irão apoiar a realização da finalidade do investimento; 4) O conjunto das actividades é bem descrito, é viável e indica claramente que os outputs do projecto podem ser obtidos dentro de prazos realistas; 5) A estratégia escolhida não é excessivamente rígida e alterações podem ser feitas durante a implementação. PRESSUPOSTOS E GESTÃO DE RISCOS Conforme já descrito, a obtenção dos objectivos do programa/projecto está sempre sujeita, a factores que escapam ao controlo de gestores de projecto.. É portanto particularmente importante acompanhar as evoluções do “ambiente externo” com a finalidade de atempadamente verificar se os pressupostos previstos confirmam-se e quais os novos riscos que podem eventualmente surgir, introduzindo, deste modo, actividades de mitigação. Neste contexto é também muito importante poder determinar as capacidades (flexibilidade) da intervenção em adaptar-se às eventuais mudanças das condições externas a fim de continuar a assegurar os benefícios previstos para os grupos-alvo/beneficiários. 3.1.2.2.4. ANÁLISE E SISTEMATIZAÇÃO DE DADOS As informações recolhidas devem ser sistematizadas e analisadas a fim de serem utilizadas. Conforme já referido, a actividade da avaliação formativa consiste em comparar o que foi feito com as metas programadas e, se necessário, fornecer uma explicação para a diferença entre “programado” e “registado”. Os indicadores escolhidos para avaliar o desempenho fisico (indicadores de output) bem como a taxa de execução financeira (indicadores de input) dos projectos serão o ponto de partida desta análise e permitirão de dar uma indicação do progresso do projecto (se os resultados e os objectivos foram ou não alcançados conforme o esperado). Estes indicadores são registados em base de dados, especificamente desenvolvida para o efeito. Recolher dados é uma coisa, mas analisá-los de maneira eficaz e convertê-los em informação útil para os decisores é outra. Se não for correctamente analisada ou apresentada, uma grande parte da informação resultante da avaliação formativa pode ser desperdiçada. Quando reflectimos sobre a análise de dados, geralmente, diferentes abordagens são necessárias, tratando-se de dados qualitativos ou quantitativos. Por definição, os dados quantitativos são números que podem ser submetidos a diferentes formas de análise estatística. Os dados qualitativos, por outro lado, fornecem, em geral, informação sobre os pontos de vista, opiniões ou observações e são frequentemente apresentados sob a forma de narrativa. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 65

O quadro abaixo oferece uma visão de alguns dos principais métodos que podem ser utilizados para analisar e apresentar os dados de forma prática. TIPO DE ANÁLISE DESCRIÇÃO O seguimento consiste em comparar o que foi inicialmente previsto com o que foi efectivamente realizado. Este tipo de PROGRAMADO / análise deve estar na base de todo sistema de avaliação formativa REALIZADO e de produção dos respectivos relatórios. Em caso de diferenças entre os dois, os gestores devem analisar as causas do problema e propor as medidas correctivas que se impõem. Apresentar a informação sob forma de percentagem e de taxas é particularmente interessante. Supondo que os objectivos visados sejam razoavelmente realistas, esse tipo de cálculo permite ver PERCENTAGENS / em que medida nos aproximamos das previsões iniciais. Se, por TAXAS exemplo, comparamos o progresso planeado com o progresso real, baixas percentagens revelam imediatamente o ponto fraco que devem estimular uma análise das causas e produzir decisões para remediá-las. Uma análise dos dados disponíveis em diferentes períodos de tempo pode ser extremamente útil para avaliar o desenvolvimento progressivo do projecto. Permite uma melhor visão do sucesso EVOLUÇÃO e/ou insucesso, e permite também identificar as variações sazonais. NO TEMPO Pode ser igualmente útil realizar comparações com períodos E COMPARAÇÃO anteriores. A referência do que se passou em períodos/anos SÉRIES anteriores pode fornecer uma indicação quanto aos resultados TEMPORAIS que podem ser esperados. Analisando a evolução no tempo é importante lembrar que só se deve comparar ‘o que é comparável’. É, consequentemente, essencial recorrer a indicadores estáveis (medir a mesma coisa, da mesma maneira, em diferentes momentos). Os projectos que são executados em lugares diferentes podem ser objeto de um seguimento que permite identificar as variações de VARIAÇÃO progresso em função do local. Os Indicadores podem evidenciar GEOGRÁFICA um comportamento consentâneo com o programado, mas sem revelar os problemas específicos a um lugar e que deveriam ser objeto de estudo adicional. Como nos casos de variações geográficas, poderá ser importante observar a variação entre os resultados registados em diferentes grupos sociais. Por exemplo, o efeito diferenciado do projecto sobre homens e mulheres representa, em diversos casos, uma VARIAÇÃO ENTRE preocupação importante, exigindo que a informação seja ventilada por género e seguidamente analisada de forma sistemática. GRUPOS É igualmente importante investigar se o projecto inclui grupos vulneráveis, como deficientes (em termos de concepção do projecto). Os projectos de redução da pobreza deverão, igualmente, determinar quais os grupos no seio da comunidade que beneficiam das intervenções nele previstas. Muitas actividades de prestação de serviços podem ser monitoradas estabelecendo e recolhendo a informação sobre NORMAS normas ou padrões de referência. Por exemplo, o tempo de resposta de uma agência aos pedidos de ajuda, a relação alunos/ E PADRÕES professores, podem ser analisados e comparados com as normas DE REFERÊNCIA ou padrões de referência adequados, apoiando os gestores na medição da qualidade dos serviços e determinando os aspectos a serem melhorados. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 66

O processo de análise dos dados pelos gestores de projecto será facilitado se foram considerados os seguintes aspectos: ASPECTOS DESCRIÇÃO Uma comparação entre o valor quantitativo do indicador INDICADORES e os previstos (expressos, se possível, em %) dá uma ideia DE PROGRESSO do que foi alcançado. PROGRESSO NA IMPLEMENTAÇÃO A análise do Plano de Trabalho permitirá verificar DO PLANO as actividades que devem ser concluídas. DE TRABALHO PRODUÇÃO DE OUTPUTS Caso alguns outputs tenham já sidoproduzidos, é importante saber se os destinatários os utilizam. Estas informações E GERAÇÃO não podem ser recolhidas por meio de visitas ao terreno. DE BENEFÍCIOS Comparando o total das despesas efectuadas com o orçamento previsto, a execução dará uma % que, comparada com a % do tempo decorrido dirá se a execução financeira é razoável em EXECUÇÃO termos temporais. Um desempenho desadequado poderá explicar FINANCEIRA por que razão algumas actividades não foram realizadas (por exemplo: se um perito não foi recrutado ou o equipamento não foi comprado). O excesso de despesas è um elemento importante que também pode ser despistado. A metodologia de sistematização dos dados é determinada pela especificidade de cada intervenção. Neste manual apresentamos, a título indicativo, orientações genéricas que devem ser consideradas pelos gestores de projectos e programas de investimento público. O sistema contempla três diferentes tipos de actividades de avaliação formativa permanente, sistematizadas de acordo com os responsáveis pela sua gestão: Parceiros de Implementação, Gestores de Unidades de Gestão de Projectos (UGPs), Técnicos da DNP. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 67

As principais características destas actividades são detalhadas na Tabela abaixo: PARCEIRO DE GESTOR DE TÉCNICO DNP IMPLEMENTAÇÃO UGP • Apoiar o papel • Apoiar o papel da • Apoiar o papel do do parceiro de UGP na tomada de técnico da DNP como implementação na decisões e promover parceiro informado tomada de decisões a responsabilidade na tomada de decisões • Auxiliar na elaboração no uso dos recursos • Auxiliar na elaboração de relatórios e a obtenção dos de relatórios • Agregar os dados para resultados e objectivos • Agregar os dados OBJECTIVOS informar a UGP sobre o • Assistir os Técnicos para informar andamento do projecto da DNP na tomada os outros serviços de decisões rápidas de planeamento e eficazes • Agregar os dados para informar a DNP sobre o andamento do Programa • Recolha e análise • Preparação dos • Recolha e análise das informações planos do Programa das informações e elaboração dos • Elaboração de e dos relatórios relatórios do projecto relatórios do • Consulta com a UGP • Consulta com a UGP Programa • Se possível, visitas •Se for o caso, consulta • Visitas de terreno de terreno MÉTODO com outras partes • Recolha de dados • Se for o caso, interessadas e sua análise consulta com outras •Participação no • Consulta das partes interessadas Comité de Pilotagem partes interessadas • Participação no do Programa Comité de Pilotagem • Participação no Comité de Pilotagem do programa do Programa • Plano de monitoria • Relatório Semestral PRODUTO • Relatórios de progresso de Avaliação Formativa • Conforme acordado • Conforme • Formato-Padrão FORMATO com a UGP acordado com a UGP CICLO DE • Semestral RELATÓRIOS Ponto central deste sistema são as UGPs que, durante o período de arranque, elaboram os Planos de Avaliação dos programas e apoiam os Gestores dos Projectos na definição de uma estratégia que permita um eficaz e correcto acompanhamento da sua implementação a partir, naturalmente, da preparação dos relativos Planos de Avaliação dos projectos neles abrangidos. No fim de cada semestre, com base nos dados recolhidos através dos principais instrumentos normalmente utilizados (Matriz do Enquadramento Lógico, Plano de Trabalho/Cronograma, Orçamento e Matriz de Gestão dos Riscos) os responsáveis pela implementação dos projectos, devem elaborar e apresentar aos Gestores dos Programas (UGP), uma Ficha de Síntese de Projecto (Anexo 2) que descreve os progressos registados. A UGP analisa os dados apresentados e no fim de cada semestre (juntamente com os Relatórios de progresso) completam e enviam aos Técnicos da DNP responsáveis pelo seguimento, uma Ficha Síntese de Programa (Anexo 3) contendo a consolidação dos dados disponibilizados pelos vários projectos abrangidos. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 68

De facto, neste Sistema, três níveis de informação devem ser considerados: 1) Relatórios de progresso de cada projecto, capeados por uma Ficha Síntese do Projecto preparada pelo parceiro de implementação, sendo ambos os documentos remetidos para a UGP correspondente; 2) Relatórios de progresso do Programa, capeados por uma Ficha Síntese do Programa preparada pela UGP, sendo ambos os documentos remetidos à DNP; 3) Relatório Semestral de Avaliação Formativa que deve conter uma breve descrição sobre a execução dos Programas. Deve ser atualizado regularmente a partir dos documentos recolhidos e analisados: relatórios de progresso, relatórios anuais, relatórios de visita de terreno e principalmente a Folha de Avaliação Formativa Periódica (que suportam os exercícios de avaliação formativa periódica e cujo conteúdo será descrito mais à frente). Conforme já mencionado, cada nível do sistema de avaliação (projectos, programas e DNP) contempla um conjunto de documentos (Fichas Síntese do Projecto e do Programa, Folha de Avaliação Formativa Periódica, Relatórios de Execução) para a sistematização e análise dos dados. Ao nível dos projectos, as informações periodicamente recolhidas pelos Parceiros da Implementação devem ser sistematizadas numa Ficha Síntese de Projecto que deve ser enviada semestralmente para o Gestor do Programa (UGP) para a sua análise, com cópia aos serviços competentes da DNP (Direcção de Monitorização e Avaliação). Os dados de todas as Fichas Síntese dos Projectos coordenados pelo Programa devem ser consolidados em uma Ficha Síntese do Programa. Ao nível do Programa, além das informações consolidadas sobre os vários projectos abrangidos, a UGP fornecerá informações e dados, através das Fichas Síntese do Programa, também sobre as acções internas (actividades, outputs e objectivos), tais como as acções de coordenação, de formação, de aumento das capacidades institucionais, etc. Estas Fichas, juntamente com os relatórios periódicos, serão enviadas para a Direcção de Monitoria e Avaliação da DNP. As informações sobre a situação atual dos projectos podem, de maneira indicativa, ser incluídas no anexo ao Relatório de Progresso do Programa (UGP) e sistematizadas em tabela. ORÇAMENTO PARCEIRO DE VALORIZAÇÃO PROGRAMA PROJECTO LOCALIZAÇÃO TOTAL OBS. EXECUÇÃO DESEMPENHO UTILIZADO O suporte documental do sistema deve ser considerado como provisório, podendo ser ajustado e adaptado durante a implementação do sistema de avaliação, de acordo com as lições aprendidas e necessidades especificas dos decisores. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 69

3.1.3. AVALIAÇÃO FORMATIVA PERIÓDICA 3.1.3.1.1. OBJECTIVOS E RESPONSABILIDADES A avaliação formativa periódica, dispõe de uma orientação mais abrangente: inclui não somente as actividades e os outputs mas também os benefícios (resultantes da utilização dos outputs) e as mudanças (a contribuição de um projecto a solução de um problema ou satisfação de uma necessidade politicamente relevantes). Deverá ser realizada por técnicos e avaliadores seniores da Direcção de Monitoria e Avaliação da DNP. Os objectivos da avaliação formativa periódica são, portanto: 1) Avaliar a adequação do desenho do projecto ou programa à resolução dos problemas ou necessidades que pretende ultrapassar, centrando-se no critério da relevância; 2) Avaliar o nível de implementação do projecto, centrando-se na eficácia. Estes objectivos são prosseguidos através da obtenção de informação actualizada sobre os indicadores de resultado e de impacto e que serão fornecidos, principalmente, através de visitas periódicas (semestrais) a um universo representativo de projectos. As responsabilidades dos técnicos das UGPs e da DNP são complementares: TÉCNICOS INDICADORES RELATÓRIOS 1. Disponibilizam e actualizam A. Disponibilizam e actualizam a Folha de Avaliação Formativa estrutura de relatórios de avaliação Periódica de suporte a visitas B. Produzem relatórios de execução TÉCNICOS a projectos dos projectos objecto de visitas DNP 2. Registam os indicadores de ao terreno resultado e de impacto recolhidos durante as visitas ao terreno em Base de Dados da DNP 1. Organizam a logística das visitas a A. Asseguram que os projectos projectos por parte de técnicos da DNP que integram o programa 2. Acompanham os técnicos produzem relatórios contendo TÉCNICOS da DNP nas visitas ao terreno os indicadores validados e sua UGP 3. Asseguram que os gestores dos correspondente análise projectos que integram o programa se encontram disponíveis para acompanhar as visitas ao terreno GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 70

3.1.3.1.2. METODOLOGIA DE AVALIAÇÃO FORMATIVA PERIÓDICA Regularmente, serão efectuadas visitas ao terreno (semestrais) conjuntas (DNP / UGPs) ad hoc a uma amostra representativa da composição da carteira de projectos de investimento público, com a finalidade de realizar uma avaliação formativa mais abrangente, focalizada também sobre os efeitos produzidos junto dos beneficiários. A amostra de projectos a visitar deve ser constituída tendo presentes os seguintes critérios: 1) Viabilidade - o número de projectos a visitar deve ser adequado aos recursos disponíveis para realização de actividades de avaliação, mantendo a mesma uma relação custo-beneficio aceitável; 2) Representatividade - o conjunto de projectos a visitar deve ser representativo dos sectores, tipologia de projecto, localização, dimensão que compõem a carteira de investimento públicos. Compete à Direcção de Monitoria e Avaliação da DNP desenhar, semestralmente, a amostra de projectos que serem objecto de avaliação formativa periódica. As conclusões destas visitas serão reflectidas numa Folha de Avaliação Formativa Períodica (Anexo 4) instrumento que, conjuntamente com as Fichas Síntese dos Programas fornece as bases para a elaboração do relativo Relatório de Avaliação (Anexo 5). Estes documentos (Ficha das Conclusões e Relatório de Avaliação) reflectem os progressos na implementação e fornecem os elementos para a análise do programa/projecto baseada nos quatro aspectos: 1) Os aspectos administrativos, que determinam se o sistema de aprovação dos documentos e os aspectos contratuais são geridos adequadamente a fim de garantir a boa execução do programa/projecto (eficiência); 2) Os aspectos financeiros que determinam se a execução financeira é executada de acordo com a programação. Por exemplo, os avaliadores deverão confirmar se as despesas incorridas pelo programa/projecto correspondem ao orçamento previsto; devem ser analisadas as informações financeiras constantes dos relatórios sobre o andamento do projecto (identificando linhas orçamentais que tenham sido esgotadas ou ultrapassadas), assim como os relatórios de auditoria; 3) Os aspectos técnicos, que são a principal preocupação da avaliação. A fim de determinar se os outputs e os objectivos são suscetíveis de serem atingidos conforme programado deverão ser analisados os progressos nos seguintes elementos: i) a execução das actividades do projecto, ii) a disponibilização dos outputs, iii) a probabilidade de atingir finalidade do projecto e a sua sustentabilidade futura), (iv) o funcionamento e a eficiência dos mecanismos de governação do projecto; 4) A capacidade de gestão (dos projectos e dos programas) é também importante para determinar se as informações são fornecidas no tempo previsto, se são de boa qualidade, se o Plano de Avaliação adoptado e as ações propostas a fim de resolver os problemas identificados são adequadas. Para cada aspecto, com base na situação encontrada, será atribuída uma nota de avaliação que ilustrará o grau de desempenho e de risco com relação ao andamento do projecto (caso nenhum comentário possa ser produzido sobre um determinado aspecto, tal será assinalado como “não aplicável”). No final do exercício será atribuída uma nota de valorização agregada do desempenho do projecto. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 71

As conclusões serão resumidas no Relatório de Execução do Projecto (anexo 4) com as respectivas notas. Sucessivamente, as notas assim determinadas serão registadas em base de dados gerida pelos Técnicos da Direcção de Monitoria e Avaliação da DNP. O Sistema de Classificação estrutura-se em quatro níveis. DESCRIÇÃO A Progresso Muito Bom, evidenciando baixo risco de incumprimento de objectivos Progresso conforme Programado, evidenciado baixo risco de incumprimento, B mas com oportunidades de melhoria C Algum Riscos, Problemas que Afectam o Progresso e que devem ser Corrigidos D Riscos e Fraquezas que Afectam Claramente o Desempenho N/A Não Aplicável As valorizações são indicativas e baseadas nas informações disponíveis. É, portanto, recomendado de proceder com cautela na atribuição destas valorizações confirmando que as notas atribuídas correspondem aos comentários explicativos e que estes últimos respondem às exigências que devem ser consideradas. No final do exercício, uma avaliação global do progresso registado pelo projecto deve ser calculada em função destas notas, utilizando a seguinte chave de avaliação global. DIMENSÃO PESO RELATIVO NA AVALIAÇÃO FINAL ASPECTOS ADMINISTRATIVOS 10 % ASPECTOS FINANCEIROS 25 % ASPECTOS TÉCNICOS 45 % CAPACIDADE DE GESTÃO 20 % Uma vez que todas as informações são recolhidas e analisadas pelos Técnicos Direcção de Monitoria e Avaliação da DNP, estes devem elaborar um Relatório de Execução do programa/projecto. A actualização periódica das informações irá permitir comparar o desempenho atual em relação ao anterior, de modo a apresentar as informações às principais partes interessadas e assim poder determinar as medidas à adoptar em cada caso. O sistema pretende-se modular e progressivo. Assim, as Folhas de Avaliação Formativa Periódica, apenas consideram os dados administrativos, financeiros e os critérios de eficiência e eficácia GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 72

Os Relatórios de Execução sintetizam a informação recolhida durante as visitas a projectos constantes da amostra e deverão respeitar a seguinte estrutura. 1) Dados do projecto: número de identificação, data da assinatura da nota de cabimentação orçamental, data de início e de fim do projecto, política que o enquadra, programa em que se insere, classificação funcional e sub-funcional do investimento, nome do técnico da DNP que participa na avaliação, nome da UGP que executa o projecto e do técnico que acompanhou a avaliação. 2) Dados Financeiros: dados-chave sobre o orçamento, fonte de recurso (de financiamento), autorizados, desembolsados, e despesas incorridas pelo projecto até à data. 3) Síntese da Execução do Projecto: principais características da execução do projecto nas seguintes áreas: Valorização do risco de execução em função da revisão nos aspectos administrativos, financeiros, técnicos e de gestão, incluindo uma valorização global. Incluirá também, se existentes, os relatos de avaliações anteriores; Principais questões explicando os resultados atuais e a sua evolução, assim como e se for o caso, os principais desenvolvimentos desde o último relatório (incluindo as mudanças no contexto operacional e no ambiente do projecto); Progresso na realização das actividades, disponibilização dos resultados e obtenção das finalidades, usando corretamente os indicadores da Matriz de Enquadramento Lógico, incluindo explicita referência à eficiência do projecto (execução financeira, implementação das actividades e disponibilização de outputs) e a eficácia potencial (reação dos grupos-alvo aos outputs já disponibilizadas e / ou tendência para produção dos benefícios esperados). 4) Medidas a serem Adoptadas: fazer um resumo dos elementos seguintes: Principais obstáculos ou problemas que o Programa está experimentando e ações a ser tomadas (e por quem); Outras medidas necessárias a fim de apoiar a execução (e por quem). 5) Anexo: A “Folha de Avaliação Formativa Períodica” representa a base analítica. É dividida em quatro áreas onde os aspectos a avaliar são tomados em consideração a fim de avaliar o estado de execução. Cada aspecto tem um peso com a atribuição de uma nota para cada critério e uma nota global é atribuída ao Programa, recorrendo à chave de análise já apresentada. A pontuação do desempenho e dos riscos irá ajudar a determinar os pontos fortes e fracos do Programa e, consequentemente, os aspectos onde devem ser beneficiar de medidas corretivas. A preparação dos Relatórios de Execução envolve quatro etapas: 1) Recolher a informação necessária (Relatórios de Progresso e Fichas de Síntese do Programa) 2) Preencher a Folha de Avaliação Formativa Períodica, respondendo às questões indicativas para cada aspecto e valorizando o desempenho registado. 3) Preencher o Relatório de Execução com os dados gerais e financeiros e resumir a informação relevante sobre a evolução do desempenho, progresso na realização das actividades, no alcance dos resultados e objectivos e suas valorizações. 4) Registar na Base de Dados do SNP os dados do Relatório de Execução. As fontes de informação a serem utilizadas na elaboração do Relatório de Execução são as seguintes: a) Relatórios de progresso e anuais da UGP b) Relatórios de execução anteriores c) Relatórios das visitas de terreno d) Reuniões do Comité de Pilotagem e) Informações financeiras f) Relatórios de Auditorias (se realizadas) GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 73

Após a elaboração dos Relatórios de Execução, todos os dados recebidos sobre o desempenho do Programa e respectivos projectos serão usados para alimentar, juntamente com os dados recolhidos através da avaliação formativa permanente, a Base de Dados do SNP, que fornecerá, de forma sintética mas exaustiva, todas as informações relevantes sobre os progressos dos Programas e dos Projectos nele incluídos. A Base de Dados devera permitir extrair tabelas que evidenciem a evolução da pontuação atribuída a cada Programa, assim como as medidas a serem tomadas. As visitas ao terreno constituem o aspecto central da avaliação formativa periódica. Os relatórios das visitas ao terreno são indispensáveis para uma melhor compreensão do desempenho de um projecto/programa. Permitem de discutir com o gestor do programa e o parceiro da execução os progressos alcançados e avaliar respostas preliminares dos beneficiários às actividades realizadas e outputs disponibilizados. As visitas ao terreno são organizadas pela UGP e realizadas em conjunto com os Técnicos da Direcção de Monitoria e Avaliação de Políticas Públicas (DMAPP), podendo integrar técnicos de entidades terceiras. Devem ser curtas (podem ir desde um dia até uma semana no máximo). A Tabela a seguir resume os pontos importantes a considerar antes de efetuar uma visita de terreno. ETAPA ASPECTOS A CONSIDERAR Contratos ligados à Execução do Projecto, Matriz de Enquadramento Lógico, Plano de trabalho e Orçamento, Relatórios de Avaliação, RECOLHER Dados da Base de Dados do SNP referentes ao projecto. E ANALISAR AS A análise das informações deve determinar: INFORMAÇÕES- 1) as actividades que devem ser realizadas e os outputs a serem -CHAVE disponibilizados pelo projecto; 2) as dificuldades enfrentadas e (3) o tempo decorrido desde o início com relação às despesas efectuadas (execução financeira). O propósito da visita dependerá da avaliação dos riscos de execução. Deverá ser analisado o progresso e, caso o projecto ESCLARECER apresente bons níveis de execução, deverão ser evidenciadas boas A FINALIDADE práticas. Caso sejam detectados riscos, deverão ser produzidas DA VISITA recomendações específicas para os ultrapassar. Se forem encontradas deficiências significativas, poderá ser sugerida a revisão do desenho do projecto. A agenda deverá ser definida com o parceiro de execução, estabelecendo a UGP os contactos necessários. É indispensável visitar os beneficiários finais assim como as autoridades locais DETALHAR e outros agentes relevantes envolvidos. A análise detalhada, A AGENDA com os parceiros de implementação, do modelo lógico da intervenção, do plano de trabalho e da sua execução financeira constituem actividades consumidoras de tempo e de recursos que devem ser adequadamente planeados IDENTIFICAR Com base nas informações recolhidas sobre a situação do projecto OS ASPECTOS e nos agentes a serem contactados, serão definidas as questões de avaliação a serem colocadas aos diferentes entrevistados. A VERIFICAR Serão utilizadas questões do tipo descritivo e normativo. ESCLARECER Uma reunião de briefing será organizada no final da visita. OS BENEFÍCIOS O briefing terá como objectivo informar o parceiro de execução ESPERADOS e, eventualmente, os agentes entrevistados, sobre os possíveis benefícios da visita, e que um relatório será elaborado DA VISITA e distribuído em tempos breves. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 74

3.1.4. RELATÓRIOS DE AVALIAÇÃO FORMATIVA A DMA assegurará a produção de relatórios semestrais de formação formativa que articulam os dados recolhidos através de acções permanentes e periódicas. A estrutura destes relatórios será a seguinte: SUMÁRIO EXECUTIVO CORPO DO RELATÓRIO Parágrafo • Finalidade da Avaliação Introdutório de Contextualização Introdução • Contexto de Desenvolvimento das Políticas • Objectivos e Metas das Políticas da Avaliação Descrição • Âmbito da Avaliação da Avaliação Descrição da • Metodologia de Avaliação e das Grandes Metodologia • Grandes Questões de Avaliação • Estratégia de Análise de Dados Questões que de Avaliação • Limitações Metodológicas a Basearam • Participantes no Exercício de Avaliação Análise Global Evidências • Deverão ser Inteligíveis de Eficiência Quantitativas • Os dados deverão ser apresentados de forma Selectiva do Investimento Recolhidas • As Evidências Quantitativas devem ser suportadas (Avaliação Público Permanente) em indicadores de input-output extraídos da base de dados de suporte ao SNP Tendências de Evidências • As Evidências Qualitativas devem ser suportadas Eficácia Potencial Qualitativas nos Relatórios de Execução de Projectos Recolhidas do Investimento (Avaliação e Programas que integram a amostragem. Público Periódica) • Tabelas e Gráficos deverão para Suportar a Apresentação das Evidências • Deverão ser curtas Conclusões (suportadas • Utilizando terminologia simples • Não adicionar detalhes que não tenham Síntese nas evidências sido já explorados em secções anteriores recolhidas) das Conclusões • Não deverão sintetizar o relatório e Recomendações Recomendações • Deverão ser simples e claras (decorrentes • Baseadas nas Conclusões • Deverão ser apresentadas por parágrafos, das conclusões) de forma enfática e clara. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 75

3.2. AVALIAÇÃO SUMATIVA 3.2.1. CONCEITOS FUNDAMENTAIS A avaliação sumativa incide sobre as políticas públicas, beneficiando das conclusões das avaliações formativas dos programas e projectos de investimento público. O sistema contempla dois tipos de avaliação sumativa: 1) Avaliação Final: a ter lugar imediatamente após conclusão de todos os programas que integram o PND; 2) Avaliação de Impacto: a ter lugar 3 anos após a conclusão de todos os programas que integram o PND. 3.2.2. OBJECTIVOS E RESPONSABILIDADES O objectivo das avaliações sumativas é identificar o impacto das políticas públicas na vida dos cidadãos, identificando boas práticas a serem reproduzidas e erros a serem evitados na formulação e gestão de políticas públicas. As avaliações sumativas incidem, assim, sobre: O sistema contempla dois tipos de avaliação sumativa: A adequação da formulação das políticas públicas às necessidades reais dos São Tomenses, incidindo sobre os seguintes critérios: Relevância; Coerência; Sinergia. A qualidade da implementação das políticas públicas e a forma como as mesmas produziram as realizações esperadas, incidindo sobre os seguintes critérios: Eficiência, Eficácia; Equidade. O impacto das políticas públicas na vida do cidadãos e a forma como as mesmas geraram resultados efectivos, incidindo sobre os seguintes critérios: Utilidade; Sustentabilidade; Impacto. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO SUMATIVA | 76

DIMENSÕES OBJECTO CRITÉRIOS DE AVALIAÇÃO • Relevância 3.2.1. CONCEITOS FUNDAMENTAIS Formulação de Políticas • Coerência SUMATIVA • Sinergia FINAL • Eficiência Implementação de Políticas • Eficácia • Equidade • Utilidade SUMATIVA DE IMPACTO Implementação de Políticas • Sustentabilidade • Impacto As avaliações sumativas de políticas públicas exigem objectividade total, pelo que deverão ser 3.2.2. OBJECTIVOS E RESPONSABILIDADES realizadas por peritos independentes, sem responsabilidades na formulação e implementação de políticas públicas. As responsabilidades dos técnico da DNP (Direcção de Monitoria e Avaliação) e dos Avaliadores Independentes são, naturalmente, complementares. TAREFAS DE TÉCNICOS AVALIAÇÃO SUMATIVA RELATÓRIOS 1. Definem e actualizam termos A. Disponibilizam e actualizam de referência padrão para exercícios a estrutura de relatórios de de avaliação sumativa. avaliação sumativa, de acordo com 2. Definem o referencial metodológico as melhores práticas internacionais. p/ realização de avaliações sumativas. B. Validam os relatórios 3. Procedem ao lançamento de avaliação sumativa submetidos de concursos públicos internacionais por avaliadores independentes. TÉCNICOS visando a contratação de Avaliadores C. Asseguram a disseminação DNP Independentes. das conclusões e recomendações 4. Seleccionam Avaliadores, de acordo emanadas dos relatórios de com critérios claramente definidos. avaliação junto de decisores políticos. 5. Supervisionam o desenvolvimento D. Asseguram que os resultados do trabalho de campo a cargo da avaliação são adequadamente de avaliadores independentes. registados e preservados em base 6. Facilitam os contactos dos de dados de suporte à gestão do SNP. avaliadores com entidades relevantes. 1. Conduzem o trabalho de campo, A. Produzem os relatórios de acordo com os referenciais de avaliação, de acordo com metodológicos internacionais as melhores praticas internacionais. TÉCNICOS de avaliação de políticas públicas UGP 2. Mantém a DNP informada sobre o desenrolar dos trabalhos e sobre eventuais dificuldades de obtenção de informação relevante. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO SUMATIVA | 77

3.2.3. METODOLOGIA DE AVALIAÇÃO SUMATIVA Compete à Direcção de Monitoria e Avaliação definir o referencial metodológico a ser prosseguido pelos avaliadores independentes. As avaliações sumativas a cargo de avaliadores independentes deverão estruturar-se em torno de questões de avaliação que, conforme, já explicitado no capítulo 2.4.7, podem ser de três tipos: O QUE É? Os objectivos Procuram compreender As intervenções justificam-se à luz das ou descrever um projecto estão alinhadas necessidades/ prioridades? ou processo. com os objectivos? Perguntas Directas: Quem? O Quê? Aonde? Quando? Como? Quanto? Os resultados previstos DESCRITIVA Os resultados obtidos foram alcançados? são duradouros? O QUE DEVERIA SER? CAUSA- E ENTÃO? Determinam a diferença Comparam “o que é” com NORMATIVA -EFEITO que a intervenção produziu. “o que deveria ser” Pretendem medir o que Comparam a situação actual mudou em consequência com uma meta da intervenção pré-definida SUSTENTABILIDADE É possível utilizar os recursos Que Mudanças foram públicos mais adequadamente? determinadas pela Política? Esta tipologia de questões articula-se logicamente com os critérios de avaliação. CRITÉRIOS DESCRITIVAS NORMATIVAS CAUSA-EFEITO RELEVÂNCIA COERÊNCIA EFICIÊNCIA SINERGIA EQUIDADE UTILIDADE EFICÁCIA SUSTENTABILIDADE IMPACTO GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 78

3.2.3. METODOLOGIA DE AVALIAÇÃO SUMATIVA A selecção das questões de avaliação deverá obedecer a uma abordagem sistemática, em que, sucessivamente, são eliminadas questões redundantes e de reduzida relevância, recorrendo a um sistema de notação simples, conforme o que se propõe na tabela seguinte. QUESTÕES DE AVALIAÇÃO A QUESTÃO SERÁ... 1 2 3 4 5 6 7 ... 1 De interesse para actores-chave? 2 Importante para reduzir a incerteza actual? 3 Relevante para a obtenção de info importante? 4 De interesse continuado? 5 Crítica para o âmbito e detalhe da avaliação? 6 Terá impacto em processos de tomada de decisão? 7 Passível de resposta 7.1. Tendo em conta os RH e financeiros? 7.2. Tendo em conta o factor tempo? Os avaliadores independentes submetem à Direcção de Monitoria e Avaliação da DNP uma proposta de lista de grandes questões de avaliação, desdobradas em sub-questões especificas, organizadas por tipologia. Os avaliadores independentes deverão apresentar a lista de questões de avaliação de acordo com o seguinte formato. QUESTÕES ESTRATÉGIAS ANÁLISE análise sub- tipo- amostra instrumento questão design indicadores fontes dos -questão - questão (se aplicável) de recolha dados GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO SUMATIVA | 79

3.2.4. RELATÓRIOS DE AVALIAÇÃO SUMATIVA Compete à DNP validar a listagem de questões de avaliação antes do inicio do trabalho de campo. Uma vez concluído o trabalho de campo, deverão ser produzidos relatórios de avaliação sumativa que deverão estar organizados em duas secções. SUMÁRIO EXECUTIVO CORPO DO RELATÓRIO Parágrafo Introdutório • Finalidade da Avaliação de Contextualização Introdução • Contexto de Desenvolvimento das Políticas da Avaliação • Objectivos e Metas das Políticas • Âmbito da Avaliação • Metodologia de Avaliação Descrição da Avaliação Descrição • Grandes Questões de Avaliação e das Grandes Questões da Metodologia que a Basearam de Avaliação • Estratégia de Análise de Dados • Limitações Metodológicas • Participantes no Exercício de Avaliação • Deverão ser Inteligíveis • Os dados deverão ser apresentados de forma Selectiva Síntese das Principais Evidências Evidências Recolhidas Recolhidas • As Evidências devem ser Apresentadas em torno de Questões • Tabelas e Gráficos deverão para Suportar a Apresentação das Evidências • Deverão ser curtas Conclusões • Utilizando terminologia simples (suportadas nas evidências • Não adicionar detalhes que não tenham sido já explorados em secções anteriores Síntese das Conclusões recolhidas) • Não deverão sintetizar o relatório e Recomendações • Deverão ser simples e claras Recomendações (decorrentes • Baseadas nas Conclusões das conclusões) • Deverão ser apresentadas por parágrafos, de forma enfática e clara. GESTÃO DE OPERAÇÕES DE AVALIAÇÃO - AVALIAÇÃO FORMATIVA | 80

04 3.2.4. RELATÓRIOS DE AVALIAÇÃO SUMATIVA

A ABORDAGEM DO QUADRO LÓGICO A Abordagem do Quadro Lógico (Log Frame Approach) é uma metodologia para planear, gerir e avaliar programas e projetos, envolvendo a análise dos agentes, a análise do problema, a análise dos objetivos, a análise das estratégias, e preparação da matriz de enquadramento lógico e Planos de Atividades e de Recursos. AGENTES Indivíduos ou grupos de indivíduos, interesses ou grupos de interesses que possam ter um interesse significativo no sucesso ou insucesso do projeto. A influência dos agentes diminui ao longo do ciclo de vida do projeto, sendo mais elevada nas fases iniciais de identificação e formulação. ÁRVORE DE PROBLEMAS Ferramenta utilizada durante a Fase de Análise da Abordagem do Quadro Lógico para identificar os aspetos negativos da situação existente e estabelecer relações de causa e efeito entre os problemas identificados. As causas (raiz) são apresentadas nos ‘ramos’ mais baixos da árvore, enquanto os efeitos se apresentam nos ramos superiores. O problema fulcral está representado no centro da árvore. ATIVIDADES As ações necessárias para desenvolver os produtos e serviços que o projeto deve produzir. AVALIAÇÃO Uma aferição permanente ou periódica da eficiência, eficácia, impacto, sustentabilidade e relevância de um projeto no contexto dos objetivos declarados. Costuma realizar-se como um exame independente, de modo a retirar lições que possam orientar futuras tomadas de decisão. A avaliação envolve input externo (para preservar a objetividade), sendo um exercício periódico que pretende retirar lições para projetos futuros. Tomando a matriz do quadro lógico como referência, esta matriz centra-se na forma como traduzimos os resultados em objetivos (finalidade e objetivos globais). AVALIAÇÃO FINAL A avaliação que decorre imediatamente após a conclusão de todas as atividades do projeto e a produção dos resultados do projeto. A avaliação final centra-se na eficiência, eficácia, relevância e sustentabilidade. GLOSSÁRIO | 82

AVALIAÇÃO FORMATIVA A recolha, análise e uso sistemáticos e contínuos de informação com fins de gestão e tomada de decisão. A avaliação formativa é uma responsabilidade permanente da gestão interna que pretende avaliar o progresso, introduzir medidas corretivas e atualizar planos. Se tomarmos a Matriz de Enquadramento Lógico como referência, a monitorização centra-se na forma como transformamos meios/inputs em atividades, e atividades em outputs. A avaliação formativa permanente poderá ser complementada por avaliações periódicas, envolvendo visitas a projectos com o fim de determinar a qualidade do processo pelo qual estão a ser produzidos os outputs, avaliando uma primeira reacção dos beneficiários às actividades realizadas e, eventualmente, o grau de utilização dos outputs. AVALIAÇÃO PROSPECTIVA O processo de avaliação que se realiza antes da implementação das atividades do projeto, para definir uma imagem instantânea da realidade antes das mudanças que virão por meio do projeto, identificando problemas e necessidades e uma estratégia de resposta às mesmas. Esta imagem será a linha de base do projeto. Posteriormente, a definição de uma linha de base será crítica para medir o impacto do projeto. AVALIAÇÃO DE IMPACTO (OU EX-POST) O processo de avaliação que se realiza um tempo razoável (3-5 anos) após a conclusão de todas as atividades do projeto, para medir a contribuição dos objetivos do projeto às metas políticas para as quais se pretendia. Combinada com a linha de base definida durante a avaliação ex-ante, a avaliação ex-post fornecerá o input necessário para medir o impacto. A avaliação ex-post centra-se principalmente na forma como a finalidade do projeto contribuiu para o cumprimento dos objetivos globais. AVALIAÇÃO INTERCALAR Processo de avaliação que decorre mais ou menos a meio do prazo do projeto de modo a aceder ao desempenho e retirar lições para futuros projetos. B BENEFICIÁRIOS São aqueles que beneficiam de alguma forma da implementação do projeto. Pode-se distinguir entre: (a) Grupo-Alvo (Beneficiários Directos): o grupo/entidade que será imediatamente positivamente afetado pelo projeto ao nível da Finalidade do Projeto; (b) Beneficiários Indirectos: aqueles que beneficiam do projeto a longo prazo ao nível da sociedade ou do sector em geral, por exemplo “crianças”, devido ao aumento das despesas com saúde e educação, ou “consumidores”, devido à melhoria da produção agrícola e marketing. GLOSSÁRIO | 83

C CALENDÁRIO DAS ATIVIDADES Um gráfico de Gantt, uma representação semelhante a um gráfico de barras, definindo a calendarização, sequência e duração das Atividades do projeto. Também se pode utilizar para identificar marcos do progresso do projecto e para atribuir responsabilidades pelo cumprimento desses marcos. A programação de custos especifica os recursos necessários para realizar cada atividade, estabelecendo assim uma programação por período de planeamento do projeto. A programação de custos traduz-se num gráfico Gantt em que as quantidades e montantes necessários para realizar as atividades são distribuídos pelos diferentes dias / semanas / meses considerados no tempo do projeto. CICLO DO PROJETO O ciclo do projeto segue a vida de um projeto desde a ideia inicial até à sua conclusão. Fornece uma estrutura para garantir que os agentes são envolvidos em todas as etapas, e define as principais decisões, requisitos de informação e responsabilidades em cada fase, para que se possam tomar decisões fundamentadas em cada fase da vida de um projeto. Recorre à avaliação paranormal integrar as lições da experiência na conceção de futuros programas e projetos. E EFICÁCIA Um dos atributos do quadro de qualidade na base dos processos de tomada de decisão que têm lugar ao longo do ciclo de vida do projeto. A eficácia mede até que ponto o projeto está a produzir os benefícios previstos. A eficácia centra-se na forma como os outputs estão a contribuir para o cumprimento da finalidade do projeto. EFICIÊNCIA O facto de os resultados serem obtidos a um custo razoável, isto é, quão bem os meios e as atividades foram convertidos em outputs, e a qualidade do processo subjacente. ESTUDO DE VIABILIDADE Estudo realizado durante fase de formulação e que pretende caracterizar o problema que o projeto deve abordar e elaborar a hierarquia de objetivos para lidar com ele. Os estudos de pré-viabilidade integram a tipologia das avaliações prospectivas. ESTUDO DE PRÉ-VIABILIDADE O estudo pré-viabilidade, realizado durante a fase de identificação, garante que todos os problemas estejam identificados e que se analisem soluções alternativas, e seleciona uma alternativa preferida com base em Atributos de Qualidade. O estudo ao suficiente para justificar a aceitação, modificação ou rejeição do projeto proposto a nova apreciação. Os estudos de viabilidade integram a tipologia das avaliações prospectivas. GLOSSÁRIO | 84

F FINALIDADE Benefícios para o grupo-alvo que surgem do uso dos produtos ou serviços desenvolvidos por um projeto. De modo a cumprir a finalidade de um projeto, devemos produzir todos os outputs previstos. Se alcançarmos a finalidade do projeto, estaremos a contribuir para a produção dos impactos esperados (objectivos de política de médio / longo-prazo). A finalidade pode, também, por vezes ser designado como Objectivo Especifico do Projecto / Programa. FIP A FIP (Ficha de Identificação do Projeto) é o modelo normalizado utilizado pelas entidades responsáveis pela gestão do SNP para apresentar a intervenção proposta com base numa análise dos problemas identificados, lições aprendidas a partir das capacidades e necessidades das partes interessadas, questões transversais, riscos e pressupostos, sustentabilidade. As Unidades Sectoriais e Regionais de Planeamento esboçam e propõem a resposta mais apropriada com base na análise. A ficha de identificação pretende funcionar como um mecanismo de apoio inicial que fornece a base para mais discussão e feedback da DNP antes do início da fase de formulação. A DNP conduz o diálogo com UGPs, Parceiros de Implementação e Entidades Financiadoras sobre a conceção do projeto. Neste contexto os parceiros são responsáveis pela conceção do projeto. O pessoal da DNP tem a responsabilidade de facilitar este processo para que a qualidade e apropriação pelos parceiros seja assegurada. FONTES DE VERIFICAÇÃO Integram a matriz de enquadramento lógico e indicam onde e de que forma se pode encontrar informação sobre a produção dos Impactos, Finalidade(s) do Projeto e Outputs (descritos pelos Indicadores Objetivamente Verificáveis). Devem incluir informações sintéticas sobre o método de recolha, quem é responsável e com que frequência a informação deve ser recolhida e comunicada. G GCP A expressão GCP (Gestão do Ciclo do Projeto) é utilizada para descrever as atividades de gestão e procedimentos referentes à tomada de decisão usados durante o ciclo de vida de um projeto. GRUPO-ALVO O grupo/entidade que beneficiará, directamente, da utilização dos outputs gerados pelo projecto/programa. GLOSSÁRIO | 85

H HIERARQUIA DE OBJETIVOS Uma ferramenta utilizada durante a Fase Analítica da Abordagem do Quadro Lógico, para descrever a situação uma vez ultrapassados os problemas identificados. A hierarquia de objetivos estabelece a relação entre os meios e os fins, em que os meios (outputs são apresentados nos níveis inferiores da árvore e os fins (impactos) são apresentados nos níveis superiores. A finalidade do projeto é representada no centro da árvore. A hierarquia de objectivos também pode ser designada por Cadeia de Resultados. I IMPACTO Os efeitos de longo-prazo do projeto sobre a realidade na qual interveio, traduzindo as mudanças decorrentes da sustentabilidade dos benefícios gerados pela utilização dos outputs. A medição do impacto de uma intervenção decorre da diferença entre a linha de base e o comportamento destes mesmos indicadores após uma avaliação sumativa de impacto. INDICADORES Qualidades, Quantidades, Lugares ou Prazos que permitirão aferir em que medida os objetivos foram ou não atingidos nos três níveis mais elevados do quadro lógico (impactos, finalidades e outputs). Os indicadores fornecem a base para a criação de um sistema adequado de avaliação. Os indicadores devem ser SMART: Specific/Específicos, Measurable/Mensuráveis, Available/ Realizáveis, Relevant/Relevantes e Timely/Tempestivos. L LÓGICA DE INTERVENÇÃO A estratégia subjacente ao projeto. É a descrição narrativa do projeto em cada um dos quatro níveis da ‘hierarquia de objetivos’, utilizada no quadro lógico. GLOSSÁRIO | 86

M MATRIZ DE ENQUADRAMENTO LÓGICO A Matriz do Enquadramento Lógico (Log Frame Matrix) é a matriz na qual se apresentam a Lógica de Intervenção, Pressupostos, Indicadores Objetivamente Verificáveis, Linha de Base, Metas Valores Actuais e Fontes de Verificação de um projeto ou programa. É uma tabela onde a Lógica de Intervenção (Impactos, Finalidades, Outputs e Atividades) é apresentada em linha e os Indicadores Objetivamente Verificáveis, Linha de Base, Metas, Valores Actuais, Fontes de Verificação e Pressupostos são apresentadas em coluna. Fornece uma visão resumida do projeto, sendo uma ferramenta de gestão do projeto (para fins de avaliação formativa e sumativa) e um documento que suporta processos de tomada de decisão. MEIOS Os recursos exigidos para desempenhar as atividades consideradas necessárias para produzir os outputs do projeto. O OUTPUTS Os produtos ou serviços desenvolvidos pelo projeto e que serão fornecidos ao grupo-alvo. De modo a produzir ouptus do projeto, devem realizar-se atividades. A conjugação dos diferentes produtos e serviços permitirá ultrapassar problemas e satisfazer necessidades do grupo-alvo, cumprindo assim a finalidade do projeto. P PRESSUPOSTOS Fatores externos que podem afetar o sucesso do projeto, mas sobre os quais o gestor do projeto não tem qualquer controlo direto. Integrada a Matriz de Enquadramento Lógico, e são redigidos de forma positiva, por exemplo: “Reforma do processo penal implementada com sucesso”. Na Matriz de Enquadramento Lógico, apenas são apresentados pressupostos nas linhas correspondendo a atividades, resultados e finalidade: Se desenvolvermos todas as atividades e os pressupostos apresentados na linha correspondente da Matriz se confirmarem, então produziremos os outputs. Se produzirmos os outputs e os pressupostos apresentados na linha correspondente da Matriz se confirmarem, então cumpriremos a finalidade. Se cumprirmos a finalidade e os pressupostos apresentados na linha correspondente da Matriz do Quadro Lógico se confirmarem, então produziremos os Impactos. GLOSSÁRIO | 87

PROGRAMA Pode ter diversos significados, sendo ou (i) um conjunto de projetos reunidos sob o enquadramento geral de Impactos comuns; (ii) um conjunto permanente de iniciativas/serviços que apoiam objetivos comuns (ex. um Programa de Cuidados de Saúde Primários); ou (iii) um Programa Sectorial, que se define pela política sectorial do governo responsável (ex. um Programa no Sector da Saúde). PROJETO Uma intervenção que pretende produzir uma alteração na realidade, exigindo a mobilização de meios que fomentem atividades que, quando conjugadas, devem resolver problemas reais e satisfazer as necessidades de um grupo-alvo bem definido. Q QUADRO DE QUALIDADE O Quadro de Qualidade é uma ferramenta de apoio à avaliação prospectiva de projetos, sendo utilizada nas fases de identificação e formulação. Integra 3 Atributos de Qualidade (Relevância, Viabilidade e Eficácia), desdobrados em 16 Critérios complementares. O Quadro de Qualidade pode ser utilizado ou como uma lista de verificação das questões principais a serem avaliadas/ analisadas nas fases de identificação e formulação. R RELEVÂNCIA Um dos atributos do quadro de qualidade na base dos processos de tomada de decisão que têm lugar nas etapas de identificação e formulação. A relevância incide sobre a forma como o projeto aborda (ou não aborda) uma necessidade demonstrada e politicamente prioritária. RISCOS Risco é a probabilidade de que um pressuposto não ser confirmado, comprometendo a realização de actiividades, produção de outputs e obtenção dos objetivos do projeto. Os riscos são compostos por fatores internos e externos ao projeto, embora o foco se centre habitualmente naqueles fatores fora do controlo direto da gestão do projeto. GLOSSÁRIO | 88

S SISTEMA NACIONAL DE PLANEAMENTO Conjunto articulado de instrumentos de curto, médio e longo-prazo que apoiam a concretização de objectivos de politico de médio / longo-prazo. SUSTENTABILIDADE A probabilidade de haver continuação no fluxo de benefícios produzidos pelo projecto ou programa após conclusão da intervenção Os fatores chave que influenciam a probabilidade de sustentabilidade incluem: (i) apropriação por parte dos beneficiários; (ii) apoio/coerência das políticas; (iii) tecnologia adequada; (iv) ambiente; (v) questões socioculturais; (vi) igualdade de género; (vii) capacidade institucional; e (viii) viabilidade económica e financeira. V VIABILIDADE Um dos atributos do quadro de qualidade na base dos processos de tomada de decisão que têm lugar ao longo das etapas de identificação e formulação. A viabilidade mede quão realista, em particular no que toca ao prazo de execução de orçamento. GLOSSÁRIO | 89

05 ANEXOS 5.1. MATRIZ SNP 5.2. FICHA SÍNTESE DE PROJECTO 5.3. FICHA SÍNTESE DE PROGRAMA 5.4. FOLHA DE CONCLUSÕES 5.5. RELATÓRIO DE AVALIAÇÃO

ANEXOS 5.1. MATRIZ SNP ANEXOS - MATRIZ SMP | 91

PLANOS DISTRITAIS Estabelece o quadro de articulação entre as intervenções de natureza nacional e sectorial nos Distritos e as intervenções tuteladas pelas Câmaras Distritais. Referencial de coordenação (políticas nacionais e regionais) Mandato da Câmara Câmara Distrital Variável Serviço que coordena tecnicamente o SNP Serviço de planeamento das Câmaras Distritais Serviço de planeamento das Câmaras Distritais PLANOS REGIONAIS Estabelece o quadro de articulação entre as intervenções de natureza nacional e sectorial na Região Autónoma do Príncipe e as intervenções tuteladas pelo Governo da Região, de acordo com o seu Programa. Referencial de coordenação (políticas nacionais e regionais) Legislatura Regional Governo Regional Primeira sessão legislativa e até três meses após a aprovação do Programa do Governo. Serviço qu Grandes Opções do Plano Fundamenta a proposta de Orçamento Geral do Estado ao estabelecer os objectivos, as prioridades e as medidas de política económica do Governo para o ano seguinte. Referencial estratégico e operacional. Anual Assembleia Nacional Proposta até 30 de Setembro, de acordo com calendário do Orçamento Geral do Estado. Serviço que coordena tecnicamente o SNP Serviço que coordena tecnic ANEXO 1 - MATRIZ SNP PLANOS NACIONAIS Plano Nacional Planos Sectoriais de Desenvolvimento Estabelece as orientações Estabelecem, no quadro estratégicas de médio das orientações prazo, em todos estratégicas definidas os sectores relevantes pelo PND e pelo para o desenvolvimento Programa do Governo, económico e social as orientações do país, em consonância de médio prazo para com o Programa os sectores-alvo. do Governo. ESTRATÉGIAS DE LONGO PRAZO Agenda Estratégias Desenvolvimento Sectoriais de Longo Prazo Define os objectivos Define os objetivos e as orientações e as orientações estratégicas para estratégicas para sectores ou domínios o desuenvolvimento de política do país Referencial. Com base Prospectiva. Com base em diagnóstico em cenários sobre e tendências de desen- grandes tendências volvimento do sector exógenas e n Finalidade Natureza Horizonte Temporal Responsabilidade Política Calendário de Aprovação ou Revisão Orientações Metodológicas Responsabilidade técnica pela elaboração da proposta da proposta Contributos Técnicos ANEXOS - MATRIZ SMP | 92 Definição Preparação técnica

PLANOS DISTRITAIS Serviço que coordena tecnicamente o SNP Serviço de planeamento da Câmara Distrital Variável Serviços da Câmara Distrital, quando aplicável Serviço que coordena tecnicamente o SNP Serviço de planeamento da Câmara Distrital Variável (externa ou serviço que coordena tecnicamente o SNP) Variável PLANOS REGIONAIS Serviço que coordena tecnicamente o SNP Serviço de planeamento do Governo Regional e serviço que superintende o SAFE Relatório Anual (até final do 1º trimestre do ano seguinte) Primeira sessão legislativa e até três meses após a aprovação do Programa do Governo Serviço que coordena tecnicamente o SNP Serviço de planeamento do Governo Regional Entidade externa • Meio-Percurso: 2 a 3 anos após aprov Grandes Opções do Plano n.a. n.a. Não aplicável (incluído na proposta do ano seguinte) n.a. n.a. n.a. n.a. n.a. ANEXO 1 - MATRIZ SNP PLANOS NACIONAIS Plano Nacional Planos Sectoriais de Desenvolvimento Serviço que coordena Serviço que coordena tecnicamente o SNP tecnicamente o SNP Serviços Serviços de planeamen- de planeamento to dos ministérios en- de todos os ministérios volvidos e serviço que e serviço que superintende o SAFE superintende o SAFE • Relatório Anual (até final do 1º trimestre Relatório Anual do ano seguinte); (até final ESTRATÉGIAS DE LONGO PRAZO Agenda Estratégias Desenvolvimento Sectoriais de Longo Prazo Serviço que coordena Serviço que coordena tecnicamente o SNP tecnicamente o SNP Serviços de planeamento Serviços de todos os ministérios de planeamento envolvidos e serviços de todos os ministérios especializados e serviço que das finanças superintende o SAFE Relatório Anual Relatório Anual (até final (até final do 1º trimes Coordenação técnica global Alimentação do sistema de informação Tipo de reporte e periodicidade Responsabilidade pelo reporte Coordenação técnica global Alimentação do sistema de informação Tipo de reporte e periodicidade Responsabilidade pelo reporte Monitorização ANEXOS - MATRIZ SMP | 93 Avaliação

5.2. FICHA SÍNTESE DE PROJECTO ANEXOS - FICHA SÍNTESE DE PROJECTO | 94

Comentários Pessoa contacto : Nome, Função, Contacto Nº de beneficiários atendidos Realizações Descrição ANEXO 2 - FICHA SÍNTESE DE PROJECTO Data : s Data Nº de beneficiários previstos V IOVs FICHA SÍNTESE DE PROJECTO Preparada e actualizada por : Parceiro de implementaçao : Lógica da intervenção Objectivo Bens de Capital Actividade 2 Actividades Actividade 1 específico ou Serviços Produtos, Outputs Output 4 Output 3 Output 2 Output 1 + ANEXOS - FICHA SÍNTESE DE PROJECTO | 95 Actividade 3 Actividade 4 Actividade 5 Actividade 6

5.3. FICHA SÍNTESE DE PROGRAMA ANEXOS - FICHA SÍNTESE DE PROGRAMA | 96

Comentários Pessoa contacto : Nome, Função, Contacto Nº de beneficiários atendidos Realizações Descrição ANEXO 2 - FICHA SÍNTESE DE PROGRAMA Data : s Data Nº de beneficiários previstos V IOVs FICHA SÍNTESE DE PROJECTO Preparada e actualizada por : Parceiro de implementaçao : Lógica da intervenção (ou finalidades) Bens de Capital Objectivos Actividade A Actividades específicos ou Serviços Produtos, Outputs Output A Output D Output E Output B Output C + ANEXOS - FICHA SÍNTESE DE PROGRAMA | 97 Actividade B Actividade C Actividade D Actividade E Actividade F

5.4. FOLHA DE CONCLUSÕES ANEXOS - FOLHA DE CONCLUSÕES | 98

FOLHA DE AVALIAÇÃO FORMATIVA PERIÓDICA Título do Projecto/Programa: Gestor do Projecto/Programa: Código do Projecto/Programa: Data do Relatório: Balanço dos 1. ASPECTOS ADMINISTRATIVOS/TEMÁTICOS N/A A B C D 10% resultados 1.1. Os aspectos contratuais são geridos de maneira adequada a fim de assegurar uma boa execução do projecto? a) Respostas atempadas aos pedidos da UGP e de apresentação e aprovação dos relatórios b) Necessidades de mudanças do Contrato e/ou no IV Acordo de Financiamento c) Os aspectos administrativos são devidademente tomados em conta d) Houve atrasos entre a assinatura da NC e o início das operações? Quais são as razões? CONCLUSÃO DO DESEMPENHO PARA OS ASPECTOS ADMINISTRATIVOS/TEMÁTICOS 2. ASPECTOS FINANCEIROS N/A A B C D Balanço dos 25% resultados 2.1. Os recursos foram atempadamente dis- ponibilizados e a execução financeira segue a programação? a) Os recursos financeiros são disponibiliza- dos a tempo por todas as partes implicadas b) Execução financeira em relação com o tempo passado na execução do projecto c) Conclusões dos relatórios de auditoria d) Pagamento pontual pelo programa e pelos projectos e) As linhas orçamentais foram sub ou sobre orçamentados? CONCLUSÃO DO DESEMPENHO PARA OS ASPECTOS FINANCEIROS 3. ASPECTOS TÉCNICOS N/A A B C D Balanço dos 45% resultados 3.1 A implementação das actividades é gerida correctamente? a) Utiliza-se o quadro lógico ou o calendário das actividades como instrumento de gestão? b) Actividades realizadas segundo o plano de trabalho c) Recursos humanos e físicos utilizados para a execução das actividades 3.2 Os produtos do projecto são obtidos de forma apropriada e como previsto? a) Os produtos planeados foram realizados a tempo? E segundo uma sequência lógica? b) Qualidade dos produtos realizados até agora c) Acções necessárias para implementar as acções propostas a fim de ultrapassar as dificuldades na execução do Projecto/Programa d) Beneficiários reais vs previstos ANEXOS - FOLHA DE CONCLUSÕES | 99

FOLHA DE AVALIAÇÃO FORMATIVA PERIÓDICA N/A A B C D Balanço dos 45% resultados 3.3 Em que medida o Projecto/Programa assegura a produção de outputs previst os a) Os indicadores definidos ao nível dos outputs e dos objectivos estão a ser atingidos como previsto? b) No estado actual de execução do Projecto/Programa, qual é a p robabilidade de que a finalidade possa ser obtida? c) Como o Projecto/Programa se organiza e se adapta aos factores externos (outros projectos, doadores, etc) 3.4 Os mecanismos de coordenação funcionam correctamente? a) Regularidade das reuniões do Comité de Pilotagem do Programa b) Se um Comité de Coordenação existe, as reuniões permitem uma melhor sinergia entre os Projectos? DESEMPENHO DOS ASPECTOS TÉCNICOS Balanço dos GESTÃO DA UGP N/A A B C D 20% resultados 4.1 Como a Unidade de Gestão do Projecto/ Programa (UGP) gere o Projecto/Programa ? a) Apresentação atempada dos relatórios e sua qualidade (inclusive a actualização dos indicadores e dos objectivos do projecto) b) Qualidade da informação fornecida sobre o desempenho dos Projectos e qualidade das visitas de terreno e aos Projectos/Programas c) Qualidade do quadro lógico, dos planos de trabalho e das medidas tomadas para a sua actualização e melhoria d) Qualidade das medidas adoptadas para melhorar a execução do Projecto/Programa e) Se existe, qual é a qualidadeeficácia do Comité de Gestão? f) Qualidade do Plano de Avaliação e da sua implementação DESEMPENHO DA GESTÃO DA UGP CONCLUSÃO DO DESEMPENHO GLOBAL ANEXOS - FOLHA DE CONCLUSÕES | 100