Document of The World Bank FOR OFFICIAL USE ONLY Report No: 28961 IMPLEMENTATION COMPLETION REPORT (CPL-38710) ON A LOAN IN THE AMOUNT OF US$ 51 MILLION TO THE REPUBLIC OF COLOMBIA FOR AN AGRICULTURE TECHNOLOGY DEVELOPMENT PROJECT June 15, 2004 ESSD Sector Management Unit Mexico and Colombia Country Management Unit Latin America and the Caribbean Region This document has a restricted distribution and may be used by recipients only in the performance of their official duties. Its contents may not otherwise be disclosed without World Bank authorization. CURRENCY EQUIVALENTS (Exchange Rate Effective December 31, 2003) Currency Unit = Colombian Peso (COP) 2778.21 COP = US$ 1.00 US$ 0.0003599 = 1 COP FISCAL YEAR January 1 ­ December 31 ABBREVIATIONS AND ACRONYMS BNAA Annual Net Benefit (Beneficio neto anual actualizado) CAS Country Assistance Strategy CORPOICA Colombian Corporation for Agricultural Research (Corporacion Colombiana de investigacion agropecuaria) DFID Department for International Development (UK) ECOFONDO Fund for financing of Environmental projects (Fondo para la financiación de proyectos del medioambiente) ESSD Environmentally Sustainable Social Development FAJA Administrative Financial and Legal Unit (Unidad administrativa, financiera y jurídica) FOREC Fund for the reconstruction of the coffee region (Fondo para la Reconstrucción del eje cafetero de la Presidencia de la Republica) FRR Financial Rate of Return (Tasa de retorno financiera) GREMIOS Producer Organization (Organicacion del productores) ICA Colombian Agricultural Institute (Instituto Colombiano Agropecuario) ICB International competitive bidding (Licitación publica internacional) ICR Implementation Completion Report (Informe Final del ejecución del Prestatario) IICA Inter. American Institute for Agricultural Cooperation (Instituto Interamericano de Cooperación para la Agricultura) ILI Learning ICR IRR Internal Rate of Return (Tasa interna de retorno) LCSER Latin America and the Caribbean Rural Development Family M&E Monitoring and Evaluation Unit M.A. Master of Arts MADR Ministry of Agriculture and Rural Development (Ministerio de Agricultura y Desarrollo Rural) MCU The Coordination Unit (Unidad Coordinadora) MTR Mid Term Review (Evaluación de medio termino) NBF Not Bank financed NCU Central Coordination Unit (Unidad Coordinadora Central) NGO Non Governmental Organizations (Organizaciones no Gubernamentales ONG) NPV Net Present Value (Valor presenté Neto VPN) OCC Opportunity Cost of Capital PAD Project Appraisal Document (Documento de Valoración del Proyecto) PAM Municipal Agricultural Program (Programa Agropecuario Municipal) PCD Project Concept Document (Documento de Concepto de Proyecto) PRONATTA Agriculture Technology Development Project (Proyecto de Desarrollo Tecnológico Agropecuario (Programa Nacional de Transferencia de Tecnología Agropecuaria) PSR Project Status Report (Informe del estado del proyecto) QAG Quality Assurance Group RCU Regional Coordination Unit (Unidades coordinadores regionales UCR) RED Technological development and institutional strengthening network (Red de Capacitacion y Fortalecimiento institucional) SAR Staff Appraisal Report SINTAP National System for Agricultural Technology Transfer (Sistema Nacional de Transferencia de Tecnología Agropecuaria) SITA Information System for Agricultural Technology (Sistema de información tecnológica agropecuaria) SNCTA National System of Agricultural Science and Technology (Sistema nacional de ciencia y tecnología agropecuaria) UMATA Muncipal Unit for Agricultural Assistance (Unidad Municipal de Asistencia Técnica Agropecuaria) VAT Value added tax Vice President: David de Ferranti Country Director: Isabel M. Guerrero Sector Director: John Redwood Task Team Leader/Task Manager: Mathew A. McMahon COLOMBIA Agriculture Technology Development Project CONTENTS Page No. 1. Project Data 1 2. Principal Performance Ratings 1 3. Assessment of Development Objective and Design, and of Quality at Entry 2 4. Achievement of Objective and Outputs 4 5. Major Factors Affecting Implementation and Outcome 9 6. Sustainability 11 7. Bank and Borrower Performance 11 8. Lessons Learned 12 9. Partner Comments 13 10. Additional Information 14 Annex 1. Key Performance Indicators/Log Frame Matrix 15 Annex 2. Project Costs and Financing 18 Annex 3. Economic Costs and Benefits 21 Annex 4. Bank Inputs 22 Annex 5. Ratings for Achievement of Objectives/Outputs of Components 24 Annex 6. Ratings of Bank and Borrower Performance 25 Annex 7. List of Supporting Documents 26 Annex 8. Subproject and Training Workshops 27 Annex 9. Borrower ICR 29 Map: Colombia IBRD 33293 Project ID: P006880 Project Name: Agriculture Technology Development Project Team Leader: Matthew A. Mcmahon TL Unit: LCSER ICR Type: Core ICR Report Date: June 15, 2004 1. Project Data Name: Agriculture Technology Development Project L/C/TF Number: CPL-38710 Country/Department: COLOMBIA Region: Latin America and the Caribbean Region Sector/subsector: Agricultural extension and research (54%); Sub-national government administration (38%); Central government administration (8%) Theme: Rural services and infrastructure (P); Participation and civic engagement (P); Decentralization (P); Technology diffusion (S) KEY DATES Original Revised/Actual PCD: 07/20/1990 Effective: 07/20/1995 08/25/1995 Appraisal: 03/24/1995 MTR: 10/01/1998 09/14/1998 Approval: 04/20/1995 Closing: 12/31/2001 12/31/2003 Borrower/Implementing Agency: GOVERNMENT OF COLOMBIA/MINISTRY OF AGRICULTURE Other Partners: Participating Organizations, Municipalities and Beneficiaries. STAFF Current At Appraisal Vice President: David de Ferranti Shahid Javed Burki Country Director: Isabel M. Guerrero Yoshiaki Abe Sector Manager: Mark Cackler Vicente Ferrer Team Leader at ICR: Matthew A. McMahon Willliam B. Johnson ICR Primary Author: Matthew A. McMahon & Indira Ekanayake; supported by: Zhong Tong; Samuel Taffesse & Santiago Sandoval. 2. Principal Performance Ratings (HS=Highly Satisfactory, S=Satisfactory, U=Unsatisfactory, HL=Highly Likely, L=Likely, UN=Unlikely, HUN=Highly Unlikely, HU=Highly Unsatisfactory, H=High, SU=Substantial, M=Modest, N=Negligible) Outcome: S Sustainability: L Institutional Development Impact: SU Bank Performance: S Borrower Performance: S QAG (if available) ICR Quality at Entry: S Project at Risk at Any Time: Yes Due to the earthquake of 1999, resources were to be redirected to Reconstruction risking to make the Project not viable. 3. Assessment of Development Objective and Design, and of Quality at Entry 3.1 Original Objective: The development objective of the Project as defined in the Staff Appraisal Report (SAR, Report No. 12236-CD, dated March 24, 1995) was to change the agricultural research culture of Colombia in accordance with the Government policies on decentralization of technological development, and privatization of the Colombian agriculture with emphasis on transfer of agricultural technologies to the small farmers. The research and technology transfer funded under the Project was expected to reduce rural poverty, increase the rural employment, and improve the competitiveness of Colombia's agricultural producers. The specific objectives were to: a) Improve the quality and efficiency of agricultural research and technology transfer by introducing a demand-driven, competitive selection system that would be cofinanced by private and public sector entities; b) Strengthen the institutional capacity of the agricultural sector in the development and testing of technical packages especially appropriate for small farmers; c) Revitalize underused assets, both physical and human, that presently exist within Colombia's research and technology transfer system; d) Promote private sector participation in agricultural research and technology transfer; and e) Support decentralization by strengthening regional participation and identification of regional priorities and by supporting municipal extension services. 3.2 Revised Objective: The original objectives remained unchanged throughout the life of the Project. 3.3 Original Components: The Project financed two main components: 1) Technology development and adaptation, and 2) Institutional development. The technology development component included demand-driven investments in two subcomponents: a) Strategic and applied research, and b) Adaptive research. The institutional development component included investments in seven subcomponents: (i) Establishment of the Coordination Unit (MCU) in the Ministry of Agriculture (MADR), and a National Panel to provide technical assistance and to assist with the implementation of a supervision system; (ii) Program promotion; (iii) Supervision; (iv) Strengthening the regions and setting up Regional Panels to assist in the selection of subprojects; (v) Training professionals and technical staff in available technologies and subproject preparation; (vi) Establishment of a University Assistantship Program; and (vii) Establishment of an Information System on Agricultural Technology (SITA). Total Project Cost: US$ 84 million (the sum of the World Bank Loan plus cofinancing). 3.3.1. The Technology Development and Adaptation Component was designed to cover demand-driven investments in strategic, applied and adaptive agricultural research. The selection process of subprojects for investment was decentralized and based on criteria reflecting the national and regional priorities for research on agricultural technology development and training. At the regional (nodal) level, research needs were prioritized to establish `project profiles', with descriptions of the prioritized problems, and their importance and magnitude. In this manner each regional node had a prioritized list of research projects. Research subprojects also included socioeconomic aspects and employed environmentally sound technologies. Sub-component 1.1: Strategic and applied research. Total Cost: US$ 26.78 million. The strategic research subcomponent encompassed subprojects directed towards the medium-term national priorities, while the applied research funding supported those subprojects having a potential immediate use to the farmers. Sub-component 1.2: Adaptive research. Total Cost: US$ 26.78 million. Technology-transfer subprojects included demonstration trials, field days, and training, where the - 2 - technologies generated at the experimental stations, were tested, adjusted and approved under representative ecological conditions before being transferred to the extensionists and farmers. 3.3.2. The Institutional Development Component included the establishment of a central level Coordinating unit (MCU) in the MADR, to oversee the project coordination and promotion among the various participating organizations, as well as being responsible for monitoring and quality control activities. The Project Coordinating Director of MCU also acted as Technical Secretary of the Executive Committee of the Project that represented high level national leadership. The Project established five Regional Coordination Units each of which had full time professional, technical and administrative staff. Five Regional panels, one per each geographical region, were in charge of prioritization of the subproject proposals, with decentralized autonomy and ex ante and ex post evaluations. These Panels using the above described (section 3.3.1.) regional priorities and `project profiles' evaluated the subproject proposals at the regional level and the selected proposals were presented to the MCU. The MCU supported by a National Panel then assessed these subproject proposals for technical quality and submitted the selected subproject proposals to the Executive Committee for its no objection. Contracting of approved subproject proposals and monitoring and evaluation of the subprojects was done by the MCU. The other key institutional development component activities carried out by the MCU were: a) Project promotion activities; b) technical assistance to help with implementation of a supervision system, Project mid-term review, and impact assessment; c) Training programs on available, effective and relevant technologies and subproject formulation and management for researchers, field technicians, and other professionals at national, regional, and municipal levels, and the methodologies of technical assistance to the farmers; d) establishment of a University Assistantship Program to link academic studies with practical research work; and e) establishment of a system to meet agricultural technology information requirements at the departmental and municipal levels. Sub-component 2.1: Establishment of Coordination Unit (MCU) in the Ministry of Agriculture (MOA) & National Panel. Total Cost: US$ 4.63 million Sub-component 2.2: Program promotion. Total Cost: US$ 1.11 million Sub-component 2.3: Supervision. Total Cost: US$ 1.38 million Sub-component 2.4: Strengthening the regions. Total Cost: US$ 9.63 million Sub-component 2.5: Training in available technologies & subproject preparation. Total Cost: US$10.24 million Sub-component 2.6: Establishment of a University Assistantship Program. Total Cost: US$ 0.9 million Sub-component 2.7: Establishment of an Information System on Agricultural Technology (SITA). Total Cost: US$ 2.55 million 3.4 Revised Components: The original components of the Project basically remained unchanged during the implementation with a few exceptions as described below. These revisions, however, did not amount to a restructuring of the original components or a change in project objectives. i) At the request of the Government of Colombia to the World Bank (August 12, 1999), US$15 million of the original loan was reallocated for an emergency disaster relief program to assist the earthquake (January 1999) affected areas for the purpose of reconstructing their housing facilities and to finance the President's Fund for the reconstruction of the coffee region (FOREC). This amount was removed from the sub-component on technology development and adaptation, which therefore reduced the amount of - 3 - the Competitive Grant Fund to support research subprojects in this theme. ii) A cancellation total of US$ 4.208 million from the Project as per the Project credit report produced by the MADR dated April 30, 2004, includes: a) US$ 3.501 million requested (September 04, 2003) and approved due to the unavailability of government counterpart funding to support the Competitive Grant Fund on technology development and adaptation; b) US$ 0.503 million from various categories of funding for inability to fully use allocated funds on the agreed activities; c) US$ 0.079 million for reimbursement of funds not utilized; and d) US$ 0.125 million reimbursement for double charging. iii) Under the component of institutional development, the university assistantship program was revised. Originally, the program was designed to: a) assist in linking the academic studies with practical research work and b) help students at accredited faculties of agronomy in the Colombian universities to complete their graduate work requirements for the M.A. degree. However, during implementation, this program was revised to support more of short-term training in agricultural technology instead of the higher-level university degree training. Under this revised program a total of 336 internships were financed. 3.5 Quality at Entry: Overall, the Quality at Entry (appropriateness of Project concept, objectives and approach) of the Project was rated satisfactory by the ICR Review. i) The quality of the Project design at entry was fully consistent with the Country Assistance Strategy (CAS Report No. R93-198 for Colombia, dated November 19, 1993 and presented to the World Bank Board on December 16, 1993) and supported three broad objectives: 1) private sector development, 2) poverty reduction, and 3) institutional strengthening; ii) The Project objectives were consistent with the Colombian Government strategy to: a) Strengthen and reform the agricultural research and extension system in order to provide improved services to the small farmers; b) Increase agricultural productivity by introducing a competitive and modernized system; and c) Encourage the private sector participation in agricultural research; iii) The Project also supported the Government policy of Colombia: a) In decentralizing the agricultural research and extension system; b) Focusing on the problems of small farmers; c) Leveraging additional resources from participants while enhancing the inter-institutional collaboration; and d) Strengthening of the involvement of private sector, NGOs, and academic institutions in agricultural research; iv) The Project was designed to build on the Bank's experiences with the earlier Agricultural Research and Extension Project (Loan 2303-CO) in Colombia; v) The Project preparation and appraisal were well managed by both the Bank and the Borrower; and even though the Quality Assurance Group (QAG) did not review the Project, two impact analyses conducted by the Project highlights the positive outcome; and vi) The assumptions at entry on a decentralized policy environment and a favorable market system during Project implementation helped in its satisfactory completion. In addition, the regional and local organizational capacity responded positively to the proposed new culture of research and technology transfer by the Project. 4. Achievement of Objective and Outputs 4.1 Outcome/achievement of objective: The overall Project outcome and achievement of its objectives as stated in the SAR (1995) are rated as satisfactory. 4.1.1 Reform and decentralization of the Agricultural technology system. The Project was consistent with the Government's goal of reforming and decentralizing the agricultural research and extension system and the most recent Country Assistance Strategy (CAS Report No. 25129-CO dated December 24, 2002) for Colombia. Changes that occurred during Project implementation resulted in a new institutional culture in the agricultural technology sub sector. Such changes included the allocation of public funds through competitive grants, decentralization, the synergy among institutions, and the formulation of demand-driven subprojects. The proportion of subprojects approved by region illustrates the positive - 4 - effects of decentralization: Centro Oriente (29.8%), Occidente (29%), Orinoquia (16.7%), Costa Caribe (16.1%) and Amazonia (8.5%) (Annex 1 Table 1a). 4.1.2 Establishment of a Competitive Funding Model. The Project developed a new model of Competitive Funding for Colombia to allocate agricultural technology funds that is decentralized and efficient in apportioning and executing public resources nation-wide to generate and transfer technology. During the Project implementation phase, this model became well accepted in the Colombian National System of Agricultural Science and Technology (SNCTA). This strategic approach in fund allocation took into account that: a) The availability of newly generated and improved agricultural technological knowledge targeted to low-income farmers had increased considerably; b) There is a growing demand for new technological knowledge at both regional and local levels; and c) The existence of a pluralistic system of technological development in Colombia that is handled by a larger number of entities. According to the impact analysis of the Project, 98% of the subprojects had satisfactory outcomes (Annex 1 Table 1a). 4.1.3 Successful leverage of Counterpart funding. The Project was highly satisfactory in its leverage of counterpart funding to carryout the objectives. For each dollar invested in technological research and training, the total counterpart funds leveraged by the Project was 0.86 dollar. These counterpart contributions included funds from those entities that executed the subprojects at regional and national levels, various public sources of funding, and private sector funds. 4.1.4. Broad inclusion of agricultural sub sectors of the rural sector. The Project covered the full range of the Colombian agricultural sub sectors and the subprojects financed included: 63.9% in agriculture, 15.9% in animal husbandry, 8.6% in multi-sub sectors, 3.7% forestry, 5.4% in aquaculture, and 2.5% in natural resources; and represented more than 30 different products. This sub sector distribution reflected the regional priority profiles. 4.1.5. Reaching the stakeholder plurality and private sector participation in the Agricultural Sector. The Project through its competitive funding scheme reached a large proportion of the stakeholders and synergised the existing public organizations dedicated to the generation and transfer of technology, as well as creates linkages with other entities and stakeholders. Project impact analysis (Sain, 2004) indicated that temporary associations and alliances implemented more than 27% of the co-financed subprojects. The private sector participation in the Competitive Grant subprojects administered by the Project increased considerably during the Project life. According to latest estimations (Annex 1 Table 1a) 14% of subproject co-financing was by NGOs, 5.9% by other private entities, and 12.5 by alliances between private and public sector entities. 4.1.6. Adoption of transferred agricultural technologies. The Project impact evaluation (Sain, 2004) showed that nationwide there was a 32% rate of adoption of technologies during the implementation phase. The satisfactory level of adoption was due to: a) The suitability of the advocated agricultural technologies by the Project to rural circumstances and specific problems of small farmers; b) the satisfactory level of training provided by the Project; and c) the ability and dedication of extension agents involved in technology dissemination activities. 4.1.7. Contributions to competitiveness, social equity and income generation. According to the impact evaluation and using equity criteria (PRONATTA, 2004) 70.7 percent of the subprojects showed a high level of acceptance by small producers. About 66.1% of the subprojects were adequate to the socioeconomic conditions of the producers, and likewise, 56.8 percent of the subprojects related to genetic resources and natural resources management scored high based on indicators measuring the sustainability and environmental impact of outputs. The factors that contributed most to competitiveness criteria (Echeverri, 2002) were: input into favorable positioning for markets (62.6%), improved productivity (64.7%), market-related risk mitigation (50.6%), and improved management conditions related to inputs, resource use, and processes. The average annual household income of producers increased by US$ 1,533 (Pesos 4.26 million) (Sain, 2004) as a result of adoption of the developed technological options; a level that was satisfactory for this type of technology projects. The increase in income was a result of increased productivity and employment (Annex 1 Table 1a). 4.1.8 Regional and local planning strengthened. The Project strengthened the process of regional and local planning in agricultural technology in a number of ways, such as: a) setting up regional nodes; b) - 5 - establishing a Network of stakeholders; and c) institutional strengthening at the municipality level (UMATAs). 4.1.9 Efficient project management. The Project was managed with a high level of transparency using the competitive fund model (Annex 1 Tables 1a and 1b). This resulted in the Project having a high level of credibility among the clients at central, regional, and local levels. Operational costs were 12.1% of the total (Annex 1 Table 1b). 4.2 Outputs by components: Project performance by component was continuously judged by the Bank as satisfactory according to the project supervision and mission reports. 4.2.1 Technology Development and Adaptation Component. This Project component is scored as satisfactory based on the following project outputs: i) Establishment of an operational model for Competitive Grants to allocate and manage the Project financial resources. The competitive grant scheme was characterized by the efficient delivery of public funds (100% budgetary resource delivery) using well-defined operational principles established during the six respective Calls for proposals with open and non-restrictive participation of all beneficiaries. This approach utilized the available idle physical and human capacities in different institutions of the system (the fund cofinanced 635 subprojects at a total cost of US$ 32,611,134.53 (Pesos 90,600,580,073) including the counterpart financing of implementing partners) and created an important institutional synergy as indicated by the active participation of alliances (27%) to implement the subprojects. This model of allocation and implementation of public resources is currently well accepted by the National Agricultural Science and Technology System of Colombia. Moreover this model was adopted by MADR through the Metaplan, the instrument of orientation and planning of sectoral policies of the present administration and by the Directorate of Technology Development and Sanitation Protection of MADR. ii) Decentralized and regionalized mode of operation and portfolio of subprojects. Regional panels under this component evaluated 2,948 sub projects ex-ante and prioritized these proposals according to the terms of reference of the 6 Calls for proposals. It consolidated an extensive portfolio of 635 subprojects on technology development (research and training) of which 98 percent were completed according to the stated subproject objectives. The experience of this decentralized strategy must be taken into account in the design of sector policies of the country. iii) The institutional culture promoted by the Project has substantially modified the institutional behavior in technology generation and transfer sub sector. The new culture is aligned towards the demand of technology users, and by using competitive mechanisms for resource allocation shows the importance of synergy among different institutions to realize a more efficient approach to management of public funds. iv) The portfolio of technological packages. Subprojects under this component generated and disseminated more than 600 technological packages with about 3600 innovations (on average 5.7 innovation per technological package) that reached more than 150,000 direct beneficiaries (small producers) (Sain, 2004). The technological package portfolio coincides with the particular characteristics of the small farmers as demonstrated by the high level of adoption and profitability (Annex 1 Table 1a). Moreover, subprojects portfolio in conjunction with the second Project component contributed to build important human capital, through training of more than 1,000 researchers and extensionists across the country. This resulted in a stronger market in technological services; while improving the capacity of local extension units, generation of employment at farm level, and essentially improving the income level of farmers who adopted the disseminated practices. 4.2.2 Institutional Development Component. The outputs of this component are rated satisfactory. The Project emphasized the institutional strengthening component as it is fundamental to achieve the objective of consolidating a new model to bring suitable and sustainable technological alternatives to the small farmers through a competitive fund. Some of the outputs of this component are: i) The methodological instruments and specific outputs of the M&E unit which contributed to the - 6 - knowledge base and was a positive benefit of the Project: a) This included the development of methodologies for ex-ante evaluation, monitoring, ex-post evaluation, and impact of subprojects; b) systematized reporting of experiences; c) formulation of scenarios of regional agricultural technology and transfer; and d) methodology guide for the formulation of Municipal Agricultural Programs (PAM). The Project implemented a National Directory of 250 registered Experts from which both the Regional and National Panels were formed. This instrument has a significant outcome in fulfilling the identification and availability of experts for different national requirements. The National Panel was a complementary and interdisciplinary entity to support the organizational structure of the Project. It was composed of seven members who were selected from the National Directory of Experts and were appointed by the Executive Committee every year. The National Panel advised the Executive Committee on project implementation, on the elaboration of the terms of reference for Calls of proposals, and the integration of the national portfolio of subprojects to be presented to the Executive Committee. Some of the above mentioned organizational elements are useful to be incorporated in future projects of similar nature and objectives. ii) Information System - SITA. One important alternative to promote the dissemination of the Project outputs was the establishment of an Agricultural Technological Information System (SITA). The main objectives of SITA were the dissemination of Project activities and outputs, and to guarantee access of the beneficiaries to the technologies developed by the Project. SITA is considered a very important instrument of information to the local providers of technical assistance services to small farmers (UMATA), and can be accessed through its website: www.pronatta.gov.co. This portal built and managed by MCU is a user-friendly site where the information about all co-financed subprojects is available. It also houses the National Directory of Experts that has more than 250 experts classified by profession, region and level of professional competence. This database, adopted by MADR, as the technological information system for the sector, is regularly updated and maintained by a Project web master. It includes not only technologies developed by this Project but also all the innovations in agricultural technology obtained by the different institutions that receive public funds, ensuring the sustainability of the SITA. iii) Articulation of strategy between universities and the productive sector. A subprogram of internships (short-term training) was financed with the singular purpose of integrating academic studies, research, and field practice. With this approach, the students at the pre-degree level and the universities came closer to the fields of research and production. The indicators for the achievement of this strategy include: a) 336 internships in different disciplines; and b) 52 universities nationwide that participated in the scheme. iv) Training strategy in preparation of subprojects for development. The Project generated various financial instruments to support training and development of human resources at the regional and local levels. Some of these are (see Annex 9 Table 9b): a) Methodology Guide and Training for the preparation of rural development (Training the trainers), where 10 courses were given to 243 participants; b) Specialization in Rural Development: In a joint effort with the National University of Bogotá and DFID Colombia, 35 professionals received degree training in this area. The participants in addition were members of the Network of Technological Development and Institutional Strengthening ( Corporacion Red País Rural) that was created and supported by this Project; c) Training in information technology: 15 workshops were conducted, 287 attendees trained, and 6 communities strengthened; d) Training in popular communication: 30 trained; e) training of UMATA, with 7 workshops and 878 attendees; and f) Forum of Science and Agricultural technology: 6 workshops with 539 participants were conducted to analyze and propose improvements for the SNCTA. v) Technological Development and Institutional Strengthening Network (RED de Capacitacion y Fortalecimiento Institucional or Corporación Red País Rural). The Project created and financed an instrument (RED), to support the project activities within the defined objectives. It was designed specifically to support the operation of the Competitive Fund under the technology development component. RED promoted the articulation and facilitated synergy of organizations, and formation of alliances by bringing together both suppliers and demanders together at the Regional and sub regional (nodal) levels. It also developed networks in selected thematic areas at the national level, i.e., organic agriculture. Most importantly it compensated for inequities in the institutionally weaker regions in responding to the Calls for proposals. The RED is composed of 20 regional nodes and 4 thematic areas. - 7 - Each regional node built an agenda of development by identifying the demand of small producers and a strategy to address them. RED through real and virtual means operates with a high level of connectivity among the Nodes. Several agreements and strategic alliances such as the one with DFID Colombia and ECOFONDO, strengthened the network. In 2004, the establishment of a corporate entity known as "Corporacion Red Pais Rural", with more than 340 members, guaranteed the sustainability of RED. This was a successful instrument as shown by the results of the response and approval of subprojects proposed by the weaker regions (Annex 8 Table 8a). Furthermore, as the project progressed, RED evolved into an important entity in the rural development space responding to the changing needs of the regions. vi) Publications. The results of individual subprojects were published in the form of articles, bulletins, papers, theses, etc. In addition, the Project published more than 17 documents on various themes of project implementation. 4.3 Net Present Value/Economic rate of return: The economic impact evaluation of the Project by external consultants was realized in two stages: in the first stage a random sample of those subprojects ending before January 31st. 2001was used and in the second one an independent random sample for the rest of the subprojects ending December 31st. 2003 was used. The estimates for both samples were combined to obtain a single robust estimate of the IRR for the entire project and by type of subproject and by region (Sain, 2004). 4.3.1. Internal rate of return estimates. The impact evaluation averaged for the two cycles demonstrated a high level of Internal Rate of Return (IRR) at 86.4% (Annex 3 Table 3a), which is much higher than 15% (estimated cost rate of the project) and an assumed 12% social Opportunity Cost of Capital (OCC). Although high, the estimated IRR is within the range shown in the literature for this type of projects. When diferentiated by type of subproject results show that the IRR estimated for applied research subprojects was higher than those subprojects for adaptive research and training, in that order. In all cases, the lower limit of the estimated confidence interval for the IRR was 42% and the highest limit was 111%, with a 95% confidence level. Standard deviation for the training subprojects was high, about 129% as compared to other subprojects at about 114%. To estimate the impact of policy distortions (such as minimum wages defined by law, import restrictions, and unfavorable subsidies, among others) on the return to investment in Agricultural Research, in the second impact evaluation stage, the IRR was also estimated using social rather than market prices (IRRs). The results of such exercise is shown in Annex 3 Table 3b). The average IRR/IRRs ratio of the training subprojects was 0.8 signifying that the overall policy distortions reduced its internal rate of return by 20% because of market imperfections. In other words, overall policies in Colombia are desincentives to investment in agricultural research. 4.3.2. Employment generation and family income. Among Project objectives, the creation and promotion of employment and increasing income of small farmers was emphasized. The employment indicators (Annex 3 Table 3c) on the impact of technological options generated by the subprojects based on cost of production with and without the subprojects by the productive unit (hectare, enterprise or family) highlighted the following results: i) The average increase in employment generated by the subprojects cofinanced by this Project was 80 man-days per year per unit of production (that is about 4 months of man-days of labor per year); ii) Among the three types of subprojects (applied research, adaptive research, and training), the highest employment generation was achieved in the training subprojects and the lowest in the applied research subprojects; iii) The subprojects carried out in the Orinoquia region had the highest tendency to generate more employment; and the lowest employment generation was in the subprojects of Occidente region; and iv) The highest increase in employment was generated in the subprojects implemented by the universities and NGOs. The increase in the income of small producers was a principle objective of the Project. An empirical estimation of family income of the beneficiaries due to the Project (Annex 3 Table 3d) took into account two sources: 1) the economic exploitation of the farm, and 2) the family labor generated in it. The family income was calculated by multiplying the net annual benefit (BNAA) by the number of productive units, plus 50% of the value of man-days increased by the technological option. The average increase in - 8 - the family income was Pesos 4.259 million (US$1533); a figure that reflects 75% of the annual income of a Colombian farm worker. The regions with the highest increment of the family income were Orinoquia and Centro Oriente. 4.4 Financial rate of return: The impact evaluation carried out by the Project did not estimate the financial rate of return (FRR). 4.5 Institutional development impact: 4.5.1 The evaluation of the institutional impact of the Project carried out by an external team (Sain, 2004) emphasized the following: The Project validated the model of competitive funding. It created a milestone in the application of this policy instrument in the agricultural technology sub sector, being the first competitive fund in the sector. The selection of subprojects using criteria based on quality, and cofinancing with implementing agencies, helped focus the Project on demand driven problems, as well as expanding the range of suppliers participating in publicly financed projects. This impact was further strengthened by the transparency in the implementation of the fund. Even though transparency is considered as a minimum condition, it becomes extremely important when it is contrasted with perceptions regarding other programs of the sector. As a result the Project earned legitimacy and the confidence of the participants in the system. Moreover, it constituted an example for the possible use of competitive fund model as a suitable instrument for the implementation of public policies. Competitive funding is now a permanent policy instrument by MADR. 4.5.2 Through its decentralization strategy the Project was able to induce and promote alliances between suppliers and demanders, public and private sectors, thereby achieving a new culture in the technology development and transfer system. This strengthened the implementation of a government policy aimed at involving more stakeholders, create social capital, gain legitimacy for public policy, improve governance, and to scale up resources. Impact in this area is shown by: a) 27% of the subprojects that were implemented by alliances and b) the institutionalization of the CORPORACION RED PAIS RURAL. 4.5.3. Areas where institutional impacts were reduced, either because they related to long term processes or because of a lack of effective implementation strategies were as follows: i) The integration of universities into the system, which although has been broadly recognized, was far below its full potential; ii) The lack in capacity of local and regional NGOs, to prepare quality projects curtailed their participation in the Project. This was compounded by insufficiency of policies for human development for these organizations; iii) The transfer of experiences and results horizontally among the subprojects was low, and the dissemination of Project achievements was under utilized and did not reach as many areas as desired; and iv) The selection of priorities and type of subprojects, is an area in which the Project advanced in a significant way, but there were contradictions and overlapping resulting in inefficiencies in implementation. This aspect of priority selection and subproject types needs better supervision at both the national and regional levels. Also, the selection of subprojects was often dominated by short-term criteria, thereby compromising a strategic vision for innovation, which would have greatly strengthened the Project. 5. Major Factors Affecting Implementation and Outcome 5.1 Factors outside the control of government or implementing agency: The following factors outside the control of government affected the Project implementation: a) Social instability in the countryside limited the reach of the project in some areas and also limited the intensity of supervision activities of the subprojects in those areas by the borrower and the Bank; b) The low level of participation in GREMIOS, i.e., farmers organized around para fiscal funds such as the Coffee Federation, which could have an extra source of funding; and c) The positive public support which the project got from the beneficiaries at times when there were budget crises. - 9 - 5.2 Factors generally subject to government control: The following factors subject to government control which affected the Project implementation were: i) To mitigate the negative impact of the 1999 earthquake an emergency project, FOREC, was started to assist the government to alleviate the disaster to the coffee region. The Colombian Government requested the World Bank to transfer $15 million of Project budget to FOREC. As a result, the total loan amount was reduced to $36 million, which in turn reduced the resources available for the competitive grant component; ii) The process of decentralization which was supported by the national government, and which in turn promoted regional and local autonomy allowed for a better expression of demand for technical services; iii) The possibility of contracting fiduciary entities for the management of resources improved project implementation; and iv) Project implementation was sometimes slowed due to delays in budget disbursement by the Ministry of Finance resulting in the lack of counterpart funding. 5.3 Factors generally subject to implementing agency control: 5.3.1 Subprojects, which were approved by the Executive Committee in 2000, not implemented in time had to be adjusted technically and financially to meet the World Bank contract ending date of December 31st 2003. For this reason contracts for 94 subprojects were ended in December of 2003 thereby reducing their overall impact. 5.3.2 There was relatively good stability of the managerial staff of MCU, which allowed for continuity. The MCU staff was technically competent and committed, which strengthened its capacity of negotiation with the Government and other implementing agencies. The composition of the Executive Committee where different actors of SNCTA were involved, and chaired by the Vice Minister of Agriculture and Rural Development permitted strong policy coordination among the different actors. 5.4 Costs and financing: The Project budget (Project credit report produced by the MADR dated April 30, 2004) was US$ 85.85 million, which is 102.21% of the project budget as programmed in SAR. The higher budget level was due to an increase in counterpart funding (implementing agencies and Colombia Government). The MCU (including the Panel costs) was US$ 10.4 million signifying 62% of the original planned budget. The SAR planned a budget of US$ 67.6 million (loan and counterparts) for the financing of subprojects. However with the amendment of August 1999 that redirected some resources towards FOREC, and other allocations in categories amounting to US$ 10.4 million of the loan that was cut leaving US$ 60.30 million counterpart and cofinancing of the subprojects, resulting in 105.9% of the proposed budget. 5.4.1 Financial Management. Project financial management was well planned which guaranteed resources for activities on technology development for periods longer than one-year. A financial officer hired to manage resources of the competitive fund provided ample flexibility and efficiency in the financial implementation. In addition the project hired IICA to provide both financial and technical support and this support was considered to be satisfactory. The Project had several minor financial and disbursement issues related to implementation and effectiveness of internal control, which were corrected on request of the Bank in a timely manner. 5.4.2 Financial Audit. The Bank accepted the audit firm reports during Project implementation. The compliance with internal control recommendations was verified during Bank supervision missions. 5.4.3 Disbursement Plan. The Project during the early years (1995-mid 1998) received most of its resources from the Colombian Government, since at that time the country had sufficient resources and did not employ those of the Loan resulting in an imbalance of the pari-passu. After 1998, with a change in the financial situation the Project resources originated mainly from the Loan, and thereby maintaining the projected pari-passu. - 10 - 6. Sustainability 6.1 Rationale for sustainability rating: One of the main objectives of the Project was to validate a new instrument of public resource allocation via competitive grants. Because of its success, the Government of Colombia has recognized its utility and the current Metaplan of the MADR on science and technology for the sector includes the creation and funding of a competitive fund. The MADR is in the process of looking for resources for the fund and its design will draw on the experience of this project. Other instruments developed by the project are also being institutionalized by the MADR such as: a) methodologies for monitoring and evaluation; b) methodologies for impact evaluation; and c) SITA (information system) that will become the official technological information system of the MADR. More importantly, the farmers are using the different technologies developed through the implementation of this Project with assistance from UMATAs and Provincial Centers (CPs). 6.2 Transition arrangement to regular operations: The MADR is preparing a new project for World Bank financing, which includes a component in Technological Development in which its resources would be assigned and implemented via Competitive Grants. This will complement government resources. The latest instructions of the Minister of Agriculture to the entities that carry out research and training in the sector are that their resources would in the future be allocated on a competitive basis. 7. Bank and Borrower Performance Bank 7.1 Lending: The Bank's performance in the lending process was rated as satisfactory by helping the Government of Colombia explore new ways of financing technology development and transfer. 7.2 Supervision: Bank supervision was rated as satisfactory. The Bank also promoted the sharing of the new experiences of projects in countries that are similar to Colombia. 7.3 Overall Bank performance: The overall Bank performance is rated as satisfactory following the above observations. Borrower 7.4 Preparation: The borrower's role in project preparation was satisfactory. As a result, the design of the project proved to be appropriate for the objectives. 7.5 Government implementation performance: The Government's performance in the implementation was satisfactory. 7.6 Implementing Agency: The performance of the implementing agency was satisfactory. The Administrative Department of Public Function of the Presidency of Colombia selected this Project as one of the excellent administrative units of the Colombian Government (per Certificate dated December 05, 2000; signed by the President of - 11 - Colombia Andres Pastrana and the Director of Administration Mauricio Zuluaga Ruiz). 7.7 Overall Borrower performance: The borrower performance is rated satisfactory, based on the results of its different components, and its operational effectiveness in Project implementation. 8. Lessons Learned i. The model of Competitive Grants is viable in the Colombian context. This is attested to by the amount and quality of the subprojects presented for approval. However to make this model workable, funds have to be built on the principles of transparency, inclusion, quality, and efficiency and these principles have to be implemented from the beginning, and maintained throughout the life of the subproject so as to maintain legitimacy with both the financing agencies and the beneficiaries. ii. Credibility in the process of review, approval, and financing is the key to the success of a competitive fund. Processes have to be public, transparent and consistent throughout the life of the subproject and are the only way of ensuring credibility. In this case, credibility got a high rating from the stakeholders. iii. Competitive funds are very useful instruments to both diversify the supply and demand of technology Modern research systems depend on a wide variety of sources of technology and funding and this experience in Colombia has shown that a competitive grant is an effective way to leverage idle resources for the science and technology sectors. Subprojects once approved have to be guaranteed a continuous flow of funds or else budget shortfalls will greatly reduce their impact. iv. Competitive funding runs the risk of being short term in vision. Demand driven research that is competitively funded runs the risk of only solving short term problems, and may not allow for a strategic vision or program. This should be taken into the design of competitive funds and a certain amount of resources should be aimed at the strategic objectives. v. The overall effect of a Competitive Fund may be reduced through dispersion. In the selection and approval of subprojects care has to be taken that certain strategic areas are covered with a "critical mass" of subprojects. If not, the overall effect of the fund may be too dispersed to have a strategic impact. vi. Dissemination strategies have to be an integral part of a Competitive Fund. Because of the dispersion of subprojects care has to be taken that experiences, progress and results are communicated both horizontally and vertically across the Project. If not, inefficiencies will occur in the overall program and the impact will be reduced. vii. Suitable environment for competitive funds: a) require an intensive level of Monitoring and Evaluation. In the design of competitive funds adequate resources have to be allocated to ensure adequate monitoring and evaluation. Continuous monitoring will result in a continuous learning environment and will serve as an early warning system for problem projects. Participation of the beneficiaries and other stakeholders are essential to its success; b) competitive funding has to be accompanied with a long-term strategy of sustainability for core funding of research institutions. It is widely held that research institutions need to have a culture of continuous learning and therefore need constant upgrading of personnel, equipment and infrastructure. While this core funding is needed as a commitment from the public purse, some of it may be awarded on a competitive basis. However, all public funding should have a framework of accountability; c) competitive grants are suitable instruments to reduce regional inequity. However, decentralization of implementation must always be accompanied by a strong component of Institutional development to facilitate the strengthening of capacity in the less competitive regions. This is the only way to ensure the quality of proposals; and d) competitive funding is a good instrument to promote alliances among the different actors in the system. This allows for interaction among a wide variety of actors in the preparation, presentation and implementation of projects, thereby improving interaction between different social groups and discipline leading to stronger and more demand-driven proposals. viii. Institutional change in the Agricultural Science and Technology Sector is a long-term process. - 12 - Processes that aim to change the culture of allocation and implementation of public resources in technology development require time for the institutional structure to understand and utilize these instruments; and adopt them as permanent components of technology development. 9. Partner Comments (a) Borrower/implementing agency: - 13 - (b) Cofinanciers: There were no other co-financiers of this project. (c) Other partners (NGOs/private sector): i) In addition to the Ministry of Agriculture and Rural Development (the Project Implementing agency) and the National Planning Department, which were involved in the preparation of this Project with support from the World Bank, about 170 national, international and local organizations participated in implementing the 635 subprojects of this Project. These stakeholders included public and private universities, joint public and private research organizations, GREMIOs, NGOs, Foundations, Private enterprises, international organizations such as CIAT (Centro Internacional de Agricultura Tropical) and IICA; public organizations such as ICA (Colombian Agricultural Research Institute) and INPA, and Local and Departmental Governments. ii) DFID was a key international partner contributing 0.75 million Sterling Pounds to a project managed financially outside this Project but having the specific objective of providing assistance to the Project to strengthen the organization of a network on technology development and institutional strengthening of the rural space (Corporacion Red País Rural). 10. Additional Information The decentralized method of operations in terms of calls for proposals and approved subprojects by region, and training workshops and related activities conducted during the course of the Project are summarized in the Annex 8, tables 8a and 8b. - 14 - Annex 1. Key Performance Indicators/Log Frame Matrix Table 1a ­ The economic indicators of PRONATTA Key Indicators Target at Revised Appraisal Target Actual/Latest Estimation at End of project Outcome/Impact Project Beneficiaries (% beneficiaries of the Project who are small farmers) 350,000 350,000 Number of direct beneficiaries of the program 150,000 Number of indirect beneficiaries of the program 200,000 % of small farmers who adopted environmentally sound 32% technology Average of economic rate of return 86.4% Average of incremental net benefit per family US$1,533 (Col$4.259,420.00) Output/Performance Technology Development Component # of Technology transfer subprojects 635 Total costs of competitive grant (US$mil) (cost of cofinancing) 38.70 26.45 Total counterpart in subprojects implemented (US $ million) 28.90 33.60 Total costs of the subprojects implemented (US $ million) 64.70 60.05 # of technical evaluations conducted (final evaluation of 632 subprojects) Resources leveraged in cofinancing of research (%) 45 60 60 % Cofinancing from joint public and private corporations 38 38 % Cofinancing from NGOs 16 16 % Cofinancing from Joint Ventures 30 30 % Cofinancing from Universities 9 9 % Cofinancing from other private entities 7 7 % Cofinancing from public entities 4.9 4.9 % Cofinancing from beneficiaries of training projects 16 27.0 40 % of subproject with satisfactory outcome 98 % of subprojects with unsatisfactory outcome 2 % Subproject by Region ­ Amazonia 8.5 8.5 % Subproject by Region ­ Centro Oriente 29.8 29.8 % Subproject by Region ­ Costa Caribe 16.1 16.1 % Subproject by Region ­ Occidente 29 29 % Subproject by Region ­ Orinoquia 16.7 16.7 % Subproject by subsector ­ agriculture 63.5 63.5 % Subproject by subsector ­ animal husbandry 17.1 17.1 % Subproject by subsector ­ multi-subsector 8.8 8.8 % Subproject by subsector ­ forestry 3.6 3.6 % Subproject by subsector ­ fish and aquaculture 5.3 5.3 % Subproject by subsector ­ natural resources 1.6 1.6 % Cofinancing by subsector ­ agriculture 63.9 63.9 % Cofinancing by subsector ­ animal husbandry 15.9 15.9 - 15 - % Cofinancing by subsector ­ multi-subsector 8.6 8.6 % Cofinancing by subsector ­ forestry 3.7 3.7 % Cofinancing by subsector ­ fish and aquaculture 5.4 5.4 % Cofinancing by subsector ­ natural resources 2.5 2.5 % Subproject by entity ­ joint public and private corporations 41 41 % Subproject by entity ­ universities 9.0 9.0 % Subproject by entity ­ alliances 27 27 % Subproject by entity ­ NGO 16 16 % Subproject by entity ­ other public 4.0 4.0 % Subproject by entity ­ other private entities 7 7 Institutional Development Formation of National Panel 1 1 1 Formation of Regional Panel 5 5 5 Coordination unit at national level 1 1 1 Coordination unit at regional level 5 5 5 Coordination unit at department level 32 0 Establishment of M&E system 1 1 1 Establishment of technology information system (SITA) 1 1 1 No. of hits on PRONATTA web for information generated by 525,945 (as of 03/31/2004) SITA by end of the project Input/implementation Training. 24 20 By the end of the project more than 20 workshops on capacity building were conducted Events in management, formulation and implementation of 240 378 program at all levels. Within 14 workshops, 378 participants were trained in capacity building and communication technologies Events for training technical staff in 1,030 municipalities in the 700 878 methodologies of TA (extension) to farmers. Six workshops were conducted by UMATAS resulting in 878 people trained University assistantship program: 80 35 - No. of students post graduate supported. 35 professionals of the region received specialized training in rural development - No. of students pre graduate 336 336 - No. of universities that participated 53 Promotion: Excluding the promotional activities carried out by each subproject, a minimum of 635 social events and 635 publications were prepared. An event registry of these activities of the SITA was not maintained. - No. of newspaper advertising 120 36 - No. of radio advertising 1,820 300 - No. of public meetings 24 650 Includes 632 workshops; note: figure does not include an evaluation of the last workshops of the project. - No. of Bulletins 16 13 - 16 - Table 1b. Indicators of transparency and efficiency of financial management Category Indicators Unit of Measurement Value Financial Operational costs % of operational budget 12.1 Counterpart cofinancing Executed/ programmed 118.37 index Index of executed credit % 91.75 Transparency Regional Panels Number of realized panels 30 National Panels Number of realized panels 6 Evaluation Panels No. Projects evaluated 2,948 Operational Efficiency Projects Financed Number 635 Projects Completed % 99.5 Projects not completed % 0.5 Approved budget Millions of pesos 94,289.43 Budget executed Millions of pesos 71,927.46 Budget transferred Millions of pesos 21,372.95 Budget unaccounted Millions of pesos 989.02 Strategic visits. Number 1,270 On average two visits per subproject; which was a prerequisite for the second and third disbursement - 17 - Annex 2. Project Costs and Financing Table 2a. Project Costs by Components (in US$ million equivalent) Components Initial Allocation % Allocated/ Estimatio estimated n 1. Research Investments 46.32 86.49% - Research Projects 26.78 - Technology Transfer 26.78 53.56 46.32 2. Management and Coordination - MADR 143.79% - Mgmt. & Admin (1) & Panel (2) 4.63 - Program Promotion (1) 1.11 - Equipment for MCU and RU (1) (Category 2a) 0.27 - Operational increments (staff of MCU and RUs and 7.98 operational costs) (1) (Category 5) 5.74 8.26 - Panel (2) 0.00 26.39% - Supervision (2) 1.38 - Strengthening Regions (2) 6.77 - Honoraria for the system of supervision, auditoria, 2.15 Regional and National Panel (2) (Categories 4a and 4b) 8.15 2.15 - Training (3) 10.24 99.86% - Research Related Training (3) 0.9 - Capacity building (3) (Category 3) 13.98 - Strengthening Regions (6) 2.86 14.00 13.98 - Information System (4) 2.55 5.33% - Equipment for the Information system (4) 0.02 (Category 2c) - Honoraria for Information Technology system (4) 0.12 (Category 4c) 2.55 0.14 - Construction of households (5) (Category 6, 15.01 implemented by FOREC) 15.01 Total cost of Project 84.00 85.85 102.21% (1) Includes equipment for MCU and RU, honoraria, travel and operational costs (2) Includes Panels, System of supervision (includes auditoria) (3) Capacity building within the research component (4) Information system (includes services on consultants and costs of information system (5) Includes the amount redirected to FOREC (6) The regional strengthening in 2 components: a) capacity building US $ 2,86 millions and b) the other activities valued at US $ 6.77 millions for a total of US $ 9.63 as per annex 2 of SAR - 18 - Table 2b. Project Costs by Procurement Arrangements (Appraisal Estimate) (US$ million equivalent) Procurement Method Appraisal Estimate Expenditure Category ICB NCB Other Total 1. Research Subprojects 53.60 53.6 (26.8) (26.8) 2. Vehicles and equipment 1.80 6.60 8.4 (1.8) (4.9) (6.7) Operational Costs - Materials and Supplies 1.70 1.70 (1.3) (1.3) - Salaries and travel expenses 6.30 6.30 (4.3) (4.3) Technical assistance and capacity building 14.00 14.00 (11.9) (11.9) 1.80 82.20 84.00 Totals (1.8) (49.2) (51.00) Project Cost by Procurement Arrangements (US$ million equivalent) Procurement Method Actual/Latest Estimate Expenditure Category CONCEPT ICB NCB Other (1) Total 1. Research subprojects Total 46.32 46.32 Loan 17.90 17.90 2. Vehicles and supplies Total 0.29 0.29 Loan 0.20 0.20 Operational Costs - Materials and supplies - Salaries and travel expenses Total 10.25 10.25 Loan 5.35 5.35 - Technical assistance and capacity building Total 13.98 13.98 Loan 8.34 8.34 - Construction of Households Loan 15.01 15.01 Total TOTALS 46.32 39.53 85.85 Loan 17.90 28.89 46.79 (1) Includes the selection method of procurement: Selection of experts by qualification of the consultants; Selection of firms based on minimum cost. - 19 - Table 2c. Project Financing by Component and by Counterparts Initial estimate Actual/Latest % Actual/ Latest Allocation by Estimate % of Appraisal Allocated estimate Counterparts Co Component Bank Govern Govern Govern Governme Govern ment Bank ment Bank ment Bank nt Bank Government financing agencies ment Research Investments (Category 1) 26.80 26.80 18.50 26.80 17.90 28.42 27.06 1.36 26.80 26.80 18.50 26.80 17.90 28.42 66.81% 106.04% 96.78% 106.04% 27.06 1.36 Vehicles and Equipment 6.7 1.70 1.70 Equipment for MCU (category 2a) 0.25 0.19 0.08 0.08 Equipment for Information system (Category 2c) 0.30 0.01 0.01 0.01 6.70 1.70 0.55 1.70 0.20 0.09 2.95% 5.23% 35.92% 5.23% 0.00 0.09 Operational Cost - Material & Supplies 1.3 0.40 0.40 - Salaries and Labor, and Travel Expenses 4.3 2.00 2.00 - Salaries increments and operational costs- MCU and RU (Category 5) 0 0.00 4.49 0.00 3.60 4.39 4.39 - Honoraria, travel, Supervision (Category 4a and 4b) 2.55 1.66 0.49 0.49 5.60 2.40 7.04 2.40 5.26 4.87 94.01% 202.94% 74.76% 202.94% 0.00 4.87 Technical Assistance/Training (Category 3) 11.90 2.10 9.80 2.10 8.34 5.64 2.91 2.74 11.9 2.10 9.80 2.10 8.34 5.64 70.05% 268.79% 85.06% 268.79% 2.91 2.74 Information System (Category 4c) 0.10 0.00 0.08 0.04 0.04 0.10 0.00 0.08 0.04 82.06% 0.00 0.04 Construction of Buildings (Category 6) 15.01 0.00 15.01 0.00 15.01 0.00 15.01 0.00 100.00% 0.00 0.00 Total cost of Project 51.00 33.00 51.00 33.00 46.79 39.06 91.75% 118.37% 91.75% 118.37% 29.96 9.10 - 20 - Annex 3. Economic Costs and Benefits Table 3a Distribution of IRR by type of subproject Type of Subproject Average IRR Confidence interval 95 % (%) Std. deviation Upper level Lower level Applied Research 98 115 143 53 Adaptive Research 86 114 125 50 Capacity Development 79 129 122 42 Average 86.4 106.3 111.6 65.0 Table 3b. Social IRR by type of subproject Type of Subproject IRRS (%) IRR (%) IRR/IRRS Ratio Applied Research 66 97 1.5 Adaptive Research 101 83 0.8 Capacity Building 84 63 0.8 Average 88 79 0.9 Table 3c. Employment generation per unit of production (man/days) Type of project Region Average Capacity Development Adaptive Research Applied Research Amazonia 182 0 0 109 Centro Oriente 26 160 3 95 Costa Caribe 77 13 0 50 Occidente 28 51 15 37 Orinoquia 370 62 153 127 Average 90 83 57 80 Table 3d. Average annual income increase per family, per region and type of subproject (pesos) Type of subproject Region Average Capacity Development Adaptive Research Applied Research Amazonia 4,534,445 3,136,498 2,344,717 3,816,910 Centro Oriente 1,216,470 9,010,275 753,483 5,311,435 Costa Caribe 1,638,226 462,335 ----- 1,134,273 Occidente 936,679 2,876,633 761,229 1,940,781 Orinoquia 3,034,014 12,842,733 3,179,256 8,531,716 Average 2,005,165 6,706,492 1,741,460 4,259,420 - 21 - Annex 4. Bank Inputs (a) Missions: Stage of Project Cycle No. of Persons and Specialty Performance Rating (e.g. 2 Economists, 1 FMS, etc.) Implementation Development Month/Year Count Specialty Progress Objective Identification/Preparation 1990 1 AGRICULTURAL S S ECONOMIST. 1991 1 ECONOMIST. S S 1992 3 ECONOMIST (2); FINANCIAL S S ANALYST (1). 1993 3 FINANCIAL ANALYST (1); S S AGRICULTURIST (1); ECONOMIST (1). Appraisal/Negotiation 09/13/1993 4 TASK MANAGER [TM] S S (1); ECONOMIST (1); AGRICULTURIST (2). 04/24/1994 7 TM (1); AGRICULTURIST (1); ECONOMIST (2); FINANCIAL ANALYST (1); ENVIRONMENTALIST (1); COUNSEL (1). Supervision 11/17/1995 1 SENIOR S S AGRICULTURIST, TASK MANAGER (TM) (1). 02/05/1997 5 TM (1); MONITORING & S S EVALUATION (1); EXTENSION (1); RESEARCH (1); FINANCIAL SPECIALIST (1). 03/19/1998 4 TM (1); SR. AGRICULTURIST S S (1); RESEARCH (1); FINANCIAL SPECIALIST (1). 09/25/1998 4 TM (1); SR. AGRICULTURIST S S (1); AGRICULTURAL ECONOMIST (1); FINANCIAL ANALYST (1). 06/04/1999 2 TM (1); FINANCIAL ANALYST (1). 12/09/1999 3 TM (1); RESEARCH S S SPECIALIST (1); FINANCIAL ANALYST (1). 05/11/2000 3 TASK MANAGER (1); S S FINANCIAL SPECIALIST (1); RURAL DEV SPECIALIST (1). 10/31/2000 3 TM (1); FINANCIAL S S ANALYST (1); PROCUREMENT SPECIALIST - 22 - (1). 01/25/2002 3 TM (1); AGRICULTURAL S S ECONOMIST (1); PROC SPECIALIST (1). 09/20/2002 1 TASK TEAM LEADER (1). S S 02/21/2003 3 TM (1); FINANCIAL .SPEC (1); S S PROCUREMENT SPECIALIST (1). 07/25/2003 2 TM (1); OPERATIONS S S ANALYST (1). ICR 12/19/2003 5 TM (1); AGRICULTURAL S S ECONOMIST (2); OPERATIONS OFFICER (1); PROJECT ASSISTANT (1). (b) Staff: Stage of Project Cycle Actual/Latest Estimate No. Staff weeks US$ ('000) Identification/Preparation 106.8 183.0 Appraisal/Negotiation 54.5 174.0 Supervision 99.5 422.0 ICR 9.5 52.0 Total 270.3 831.0 - 23 - Annex 5. Ratings for Achievement of Objectives/Outputs of Components (H=High, SU=Substantial, M=Modest, N=Negligible, NA=Not Applicable) Rating Macro policies H SU M N NA Sector Policies H SU M N NA Physical H SU M N NA Financial H SU M N NA Institutional Development H SU M N NA Environmental H SU M N NA Social Poverty Reduction H SU M N NA Gender H SU M N NA Other (Please specify) H SU M N NA Competitivity Private sector development H SU M N NA Public sector management H SU M N NA Other (Please specify) H SU M N NA - 24 - Annex 6. Ratings of Bank and Borrower Performance (HS=Highly Satisfactory, S=Satisfactory, U=Unsatisfactory, HU=Highly Unsatisfactory) 6.1 Bank performance Rating Lending HS S U HU Supervision HS S U HU Overall HS S U HU 6.2 Borrower performance Rating Preparation HS S U HU Government implementation performance HS S U HU Implementation agency performance HS S U HU Overall HS S U HU - 25 - Annex 7. List of Supporting Documents Andres Felipe Arias. 2004. Hacia una agricultura competitiva. En La Revista semana March 14 2004. (como una referencias sobre sostenibilidad de instrumentos del PRONATTA). Gill, Gerard J. and Carey, Diana. 1999. Competitive agricultural technology funds in developing countries. ODI Research Study. Overseas Development Institute, London, UK. Pp. 76. PRONATTA. 1995. Operational Manual of PRONATTA. Ministry of Agriculture and Rural Development. PRONATTA. 1997. Guía Metodológica para la formulación del Programa Agropecuario Municipal - PAM. Ministry of Agriculture and Rural Development, Colombia. PRONATTA. 1999. Red de Capacitación y Fortalecimiento Institucional. Alianza para tejer el Desarrollo Científico y Tecnológico Agropecuario. Ministry of Agriculture and Rural Development, Colombia. PRONATTA. 2000. Curso de Capacitación para la formulación de Proyectos de Capacitación Tecnológica. Ministry of Agriculture and Rural Development. PRONATTA. 2001. Téngalo presente para construir el proyecto de Capacitación Tecnológica. Ministry of Agriculture and Rural Development. Rafael Echeverri Perico. 2002. Evaluación de impactos instucionales del PRONATTA. Informe Consultaría Externa. Jaime Forero. 2003. Evaluación de impactos económicos de los subproyectos PRONATTA. (Primer ciclo). Informe Consultaría Externa. Gustavo Saín. 2004. Evaluación de impactos económicos de los subproyectos PRONATTA. (Segundo ciclo; integración con el primer ciclo). Informe Consultaría Externa, Marzo 2004. World Bank. 1995. Staff Appraisal Report (SAR). Report No. 12236-CD, March 24. World Bank: Aide Memoires and Project Status Reports. World Bank 2003. Aide-memoire, Implementation Completion Report (ICR) visit Report, December 2003. - 26 - Annex 8. Subproject and Training Workshop Table 8a ­ Output of PRONATTA led Calls for proposals Year of Calls Region Total no. of Subprojects No. of Portfolio of Portfolio for Proposals Subprojects not selected subprojects subprojects recommended by the and number demanded for preselected recommended National Panel and operational for evaluation by Regional contracted factors by Regional Panels Panels 1995 aª Amazonia - (405) Costa Caribe 65 40 11 Centro Oriente 126 73 13 Occidente 171 60 20 Orinoquia 43 8 2 Total: 405 224 181 46 75 Subprojects 1995 b Amazonia 13 4 Total Portfolio (362) Costa Caribe 71 10 (1995a+ 1995b; 144 Centro Oriente 127 18 subprojects): Pesos Occidente 89 16 6,221.5 millions Orinoquia 55 8 Projects 7 received by MCU Total 362 32 330 56 69 Subprojects 1996 Amazonia 8 3 5 0 Total portfolio: (507) Costa Caribe 111 24 87 14 Pesos 3,623.5 millions Centro Oriente 177 51 126 21 Occidente 178 52 126 30 Orinoquia 33 3 30 3 Total 507 133 374 68 68 Subprojects 1997 Amazonia 58 0 58 21 Total portfolio: Pesos Costa Caribe 134 33 101 17 8,496.6 millions Centro Oriente 210 25 185 38 Occidente 375 56 319 32 Orinoquia 113 0 113 39 Total 890 114 776 147 134 Subprojects 1998 Amazonia 64 1 63 15 Total portfolio: Pesos Costa Caribe 193 26 169 17 10,860.9 millions Centro Oriente 301 53 251 48 Occidente 252 60 192 30 Orinoquia 91 6 85 20 Total 901 141 760 130 125 Subprojects 2000 Amazonia 55 9 46 18 Total portfolio: Pesos Costa Caribe 132 32 100 32 19,362.3 millions Centro Oriente 226 65 161 57 Occidente 212 70 142 50 Orinoquia 89 11 78 31 Total 714 187 527 188 164 Subprojects Grand Total Total portfolio: Pesos 48,564.96 millions for 635 Subprojects Note: Records of calls for proposals SIG-UC. Database Artificial judiciary XL. UC. 2004 Total portfolio investments by the Project and excluding cofinancing by the implementing agencies. - 27 - Table 8b ­ Courses and workshops conducted on strategic capacity development. No. of capacity building activities No. of workshops No. of trainees Capacity building and formulation of 10 Courses in year 2000 243 capacity building projects Specialization on Rural development ­ Every 2 months in a year 35 National University of Colombia Capacity building on information Phase I: 1 workshop National 2-7 Oct/2000. National: 16 trainees; technologies and communication. I Replication Regional 6 Workshops, Oct 25 87 trainees al 8 Nov/2000. 184 trainees II Replication Regional Phase I: 8 91 trainees Workshops. Feb 21 - Mar 14/2001 Capacity building in methodologies of Phase II Capacity building: Sep 30- use of new information technologies Oct/2001. Capacity building on popular 1 National Workshop 2002 30 trainees of RED communication Capacity building Law 607/00 ­ 14 Workshops 682 persons Provincial Centers on Agro enterprises Fora on social capital 11 Workshops 293 Fora of Science and technology 1 National in Medellín and 5 Regional 539 Fora of UMATAS 5 Regional and 2 Nationals 638 UMATA & 240 public and private representatives Note: Archives UC-PRONATTA - 28 - Annex 9. Borrower ICR (Informe del Prestatario) 1. Evaluación del objetivo del desarrollo, diseño y de la calidad del inicio 1.1. Objetivo original: El objetivo de desarrollo definido en el Staff Apraissal Report fue introducir un cambio en la cultura de investigación en Colombia acorde con las políticas del gobierno y con el principio de descentralización del desarrollo tecnológico, modernización y privatización de la agricultura colombiana con énfasis en la transferencia de tecnología para los pequeños productores. La investigación financiada bajo el proyecto debe apoyar la reducción de la pobreza rural, incrementar el empleo rural y mejorar la competitividad de los productores agropecuarios colombianos. Los objetivos específicos fueron: a) mejorar la calidad y eficiencia de la investigación y transferencia de tecnología agropecuaria mediante la introducción del concepto de atención de demandas, sistema de selección competitiva para el cofinanciamiento de subproyectos con entidades públicas y privadas del sector; b) fortalecer la capacidad institucional del sector para el desarrollo y evaluación de paquetes tecnológicos para los pequeños productores; c) revitalizar la capacidad ociosa, tanto física como humana, existentes en el Sistema Nacional de Tecnología Agropecuaria en Colombia; d) Promover la participación del sector privado en la investigación y transferencia de tecnología agropecuaria y; e) apoyar la descentralización mediante el fortalecimiento de la participación regional, la identificación de prioridades y los servicios municipales de extensión. 1.2. Objetivos revisados: Los objetivos iniciales no fueron modificados. 1.3. Componentes originales 1.3.1 El proyectos tuvo dos componentes: 1) Desarrollo tecnológico y adopción y 2) Desarrollo institucional. El componente de desarrollo tecnológico y adopción incluye la inversión desde la demanda para dos subcomponentes: investigación estratégica y aplicada; investigación adaptativa. El Componente de Desarrollo Institucional incluye la inversión en 5 subcomponentes: establecimiento de la Unidad Coordinadora (MCU) en el Ministerio de Agricultura y Desarrollo Rural (MADR); Panel Nacional como soporte a la MCU en la implementación del proyecto; Paneles regionales para apoyar la selección de subproyectos; entrenamiento y capacitación en formulación de proyectos y en tecnologías disponibles; establecimiento de un programa de asistencia universitaria y establecimiento de un sistema de información de tecnologías agropecuarias. El costo total del proyecto fue US$84 millones. 1.3.2. El Componente de Desarrollo tecnológico fue diseñado para atender demandas a través de la inversión en investigación estratégica, aplicada y adaptativa , incluyendo el ajuste, validación y difusión promoción de opciones tecnológicas. La selección de subproyectos se fundamenta en la aplicación de criterios de priorización para apoyar la investigación y entrenamiento en tecnologías agropecuarias. Todos los subproyectos incluyen aspectos socioeconómicos y de sosetnibilidad ambiental. Subcomponente 1.1. Investigación estratégica y aplicada. Costo US$26.78 milliones. Involucra subproyectos para atender prioridades nacionales a mediano plazo sobre la generación de opciones tecnológicas para posteriores actividades de adaptación. Los recursos para la investigación aplicada soporta subproyectos que promueven tecnologías con potencial inmediato de uso por parte de los pequeños productores. Subcomponente 1.2. Investigación adaptativa. Costo US$26.78 millones. Sunproyectos de transferencia de tecnología que incluyen ensayos, días de campo y capacitación. Las tecnologías generadas en los centros de investigación deben ser evaluadas, ajustadas y probadas bajo condiciones representativas en términos ecológicos antes de ser transferidas a los extensionistas. 1.3.3. El Componente de desarrollo institucional incluye el establecimiento de una pequeña unidad coordinadora (MCU) en el MADR. Para la coordinación y promoción del proyecto con las diferentes organizaciones participantes , incluyendo las Secretarías de Agricultura Departamentales, y el monitoreo - 29 - y evaluación de las actividades. Esta unidad también realizará el filtro por calidad técnica de los subproyectos para su contratación. La MCU se apoya en el Panel Nacional en estas actividades. Los subproyectos aprobados son presentados al Comité Directivo para su no objeción. Los Paneles Regionales se encargan de la evaluación de los subproyectos en el nivel regional. El componente involucra las siguientes actividades: a) establecimiento de Unidades coordinadoras regionales (UCR) para la coordinación y promoción del proyecto a nivel regional; b) asistencia técnica para apoyar la implementación del sistema de supervisión, la evaluación de medio término y la evaluación de impactos del proyecto; c) programa de entrenamiento en tecnologías y en formulación de proyectos para investigadores, técnicos de campo y otros profesionales del nivel nacional, regional y municipal, y en metodologías de asistencia técnica a productores; d) establecimiento de un programa de asistencia a universidades, para acercar los estudios académicos con el trabajo práctico de campo; y e) establecimiento de un sistema de información tecnológica agropecuaria en función de los requerimientos departamentales y regionales. Subcomponente 2.1. Establecimiento de la Unidad Coordinadora (MCU) en el MADR y paneles. Costo US$4,43 millones Subcomponente 2.2. Programa de promoción. Costo US$1.11 millones Subcomponente 2.3. Supervisión. Costo US$1.38 millones Subcomponente 2.4. Fortalecimiento de las regiones. Costo US$9.63 millones Subcomponente 2.5. Entrenamiento y capacitación en tecnologías y formulación de subproyectos. Costo US$10.24 millones Subcomponente 2.6. Programa de asistencia a universidades. US$0.9 millones Subcomponente 2.7. Sistema de información de tecnologías agropecuarias. Costo US$2.55 millones 1.4. Componentes revisados 1.4.1. En términos generales, los componentes se mantuvieron sin modificación durante la implementación del proyecto, con las excepciones mencionada abajo. No obstante, estas revisiones no implicaron la reestructuración de los componentes: a) Por solicitud del Gobierno Nacional al Banco Mundial (agosto 4, 2003), US$15 millones del crédito inicial se redireccionaron para atender la reconstrucción de viviendas por causa del terremoto en el eje cafetero (enero 1999), a través del Fondo para la Reconstrucción del Eje Cafetero (FOREC) de la Presidencia de la República. Estos recursos se redireccionaron del subcomponente de desarrollo y adaptación de tecnologías (1.1). b) Cancelación de US$4.2079 millones del subcomponente de desaerrollo y adaptación de tecnologías (1.1), de los cuales US$3.501 millones fueron solicitados (septiembre 4, 2003) y aprobados debido a la imposibilidad del Gobierno Nacional para aportar la contrapartida para la operación del fondo competitivo; US$0.5028 millones procedentes de diferentes categorías del crédito debido a la imposibilidad de uso completo en diferentes actividades acordadas; US$0.0788 millones por reembolso de recursos no utilizados; y US$0.125 millones por devolución de dobles solicitudes Ver reporte de crédito (3871-CO) de abril 30, 2004. c) Bajo el componente de desarrollo institucional, el programa de asistencia a universidades fue revisado. Originalmente, el programa fue diseñado para: a) asistir el enlace entre los estudios académicos con el trabajo de investigación en campo y b) apoyar la vinculación de estudiantes de facultades de agronomía acreditadas de Colombia para completar sus trabajo de grado para obtener títulos de M.A. Sin embargo, durante la implementación del proyecto se revisó este programa, definiéndolo para apoyar la realización de pasantías por periodos cortos de tiempo para la capacitación y entrenamiento de estudiantes de pregrado. Bajo este programa, se atendieron 336 estudiantes. - 30 - 1.5. Calidad al inicio En términos generales, la calidad al inicio en la implementación del proyecto es satisfactoria en consideración de los siguientes criterios: i) consistencia del proyecto con las prioridades del Banco Mundial en su Estrategia de Asistencia a Países (CAS), que involucra el desarrollo rural, disminución de pobreza y fortalecimiento institucional en Colombia.; ii) consistencia de los objetivos del proyecto con la estrategia del Gobierno de fortalecer y reformar el sistema nacional de transferencia de tecnología agropecuaria, para proveer de servicios a los pequeños productores, incrementar la productividad agropecuaria y fomentar la participación del sector privado en la investigación agropecuaria; iii) el proyecto también apoyó la política gubernamental de descentralización del sistema de investigación y transferencia de tecnología agropecuaria, con especial atención de los problemas de los pequeños productores, jalonando recursos adicionales de los diferentes participantes a través de la colaboración interinstitucional, fortalecimiento de las organizaciones del sector privado, ONG's e instituciones académicas.; iv) la preparación del proyecto se manejó adecuadamente, tanto por el Banco Mundial como por el prestatario. Aunque el Grupo de Alta Calidad del Banco (QAG) no ha adelantado la revisión del proyecto, los resultados del proceso de evaluación de impactos adelantado por parte del proyecto, muestra resultados positivos; v) la implementación del proyecto contribuyó con la descentralización y generación de mercados de servicios. La capacidad de las organizaciones locales y regionales respondieron positivamente a la propuesta de una nueva cultura de investigación y transferencia de tecnología promovida por el proyecto, y; vi) en consideración de la opinión de diferentes actores involucrados con el proyecto, el PRONATTA fomentó la activa cooperación entre organizaciones mejorando la eficiencia en su implementación. 2. Logro de objetivos y productos 2.1. Resultados / Logros del objetivo del PRONATTA El proyecto fue exitoso, logrando el cumplimiento de los objetivos establecidos y resultados esperados. Por tal razón, puede calificarse como satisfactorio. 2.1.1. El PRONATTA fue consistente con el propósito del Gobierno Nacional de reformar y descentralizar el sistema de investigación y transferencia de tecnología. El PRONATTA ha desarrollado un modelo nuevo, descentralizado y eficiente de asignación y ejecución de recursos públicos para la generación y transferencia de tecnologías a través de un fondo competitivo. El modelo ha tenido una buena aceptación dentro del Sistema Nacional de Ciencia y Tecnología Agropecuaria de Colombia si se considera que: (i) la oferta tecnológica agropecuaria para los productores de bajos ingresos ha aumentado considerablemente; (ii) las entidades y organizaciones dedicadas a generar y transferir tecnología han modificado su forma de gestionar el desarrollo tecnológico y han establecido vínculos con otras entidades y actores del Sistema, las Uniones Temporales y las alianzas ejecutaron mas del 27 % de los subproyectos cofinanciados; (iii) el conocimiento tecnológico generado responde cada vez más a demandas construidas a nivel regional y local; (iv) el proceso de planificación local y regional se fortaleció a través de la "Red", como resultado directo de la estrategia de fortalecimiento institucional; (v) por cada peso que el PRONATTA invirtió en investigación y capacitación tecnológica, los ejecutores de proyectos, públicos y privados, han invertido $0,86. Esta contrapartida incluye la contribución de recursos de la entidades ejecutoras de subproyectos, así como recursos públicos y privados; y (vi) la participación del sector privado en el fondo competitivo se incrementó considerablemente (ver indicadores del anexo 1). La implementación del proyecto ha resultado en una nueva cultura institucional, en mecanismos de asignación y ejecución de recursos públicos a través del fomento de fondos competitivos, la descentralización, la sinergia entre instituciones y la formulación de proyectos en función de la demanda. 2.1.2. Las tecnologías difundidas consideraron elementos sociales. De acuerdo con la apreciación de los paneles de evaluación final, y a partir del criterio de equidad, el 68.4 %, de los subproyectos muestran alto nivel de adaptación al tejido social y aceptación por los productores (ver anexo 2). Así mismo, que el 56.8% de los subproyects relacionados con recursos genéticos y recursos naturales, muestran calificación alta en los indicadores de sostenibilidad ambiental. - 31 - 2.1.3. Los ingresos familiares promedio de los productores aumentaron $4.26 millones (US$1,533) al año como resultado de la adopción de las opciones tecnológicas desarrolladas por los proyectos cofinanciados. Este incremento es el resultados del aumento en productividad y/o por aumento del nivel de empleo familiar. 2.1.4. La evaluación de impactos muestra altos niveles de adopción de las tecnologías difundidas (tasa de adopción del 32%). Esto se debe no solo por el hecho que las tecnologías son apropiadas a las circunstancias y problemas de los pequeños agricultores, sino también por el nivel de capacitación, articulación y dedicación de los extensionistas. 2.1.5. El proyecto se manejó con altos mecanismos de transparencia, lo que se refleja en el alto nivel de credibilidad y confianza a nivel regional y local y en la eficiencia en el manejo de los recursos. Este manejo se refleja en el alto nivel de inversión (87.9 %) con bajos costos operativos (12.1 %) en la ejecución del proyecto (ver anexo 6). 2.2. Resultados por componentes 2.2.1. Componente de desarrollo y adaptación tecnológica. Los resultados logrados en este componente pueden calificarse como altamente satisfactorios en consideración de: Validación de un modelo de operación para fondos competitivos. PRONATTA tuvo una calificación altamente satisfactoria por dejar establecido un modelo de gestión de fondos competitivos caracterizado por la entrega eficiente de recursos públicos, donde el 100% de los recursos presupuestados fueron entregados y manejados a través de principios claros de operación a través de las 6 convocatorias adelantadas. La operación del fondo competitivo trajo como consecuencia el aprovechamiento de la capacidad física y humana ociosa disponible en diferentes instituciones del sistema, creando además importantes sinergias institucionales. Uno de los indicadores que muestran las sinergias entre entidades es que más del 27% de los subproyectos fueron ejecutados a través de uniones, asociaciones o alianzas entre actores. PRONATTA operó a través de un modelo descentralizado. Los paneles regionales muestra que en total se adelantó la evaluación ex - ante de 2,948, las cuales fueron priorizadas acordes con los términos de referencia de la 6 convocatorias. La experiencia del PRONATTA en el tema de descentralización debe ser tenida en cuenta en la formulación de políticas para el sector. Regionalización. Los subproyectos ejecutados se distribuyeron de una manera amplia entre las diferentes regiones del país (Orinoquia, Amazonia, Costa Caribe, Centro Oriente y Occidente). (ver anexos 1 y 4). El modelo de asignación y ejecución de recursos públicos ha sido ampliamente aceptado en el Sistema Nacional de Ciencia y Tecnología Agropecuaria. El modelo ha sido adoptado por el MADR a través del Metaplan y en la Dirección de Desarrollo Tecnológico y Protección Sanitaria del MADR. Adicionalmente, el MADR ha iniciado un proceso institucional para incorporar el modelo implementado por el PRONATTA para la asignación de recursos públicos en ciencia y tecnología agropecuaria. La cultura institucional fomentada por el PRONATTA ha modificado sustancialmente el comportamiento de las instituciones del sector encargadas de la generación y transferencia. Esta nueva cultura se orienta hacia la atención de demandas de los usuarios, valorando la importancia de la sinergia entre instituciones de diferente naturaleza para tener una mejor eficiencia en el manejo de los recursos públicos. Este proceso de construcción social influye positivamente el cambio un cultura sobre el desarrollo tecnológico, en la definición de prioridades regionales, en el fortalecimiento de la capacidad institucional de las regiones y el recurso humano regional. Portafolio de subproyectos. PRONATTA consolidó un amplio portafolio compuesto por 635 subproyectos de desarrollo tecnológico (investigación y capacitación), caracterizado por tener un alto nivel de - 32 - efectividad donde el 98% de los subproyectos cumplieron sus objetivos. Portafolio de opciones tecnológicas. A través del portafolio de subproyectos se generaron y difundieron mas de 600 opciones tecnológicas, las cuales contienen cerca de 3600 componentes tecnológicos (en promedio se tiene 5.7 componentes por opción), que alcanzaron más de 150,000 beneficiarios directos (pequeños agricultores). El portafolio se ajusta a las condiciones de los productores tal como lo demuestran las tasas de adopción y rentabilidad de los subproyectos (ver anexo 1). Los subproyectos del portafolio contribuyeron a la construcción de un importante capital humano, mediante la capacitación de más de 1000 profesionales (investigadores, transferidores y extensionistas) en todo el país, generaron un incremento sustancial en la operación de mercados de servicios tecnológicos, mejoraron las capacidades de las unidades locales de extensión, mejoraron el empleo al nivel de la finca y esencialmente mejoraron los niveles de ingresos de los agricultores que adoptaron las practicas difundidas. Validación de un modelo de operación. Se validó el modelo de gestión como fondo competitivo, a través del cual se respondió a la demanda mediante 6 convocatorias públicas de libre concurrencia, lográndose la cofinanciación de 635 subproyectos con una inversión total de $90.600.580.073, incluyendo la contrapartida de las entidades ejecutoras. Los subproyectos cofinanciados consideran los diversos contextos regionales y necesidades tecnológicas de la población objeto del PRONATTA. El manejo transparente de los recursos, unas reglas claras de juego, un esquema descentralizado y una activa participación de los diversos actores lograron crear credibilidad y confianza en el modelo. 2.2.2. Componente de desarrollo institucional. Los resultados pueden calificarse como satisfactorios. PRONATTA puso un énfasis especial en el fortalecimiento institucional bajo la premisa de que este componente es esencial para lograr el objetivo de consolidar un nuevo modelo para llevar alternativas tecnológicas apropiadas de manera sostenible a los pequeños agricultores a través de un fondo competitivo. Entre los principales logros en este componente se pueden mencionar: Unidad Coordinadora. Se consolidó una unidad coordinadora (MCU) responsable de la supervisión y coordinación técnica, operativa y financiera del proyecto, y cinco unidades coordinadoras regionales (UCR's) encargadas de la implementación del proyecto en el nivel regional. Unidad de Seguimiento y Evaluación. Un importante logro del PRONATTA dirigido a mantener un alto nivel de eficacia y eficiencia en la ejecución de los subproyectos fue el establecimiento una Unidad de Seguimiento y Evaluación como apoyo a los componentes de desarrollo tecnológico y desarrollo institucional. Entre sus principales se mencionan: (i) desarrollo de una estrategia y metodologías para la evaluación exante, durante y expost, así como la evaluación de impactos; (ii) control de la calidad de los subproyectos presentados en las convocatorias en términos de rigor técnico, interdisciplinariedad y transparencia. Paneles Regionales. Se conformó un panel por cada región encargados de la evaluación exante y expost, así como la priorización de los subproyectos, con autonomía descentralizada. La composición de la paneles se realizó bajo el principio de interdisciplinariedad con la participación de expertos temáticos con experiencia y conocimiento de una o más de las cinco regiones del país, para cumplir con la transparencia y el rigor técnico. PRONATTA implementó en Directorio Nacional de Expertos conformado por un número aproximado de 250 expertos. A partir de este directorio se conformaron los paneles regionales. Este instrumento puede ser utilizado para identificar expertos para diferentes necesidades del país. Panel Nacional. Instancia interdisciplinaria de apoyo y complementación dentro de la estructura organizativa del proyecto. Integrado por 7 miembros seleccionados del Directorio Nacional de Expertos y designados por el Comité Directivo para periodos de un año. El panel nacional asesoró al Comité Directivo acerca de los ajustes en la implementación del proyecto, en la elaboración de los términos de referencia de las convocatorias y en la conformación del portafolio nacional de subproyectos financiables para ser presentado al Comité Directivo. - 33 - Sistema de Información - SITA. Una alternativa importante creada para fomentar la estrategia de divulgación y socialización de los resultados del proyecto fue la creación y consolidación del Sistema de Información Tecnológica Agropecuaria (SITA). El objetivo del sistema fue la promoción del proyecto, la socialización de sus actividades y resultados y garantizar el acceso de los demandantes de tecnologías desarrolladas por el PRONATA. El SITA es considerado un instrumento importante de información para los proveedores de servicios de asistencia técnica para los pequeños productores (UMATA), entre otros. El modelo del SITA incluye también el portal del PRONATTA en el internet, que puede ser accedido a través del website www.pronatta.gov.co. Este portal fue construido y administrado por la MCU y es un excelente y amigable portal en donde se puede obtener la información acerca de los subproyectos cofinanciados; además, por servir como mecanismo de diseminación de la información, contribuye a la transparencia del proyecto. El portal incluye el Directorio Nacional de Expertos con más de 250 expertos clasificados por disciplina, región nivel de competencia profesional. También contiene información tecnológica del sector de entidades que reciben recursos público, que contribuye a la sostenibilidad del sistema. Estrategia de articulación entre academia y sector productivo. A través de un subprograma de pasantías se cumplió con el propósito de integrar los estudios académicos, la investigación y el trabajo práctico de campo. De esta manera, estudiantes de pregrado y universidades lograron acercarse a la investigación y al sector productivo. Los indicadores sobre resultados de este subprograma incluyen: i) 336 estudiantes de diferentes disciplinas y ii) 52 universidades de todo el país. Estrategia de capacitación en formulación de proyectos de desarrollo. El PRONATTA generó diferentes instrumentos para adelantar la capacitación y el desarrollo del recurso humano a nivel regional y local. Algunos de estos instrumentos son (ver anexo 7.2): i) Guía metodológica y capacitación para la formulación de proyectos de desarrollo rural, con la realización de 10 cursos con la participación de 243 personas; ii) Especialización en Desarrollo Rural. A través de un convenio con la Universidad Nacional de Bogotá el DFID Colombia, 35 personas recibieron capacitación en este tema. Los participantes eran miembros de la Red de Desarrollo Tecnológico y Fortalecimiento Institucional, creada y financiada por el PRONATTA; iii) capacitación en tecnologías de la información: 15 talleres, 287 personas capacitadas y 6 comunidades virtuales montadas; iv) capacitación en comunicación popular: 30 personas capacitadas; v) capacitación de UMATA con 7 talleres con la asistencia de 878 personas, y vi) Foros de Ciencia y Tecnología Agropecuaria. Se realizaron 6 talleres con un total de 539 personas, en donde se analizó y se generaron alternativas para optimizar el SNCTA. Red de Capacitación y Fortalecimiento Institucional. PRONATTA creó y financió la Red como soporte a las actividades del proyecto definidas en sus objetivos. De manera específica, se creó como apoyo a la operación del fondo competitivo en el componente de desarrollo tecnológico. La Red promovió la articulación, las sinergias de organizaciones y la conformación de alianzas para compensar las inequidades debidas a las debilidades institucionales entre regiones, lo que se reflejaba en la convocatorias. Este instrumento probó ser exitoso, lo que se demuestra por los resultados de presentación y aprobación de subproyectos de las regiones débiles. Posteriormente, a medida que el proyecto avanzó en su implementación, la Red involucró importantes entidades de desarrollo rural respondiendo a los cambios de necesidades y contextos regionales. La Red esta conformada por 20 nodos regionales y 4 redes temáticas. Cada nodo regional ha construido una agenda de desarrollo para la identificación de las demandas de los pequeños agricultores y las estrategias de atención a las mismas. Mediante diferentes medios reales y virtuales, la Red opera con un alto nivel de conectividad entre nodos. Diferentes convenios y alianzas, como las mencionadas con DFID Colombia y ECOFONDO, han ayudado al fortalecimiento de la Red. En el año 2004, se ha garantizado la sostenibilidad de la Red a través de la creación de una entidad autónoma conocida como "Corporación RED PAIS RURAL", que cuenta con más de 340 miembros. Desarrollo metodológico. PRONATTA, a través de la Unidad de Seguimiento y Evaluación, desarrolló, utilizó y validó un conjunto de metodologías dirigidas al seguimiento, control y evaluación de los subproyectos y sus impactos económicos, institucionales, organizacionales y ambientales. La metodología de evaluación de impactos se considera como una experiencia pionera en la ejecución de este tipo de proyectos. Las metodologías desarrolladas son de aplicación universal. Por esta razón, es - 34 - una importante contribución del PRONATTA al conocimiento y se puede considerar como una externalidad positiva del proyecto. Las metodologías se caracterizan por su eficiencia, interdisciplinariedad, descentralización, transparencia y rigor técnico. Otros desarrollos metodológicos del PRONATTA son: i) Guía metodológica para análisis de redes y percepciones; ii) sistematización de experiencias; formulación de escenarios de desarrollo regional; iii) guía metodológica para la formulación de Programas Agropecuarios Municipales (PAM). Publicaciones. Adicional a las publicaciones de resultados de los subproyectos (artículos, boletines, tesis entre otros), PRONATTA ha adelantado la publicación de más de 17 documentos sobre diferentes temas (ver anexo 7.3). Unidad Administrativa, Financiera y Jurídica (FAJA). La Unidad de manejo administrativo, financiero y jurídico del proyecto fue desarrollado como un instrumento par: a) adelantar las acciones institucionales y procedimientos operativos tendientes a mejorar la implementación del proyecto; b) garantizar que las diferentes estrategias aplicadas fueran viables administrativa, financiera y jurídicamente. La implementación de esta unidad se basó en los principios de eficiencia, eficacia y transparencia cuya aplicación mejoró la capacidad de ejecución del presupuesto en forma notable (98.6 % del presupuesto asignado por la Nación) (ver anexo 8). Esta unidad fue responsable del cumplimiento de todos los procedimientos contractuales del proyecto, acorde con los normas establecidas por el Banco Mundial y las leyes y reglamentaciones del Gobierno Nacional. 2.3. Valor Presente Neto / Tasa Interna de Retorno. Para mayor información consultar: Colombia, Ministerio de Agricultura y Desarrollo Rural. Evaluación de Impacto del PRONATTA, Bogota, marzo 2004. La evaluación de impactos económicos del PRONATTA se realizó con el liderazgo de consultores externos y en dos ciclos: uno para los subproyectos que terminaron antes del 31 de enero de 2001 y el segundo para el resto de subproyectos que terminaron hasta el 31 de diciembre de 2003. El resultado de dichos estudios se combinó para calcular la Tasa Interna de Retorno (TIR) basados en precios de mercado. 2.3.1. Valor presente neto / Tasa interna de retorno. La evaluación de impactos demuestra un valor de la Tasa Interna de Retorno (TIR) del 86.4%, que es mucho mayor a la tasa de interés del 15% considerado como el costo de la inversión del proyecto y al 12% considerada como la tasa social de la inversión en Colombia (Costo de oportunidad del capital ­ OCC). Con un nivel de confianza del 95%, la TIR a precios de mercado esta entre el 65..0 % y el 111.6 %. El valor de la TIR de los subproyectos de investigación aplicada es superior con relación a los subproyectos de investigación adaptativa y capacitación, en este orden. Para todos los casos se encuentra que la TIR promedio es del 42% con un nivel de confianza del 95%. Para los subproyectos de capacitación tecnológica se observa que su desviación estándar es superior, situándose alrededor de 129%, mientras que para los otros tipos de subproyectos la desviación estándar es muy similar y se sitúa alrededor de 114%. Para el segundo ciclo de evaluación de impactos, también se calculó la TIR a precios de mercado (TIRs) para analizar el efecto de las imperfecciones del mercado. La relación TIR/TIRs fue de 1.5 para investigación aplicada, 0.8 para investigación adaptativa y capacitación tecnológica. La relación promedio entre TIR/TIRs fue de 0.9. - 35 - 2.3.2. Generación de empleo y de Ingresos familiares Mayor información en la Evaluación de Impacto del PRONATTA. La generación de empleo y el mejoramiento de los ingresos familiares de los pequeños productores son uno de los objetivos del proyecto y de las políticas sectoriales del Gobierno Nacional. Por esta razón, se enfatizó en estos indicadores en la evaluación de impactos de las opciones tecnológicas generadas por los subproyectos. Los valores de los indicadores fueron obtenidos para cada subproyecto dentro del cálculo de los costos de producción con y sin subproyecto para cada unidad productiva (hectárea, familia o empresa). Los resultados sobre la generación de empleo muestra la siguiente información: i) El incremento promedio de los subproyectos cofinanciados por PRONATTA es de 80 jornales por año por unidad productiva, lo cual equivale a casi 4 meses hombre de trabajo; ii) los subproyectos con mayor generación de empleo fueron los de capacitación tecnológica y los de menor valor fueron los de investigación aplicada; iii) Orinoquia fue la región donde los subproyectos tendieron a generar mayor empleo y Occidente la región con menor generación de empleo; y iv) los subproyectos ejecutados por universidades y ONG's presentaron los mayores valores de generación de empleo. El incremento en los ingresos de los productores, especialmente los pequeños, se constituyó en uno de los principales objetivos del proyecto desde su diseño. Por esto, en esta sección se pretende hacer un estimativo de los alcances que el PRONATTA tuvo en los ingresos familiares de los beneficiarios, considerando que el ingreso familiar tiene dos fuentes: i) la explotación económica de la finca y ii) la mano de obra familiar o trabajo. El ingreso familiar se calculó multiplicando el BNAA (Beneficio Neto Anual Actualizado) por el número de unidades productivas y sumándole el 50% del valor de los jornales incrementados por la opción tecnológica. El promedio de incremento en el ingreso familiar por año es de $4.259 millones (US$1,533; este valor equivalente al 75% de los ingresos anuales de un agricultor). Las regiones de mayor incremento en el ingreso familiar son la Orinoquia y Centro Oriente. 2.4. Tasa de Retorno Financiera. La evaluación de impactos adelantada por el proyecto no estimó la tasa de retorno financiera (TRF). 2.5. Impacto de desarrollo institucional. Se basa en los resultados del estudio del Impacto Institucional del PRONATTA, elaborado por el Rafael Echeverri Perico. Bogota, Colombia. . 2.5.1. La evaluación de impactos institucionales se adelantó por un equipo externo al PRONATTA, revelando algunos aspectos institucionales en los cuales el proyecto muestra los mayores impactos en la cultura de transferencia de tecnología: i) la capacidad para inducir e incentivar alianzas de cooperación para el logro de una nueva cultura en el sistema de transferencia de tecnología, con lo cual se alcanza uno de los más importantes propósitos de la política, consistente en involucrar mayor número de actores, sumar capacidades, crear capital social, ganar legitimidad para la política pública, mejorar la gobernabilidad y multiplicar los efectos de recursos escasos. 27% de los subproyectos fueron ejecutados a través de uniones y la institucionalización de la Red (Corporación RED PAIS RURAL) creada por el PRONATTA son un ejemplo de las estrategias que apuntaban a este propósito. La calificación dada en este tema es de 5/5; ii) la transparencia en la ejecución de los del PRONATTA que, a pesar de que podría considerarse como una condición mínima, se vuelve extraordinariamente importante por el contraste con percepciones de serias dudas sobre otros programas del sector, con lo cual se ha logrado ganar en confianza, legitimidad y compromiso de los participantes en el Sistema, al tiempo que constituye un ejemplo de las posibilidades de los fondos competitivos de esta naturaleza, como instrumentos idóneos para el desarrollo de política pública. Un ejemplo de transparencia y confianza en la implementación del proyecto, es que durante la crisis causada por el terremoto del eje cafetero en la cual los recursos del proyecto estuvieron en peligro, las regiones enviaron numerosas comunicaciones al Presidente de la República y a diferentes autoridades financieras, solicitando la continuidad del proyecto. La calificación dada sobre este aspecto fue de 5/5; iii) la selección de los ejecutores de los recursos públicos a través de mecanismos participativos y usando criterios de excelencia y calidad, como responsabilidad compartida entre ejecutores y administradores del proyecto, avanza enormemente en los procesos de focalización, como uno de los mayores desafíos de la política pública. La calificación dada sobre este aspecto fue 4/5; iv) la experiencia del PRONATTA valida el modelo de fondocompetitivo, devela sus mecanismos, fortalezas y debilidades y marca un hito en la aplicación de estos instrumentos de política en el sector. La evaluación da un puntaje de 5/ en este aspecto. 2.5.2. Los aspectos identificados en la evaluación como espacios en los cuales se lograron impactos - 36 - medios, ya sea en razón a que corresponden a procesos de más largo plazo o por requerir de la revisión de las estrategias desarrolladas son: i) la integración de las universidades al Sistema, que si bien se reconoce que ha sido amplia, dista mucho de aprovechar todo su potencial. La calificación dada en la evaluación fue de 3/5; ii) las debilidades propias de las ONGs locales y regionales que acusan la ausencia de una política o estrategia explícita para su fortalecimiento y reconocimiento que optimice su capacidad de aporte, vínculo local y especialización`. La calificación dada en la evaluación es de 3/5; iii) la transferencia de experiencias entre los diferentes subproyectos de forma que se explote más el efecto demostrativo, la cooperación horizontal y la difusión de resultados; iv) los procesos de rendición de cuentas que muestran grandes posibilidades por el nivel de participación generado por el esquema, pero que aún tienen un gran espacio para incidir realmente en las decisiones de evaluación y gestión de los subproyectos. La calificación dada en la evaluación de impactos fue 3/5; v) la definición deprioridades y tipos de proyectos es un campo en donde el PRONATTA logró avanzar en forma significativa ganando legitimidad y pertinencia de sus acciones; sin embargo, este proceso ha evidenciado contradicciones, particularmente en las fases del proceso de desarrollo tecnológico que debe apoyar, frente a lo cual no se han dado las suficientes discusiones y definiciones de política. La calificación dada en la evaluación es 3/5; vi) la formación de masa crítica, proceso en el cual se han debido enfrentar dificultades importantes con respecto a las capacidades estructurales de ejecutores y beneficiarios, producto de carencias relacionadas con políticas más integrales de desarrollo humano. La calificación dada en la evaluación es 3/5; vii) en la evaluación exante de proyectos se evidencian aún espacios importantes para el mejoramiento de la aplicación de criterios estratégicos, así como aplicaciones de criterios con sentido de muy corto plazo que condiciona el logro de la introducción de visiones estratégicas de innovación, reconversión y desarrollo regional, entre otros. La calificación dada en la evaluación es 3/5; viii) la difusión de los logros alcanzados por el proyecto no ha logrado permear todos los espacios que podría. La calificación dada en la evaluación es 3/5; y ix) la programación yejecución presupuestal es muy sensible a indefiniciones e incertidumbre que perturban significativamente el exigente ambiente de confianza y coordinación que el modelo requiere. La calificación dada en la evaluación es 3/5. 3. Factores que afectaron la Implementación y los Resultados 3.1. Factores que escapan del control del gobierno o agencia implementadora Los siguientes factores que escapan al control del Gobierno afectaron la implementación del proyecto: i) inestabilidad social en el país limitó el alcance del proyecto en algunas regiones y también limitó la intensidad en la supervisión de actividades de los subproyectos por parte de la agencia implementadora y por el Banco Mundial; ii) el bajo nivel de participación de los Gremios; iii) el apoyo de la sociedad en general, especialmente de las regiones, para solicitar la continuidad del proyecto en el momento en que se tuvo peligro sobre su continuidad por el terremoto del eje cafetero; iv) la existencia de una fuerte capacidad institucional en las regiones para participar en diferentes aspectos del proyecto. 3.2. Factores generalmente sujetos al control por el gobierno Los siguientes factores sujetos al control del Gobierno afectaron la implementación del proyecto: i) Por efectos del desastre causado por un terremoto en el eje cafetero en 1999, el Gobierno Nacional tomó la decisión de redireccionar recursos para la recuperación de dicha región, incluidos los recursos del PRONATTA. Por solicitud de las regiones y de diferentes organizaciones y a partir de una propuesta técnica presentada por el PRONATTA, el Gobierno decidió mantener el proyecto pero con un recorte presupuestal de US$15 millones destinados al FOREC (Fondo para la reconstrucción del eje cafetero de la Presidencia de la República). Como resultado, la cantidad total de recursos del empréstito con el Banco Mundial se redujo a US$36 millones,con una reducción en los recursos disponibles en el fondo competitivo; ii) el proceso de descentralización promovido por el Gobierno Naxcional, indujo a la autonomía regional y local acerca de la definición de prioridades de desarrollo, incentivando el fortalecimiento institucional y permitiendo una mejor expresión de la demanda de servicios tecnológicos; iii) la flexibilidad administrativa que permitió contratar con entidades fiduciarias para la administración de los recurso financieros, favoreció la eficiencia del proyecto; iv) la implementación del proyecto se afectó en algunas oportunidades debido al recorte en la cantidad de recursos requeridos y retrazo en los desembolsos por parte del Ministerio de Hacienda. - 37 - 3.3. Factores generalmente sujetos al control de la agencia implementadora 3.3.1. Necesidad de ajustar técnica y financieramente proyectos que terminaban en el año 2004. En la última convocatoria del año 2000 y de acuerdo a la aprobación del portafolio de proyectos por parte del Comité Directivo del Programa, se cofinanciaron proyectos que tenían una duración de 36 meses, lo que implicaba que un número considerable de estos terminaban en diferentes momentos del año 2004. En virtud de los requerimientos del Banco Mundial, se hizo necesario un ejercicio entre el PRONATTA y las organizaciones ejecutoras para recortar el tiempo de ejecución de dichos proyectos sin afectar el logro de los objetivos particulares y los resultados de los mismos. Este ajuste se logró adelantar sin mayores contratiempos y es la razón por la cual se tuvo un grupo de 94 subproyectos que terminaron actividades a diciembre de 2003 y que fueron liquidados en el primer trimestre de 2004. 3.3.2. Por otro lado la MCU contó con los siguientes factores positivos en el desarrollo del proyecto, entre otros: i) El personal de la unidad coordinadora contó con estabilidad durante todo el proyecto lo cual permitió una continuidad en las estrategias y un mejor aprovechamiento de las experiencias ganadas; ii) la unidad coordinadora contó con personal competente y comprometido, favoreciendo su capacidad de negociación con el Gobierno y con los ejecutores de subproyectos; iii) el permanente apoyo técnico y financiero del IICA fue un aspecto positivo en la implementación del proyecto; iv) la estructura organizaciones del PRONATTA permitió la coordinación de las políticas y actividades del proyecto, apoyado por la composición plural del Comité Directivo en donde participaron diferentes actores del SNCTA, presidido por el Viceministro de Agricultura y Desarrollo Rural; y v) PRONATTA logró un alto nivel de pertinencia de los subproyectos, aspecto reconocido por los mismos beneficiarios en diferentes escenarios (eventos de entrega de resultados, encuentros de evaluación de impactos y en talleres de sistematización de la experiencia, entre otros). 4. Costos y financiamiento. Estas cifras de ejecución, son al 31 de marzo del 2.004 y no incluye la evaluación técnica, evaluación financiera y liquidación de contratos con entidades ejecutoras de subproyectos que terminaron a 31 de diciembre de 2003, que se completará en mayo de 2004. Los recursos totales implementados por el PRONATTA fue de US$ 85.85 millones, que es 102.21% mayor a lo programado en el SAR; esto se debe al incremento en los recursos de contrapartida (entidades ejecutoras de subproyectos y Gobierno Nacional). La MCU (incluyendo el costo de los paneles) presentó un costo de US$ 10.4 millones, lo cual significa una ejecución del 62 % de los recursos programados. En el SAR se programaron recursos por valor de US$ 67.6 (crédito más contrapartida), para el financiamiento de subproyectos; con la enmienda de agosto de 1999, que redireccionó algunos recursos para el FOREC, US$ 10.4 millones del crédito fueron recortados de los recursos para subproyectos; PRONATTA cofinanció US$ 60.30 millones en subproyectos, lo que representa el 105.9% de lo programado. 4.1. Manejo Financiero. Este aspecto del Proyecto estuvo bien programado en el sentido que garantizó recursos para las actividades de desarrollo tecnológico en periodos mayores de un año. Permitió contratar una Fiducia para la administración de recursos, que dio agilidad y eficiencia en la ejecución y contratación financiera. Por otro lado, la cooperación entre el MADR con el IICA dio soporte financiero y técnico a la MCU, permitiendo la ágil y buena organización del proyecto. El Banco Mundial atendió las inquietudes financieras del PRONATTA de manera altamente satisfactoria. 4.2. Auditoria Financiera. La Auditoria Financiera fue presentada durante la implementación del proyecto, cuyos reportes fueron aceptados por el Banco Mundial. 4.3. Plan de Desembolsos. Durante los primeros años del PRONATTA (1995 ­ primer semestre de 1998), la mayoría de recursos provinieron del Gobierno Colombiano, debido a que en aquel momento la situación financiera del país no permitía la incorporación de recursos foráneos. Esta situación provocó un desbalance en el pari passu. Posteriormente al año 1998, la situación cambió, determinando que los recursos del PRONATTA provinieran fundamentalmente del crédito. - 38 - 5. Sostenibilidad La sostenibilidad del proyecto se considera como satisfactoria. 5.1. Razones para la calificación de la sostenibilidad Uno de los objetivos del PRONATTA fue la validación de un nuevo modelo de asignación de recursos públicos a través de un fondo competitivo. El proyecto validó este instrumento, lo que ha sido reconocido por el Gobierno, hasta el punto de que en la política de ciencia y tecnología del actual Ministro de Agricultura, en su Metaplan, considera la operación de un fondo competitivo bajo el modelo diseñado por el PRONATTA. El MADR actualmente estudia la financiación y diseño de dicho fondo, en el cual los instrumentos diseñados por el PRONATTA serán incorporados. Algunos de estos instrumentos son: Metodologías de semonitoreo y evaluación, metodología de evaluación de impactos, metodología para sistematización de experiencias, SITA (Sistema de información), el cual ha sido adoptado como el Sistema de Información Tecnológica del MADR, el modelo de organización de la demanda a través de redes (Corporación RED PAIS RURAL). Adicionalmente, las diferentes tecnologías desarrolladas a través de la implementación del PRONATTA están siendo aplicadas por los agricultores. 5.2. Acciones hacia la sostenibilidad El MADR y el Banco Mundial están preparando un nuevo proyecto cuyo principal componente es desarrollo tecnológico; en este proyecto los recursos los proyectos serán asignados mediante un fondo competitivo y las más recientes instrucciones del Ministro para las entidades que realizan investigación y capacitación es que los recursos les serán asignados a través de mecanismo de competencia. 6. Desempeño del Banco y del Prestatario Banco Mundial Crédito: El desempeño del Banco en el proceso de crédito fue satisfactorio. Supervisión: El Banco ha garantizado el cumplimiento de los acuerdos pactados, lo cual contribuyó a la estabilidad del proyecto y el logro del cumplimiento de los objetivos. Además ha prestado asesoría permanente sobre los trámites y las nuevas experiencias similares en otros lugares del mundo que permitieran mejorar éste. Así mismo, ha apoyado con recursos y asesorías el continuo mejoramiento de las estrategias del Proyecto para el cumplimiento eficiente de los objetivos. Desempeño general del Banco. Por las observaciones anteriores, se considera que el desempeño general del Banco es satisfactorio Prestatario Preparación. El papel del prestatario en la preparación del proyecto fue satisfactoria. Como resultado del esfuerzo conjunto entre el prestatario y el Banco, el diseño del proyecto probó ser apropiado para la obtención de los objetivos. En la ejecución. El desempeño del gobierno en la ejecución fue satisfactoria. El desempeño de la Unidad Ejecutora del Proyecto fue satisfactoria. El Departamento de la Función Pública de la Presidencia de la Republica de Colombia Certificate dated December 05, 2000. Signed by the President Andres Pastrana and Director of Administration Mauricio Zuluaga Ruiz, concedió un premio a PRONATTA como una excelente Unidad Administrativa del Gobierno Colombiano. Por otra parte el Departamento de Asuntos Sociales y Económicos, División de Desarrollo sostenible de la Naciones Unidas reconociendo a PRONATTA como un Proyecto exitoso Department of Economic and Social Affairs. 2000. Sustainable Development, Success stories. Volume 4. United Nations. Pp. 106. En General. En general el desempeño del prestario es calificado como satisfactorio, por lo resultados de los diferentes componentes y que las diferentes instancias operativas apoyaron la ejecución del PRONATTA. - 39 - 7. Lecciones aprendidas El PRONATTA en su implementación y a partir de los ejercicios de: (i) sistematización de la experiencia; (ii) evaluación de impactos institucionales y; (iii) evaluación de impactos de proyectos, resalta como relevantes las siguientes lecciones: l El modelo de Fondo Competitivo es viable en el contexto sociopolítico colombiano. Ya que el Sistema de Ciencia y Tecnología Agropecuaria a respondido favorablemente a su forma de operación. l Los fondos competitivos son instrumentos eficaces para reducir inequidad regional. Su ejecución debe estar siempre acompañada de un fuerte componente de desarrollo institucional que facilite la construcción de capacidades en las regiones menos competitivas. l La libre concurrencia facilita la inclusión regional si está regulada por reglas de juego claras y transparentes, que generen confianza y recuperen la credibilidad en los programas del Estado. l El fortalecimiento de los actores sociales de base, como parte de los procesos de desarrollo tecnológico, facilita la participación de diferentes actores, facilita la adopción, mejora la cobertura e incrementa la efectividad y el impacto de los procesos tecnológicos. l El trabajo en alianzas estratégicas facilita la participación y el acercamiento entre actores, incluido el sector privado, potencializa el logro de resultados y favorece la construcción de capital social. l La sostenibilidad del cambio institucional. El proceso que ayuda al cambio cultural de asignación y ejecución de recursos públicos a los problemas de desarrollo tecnológico requiere: a) Tiempo para que la institucionalidad adopte y use los instrumentos; y b) La permanencia y el compromiso de las instituciones. l El seguimiento y la evaluación del Proyecto y de los Subproyectos cofinanciados, debe ser un componente fuerte, bien diseñado y con metodologías flexibles, desde el inicio del Proyecto. La participación de los beneficiarios y los demás actores del Sistema es esencial para su éxito. l La metodología y estrategia diseñada por el PRONATTA para las temáticas especiales de las regiones y la participación organizada en la Redes contribuyeron a la descentralización y la demanda organizada y permitieron la construcción regional de escenarios para cada convocatoria, lo cual facilito la priorización de los subproyectos presentados para el desarrollo tecnológico regional. En general, los paneles de evaluación regional agregaron valor y enriquecieron los procesos de selección y monitoreo, contribuyendo a que las diferentes visiones de las todas las disciplinas condujeran a una acción central e integrada. l La metodología desarrollada por PRONATTA para el monitoreo, evaluación y difusión de resultados promovió el fortalecimiento de las capacidades de los actores (productores, tecnólogos e investigadores) que hicieron parte del proceso. l La evaluación deI impacto de las inversiones públicas,que en Colombia no es común ; la metodología para evaluación de impactos diseñada por el PRONATTA mostró que este procedimiento es factible y realizable y que el Gobierno debe promover su adopción por las instituciones. La experiencia de PRONATTA probó que es posible la articulación de las demandas regionales con la política pública, bajo los principios de equidad y pertinencia; también probó que es posible la asignación y ejecución de recursos públicos en forma transparente. - 40 - - 41 -