PROCESS AND IMPACT EVALUATION OF THE  

BASIC EDUCATION ASSISTANCE MODULE (BEAM)  IN ZIMBABWE 

 FINAL EVALUATION REPORT 

Submitted to  

Ministry of Labour and Social Services Government of Zimbabwe 

  

Submitted by 

                                     CfBT Education Trust,  Impact Research International & Paul Musker and Associates 

 Harvey Smith  Patrick Chiroro  Paul Musker 

  

Submitted on: 20 March 2012  

 

2 

TABLE OF CONTENTS  

ACKNOWLEDGMENTS ....................................................................................................................................6

ABBREVIATIONS AND ACRONYMS.............................................................................................................7

EXECUTIVE SUMMARY ...................................................................................................................................8

CHAPTER 1: INTRODUCTION AND OBJECT OF EVALUATION........................................................ 13

1.1. Background  13

1.2. Underlying Policy Assumptions and Emerging Issues  14

1.3. BEAM Implementation Strategy and Processes  15

1.4. BEAM Finances: Source, Amount and Distribution Patterns  17

CHAPTER 2: PURPOSE OF THE EVALUATION...................................................................................... 20

2.1. Rationale for the Evaluation  20

2.2. Purpose of the Evaluation  20

2.3. Objectives of the Evaluation  20

2.4. Scope of the Evaluation  21

2.5. Evaluation Criteria  21 2.5.1. Relevance of the programme  21 2.5.2. Efficiency of programme delivery  22 2.5.3. Effectiveness in the achievement of planned objectives  22 2.5.4. Impact of the programme (for children, families and communities)  22 2.5.5. Sustainability of the programme  22

CHAPTER 3: EVALUATION METHODOLOGY ........................................................................................ 24

3.1. Evaluation Design  24

3.2. Evaluation Instruments  24 3.2.1. Survey Instruments  24 3.2.2. Discussion Guides  24

3.3. Target Sample  25 3.3.1. School­Based Survey Sample  25 3.3.2. School­Based In­depth Analysis Sample  25 3.3.3. Provincial and District Level Sample  26 3.3.4. National Level Sample  26

3.4. Recruitment, Training and Deployment of Fieldworkers  26

 

3 

3.5. Data Collection Process  26 3.5.1. Completion of the School Head Questionnaire  26 3.5.2. Completion of Child Questionnaires  26 3.5.3. Completion of Parent/Guardians Questionnaires  27 3.5.4. Completion of the Community Representative Questionnaires  27 3.5.5. Completion of Provincial and District Level Questionnaires  27 3.5.6. Focus Group Discussions (FGDs)  27

3.6. Data Processing and Analysis  28

3.7. Limitations of the Evaluation Methodology  28

CHAPTER 4: EVALUATION FINDINGS..................................................................................................... 29

4.1. Sample Characteristics of the Quantitative Dataset  29 4.1.1. School Heads  29 4.1.2. Children  29 4.1.3. Parents  29 4.1.4. Community Representatives  29 4.1.5. Provincial and District Respondents  29

4.2. Programme Relevance: Survey Findings  29

4.3. Programme Efficiency: Survey Findings  31

4.4. Programme Effectiveness: Survey Findings  32

4.5. Programme Impact: Survey Findings  34

4.6. Programme Sustainability: Survey Findings  35

4.7. BEAM Finances  36

4.8. School­Level Income and Expenditure Patterns  37

4.9. The School­Level Focus Group Discussions  43 4.9.1. Children  43 4.9.2. Parents and Guardians  44 4.9.3. Community Representatives  44 4.9.4. Awareness of BEAM  45 4.9.5. Key Issues in the Qualitative Data  45

4.10. Interviews With National Stakeholders and Role Players  46

CHAPTER 5: CONCLUSIONS AND LESSONS LEARNED....................................................................... 49

5.1. Summary of Findings  49 5.1.1. Programme Relevance  49 5.1.2. Programme Efficiency  50 5.1.3. Programme Effectiveness  50 5.1.4. Programme Impact  52 5.1.5. Programme Sustainability  52

5.2. Conclusions: Underlying Policy Assumptions and Relevance  53

 

4 

5.3. Conclusions Related to the Evaluation Criteria  53

5.4. Conclusions: Additional Barriers Affecting Children’s Access to Schools  55

5.5. Conclusions Related to the Resource Allocation and Targeting Strategy  55

5.6. Conclusions: the Importance of Levies  57

5.7. Conclusions: BEAM as Part of a Broader Strategy for Social Support  57

5.8. Conclusions Related to the Efficacy of the Institutional Arrangements  58

5.9. Lessons Learned  59

CHAPTER 6: RECOMMENDATIONS.......................................................................................................... 61

APPENDIX A: SURVEY INSTRUMENTS ................................................................................................... 66

APPENDIX B: QUALITATIVE INSTRUMENTS........................................................................................ 93

APPENDIX C: FIELDWORKER TRAINING WORKSHOP INFORMATION SAMPLES..................102  LIST OF TABLES  Table 1: Categories of children eligible for BEAM funding .............................................................................16 Table 2: Percentage of schools applying for and receiving BEAM funding 2009‐2011 .....................18 Table 3: Sources and amounts of funding (in US$) 2009‐2011....................................................................18 Table 4: Numbers of BEAM beneficiaries 2009‐2011.......................................................................................19 Table 5: Per capita funding (in US$) 2009‐2011.................................................................................................19 Table 6: Funding of examination fees (in US$) 2010‐2011............................................................................19 Table 7: Sample composition by province and school type............................................................................25 Table 8: Programme relevance ...................................................................................................................................30 Table 9: Reported categories of children currently on BEAM.......................................................................30 Table 10: Perceived impact of BEAM on the financial position of schools ..............................................32 Table 11: Perceived effectiveness of BEAM on different aspects of school functionality .................34 Table 12: Impact on access to education (parents) ...........................................................................................35 Table 13: Impact on access to education (community representatives)..................................................35 Table 14: Categories of other sources of income ................................................................................................37 Table 15: Categories of other expenditure ............................................................................................................41 Table 16: Categories of children eligible for BEAM funding ..........................................................................56 Table 17: Lessons learned.............................................................................................................................................59 Table 18: Short‐term recommendations (2012).................................................................................................61 Table 19: Medium‐Term Recommendations (2013‐15)..................................................................................63 Table 20: Long‐Term Recommendations (post‐2015).....................................................................................64  LIST OF FIGURES  Figure 1: % identified and selected (2010)  Figure 2: % identified and selected (2011) .............31 Figure 3: Speed and accuracy (2010)  Figure 4: Speed and accuracy (2011) ...............................32 Figure 5: Constitution of CSCs .....................................................................................................................................33 Figure 6: Selection criteria and prioritisation ......................................................................................................33

 

5 

Figure 7: Participation of CSC members and children ......................................................................................34 Figure 8: Sustainability...................................................................................................................................................36 Figure 9: Average % of BEAM support in relation to total school income...............................................37 Figure 10: Urban school income   Figure 11: Rural school income ....................................................38 Figure 12: Primary school income  Figure 13: Secondary school income ......................................38 Figure 14: Urban primary school income Figure 15: Rural primary school income.................39 Figure 16: Urban secondary school income  Figure 17: Rural secondary school income.......39 Figure 18: Low income per learner  Figure 19: Lower‐middle income per learner...................40 Figure 20: Middle‐upper income per learner Figure 21: Upper income per learner ...............40 Figure 22: Overall expenditure patterns in relation to total school income...........................................41 Figure 23: Expenditure in primary schools          Figure 24: Expenditure in secondary schools  42 Figure 25: Expenditure in urban schools  Figure 26: Expenditure in rural schools ..................42 Figure 27: Low expenditure schools  Figure 28: Lower‐middle expenditure schools ..............43 Figure 29: Middle‐upper expenditure schools Figure 30: Upper expenditure schools...........43    

 

6 

Acknowledgments  We  would  like  to  thank  the  following  for  their  participation  in  this  evaluation  and  the invaluable insights they provided to inform the findings: 

Mr L.C. Museka  Permanent Secretary, Ministry of Labour and Social Services Mr T.A. Chinake  Deputy Director Family and Child Welfare, Ministry of Labour and Social 

Services Mr L. Muwoni  National Coordinator, NAP II, Ministry of Labour and Social Services Mr M. Mhangami  BEAM Technical Advisor, Ministry of Labour and Social Services Mr Bowora  Principal Director Quality Assurance and Learner Welfare, Ministry of 

Education Mrs A. Ncube  Education Officer, Learner Welfare and Services, Ministry of Education, 

Sport, Arts and Culture Mr Vela‐Moyo  Deputy Director, Expenditure Department, Ministry of Finance Mr I. Attfield  Education Adviser, European Union Delegation, Zimbabwe Ms J. Spink  Chief, Basic Education and Gender Equality, UNICEF Zimbabwe Ms L. Rumble  Chief, Child Protection, UNICEF Zimbabwe Ms M. Tokwani  UNICEF Zimbabwe  We would  also  like  to  thank  the many  children,  parents,  community  representatives,  school heads, teachers, district officials and provincial officials who gave their time to respond to our questions and also contributed invaluable insights to inform the findings of the evaluation. 

 

 

 

 

7 

Abbreviations and Acronyms  AIDS      Acquired Immune Deficiency Syndrome AusAID    Australian Agency for International Development BEAM      Basic Education Assistance Module CPC      Child Protection Committee CPF      Child Protection Fund CSC      Community Selection Committee DEO      District Education Officer DFID      United Kingdom Department for International Development  DSSO      District Social Services Officer ESC      Evaluation Steering Committee ESPP      Enhanced Social Protection Programme FGD      Focus group discussion GoZ      Government of Zimbabwe  HIV      Human Immunodeficiency Virus  KfW      German Development Bank MoESAC    Ministry of Education, Sport, Arts and Culture  MoF      Ministry of Finance MoLSS     Ministry of Labour and Social Services NAP      National Action Plan  NAP II     National Action Plan for Orphans and Vulnerable Children Phase 2 NSPS      National Social Protection Strategy NZAid      New Zealand Agency for International Development OVC      Orphans and vulnerable children OVC‐VR    Orphans and Vulnerable Children Village Register PICES      Poverty, Income, Consumption and Expenditure Survey PMU      Project Management Unit SDA      School Development Association SDC      School Development Committee UNICEF    United Nations Children’s Fund VCW      Village Community Workers ZHSCTS    Zimbabwe Harmonised Social Cash Transfer Scheme ZIMSEC    Zimbabwe Schools Examination Council    

 

 

 

 

8 

Executive Summary  

Overview of the Basic Education Assistance Module  Established in 2001 as a key component of the Enhanced Social Protection Programme (ESPP), the Basic Education Assistance Module (BEAM) is based on a policy and legal framework that is designed to provide quality education to children, including specific policies aimed at supporting orphans  and  vulnerable  children  (OVC),  as  well  as  a  number  of  international  agreements  to which  the Government of Zimbabwe (GoZ)  is a signatory. BEAM is  a demand‐side response  to the cost barriers affecting the ability of OVC to access education due to increasing poverty levels in  the  country.  BEAM  is  now  one  of  the  four  pillars  of  the  overarching  National  Action  Plan (NAP),  currently  in  its  second phase  (NAP  II), which  is  intended  to  reduce household poverty through cash transfers, improve access to child protection services and improve access to basic education  and  health  services.  The  Child  Protection  Fund  (CPF)  is  the  multi‐donor  funding mechanism  supporting  NAP  II,  and  this  is  where  programme  allocations  for  BEAM  are  now located; the Project Management Unit (PMU) responsible for BEAM is located in the Department of Social Services (DSS) of the Ministry of Labour and Social Services (MoLSS). Until the end of 2008 BEAM was wholly funded by the GoZ. However, with the advent of hyperinflation, BEAM resources became negligible and failed to reach the  intended objective of supporting access to education by the poor and most vulnerable. Revived in the period 2009‐2011, BEAM disbursed US$60.2 million  directly  to  schools  to  cover  tuition  fees  and  levies  in  primary  and  secondary schools and examination fees in secondary schools; 45% of this amount was provided by donors. Donor funding beyond this time is uncertain, but the GoZ has committed US$16 million for 2012 for secondary school students.  Evaluation Objectives and Intended Audience  The  purpose  of  the  evaluation  is  to  identify  implementation  gaps  and  inform  future  BEAM programming, which must be aligned with other emerging elements of NAP II related to social protection. The main  audience  of  the  evaluation  is  the GoZ  –  in  particular  the MoLSS  and  the Ministry  of  Education,  Sport,  Art  and  Culture  (MoESAC)  –  and  BEAM  donors.  Specifically  the evaluation seeks to: i. Review the underlying policy assumptions associated with BEAM to determine whether 

they are still relevant and identify any emerging issues after a decade of implementation. ii. Review the resource allocation methodology used by the PMU to benefit communities. iii. Review  the  BEAM  targeting  methodology/identification  of  beneficiaries  and  extent  of 

inclusion and exclusion errors. iv. Determine  the  effectiveness  of  institutional  arrangements  and  the  roles  and  efficacy  of 

various stakeholders at all levels (GoZ departments, donors, civil society, local leadership, community selection committees, school development committees); 

v. Determine the impact of BEAM on the lives of the beneficiaries, the communities around them and the nation at large. 

vi. Identify  additional  financial  and  non‐financial  barriers  affecting  children’s  access  to schools and how BEAM can be part of a holistic approach to overcoming them. 

vii. Provide  findings,  conclusions  and  specific  recommendations  with  respect  to  future programme design, budget planning and implementation in both the immediate (2012), medium term (2013‐2015) and long term. 

viii. Determine the extent to which BEAM objectives were achieved.  

 

9 

Evaluation Methodology  The  evaluation  utilised  a mixed‐methods  approach  in which  both  quantitative  and  qualitative data  were  collected  and  triangulated.  Quantitative  data  were  obtained  using  survey questionnaires in 352 of the 360 schools targeted while qualitative data were obtained through in‐depth  interviews  and  focus  group  discussions  in  40  additional  schools.  The  survey questionnaires  aimed  to  establish  conditions  of  objectivity  in  which  the  fieldworkers  were relatively  detached  from  the  respondents,  gathering  data  by  posing  already  formulated questions. The qualitative interviews and focus groups allowed for more in‐depth expression of subjective experience and reference to context. The quantitative and qualitative approaches are fundamentally  complementary,  and  provide  opportunities  for  deductive  and  inductive approaches to data analysis in order to gain insights into the social environment in which BEAM has  operated.  The  evaluation  methodology  is  robust,  and  98%  of  the  sampled  schools  were reached. The evaluation did not include an audit component, and the implications are set out in Chapter 3. However,  the analysis has  included  triangulation of  data  from different  respondent types, and we are confident that the conclusions of the evaluation (see Chapter 5) have a strong basis.  Where  appropriate,  we  have  recommended  (see  Chapter  6)  further  investigation  into phenomena such as school levy increases and the payment of teacher incentives.  Findings and Conclusions  A  summary  of  the  findings  and  the  evaluation  conclusions  are  presented  in  Chapter  5.  Key conclusions are presented below.  Underlying Policy Assumptions and Relevance  

• BEAM is a highly relevant and necessary intervention, particularly in the poorest quartile of schools in terms of school income per learner, in which BEAM funds constitute 25% on average of school income; BEAM remains a key strategy for achieving policy goals of the GoZ. Although new legal and policy developments may provide for new mechanisms for addressing  access  to  education  by OVC,  this  is  unlikely  to  have  a  significant  impact  on BEAM before the end of its current mandate in 2015. 

• The  intended  beneficiaries  of  BEAM,  such  as  orphans,  are  commonly  the  actual beneficiaries;  BEAM  has  very  largely  achieved  its  objectives  in  this  regard.  However, BEAM is much more widely needed than available resources permit – based on the 2011 data,  an  increase  in  financial  resources of 172% would be needed  to  reach all  children identified by school communities as needing assistance.  

Efficiency 

• While  the  accuracy of BEAM disbursements is acceptable, the speed with which the disbursements are made to the schools needs to improve.

• Improvements  are  needed  with  respect  to  management  capacity,  PMU  resourcing, information  management,  communication,  monitoring  and  evaluation  and  school‐level auditing. 

• The  relatively  small  portion  (1.5%)  of  BEAM  funds  that  is  set  aside  for  programme management and administration is insufficient. 

 

10 

Effectiveness  

• BEAM has very  largely achieved  its objectives,  including maintaining gender balance  in terms of the numbers of beneficiaries.  

• BEAM  community  selection  committees  are  generally  perceived  to  have  been  well constituted;  the  BEAM  selection  criteria  and  the  prioritisation  of  beneficiaries  are generally perceived to be appropriate. While there is active participation of CSC members in  the  identification of  children  in need of BEAM,  the active participation of  children  is much less common and the participation of teachers should be strengthened.  

• BEAM support has made an important contribution to many of the intended outcomes at school level, such as improving school attendance of BEAM beneficiaries and reducing the drop‐out  rate.  BEAM  has  contributed  less  to  improving  pass  rates,  improving  school supplies such as furniture and introducing feeding programmes.  

• There is anecdotal evidence that the total paid in incentives to teachers often exceeds the prescribed limits and that funds for incentives are sometimes raised informally – that is, above and beyond the approved levies.  

• The BEAM selection criteria need to be reviewed to foreground the poverty criterion. • The identity and purpose of BEAM need to be aligned with other initiatives such as social 

cash transfers.  Impact  

• The  broader  social  impact  of  BEAM  is  substantial,  in  particular  in  terms  of  improved access to education for poor children, and particularly for orphans and girl children.  

• Conversely,  the withdrawal of BEAM support would have a serious  impact on access  to education  for  hundreds  of  thousands  of  current  beneficiaries,  given  that  the  targeting strategy has been largely successful. 

 Sustainability  Without BEAM funding schools and communities would not be able (or would struggle) to keep beneficiaries in school. The BEAM objectives are attainable only with continued funding.   Additional Barriers Affecting Children’s Access to Education  There  is  a  need  for  a  wider  range  of  inputs  to  enhance  children’s  wellbeing  and  enhance enrolment  and  attendance,  such  as  uniforms,  food,  transport,  books  and  stationery.  Respondents reported early marriage and child labour as additional barriers affecting children’s access  to  schools.  These  are  factors  beyond  the  scope  of  BEAM  and  need  to  be  addressed through other social protection mechanisms.  The Resource Allocation Strategy  In the absence of recent data related to vulnerability, BEAM allocations to individual schools are based solely on their shares in the total enrolment in their district. Although poverty is widespread in Zimbabwe, there are substantial regional differences in poverty levels, and rural areas have higher poverty levels than urban areas. In the future, with improved data, it may be possible to allocate BEAM funds based on relative vulnerability across districts before applying the enrolment share approach.

 

11 

The Targeting Strategy  In  the  vast  majority  of  schools  parents,  children,  teachers,  heads  of  school  and  community representatives are satisfied that the targeting strategy is appropriate and the selection criteria are  appropriately  applied  to  identify  beneficiaries.  In  a  minority  of  schools  there  is dissatisfaction with  the application of  the selection criteria  as  children clearly  in need are not beneficiaries;  in  only  one  of  the  40  schools  in which  focus  groups were  conducted  there was concern  about  abuse  of  the  selection  criteria.  Based  on  the  responses  of  parents  and  school heads to the survey questionnaire, there may be unsatisfactory application of the criteria in 14‐18% of schools, and in the vast majority of these the exclusion of needy children is likely to be unintentional. There is clearly variability in the understanding of the selection criteria; possible reasons for this variability are discussed in Chapter 5.  The Importance of Levies  The increase in per capita allocations from 2010 to 2011 (151% for primary school children and 150% for secondary school children) must be largely due to increased levies, which account for 60% of income in primary schools and 43% of income in secondary schools (not counting levies paid  by BEAM).  This  had  a  substantial  impact  on  the  total  number  of  primary  and  secondary school  beneficiaries,  which  dropped  29%  over  the  same  years  even  though  the  total  funds available decreased by less than one percentage point. The impact of increased levies on BEAM targets  is  clearly  substantial  and  the  reasons  for  increased  levies  need  to  be  understood  and unnecessary increases curbed.  BEAM as Part of a Broader Strategy for Social Support  BEAM would become redundant  in the presence of a successful and equitable school  financing model. A social cash  transfer strategy such as  the Zimbabwe Harmonised Social Cash Transfer Scheme  (ZHSCTS),  however,  is  distinct  from  support  that  is  specifically  intended  to  increase school  enrolment  and  completion  rates;  the  scheme will  give households  the decision‐making power  to  allocate  funds  to  their most  pressing  needs,  such  as  food,  education,  health  or  job‐seeking. BEAM’s specific focus on schooling costs removes this element from a family’s decision about  how  to  allocate  a  cash  transfer.  BEAM  clearly  has  to  take  all  relevant  social  protection initiatives into account in its strategic planning.  The Efficacy of the Institutional Arrangements  The efficacy of the PMU is not in doubt with respect to accurate transfers of funds to schools; as noted above, efficiency has improved considerably since the appointment of PMU staff in 2010. However,  the  PMU  needs  to  be  better  equipped  to  improve  its  management  and monitoring capacity. Improvements are also needed with respect to information management.  Factors affecting the speed with which funds are disbursed, such as donor requirements that need to be fulfilled before funds are made available, need to be addressed to avoid delays in disbursement. The responsibilities  of  the  two  implementing  ministries  (MoLSS  and  MoESAC)  need  to  be  clearly defined: it is the responsibility of the MoLSS to provide for social protection (in this case access to  education)  and  the  responsibility  of  the  MoESAC  to  ensure  that  educational  goals  and objectives  are  met  and  to  monitor  the  use  of  school  funds.  Increased  capacity  or  capacity building may be needed at the MoESAC to monitor and control levy increases.  At the school  level high  levels of satisfaction were expressed with the constitution of  the CSCs and with the application of  the selection criteria; as noted above,  it  is  likely that problems are 

 

12 

experienced in only 14‐18% of schools, and that  in most cases the dissatisfaction is a result of errors in rather than abuse of the selection process. More training of CSCs in the application of the  criteria  is needed, pending  the  results of  a  review of  the  criteria.  Consideration  should be given  to  strengthening  the  role  of  teachers  and  children  in  the  selection process  to  support  a more  ‘on‐the‐ground’  approach  to  the  identification of potential  beneficiaries. The CSC  should have  a  representative  from  the  CPC  to  advise  on  children  in  need  of  social  protection,  and secondary school heads should be more involved in the selection process.  Lessons Learned   The  lessons  presented  in  Chapter  5  constitute  key  generalizations  from  the  findings  of  this evaluation that may be applicable in other local and international settings, bearing in mind the context  in which  BEAM was  designed  and  implemented.  A  key  lesson  is  that  although  BEAM delivers  funds  to  schools  rather  than  households,  it  is  equivalent  to  social  cash  transfer programmes in terms of its outcomes and intended social and economic impact. Its specificity is particularly appropriate because the return on investment in education is typically high.  Recommendations  The  recommendations  presented  in  Chapter  6  represent  the  strategic  actions  that  should  be taken  to  improve  BEAM  implementation with  respect  to  programme  design,  budget  planning and  implementation.  The  recommendations  are  presented  as  short‐,  medium‐  and  long‐term recommendations (2012, 2013‐2015 and post‐2015 respectively). A key recommendation with implications for immediate action is that in order to achieve its objectives BEAM should receive urgent and enhanced support in 2012 from GoZ and/or donors.  

 

13 

Chapter 1: INTRODUCTION AND OBJECT OF EVALUATION  1.1. Background   In 2000 the Government of Zimbabwe (GoZ),  in conjunction with the World Bank, UNICEF and other development partners formulated the Enhanced Social Protection Programme (ESPP) as a comprehensive framework for protecting vulnerable groups against risk and shocks stemming from  increased  poverty;  over  time,  development  partners  have  included  DFID,  the  European Commission, AusAID, NZAid and KfW. As a response to the emerging economic decline, the GoZ took a ‘quick‐wins’ approach in 2001 and extracted four key components of the National Social Protection  Strategy  (NSSP)  for  immediate  implementation.  These  components  included:  the Basic Education Assistance Module (BEAM); the Health Assistance Programme; the Public Works Programme; and the Children in Especially Difficult Circumstances Programme.  BEAM,  a  community‐driven  initiative,  became  the  main  social  assistance  programme  in  the schooling  sector,  aimed  at  providing  funds  (for  tuition  fees,  levies  and  examination  fees)  for access  to  education  by  the  poorest  30%  of  school‐going  children.  BEAM  is  a  demand‐side response  to  the cost barriers affecting  the ability of orphans  and vulnerable children (OVC)  to access education due to increasing poverty levels in the country. The major objective of BEAM is to  prevent  households  from  resorting  to  perverse  coping  mechanisms,  such  as  withdrawing children from school, in response to worsening household poverty.   Since 2001 BEAM has sought  to reach out  to  those children who have never attended or have dropped out of school for economic reasons and OVC who are already in school. According to the Poverty Assessment  Study of  2003,  12% of pupils  in primary  schools  and 10% of  students  in secondary schools were sponsored by BEAM.   From its  inception until  the end of 2008, BEAM was wholly funded by central government. At its peak, BEAM reached a total of 900,000 primary and  secondary  school  children.  However,  with  the  advent  of  hyperinflation,  BEAM  resources became negligible and failed to reach the  intended objective of supporting access to education by the poor and most vulnerable.  The National Action Plan (NAP) for OVC was officially launched in September 2005. In late 2008 the GoZ,  in  close  collaboration with UNICEF,  reviewed  the BEAM  programme with  the  aim of finding  bottlenecks  within  the  system  and  potential  areas  of  improvement.  The  review  was twofold,  assessing  firstly  the  programme  design  and  its  implementation  and  secondly  the information  management  system  used  for  payments  and  monitoring  and  evaluation.  It  was agreed that the economic meltdown impacted negatively on the lives of the poor and vulnerable populations,  with  most  households  failing  to  access  basic  social  services  such  as  health  and education.   Therefore, in 2009 UNICEF mobilised the donor community, in close collaboration with the GoZ, to support the revitalisation of BEAM as part of Zimbabwe’s ESSP. This was also building on the programme of support for the NAP for OVC, which had supported education through a number of  fragmented  civil  society  organisations  since 2006. As  a  result,  a  total  of US$20 million was received  from  donors  over  the  period  2009‐2010,  which  contributed  to  the  Programme  of Support  for  OVC  to  complement  GoZ  efforts  to  revitalise  the  BEAM programme.  This  amount targeted vulnerable primary school children only and covered the period from the third term of 2009 to the end of December 2010. The GoZ also committed US$15 million for BEAM in 2010 for secondary school students.  

 

14 

Subsequently, donors committed US$10 million  for 2011 within the  framework of the NAP for OVC  Phase  II  (NAP  II,  2011‐2015)  through  its main  funding mechanism,  the  Child  Protection Fund (CPF). In addition, the GoZ committed US$13 million for BEAM during 2011 for secondary school  students  and  US$5  million  for  primary  school  children  to  top  up  the  US$10  million committed by donors. Donor funding beyond this time is uncertain, but the GoZ has committed US$16 million for 2012 for secondary school students. In its current form, the GoZ believes that BEAM  requires  approximately  US$30  million  a  year  to  support  both  primary  and  secondary school students currently identified under the programme. There was thus a budget shortfall of US$2 million for the year 2011.   BEAM  is  now  one  of  the  four  pillars  of  the  overarching  NAP  II,  which  is  intended  to  reduce household  poverty  through  cash  transfers,  improve  access  to  child  protection  services  and improve access  to basic education and health services. The CPF  2011‐2013  is  the multi‐donor funding mechanism supporting NAP II, and this  is where programme allocations for BEAM are now located.   1.2. Underlying Policy Assumptions and Emerging Issues  Zimbabwe  has  a  policy  and  legal  framework  that  is  designed  to  provide  quality  education  to children,  including  specific  policies  aimed  at  supporting  OVC.  The  GoZ  is  fully  committed  to ensuring that all children in Zimbabwe and their families have their rights fulfilled in line with national, regional and international requirements to which the country has committed itself. The BEAM concept is based on the legal framework that every child has a right to education. As it is not based on academic performance but on attendance, BEAM is primarily aimed at reducing the number of children who are dropping out of school and at the same time reaching out to those children who are of school‐going age but have never been to school due to economic hardships.  The  GoZ  is  a  signatory  to  a  number  of  important  international  agreements  such  as  the Convention on  the Rights  of  the Child. Article 6  of  the Convention  recognizes  the  right  to  life, survival and development, while Article 28 recognizes the child’s right to education. Key pieces of legislation that govern the framework for social protection include: 

• Children’s Protection and Adoption Act, Chapter 5:06; • Children’s Protection and Adoption Amendment Act, 2001; • Social Welfare Assistance Act, 1998; and • Disabled Persons Act, Chapter 17:01. 

 Statutory  Instrument  28A  of  2003  is  critical  as  it  provides  for  the  control  of  tuition  fees  and levies charged at both government and non‐government schools. Additionally, from the time of independence  in 1980, Zimbabwe has adopted an all‐inclusive education policy  that stipulates that every child is entitled to receive school education. It is also government policy to encourage self‐help  initiatives  at  community  level  in  terms  of  extension  and  maintenance  of  existing schools as well as the establishment and construction of new schools where none existed before. An  important  policy  provision  is  that  10%  of  BEAM  funds  nationally  is  reserved  for  children with disabilities.   Although  its  origin  predates  the  first  phase  of  the  National  Action  Plan  for  Orphans  and Vulnerable Children (NAP for OVC), BEAM is now the key strategy for achieving Pillar 3 of NAP and as such operates within the policy assumptions on which NAP is built. NAP is one of various social  protection  policies,  legislative  instruments  and  programmes  established  by  the  GoZ  to ensure  the  fulfilment  of  all  children‘s  rights  and  provides  a  significant  medium‐term intervention while long term social protection strategies are being developed.  

 

15 

 BEAM,  and  NAP  more  generally,  enhances  the  implementation  of  national  laws  and  policies pertinent  to children,  in particular  the Children‘s Act and the Zimbabwe National Orphan Care Policy and National AIDS Policy, both adopted in 1999. While the Act provides legal protection for children who fall through social safety nets, the National Orphan Care Policy puts in place a mechanism  for  coordinating  the  overall  responsibility  of  government  to  provide  minimum standards and guidelines for civil society, the community and all other duty bearers to monitor and respond to the situation of children.   NAP II recognises three areas which need attention if full implementation of existing policies and laws  is  to  be  achieved.  Firstly,  national  policies  and  laws  which  provide  the  framework  for coordination of OVC programmes and services have not been fully  implemented and enforced, due  to a  lack of human and  financial  resources. Legal awareness needs  to be  raised  to ensure that laws are enforced in the best interests of the child. Secondly, the scale of the problem and the rapid  increase  in the number of households headed by children and grandparents was not anticipated when the  laws were framed, and the  laws and policies need to be revised. Thirdly, legal  issues  affecting  children  in  Zimbabwe  can  be  addressed  under  both  customary  law  and legislation based on the Constitution and statutes, although the existence of these dual systems has sometimes worked against the best interests of children.  There are three key emerging issues which potentially impact on BEAM: • Zimbabwe is expected to have a new Constitution in 2012 which may strengthen children’s 

rights  and  the  requirement  for  non‐discrimination;  this  will  further  strengthen  the  policy context within which BEAM operates. 

• The review of the Social Welfare Assistance Act to include cash grants for vulnerable children and their families and the development of a National Social Protection Framework including a social cash transfers programme will ease some of the demand‐side pressure on BEAM and enable it to be more targeted. 

• The Ministry of Education, Sport, Arts and Culture’s Education  Interim Strategic Investment Plan 2011 proposes to introduce a new school financing model. As this replaces the current requirements for parents to fund school operating and development costs the need for BEAM to  provide  funding  to  replace  that  required  from  qualifying  parents  and  guardians  will decrease.  

 1.3. BEAM Implementation Strategy and Processes   BEAM is administered by the Ministry of Labour and Social Services (MoLSS) in conjunction with the Ministry  of  Education,  Sport,  Arts  and  Culture  (MoESAC).    The  BEAM  programme  assists primary and secondary level children aged between 6 and 19 years in the following categories: 

• those  in school but  failing  to pay or having  financial difficulties  in paying  levies,  tuition fees and examination fees; 

• those who have dropped out of school for economic reasons; and • children of school going age who have never been to school for economic reasons. 

 BEAM assists selected children with payment of  levies,  tuition  fees, examination  fees for those sitting  for  public  examinations,  and  levies  and  boarding  fees  for  children  with  special  needs enrolled in special schools and special classes. Since BEAM is a national programme, it is being implemented in all 59 districts of Zimbabwe in both urban and rural areas.   Implementation of BEAM is guided by the following principles: 

 

16 

• promoting  community  awareness  of  the  programme  to  ensure  transparency  and equitable access in the selection of beneficiaries; 

• community‐based selection of the most needy children; • children to be selected and assisted within given community budget allocations to avoid 

arrears in payment; • full assistance (levies, tuition fees and examination fees) to selected children; • openness, transparency and accountability to communities, authorities and donors; • continued assistance to selected children based on attendance rather than merit; and • at least 50% of the assisted children should be girls. 

 The  requirements  related  to  the  selection  of  children  who  should  benefit  from  BEAM  are presented below:  

• children who have never been to, or have dropped out of school due to poverty; • school record of child’s previous failure to pay tuition fees and levies due to poverty; • the source of income and health status of the head of household/breadwinner; • orphanhood status of potential beneficiaries;  • household asset ownership of the guardians of potential beneficiaries; and • previous  participation  of  the  child  in  the  Educational  Support  Programme  under  the 

Programme of Support to the NAP for OVC implemented through NGOs.  The  application  form  to  be  submitted  by  each  school  contains  the  following  categories  of beneficiary, and the CSC is required to indicate the numbers of children in each category that are proposed as beneficiaries:  Table 1: Categories of children eligible for BEAM funding 

CATEGORY OF CHILDREN  Total Number Assisted 

ORPHANS (BOTH PARENTS)   

ORPHAN (ONE PARENT DECEASED)   

CHILD IN FOSTER CARE UNDER POOR FOSTER PARENTS   

NEVER BEEN TO SCHOOL   

WITH DISABILITY AND POOR   

DROPPED OUT OF SCHOOL DUE TO ECONOMIC HARDSHIPS   

LIVING ON THE STREET   

LIVING IN CHILD‐HEADED HOUSEHOLD   

HOUSEHOLD EXTREMELY POOR AND HAS NO ASSETS   

HAS PREVIOUS RECORD OF FAILURE TO PAY FEES AND LEVIES   

BREADWINNER NOT GAINFULLY EMPLOYED   

BREADWINNER CHRONICALLY ILL   

 The  process  of  selecting  the  most  needy  children  as  BEAM  beneficiaries  is  effected  at  the primary school  community  level and  is  the  responsibility of Community Selection Committees (CSCs). The process is subject to the following conditions: 

• In  every  ward  the  councillor,  working  together  with  the  community  Child  Protection Committee  (CPC),  convenes a meeting of households  in  the primary school’s  catchment area to elect CSC members; a Community Selection Committee (CSC) is established with a term  of  office  of  one  year  and  comprising  three  members  of  the  School  Development 

 

17 

Committee  (SDC),  one  of whom  should  be  the  head  of  the  school,  and  representatives elected by the community. 

• SDC members in the CSC cannot be office bearers. • Fifty percent of the committee members should be women. • All potential BEAM beneficiaries are expected to complete a form which is used in guiding 

the  selection  process.  The  CSC  receives  nominations  of  potential  beneficiaries  for primary, secondary and special schools based on, among other sources,  the OVC Village Register  (OVC‐VR).  This  register  lists  potential  beneficiaries  in  order  of  priority  for submission to the CSC. 

• The CSC considers the submissions and selects the neediest children. • The final list of beneficiaries is submitted to the District Education Officer (DEO) and the 

District Social Services Officer (DSSO) for joint verification against the school budget and the OVC‐VR. 

• The DEO forwards the list to the Ministry of Labour and Social Services, specifically to the BEAM Project Management Unit (PMU). The DEO also sends copies of this list to the local authority and the Provincial Education Director. 

• A copy of the same list of beneficiaries is kept at the school. The CSC advises the CPC and the community on which children have been selected. 

 The  CSC must  be  distinct  from  the  SDC,  and  there  are  specific  guidelines  on  its  constitution: three members, one of whom should be the head of school, should be selected from the SDC, and at  least six community representatives should be elected at a special community meeting who have a good knowledge of all households in the community. The Chairperson and Secretary must be  elected  CSC  members;  the  SDC  members  appointed  to  the  CSC  are  ex‐officio  members. Councillors  and  traditional  leaders  should  not  be  members,  as  they  are  expected  to  play  a mediating  role  if  disputes  arise  in  the  selection  process.  Each  CSC  should  ensure  that women make up at least 30% of its membership and that there are representatives (one each) who are actively involved in issues about HIV/AIDS and disability.   Information  dissemination  is  done  through  various  channels,  such  as  the  Village  Community Workers  (VCW),  Residents’  Associations  (in  the  case  of  urban  areas),  SDCs  or  School Development  Associations  (SDAs),  church  leaders,  community  leaders,  radio  and  television, newspapers, posters and brochures as well as notices in public places. Additionally, the CSC and other community structures are expected to monitor implementation of the BEAM programme (Government of Zimbabwe, 2003).   1.4. BEAM Finances: Source, Amount and Distribution Patterns   In this section we present the amounts disbursed through BEAM, the sources of funding and the distribution patterns from 2009 to 2011. (It was agreed by the Evaluation Steering Committee that  it  would  be  more  useful  to  focus  on  this  latter  period  of  funding,  as  it  is  the  current allocation  and  disbursement  strategy  that  needs  to  be  assessed  with  a  view  to  future improvements.) It should be noted that in this section we have relied on information provided by UNICEF for primary schools, and by the BEAM PMU for secondary schools.  The number of  schools  registered and  therefore eligible  for BEAM  funding was 5,407  in 2009 and  2010,  rising  to  5,666  in  2011.  Table  1  below  shows  the  success  rates  in  applications  for BEAM funding from 2009 to 2011.  

 

18 

Table 2: Percentage of schools applying for and receiving BEAM funding 2009­2011 

    Number % 2009  Registered schools  5 407  2009  Applications submitted  4 935 91.27%2009  Successful transfers  4 540 83.97%2010  Registered schools  5 407  2010  Applications submitted  5 386 99.61%2010  Successful transfers  4 540 83.97%2011  Registered schools  5 666  2011  Applications submitted  5 357 94.55%2011  Successful transfers  5 344 94.32% Table 2 above shows that the largest discrepancy between applications submitted and successful transfers was  in 2010  (99.6% and 84.0% respectively);  the  smallest discrepancy was  in 2011 (94.6% and 94.3% respectively). The most successful year in terms of bank transfers was 2011, when only 0.2% of schools experienced transfer rejections; the least successful was 2010, when 8.1% of schools experienced transfer rejections.  Table 3: Sources and amounts of funding (in US$) 2009­2011 

Year  Source  Available for primary schools 

Paid to primary schools 

Source  Secondary schools 

2009  Donors  5 000 000 3 644 968    02010  Donors  14 700 000 13 393 807  GoZ  15 000 000

Donors  10 000 000 9 923 525  GoZ GoZ    5 000 000   

2011 

NAC    270 000   

13 000 000

Total 2009­11      32 232 300    28 000 000 

 Table 3 above shows that funds totalling US$60.23 million were disbursed from 2009 to 2011. All  funds  available  for  secondary  schools  in  the  period  2009‐2011 were  disbursed.  Although US$16 million has been allocated by the GoZ for secondary schools in 2012, none of this amount had  been  disbursed  at  the  time  of  the  evaluation;  no  funds  had  yet  been made  available  for primary schools in 2012. Funds for secondary schools were provided exclusively by the GoZ and for primary schools very largely by donors (85%). Over the period 2009‐2011, 55% of the total funds for primary and secondary schools has been provided by the GoZ.   Efficiency  in  the  utilisation  of  funds  for  primary  schools  increased  over  the  three‐year period 2009‐2011, from 72% of available funds in 2009 to 91% in 2010 and 99% in 2011. This is very largely because of the appointment in May 2010 of a BEAM Coordinator (now Beam Technical Advisor) and an IT Specialist, funded by UNICEF, who focused on speeding up the processing of 2010  payments  as  well  as  trying  to  address  the  2009  backlog.  It  must  be  noted  that  the processing of applications is a complex process, made more difficult by errors in the applications submitted by CSCs (such as submitting the wrong forms, names on bank statements not tallying with  names  of  schools  on  the  application  form,  requests  for  examination  fees  for  grades  not needing  them, and even  forms not  indicating  the  funds required).  It  should also be noted  that there is no clear budget for PMU administration, and that there are serious resource gaps in the PMU  considering  the  very  large number  of  schools  it  covers, many  of which  contact  the PMU directly to voice complaints or concerns.  

 

19 

Table 4: Numbers of BEAM beneficiaries 2009­2011 

YEAR  PRIMARY  SECONDARY  TOTAL 

  GIRLS  BOYS  TOTAL  GIRLS  BOYS  TOTAL   

2009  219 709  224 710  444 419  0 0 0  444 419 

2010  270 201  267 393  537 594  98 591 98 405 196 996  734 590 

2011  199 468  203 930  403 398  54 746 59 308 114 054  517 452 

 Table 4 above shows that on average there were just under 462,000 child beneficiaries per year in  primary  schools  (out  of  560,000  children  targeted  from  2009  to  20111)  and  just  under 156,000  child  beneficiaries  per  year  in  secondary  schools  (2010‐2011).  There  is  a  very  clear gender balance in the numbers of beneficiaries. The funds made available vary per province in relation to total enrolment.  Table 5: Per capita funding (in US$) 2009­2011 

PER CAPITA PRIMARY  PER CAPITA SECONDARY 

2009  8.20    0.002010  24.91    76.142011  37.66    113.98AVERAGE 2009­11  23.27    90.02 

AVERAGE 2010­11  31.29    95.06  Table 5 above shows that per capita funding increased dramatically over the period 2009 ‐2011 for both primary and secondary schools. The most recent per capita allocations (2010‐2011) are three times higher for secondary school children than for primary school children.  Table 6: Funding of examination fees (in US$) 2010­2011 

  Level  Boys  Girls  Total 

2010  O  2441 3691 61322010  A  67 38 1052011  O  7622 7322 149442011  A  180 102 282Total    10310  11153  21463 

 Table 6 above presents  the number of secondary school children  (21,463) whose examination fees  (O‐Level  and  A‐Level  fees)  were  paid  in  2010  and  2011.  Although  there  are  no  overall gender imbalances over the period and across both O‐ and A‐levels, there are clear imbalances in both years in favour of boys taking A‐levels.  A relatively small portion of BEAM funds (2% in 2010 from the funds available for primary schools and 1% from the funds available for secondary schools) is set aside for programme management and administration. A similarly low percentage (2%) was assigned by UNICEF to training in 2011. 

                                                        1 The target of 560,000 was determined using 2003 poverty assessment data (Zimbabwe 2003 Poverty Assessment Study Survey: Main Report. Harare) 

 

20 

Chapter 2: PURPOSE OF THE EVALUATION  2.1. Rationale for the Evaluation   The rationale for undertaking this process and impact evaluation follows:  

• The situation in Zimbabwe has changed significantly since programme inception, which demands  new  ways  of  supporting  vulnerable  populations  to  access  quality  education. BEAM  has  been  implemented  for  almost  a  decade  and  therefore  key  challenges  and lessons  learned  are  expected  to  further  enrich  programme  design  and  improve programme effectiveness. It is clear however, that there is a need for the continuation of some form of social safety net for vulnerable children who are unable to attend school for financial reasons. These issues were acknowledged during the 2011 January review of the BEAM programme. 

• In  line with  reporting requirements  from the various donors  for  the need  to  find more effective ways of delivering results for women and children, an agreement was reached to conduct  an  evaluation  of  the  BEAM  programme  in  line  with  the  support  that  was provided  over  the  period  September  2009  to  December  2010.  The  results  of  this evaluation will be instrumental in advising policy makers in developing alternative policy options to strengthen targeting and delivery mechanisms of the programme. 

 2.2. Purpose of the Evaluation   The purpose of  the  evaluation  is  therefore  to  identify  implementation gaps  and  inform  future programming, bearing in mind that a number of components under NAP II are currently being designed for implementation during 2012. These include the National Case Management System and  the  Zimbabwe  Harmonised  Social  Cash  Transfer  Scheme  (ZHSCTS),  which  is  a  key component  of  NAP  II.  A  revised  BEAM  programme  will  carefully  consider  each  of  these components  to  ensure  compatibility,  complementarity and  coordination,  and  the evaluation  is intended to assist in this exercise.  2.3. Objectives of the Evaluation   The overall objective of this evaluation is to assess the impact, effectiveness, efficiency, relevance and sustainability of  the BEAM programme. Also central  to  this evaluation is an assessment of how  the  targeting methodology of  the BEAM programme can be enhanced  to enable access  to primary and secondary education for orphans and other vulnerable children.   Specifically the evaluation seeks to:  i. Review the underlying policy assumptions associated with BEAM to determine whether 

they are still relevant and identify any emerging issues after a decade of implementation. ii. Review the resource allocation methodology used by the PMU to benefit communities. iii. Review  the  BEAM  targeting  methodology/identification  of  beneficiaries  and  extent  of 

inclusion and exclusion errors. iv. Determine  the  effectiveness  of  institutional  arrangements  and  the  roles  and  efficacy  of 

various stakeholders at all levels (GoZ departments, donors, civil society, local leadership, community selection committees, school development committees); 

v. Determine the impact of BEAM on the lives of the beneficiaries, the communities around them and the nation at large. 

 

21 

vi. Identify  additional  financial  and  non‐financial  barriers  affecting  children’s  access  to schools and how BEAM can be part of a holistic approach to overcoming them. 

vii. Provide  findings,  conclusions  and  specific  recommendations  with  respect  to  future programme design, budget planning and implementation in both the immediate (2012), medium term (2013‐2015) and long term. 

viii. Determine the extent to which BEAM objectives were achieved.  2.4. Scope of the Evaluation   The Basic Education Assistance Module (BEAM) programme is a national programme currently covering children from grades 1‐7 in primary schools and forms 1‐6 in  secondary schools. Since BEAM  is a national programme,  the evaluation  is based on a nationally  representative sample that  covers  all  characteristics  of  beneficiaries  (schools  and  children)  and  thus  reflects experiences  across  the  country.  The  representative  sample  has  ensured  that  the  evaluation findings  are  based  on  statistically  significant  school‐level  data  for  each  province  and  school types  (government,  non‐government,  special  needs,  resource  units,  et  cetera).  The  study  has covered urban (high‐ and low‐density growth points), rural and remote areas and marginalized communities.  In  addition  to  direct  beneficiaries  (schools  and  children  receiving  BEAM  resources),  the evaluation will draw on the views of BEAM administrators in the Ministry of Labour and Social Services and the Ministry of Education, Sports Arts and Culture at the national level, provincial and  district  administrators,  ZIMSEC,  school  development  committees,  community  selection committees, parents/guardians and children not in receipt of BEAM (including, where possible, out‐of‐school  children  and  those  with  disabilities  and/or  special  learning  needs).  Child Protection  Committees  (CPCs),  as  representatives  of  communities  on  child  protection  issues, were also consulted.  2.5. Evaluation Criteria   This  evaluation  has  applied  the  standard  evaluation  criteria  of  relevance,  effectiveness, efficiency,  sustainability  and  impact,  drawing  on  evidence  from  a  statistically  valid  sample  of Zimbabwean school heads, children, community representatives, provincial and district officials, ministry officials, donors, etc, and where, possible using evidence provided by non‐beneficiaries of BEAM as a control group to test the extent of and equity in impact.   2.5.1. Relevance of the programme 

 1. To  what  extent  are  the  underlying  policy  assumptions  still  relevant  in  the  current 

development context? 2. To what extent were  the GoZ/UNICEF planned BEAM  interventions consistent with  the 

overall GoZ/UNICEF’s country office programme goals of poverty reduction, priorities of government and sustainable development? 

3. To what  extent was  the  BEAM  programme  viewed  as  necessary  and  important  by  the communities at large? 

4. To  what  extent  was  the  implementation  of  the  BEAM  programme  consistent  with  the GoZ/UNICEF BEAM manual, both at national and local level? 

 

 

22 

2.5.2. Efficiency of programme delivery  

1. How relevant were UNICEF’s engagements in the supporting the scaling‐up of BEAM as a social  protection  programme  supporting  access  to  education  and  reduction  of  child vulnerability? 

2. How efficient was  the coordination  in  fund disbursement and reporting at national and district levels? 

3. Did the use of national systems contribute to or hinder the achievement of the objectives and results? 

4. Did the use of donor systems contribute  to or hinder  the achievement of  the objectives and results? 

5. In schools included in the survey what percentage of total school budgets did BEAM funds contribute and how were these funds used for school improvement initiatives? 

 2.5.3. Effectiveness in the achievement of planned objectives 

 1. To what extent was programme management (human and financial resources, supplies, 

et cetera) and delivery cost‐effective? Did it lead to the best results at the cheapest cost? 2. To what  extent  did  the  resources  received  through  BEAM  contribute  to  improving  the 

learning environment for children? 3. To what extent did the interventions prioritize the most vulnerable? 4. To what extent have the BEAM resources reached the intended beneficiaries? 5. How are funds utilized by schools to improve the quality of education offered? 6. To  what  extent  are  the  disabled/physically  challenged  reached  by  the  programme?  Is 

there gender equity in access to BEAM resources especially at secondary level? 7. To what extent are children with chronic illnesses reached by the programme? 8. To what extent are children on the move reached by the programme? 9. Are there inclusion and or exclusion errors – are the definitions of OVC status sufficiently 

robust for use in targeting? 10. Is  there evidence  to show that  there  is  improved community‐based participation  in  the 

targeting of beneficiaries?  2.5.4. Impact of the programme (for children, families and communities) 

 1. To what  extent  has  the  BEAM programme managed  to  achieve  the  intended  results  at 

both the outcome and output levels? 2. To what extent were the community selection committees correctly/well constituted (in 

accordance with the BEAM manual)? 3. To  what  extent  did  the  community  members  participate  in  decisions  during 

implementation? 4. Were the voices of the youths and children heard in the targeting process? 5. Are  there  any  significant  differences  in  child  wellbeing  following  support  to  access  to 

education through BEAM? What is the relationship between policy targets and resources available? 

 2.5.5. Sustainability of the programme 

 1. To what extent did the BEAM interventions achieve the desired results? 2. Which  programme  elements  had  the  most  visible/noticeable  impact  at  household  and 

community level? 3. Assess  performance  in  terms  of  the  relevance  of  results,  sustainability,  shared 

responsibility and accountability, appropriateness of design and resource allocation. 

 

23 

4. To  what  extent  are  the  outcomes  and  results  of  the  programme  sustainable  at  their respective levels (communities, district, regional and national level)? 

5. What are the options for the BEAM programme to evolve, given the likely availability of government and donor resources in the short and medium term? 

6. Identify lessons learned and provide recommendations for gender equality and education rights based policies and initiatives. 

  

 

24 

Chapter 3: EVALUATION METHODOLOGY  3.1. Evaluation Design  The  evaluation  utilised  a mixed‐methods  approach  in which  both  quantitative  and  qualitative data  were  collected  and  triangulated.  Quantitative  data  were  obtained  using  survey questionnaires while qualitative data were obtained using in‐depth interviews and focus group discussions. The survey questionnaires aimed to establish conditions of objectivity in which the fieldworkers were relatively detached  from the respondents, gathering data by posing already formulated  questions.  The  qualitative  interviews  and  focus  groups  allowed  for more  in‐depth expression of  subjective  experience and  reference  to  context. The quantitative and qualitative approaches  are  fundamentally  complementary,  and  provide  opportunities  for  deductive  and inductive  approaches  to  data  analysis  in  order  to  gain  insights  into  the  social  environment  in which BEAM has operated.   3.2. Evaluation Instruments  Two  sets  of  instruments were developed:  (i)  survey questionnaires  (see Appendix A)  and  (ii) discussion  guides  (see  Appendix  B)  for  use  during  in‐depth  interviews  and  focus  group discussions.  In  order  to  ensure  adequate  triangulation  during  data  analysis,  the  instruments were  quite  similar  in  many  respects  as  all  instruments  were  based  on  the  same  evaluation criteria. Each of the evaluation instruments are described below:  3.2.1. Survey Instruments  The  questionnaires  for  school  heads,  parents,  community  representatives  and  children (beneficiaries and non‐beneficiaries) requested: 

• essential information about the school, the school community and the respondents; • information about the implementation of BEAM at the school; • school income and expenditure data (for school heads only); • assessments of the effectiveness, impact and sustainability of BEAM at the school; and • recommendations for the improvement of BEAM in the future. 

 The questionnaire for children was considerably simplified, and did not contain questions about the sustainability of BEAM.  3.2.2. Discussion Guides  The discussion guides targeted focus groups of parents, community representatives and children (beneficiaries and non‐beneficiaries). These guides followed the same basic structure as the questionnaires described above, but contained much more in‐depth questions and probes, such as the following (under the heading ‘Effectiveness’): 

• Were  deserving  children  selected  as  BEAM  beneficiaries?  {Probe  respondents  on  the views they express}. Are there children who you think should be on BEAM but are not? Reasons? 

• Do you know of any children who are not attending school because they cannot pay the required  fees  and  levies?  How  proactive  is  the  school  in  reaching  out  to  out‐of‐school children? 

 

 

25 

3.3. Target Sample  A representative sample of 400 schools was selected from all the ten provinces of Zimbabwe. Of these, 360 schools were targeted for quantitative data collection, while 40 schools were targeted for qualitative data collection.   3.3.1. School­Based Survey Sample  Using  data  provided  by  the  BEAM  PMU,  the  total  number  of  schools  to  be  visited  in  each province  (by district) was  computed using  a  statistically  acceptable weighting procedure. The following key stratification variables were used during the sampling process: location (urban vs. rural), school type (primary vs. secondary) and number of schools  in each province and district. Table 7 below shows  the  total number of  schools  sampled  for  the quantitative  survey  in each province by school type.   Table 7: Sample composition by province and school type  Province  Primary  Secondary  Total 

   Harare  10  4  14    Mashonaland West  31  15  46    Mashonaland East  30  15  45    Mashonaland Central  22  9  31    Manicaland  38  19  57    Bulawayo  6  2  8    Matebeleland North  24  6  30    Matebeleland South  23  7  30    Midlands  33  13  46    Masvingo  38  15  53 Total  255  105  360   At each survey school, data were to be collected using the instruments described above from the school head, 12 children on BEAM (6 male; 6 female), 12 non‐BEAM children (6 male; 6 female), 2 parents/guardians with children on BEAM (1 male; 1  female), 2 non‐BEAM parents  (1 male; 1 female), and 2 community representatives (1 male; 1 female). In the field, 352 of the 360 survey schools were  reached;  just  under  72% were  primary  schools  and  just  under  72% were  rural schools.   3.3.2. School­Based In­depth Analysis Sample  In  each  province,  four  schools  (two  primary  and  two  secondary)  were  selected  for  the qualitative  data  collection  component  of  the  study  (i.e.  in‐depth  interviews  and  focus  group discussions).  In  each of  these  schools,  in‐depth  interviews were  to be  conducted with  at  least two members of the Community Selection Committee and/or School Development Committee. In addition,  two  FGDs  of  between  6  and  12  participants were  to  be  conducted with:  (i)  parents whose  children  were  beneficiaries  of  BEAM,  and  (ii)  parents  whose  children  were  not beneficiaries of BEAM. Also,  two FGDs of between 6 and 12 participants were to be conducted with: (i) children who were beneficiaries of BEAM and (ii) children who were not beneficiaries of BEAM. All 40 schools selected for qualitative data collection were reached in the course of the fieldwork.  

 

26 

3.3.3. Provincial and District Level Sample  In  all  provinces,  appropriate Education Officers  and  Social  Services Officers were  targeted  for completion of questionnaires that included both closed‐ and open‐ended questions. Similarly, at district level, relevant DEOs and DSSOs were targeted for completion of the same questionnaires.    3.3.4. National Level Sample  After  consultation  with  the  Evaluation  Steering  Committee  (ESC),  key  individuals  from  all stakeholder  organizations  and  government  departments  were  interviewed,  including  but  not limited to donors,  the Ministry of Labour and Social Services,  the Ministry of Education, Sport, Arts and Culture and banks.   3.4. Recruitment, Training and Deployment of Fieldworkers  It was deemed critical, given the nature of this study, to use only experienced fieldworkers who would  be  able  to  execute  the  data  collection  process  in  an  efficient  and  valid  manner.  All fieldworkers were  recruited  from  among  staff  and  postgraduate  students  in  the University  of Zimbabwe’s  Faculties  of  Education  and  Social  Studies.  These  included  lecturers  and  full‐time postgraduate  students,  who  attended  a  two‐day  training  workshop  on  the  processes  and procedures  to  be  followed  during  fieldwork.  The  training, which  took  place  on  17 November 2011 at the University of Zimbabwe, consisted of presentations and extensive discussions on the methodological  and  ethical  requirements  of  the  project  as  well  as  a  pilot  study  that  was immediately followed by a debriefing session with the field team. The training programme and presentations made during the training are included in this report in Appendix C.       3.5. Data Collection Process  Two phases  of  data  collection were  planned.  Phase  1  covered  five  provinces,  namely: Harare, Mashonaland  East,  Mashonaland  West,  Mashonaland  Central  and  Manicaland.  Phase  1  data collection commenced on 22 November 2011 and ended on 1 December 2011. The second data collection  phase  covered  the  remaining  five  provinces  (Bulawayo,  Matebeleland  North, Matebeleland  South, Midlands  and Masvingo),  starting  on  16  January  2012  and  ending  on  30 January  2012.  The  procedures  followed  during  data  collection  from  school  heads,  children, parents,  community  representatives  and provincial/district  level participants  are described  in sections 3.5.1 to 3.5.6 below.  3.5.1. Completion of the School Head Questionnaire  At  each  school,  the  field  supervisors  explained  the  purpose  of  the  study  and  handed  the questionnaire to the school head for self‐completion. School heads often solicited the assistance of  the school bursar and/or clerk  in order  to provide accurate  figures relating  to  the  financial and  enrolment  information  requested.  None  of  the  school  heads  approached  refused  or  was unable to complete the questionnaire. However, many school heads took longer than expected to complete the questionnaire, which necessitated follow‐up visits to many of the schools to collect the completed questionnaire at a later time.    3.5.2. Completion of Child Questionnaires  Group administration of the questionnaires for children was used at each school. BEAM and non‐BEAM children were not mixed. A quiet room was identified at each school and all the selected children were seated  in  the room. The  fieldworker  then explained the purpose of  the study to 

 

27 

the  children  in  their  own  language  using  a  pre‐translated  script.  Once  all  the  clarification questions  that were  asked by  the  children had been  adequately  answered,  the questionnaires were distributed to the children. The fieldworker stressed that the exercise was not a ‘test’ and that the children were to answer all questions honestly and without fear that anyone else would read  their  answers.  In  order  to  make  sure  that  the  children  had  a  correct  and  clear understanding of each question, the fieldworker read the questions one by one and ensured that each child had entered their selection or answered the question before proceeding to the next question.  The  fieldworkers  used  a  pre‐translated  version  of  the  questionnaire  to  provide  an explanation of each question in the child’s own language. At the end, the fieldworkers thanked the  children  for  their  cooperation,  collected  all  the  questionnaires  and  stressed  that confidentiality would be  respected before placing all  the questionnaires  in a  sealed bag  in  full view of the children to reassure them that confidentiality would be guaranteed.   3.5.3. Completion of Parent/Guardians Questionnaires  Because it was envisaged that some of the parents/guardians would be illiterate and because of the need to standardize the data collection process, a decision was made to conduct face‐to‐face interviews with all parents and guardians. These respondents were interviewed at a convenient but  secluded  place  at  or  near  the  school  where  no  one  else  could  hear  their  responses.  The fieldworker  explained  to  each  respondent  the  purpose  and  focus  of  the  survey,  before proceeding to ask the questions and record the responses. Confidentiality and anonymity were emphasized throughout the interview in order to ensure that respondents were comfortable to give  honest  answers  to  each  of  the  questions.  At  the  end  of  the  interview,  each  parent  was thanked  and  the  completed  questionnaire  was  put  into  the  survey  bag  in  full  view  of  the participant. None of the parents selected refused to participate in the study.   3.5.4. Completion of the Community Representative Questionnaires  Although many of the interviews with community representatives were held at secluded places at or near the school, some were conducted in the safety of their homesteads. As was the case with  parents  and  guardians,  confidentiality  and  anonymity  were  stressed  throughout  the interview. The procedure followed was similar to that used with parents and guardians. None of the community representatives selected refused to participate in the study.    3.5.5. Completion of Provincial and District Level Questionnaires  The  field  team’s  first  point  of  call  was  the  provincial  or  district  office  in  each  area.  The  field supervisors explained the purpose and focus of the survey to the identified officials and enlisted their support in conducting the study in the sampled schools/communities. The field supervisor then  explained  that  it  was  crucial  to  also  obtain  data  from  the  officials  themselves,  before handing  out  the  questionnaire  for  self‐completion.  Confidentiality  and  anonymity  were emphasised  and  officials  were  encouraged  to  answer  all  questions  as  honestly  as  possible, without  fear  that  their  answers  would  be  accessed  by  any  other  party.  None  of  the  officials refused to participate in the study. However, in a few cases it was not possible to locate all the identified officials as they were either away on leave or attending workshops elsewhere. Repeat visits to the district and provincial offices were a common feature of the data collection process.    3.5.6. Focus Group Discussions (FGDs)  While FGDs with children were easily arranged, FGDs with parents/guardians and community representatives proved  to be difficult  to organise,  resulting  in  some groups having  fewer  than the expected number of participants. In a small number of cases, it proved impossible to convene 

 

28 

FGDs with community representatives, parents and/guardians because they were not available. However, in all instances where FGDs were conducted, a suitable venue was identified with the help of school authorities. The procedure that was followed was similar in all FGDs, regardless of group  composition.  Once  participants  were  ready  to  begin,  the  moderators  explained  the purpose and focus of the discussion. A standard script was used for each group of participants in order to ensure that no bias was introduced by the moderator from group to group. Permission to audio‐record  the deliberations was sought and granted by all groups without any difficulty. The note‐taker made extensive notes on pre‐designed forms during the discussion. At the end of the discussion, the moderator and note‐taker listened to the recording together and added more detail  to the field notes made earlier by the note‐taker. The audio files were  later downloaded onto computers and transcribed for subsequent analysis.    3.6. Data Processing and Analysis  Questionnaire  data  were  coded  and  captured  in  CSPro,  before  being  exported  into  SPSS  for statistical analysis. As multiple data capturers were used, it was critical to ensure that the data capturing  screens  used  were  identical  for  all  the  capturers  and  that  all  the  capturers  were adequately trained on how to treat missing data, incomplete responses, double responses, etc. In addition,  once  the data were  exported  to  SPSS,  quality  control  checks were performed on  the data  by  running  frequencies,  checking  out‐of‐range  values  (referring  back  to  the  original questionnaires)  and  performing  consistency  checks  (e.g.  in  the  case  of  SKIP  questions).  From within SPSS, variable labels, value labels, and missing value definitions were specified or defined. This  yielded  clean  data  files  that  were  analysed  in  order  to  provide  answers  to  the  research questions for the study.   An  important  first  step during analysis was  to  run a  series of  reliability  analyses  to  check  for internal  consistency  using  the  Cronbach  Alpha  coefficient  for  the  different  sub‐scales.  Alpha coefficients  vary  from  0‐1,  with  high  values  indicating  a  higher  degree  of  agreement  among respondents  on  the  various  questions  that  form  a  particular  sub‐scale.  Thus,  high  coefficients suggest that the response patterns were similar across individuals who completed a particular questionnaire,  while  low  coefficients  suggest  that  there  was  wide  variation  in  the  views expressed. Where  appropriate,  the  reliability  coefficients  obtained  for  the  different  sub‐scales across  the  different  categories  of  respondents  are  given  in  each  results  section  in  Chapter  4; values above 0.60 are considered significant.   3.7. Limitations of the Evaluation Methodology  The evaluation methodology is robust, and 98% of the sampled schools were reached. However, the  evaluation  did  not  include  an  audit  component;  therefore,  aspects  of  the  findings  such  as school  income  and  expenditure  and  constitution  of  the  community  selection  committees  are based on data provided by respondents. However, the analysis has included triangulation of data from different respondent types, and we are confident that the conclusions of the evaluation (see Chapter  5)  have  a  strong  basis.  Where  appropriate,  we  have  recommended  (see  Chapter  6) further investigation into phenomena such as school levy increases and the payment of teacher incentives.   

 

29 

Chapter 4: EVALUATION FINDINGS  The  findings  presented  in  this  chapter  are  based  on  data  collected  from  all  ten  provinces  in November 2011 and January 2012.   4.1. Sample Characteristics of the Quantitative Dataset  4.1.1. School Heads   The  school  heads  sample  consisted  of  352 participants,  of whom  71.2% were  primary  school heads at municipal (71%) or government (14%) schools. Only 2.6% of the school heads were at schools with  boarding  facilities.  Approximately  78%  of  the  heads were males  and  22% were female. Over half (54%) had at  least a bachelor’s degree qualification. The average age was 50 years, with a range of 26 to 69 years.   4.1.2. Children   A total of 4001 children took part in the survey component of the evaluation. Of these 75% were in  primary  schools  and  the  rest  were  in  secondary  schools.  The  gender  distribution  was  as follows: 51.3% females and 48.7% males. 50.4% (N=2009) of the children were current BEAM beneficiaries and 49.6% (N=1992) were not. The age range was between 7 and 21 years.  Only 7.4% of the children were receiving assistance from sources other than BEAM.  4.1.3. Parents  Across the ten provinces, 1325 parents took part in the study – 1002 with children in primary schools and 323 with children in secondary schools.  The mean age of the parents was 46 years with a range of 19 to 92 years. Of the 1325 parents, 60.2% were female (N=791) and 50.9% had at  least  one  child  on  the  BEAM  programme.    The  level  of  education  ranged  from  no  formal education  (5.5%)  to  degrees  (1.2%),  with  the  majority  having  attained  primary  (43.4%)  or secondary (46%) education.   4.1.4. Community Representatives  The community representatives sample consisted of 975 participants. These respondents were community leaders, including BEAM chairpersons, local leaders, church leaders, and members of school  development  committees  and  community  selection  committees.  The  sample  comprised 486 male participants (50.3%); 64.8% had completed secondary education.  A little more than a fifth (23.3%) of the participants had attended BEAM training.   4.1.5. Provincial and District Respondents  Across  all  the  10  provinces,  92  provincial  and  district  officials  completed  the  survey questionnaire.  Of  these,  78.7%  were  male  and  21.3%  were  female.    The  majority  of  the participants had a university degree (84.5%). The period that these officials had been involved with BEAM activities ranged from 1 to 5 years.   4.2. Programme Relevance: Survey Findings  School heads, parents, children, community representatives and sub‐national respondents were all asked to assess the relevance of BEAM in their schools and/or districts and provinces. Table 8 

 

30 

below  shows  the  percentages  of  respondents  in  each  group who  selected  one  of  four  options provided: “very necessary”, “necessary”, “not necessary” and “not necessary at all”.  Table 8: Programme relevance 

Respondent Category Very Necessary  Necessary 

Not Necessary 

Not Necessary at all 

Don’t Know 

School heads  91.6  8.4  ‐  ‐   Parents  81.8  16.4  0.6  0.15  1.1 Community representatives  85.9  13.5  0.9  0.1  ‐ Children  88.6  9.6  0.9  0.8  ‐ District and Provincial Officials  96.2  3.7  ‐  ‐  ‐ 

Average  88.82  10.32  0.49  0.21  0.22  On average, nearly 90% of the participants felt that BEAM was “very necessary” in their school, district or province with the majority of the remainder indicating that BEAM was “necessary”.   Significance  tests2  of  differences  between  ratings  given  by  school  heads,  parents,  community representatives  and  children  from primary vs.  secondary  schools  across  all  the  five provinces showed  no  significant  differences  (pall  >0.05).  The  relevance  of  BEAM  at  both  primary  and secondary  levels  was  thus  strongly  endorsed  by  all  categories  of  respondents,  regardless  of province. Of particular importance is the fact that BEAM and non‐BEAM children and parents did not  differ  significantly  in  their  level  of  endorsement  of  the  BEAM  programme.  Also,  no statistically significant differences were observed at sub‐national  level by province, suggesting that Beam is largely perceived as “very necessary” by district and provincial level officials from both  the Ministry of Labour and Social Services and the Ministry of Education, Sport, Arts and Culture.   School  heads  and  community  representatives  were  asked  further  questions  relating  to  the perceived  relevance  of  BEAM.  The  questions  related  to whether  the  participants  knew of  any children  who  are  currently  on  BEAM  and  who  are  in  especially  difficult  circumstances.  The results are shown in Table 9 below. The reliability coefficients for this sub‐scale are shown at the bottom of the table.  Table 9: Reported categories of children currently on BEAM Percentages of community representatives and school heads who knew of children currently on BEAM who.... 

Community Representatives 

School Heads 

Are double orphans (both parents deceased)  97  99 Are single orphans (one parent deceased)  98  99 Children in foster care with poor guardians  93  84 Had never attended school  79  32 Are disabled  60  49 Are living on the street  23  5 Are living in child­headed households  74  69 Are living in an extremely poor household  92  97 Have a breadwinner at home who is not gainfully employed  81  88 Have a breadwinner at home who is chronically ill  90  89 

Reliability Coefficient (Cronbach’s Alpha) 0.74  0.68                                                           2 T‐Tests, chi‐square and ANOVA procedures were used. 

 

31 

The need for BEAM was further assessed by asking school heads to provide information relating to  children  who  were  identified  as  needing  BEAM  and  children  actually  selected  for  BEAM support in both 2010 and 2011. Across all secondary and primary schools in 2010, 36% of the children in sampled schools were identified as  in need of BEAM support and only 17.5% were selected to receive BEAM. Similarly, in 2011 28% of the children in all the sampled schools were identified  as  needing  BEAM  support  but  only  16.3% were  selected  to  receive  BEAM  support. These differences were statistically significant (p<0.05). Thus, the analysis of the data suggests that  nearly  half  of  the  children  who  were  identified  as  in  need  of  BEAM  support  were  not selected  for  BEAM  support.  The  data  were  further  analysed  by  school  level  (secondary  vs. primary). The differences, which are statistically significant  (p<0.05), are depicted in Figures 1 and 2 below.  Figure 1: % identified and selected (2010)    Figure 2: % identified and selected (2011) 

40.5

20.718.4

16.1

5

10

15

20

25

30

35

40

45

29.1

24.7

16.5 17.5

5

10

15

20

25

30

35

40

45

50

    4.3. Programme Efficiency: Survey Findings  A  number  of  questions  were  designed  to  assess  programme  efficiency.  In  particular,  school heads,  district  and  provincial  officials  and  community  representatives  were  asked  the  same questions relating to how quickly and accurately funds were disbursed in 2010 and in 2011. The trends  in the data were clear and consistent across all groups  of respondents. Figures 3 and 4 below show the pattern, as represented by data from school heads.   

 

32 

Figure 3: Speed and accuracy (2010)    Figure 4: Speed and accuracy (2011) 

2.15

8.75

41.85

63.4

14.7 13.8

10

20

30

40

50

60

70

1.95

13.5

38.45

58.4

19.4

12.35

10

20

30

40

50

60

70

It is clear that participants generally rated accuracy of disbursements more positively than they rated  the speed with which BEAM disbursements were made  to  the  schools  in both 2010 and 2011.  The  differences  in  ratings  between  2010  and  2011  were  not  statistically  significant (p>0.05).   4.4. Programme Effectiveness: Survey Findings  School  heads,  parents,  community  representatives  and  children  were  all  asked  the  same question regarding the extent  to which BEAM support had  impacted positively on the school’s financial position. Table 4 shows the percentages of respondents in each group who selected one of the following four options in response to this question: “Quite a lot”, “A lot”, “A little” and “Not at all”. It is clear that while community representatives and children rated the general impact of BEAM support more positively, parents and school heads were less likely to select “Quite a lot” but  opted  for  the  option  “A  lot”3.  These  differences  are  not  statistically  significant  (p>0.05). Nevertheless,  it  is  reasonable  to  conclude  that  the majority of  respondents were aware of  the general impact of BEAM support in their school.   Table 10: Perceived impact of BEAM on the financial position of schools 

Respondent Category Quite a Lot  A Lot  A Little  Not at all 

Don’t Know 

School heads  68  25  6.0  0.9   Parents  69  20  7.8  0.7   Community representatives  80  16  3.4  0.7   Children  84  11  2.9  1.7    An important  issue which has a direct bearing on the effectiveness of the BEAM programme is whether or not the selection committees are constituted fairly as well as whether the selection process targets  the neediest children  in each area. For this reason, all participants were asked the same question regarding whether or not CSCs at their schools were constituted “well” (i.e. as envisaged in the BEAM manual). A dichotomous (“Yes”/”No”) response format was used for this 

                                                        3 In Zimbabwean English, “quite a lot” is more emphatic than “a lot”, and in this and other questions therefore indicates higher impact. 

 

33 

question to avoid ambiguous responses. Figure 5 below shows the percentages of respondents from each group who selected either option or “did not know”. 

 Figure 5: Constitution of CSCs 

79.876.6

89

6 7.4

14.2 16

0102030405060708090100

 School heads, community representatives and parents were asked about the appropriateness of the selection process and the prioritization of children for BEAM beneficiaries at their respective schools. Figure 6 below shows the percentages of respondents who felt that the selection criteria and prioritisation processes followed at their schools were not appropriate.  Figure 6: Selection criteria and prioritisation 

15.414.6

6

17.9

14.5

2

4

6

8

10

12

14

16

18

20

  As a community‐driven programme, active participation of CSC members and other children in the  identification  of  children  in  need  of  BEAM  is  crucial.  School  heads  and  community representatives  were  therefore  asked  about  the  level  of  participation  exhibited  by  these  two groups in their schools. The findings from the analysis of responses to these two questions are captured in Figure 7 below.  

 

34 

Figure 7: Participation of CSC members and children 

83.587.7

36.3

10

20

30

40

50

60

70

80

90

100

 Parents were  specifically  asked whether  they were happy with  the way  in which  children are selected to benefit from BEAM. Approximately, 1 in 5 parents (21.2%) either said they were not happy with the selection process or declined to answer the question. Furthermore, when asked whether  there  were  any  challenges  which  they  faced  in  getting  their  children  on  the  BEAM programme, 39% said  “yes”. Analysis of qualitative data will  shed more  light on  the nature of these challenges.   Participants  also  answered  a  series  of  questions  relating  to  the  effectiveness  of  BEAM  in  the school context. Once again, the patterns across groups of participants were quite similar. Table 11 below shows the percentages of school heads who selected each of the four options that were given for each school‐related dimension that was assessed.  Table 11: Perceived effectiveness of BEAM on different aspects of school functionality 

RATED DIMENSION OF BEAM CONTRIBUTION   A Lot  A Little Not  at All 

Not Sure 

Contributed to improving the quality of teaching and learning materials  62   30.7   6.1  1.3 

Improved the school completion rate at the school  60.9   30.8   5.9   2.5  

Improved the pass rate at the school  44.1   43.1   10.1   2.7  

Improved school attendance of BEAM beneficiaries  72.1   21.0   5.4   1.5  

Reduced the drop‐out rate at this school  76.6   18.9   2.9  1.7  

Improved facilities (e.g. furniture)  43.0   37.4   17.9   1.7  

Led to the introduction of feeding programmes in the school to improve nutrition   8.8  11.6   62.2   17.5  

Alpha =0.73  4.5. Programme Impact: Survey Findings  Programme impact relates to the broader outcomes of the BEAM programme at the level of the community. Improving accessing to education for disadvantaged groups is a critical focal point for BEAM, so participants were asked to rate the extent to which they felt BEAM had improved 

 

35 

access to education  for different categories of children in the area. The percentages of parents and community members who selected the various options in response to each of the questions asked are shown in Tables 12 and 13 below.  Table 12: Impact on access to education (parents) 

RATED DIMENSION OF BEAM IMPACT  A lot  A little Not at all 

Not sure 

Improved access to education for orphans  86.25  10.8  0.8  2.2 

Improved access to education for learners with special learning needs  55.1  13.1  6.0  25.9 

Improved access to education for learners with physical disabilities  49.9  13.1  6.8  30.3 

Improved access to education for children with chronically ill parent(s)  61.6  18.2  6.2  14.2 

Improved access to education for children with unemployed parents  49.8  23.4      13.0  14,0 

Improved access to learning for girls  72.4  13.2  4.5  9.8 

Improved children’s well‐being    76.6    13.5       5.2       2.9 Alpha=0.67 

  Table 13: Impact on access to education (community representatives) 

RATED DIMENSION OF BEAM IMPACT  A lot  A little Not at all 

Not sure 

Improved access to education for orphans  92.3  7.1  0.5  0.2 

Improved access to education for learners with special learning needs  66.7  16.3  7.0  10.2 

Improved access to education for learners with physical disabilities  64.2  13.0  9.6  13.3 

Improved access to education for children with chronically ill parent(s)  79.7  13.5  3.7  3.2 

Improved access to education for children with unemployed parents  68.4  17.9  11.1  3.0 

Improved access to learning for girls  82.5  12.6  2.3  2.8 

Improved children’s well‐being  77.9  15.3  4.7  2.1 Alpha=0.61 

    4.6. Programme Sustainability: Survey Findings  School heads, parents and community representatives were each asked the  following question with  regard  to  programme  sustainability:  “If BEAM  funding were  to be  stopped  today  to what extent would  this  school  and  the  community  be  able  to  keep  beneficiaries  in  school?”.  Figure  8 below shows the percentages of respondents who said that the school or community would not be able to keep beneficiaries in school. 

 

36 

Figure 8: Sustainability 

46.9

10.2 10.

49.7

85.5

0102030405060708090100

  4.7. BEAM Finances  In  Chapter  1  we  have  presented  data  relating  to  the  amounts  disbursed  through  BEAM,  the sources of funding and the distribution patterns. The number of schools registered and therefore eligible for BEAM funding was 5,407 in 2009 and 2010, rising to 5,666 in 2011. The success rate (defined by successful transfers of funds) with respect to the total number of registered schools was 94.3% in 2011; since only 94.5% of registered schools submitted applications, the success rate in terms of processing actual applications and making payments was 99.8%. Efficiency over the period reviewed was  lowest  in 2010, and  improved dramatically after  the appointment of key PMU staff despite the complexity of the processing of applications.  Funds totalling US$60.23 million were disbursed from 2009 to 2011; 55% of the total funds over this period for primary and secondary schools was provided by the GoZ. In the absence of up‐to‐date  information on vulnerability,  the  funds made available  varied per province  in  relation  to total enrolment. Although US$16 million has been allocated by the GoZ for secondary schools in 2012, none of  this amount had been disbursed at  the  time of  the evaluation; no  funds had yet been made available  for primary schools  in 2012. Funds  for secondary schools were provided exclusively by  the GoZ and  for primary schools very  largely by  donors  (85%). Gender balance among beneficiaries was consistently maintained.   The per capita allocation for primary school children rose by 151% and by 150% for secondary school  children  from  2010  to  2011.  The  number  of  primary  school  beneficiaries  therefore dropped 25% from 537,594 to 403,398 over the same years even though the amounts disbursed increased  (US$13.4  million  in  2010  to  US$14.9  million  in  2011,  an  increase  of  113%);  the number of secondary school beneficiaries dropped by an even higher percentage (42%) over the same  years,  and  the  total  number  of  beneficiaries  (primary  and  secondary)  dropped  by  29%. This meant that in 2010 96% of the target number of 560,000 primary school children benefited, whereas in 2011 this proportion dropped to 72%. If the primary school per capita allocation had risen by only 110% rather  than 151%  from 2010  to 2011,  the number of beneficiaries would have been 554,391  rather  than 403,398 –  in  other words,  only 73% of potential  beneficiaries were supported.   

 

37 

Examination fees (O‐Level and A‐Level fees) were paid in 2010 and 2011 for 21,463 secondary school  children.  Although  there  are  no  overall  gender  imbalances  over  the  period  and  across both O‐ and A‐levels, there are clear imbalances in both years  in favour of boys taking A‐levels because of the higher male enrolment at that level.  4.8. School­Level Income and Expenditure Patterns  The 352  school  heads who  responded  to  the  survey questionnaire were asked  to  indicate  the sources of income of their schools as follows: 

• BEAM support (total paid via BEAM) • School fees paid by parents/guardians • School levies paid by parents/guardians • Other sources of income 

 First, the overall income patterns were analysed for the entire sample (i.e. regardless of whether the school was located in urban or rural area and without distinguishing between primary and secondary  schools).  Figure  9  below  shows  the  average  proportions  of  income  from  parents paying levies and tuition fees (81%), from BEAM paying levies and tuition fees (7%) and from other sources (12%).   Figure 9: Average % of BEAM support in relation to total school income 

7%

81%

12%

BEAM ASSISTANCE

FEES AND LEVIES BY PARENTS

OTHER SOURCES

   The ‘other’ sources of income are listed in the table below.  Table 14: Categories of other sources of income CATEGORY  EXAMPLES Fund raising  School activities like civics day Garden product sales  Vegetable sales School tuck‐shops  Food and drinks Donations    From Christian organisations, CARPENUM Trust, Parents   

 

38 

The next step was to examine whether there were differences in BEAM's contribution to school income as  a  function of  school  location  (i.e. urban vs  rural  schools).  Figures 10 and 11 below show  the  income  patterns  for  urban  and  rural  schools,  regardless  of  whether  they  were secondary or primary schools. The figures show that the contribution of BEAM is similar at both primary and secondary school levels; the largest proportion of school income in urban and rural schools is from tuition fees and levies paid by parents.  Figure 10: Urban school income      Figure 11: Rural school income 

8%

81%

11%

BEAM ASSISTANCE

FEES AND LEVIES BY PARENTS

OTHER SOURCES   Figures 12 and 13 show the income patterns for primary and secondary schools. Once again, the contribution  of  BEAM  is  similar  at  both  primary  and  secondary  school  levels  and  the  largest proportion  of  school  income  in  primary  and  secondary  schools  is  from  levies  paid  by  the parents.  Figure 12: Primary school income    Figure 13: Secondary school income 

        

 

39 

Figures 14 and 15 below show the income patterns for urban and rural primary schools.  Figure 14: Urban primary school income  Figure 15: Rural primary school income 

  Figures 16 and 17 below show the income patterns for urban and rural secondary schools.  Figure 16: Urban secondary school income   Figure 17: Rural secondary school income 

  The schools were then classified into four categories according to their level of income per learner (i.e. poorest to least poor) and the percentage contributions of each source were calculated.   Figures 18 to 21 below show that BEAM payments for levies and tuition fees account for the greatest proportion of income (25%) in schools with the lowest income per learner.   

 

40 

Figure 18: Low income per learner    Figure 19: Lower­middle income per learner 

                Low income per learner (25%)               Lower‐middle income per learner (25‐50%)   Figure 20: Middle­upper income per learner  Figure 21: Upper income per learner  

 Middle‐upper income per learner (50‐75%)         Upper income per learner (75‐100%)  The 352 school heads who responded to the survey questionnaire were also asked to  indicate the categories of expenditure of their schools as follows: 

• Learning materials (e.g. textbooks) • Staff development • Feeding scheme for children • Improving school buildings and grounds • Improving health conditions at the school • Other types of expenditure 

 The expenditure data  from all  schools,  regardless of  school  level  or  location,  are presented  in Figure 22 below, which shows that the ‘other’ category (which includes teacher incentives) is the largest  category  of  expenditure  (35%),  followed  by  school  maintenance  (21%)  and  learning materials (20%). In the figures that follow: LM = learning materials; SD = staff development; FS = furniture and supplies; SM = school maintenance; H = health.  

 

41 

Figure 22: Overall expenditure patterns in relation to total school income 

       The ‘other’ categories of expenditure are listed in the table below.  Table 15: Categories of other expenditure CATEGORY   EXAMPLES Incentives  Teachers and administrative staff School furniture  Chair and desks Property repairs  Repairs for furniture, school vehicles Salaries  Salaries for clerks, security guards Sporting equipment  Sport uniforms, balls  Figures 23 and 24 display very similar expenditure patterns for primary and secondary schools.   

 

42 

Figure 23: Expenditure in primary schools          Figure 24: Expenditure in secondary schools  

  Figures 25 and 26 below show the expenditure patterns for urban and rural schools. Once again, the expenditure patterns are very similar.  Figure 25: Expenditure in urban schools    Figure 26: Expenditure in rural schools 

  The expenditure patterns for the four quartiles of schools by level of expenditure are shown in Figures 27 to 30 below.  

 

43 

Figure 27: Low expenditure schools   Figure 28: Lower­middle expenditure schools 

           

24%

5%

1%

33%

4%

33%

LM SD FS SM H Other

 Low expenditure schools (0‐25%)           Lower‐middle expenditure schools (25‐50%)  Figure 29: Middle­upper expenditure schools  Figure 30: Upper expenditure schools 

                Middle‐upper expenditure schools (50‐75%)    Upper expenditure schools (75‐100%)   4.9. The School­Level Focus Group Discussions  Focus  group  discussions  were  held  in  40  of  the  sampled  schools  with  parents,  community representatives and children. The most commonly reported strengths and weaknesses of BEAM are reported below.  4.9.1. Children   Children  (beneficiaries  and  non‐beneficiaries)  were  generally  very  positive  about  the  impact BEAM  has  had  on  enrolment  and  attendance,  and many  felt  that  the  process  of  applying  for 

 

44 

BEAM was  fair  and  relatively  easy  although  some  families  struggled  to  provide  the  required documents, such as death certificates. The most common negative comments follow: 

• Some children look down on and laugh at BEAM beneficiaries; some parents are “shy to register” because they are ashamed of being seen as poor. 

• The most needy beneficiaries are not always identified; children should be more involved in  the  selection  process  to  remedy  this,  and  home  visits  should  be  a  feature  of  the process. 

• Illegal  mining  (in  some  districts)  and  early  marriage  are  factors  that  BEAM  is  not addressing successfully. 

• Food and clothes should be provided for the most needy.  Individual  children  who  are  beneficiaries  reported  a  number  of  difficulties,  such  as  being “chased away” because of  late payment by BEAM, the school running out of application  forms, not realising that the application had to be repeated annually, and being “told to pay the balance” because BEAM did not pay the total amount required by the school.  4.9.2. Parents and Guardians  Parents  and  guardians were  also  generally  very  positive  about  the  impact  BEAM  has  had  on enrolment and attendance at both primary and secondary schools, and most were happy with the  composition  of  the  CSCs  and  the  selection  process.    It  was  commonly  reported  that  the process  is not discriminatory.  It was  also  commonly  felt  that  if BEAM  is discontinued  “people would  suffer  greatly”  and girls  in particular would be  forced  into  early marriage. The  general opinion was that BEAM “should continue as it is”. Criticisms include the following: 

• The  registration  criteria  are  subject  to  abuse;  needy  families  (for  example  with unemployed parents) and disabled children are not always selected. 

• Too few children are selected of those identified. • Many  parents  and  guardians  find  it  difficult  to  provide  the  documents  required  for 

registration, such as death certificates. • Payment  is  often  too  late,  and  some  parents  reported  being  forced  to  pay  the  levies 

without being reimbursed when the BEAM funds came through. • Information about the amount of funds received from BEAM is often not made public. • Not all levies are funded by BEAM, such as levies for practicals in secondary schools. • There is no money for uniforms, shoes and stationery. • There should be funds for clothes and food for orphans. • BEAM should be “more on the ground”, actively looking for out‐of‐school children. • While some families look down on BEAM beneficiaries, “others envy them”. • There  is  no  selection  committee  at  secondary  schools; many  secondary  school  parents 

reported having no knowledge of the selection criteria and processes.  4.9.3. Community Representatives   Community representatives were also generally very positive about  the  impact BEAM has had on enrolment and attendance at both primary and secondary schools, and one group expressed the views of many to the effect that “the will of the people is generally observed”. Many groups noted that children’s behaviour had  improved through attending  school; one group noted that theft had decreased in the community. There was general agreement that communities cannot achieve the intended outcomes without BEAM support. Criticisms include the following: 

• A small number of groups reported that the selection process was questionable; only one group  reported  “politicisation  of  the  selection  process”.    Application  of  the  selection criteria  was  variable,  with  some  schools  emphasising  orphans,  others  inviting  single 

 

45 

mothers  to  apply,  and most  applying  or  trying  to  apply  all  the  criteria. However, most acknowledged  that  the  most  needy  children  were  not  always  selected,  and  that  on occasion only one of several needy children is selected from a given family. Some groups argued  that  teachers  should  be  more  involved  in  selection  as  they  are  aware  of  the children’s backgrounds. 

• Some groups noted that needier families often experience greater difficulty in providing the required documents (such as death certificates), and that government should assist them in this regard. 

• It was generally agreed that the intervention needs to expand substantially to attempt to reach all those in need. 

• Concern for children’s health and wellbeing was frequently expressed, and most groups argued  for  funds  for  food,  clothes,  books  and  stationery.  Several  groups  noted  that children who have  to wear  their own  clothes  can be  “isolated  and  stigmatised”,  as  one group put it. 

• Many  groups  reported  that  payment was delayed,  in  some  cases  by  two  or  even  three terms; in some schools children were sent home until the funds were received. 

• Community  representatives  also  felt  that  there  should  be  selection  committees  at secondary schools; many secondary school parents reported having no knowledge of the selection criteria and processes. 

 4.9.4. Awareness of BEAM   Across respondent types,  it was commonly reported that beneficiaries became aware of BEAM from  a  variety  of  sources,  including  community  leaders,  councillors,  Child  Protection Committees,  school meetings convened by  the school head,  teachers and other children. Some groups  felt  that  there  should  be more publicity,  and one  group  of  children  argued  that BEAM should prove its success by publicly announcing the names of beneficiaries who have done well.  4.9.5. Key Issues in the Qualitative Data   It  is  clear  that  the  overall  assessment  of  BEAM  by  the  focus  group  participants  is  that  it  is  a highly relevant and necessary intervention that has had a substantial impact on enrolment and attendance.  It  is  also  clear  that  respondents  do  not  believe  BEAM  outcomes  can  be  achieved without continued funding. All respondent types believe that funds should be increased to reach all needy children.  There is dissatisfaction with the following aspects of BEAM: 

• Late receipt of funds, leading in some schools to children being sent home. • The need for greater involvement of teachers and children in the selection process, and a 

more ‘on‐the‐ground’ approach to the identification of needy children. • The need for a wider range of  inputs  to enhance children’s wellbeing, such as uniforms 

and food. • The need to cover all levies, such as for practicals in secondary schools. • The lack of selection committees at secondary schools. 

 There  is  variability  in  respondents’  assessment of  the  selection process. While  the majority of groups  reported  their  satisfaction  with  the  fairness  of  the  process,  there  is  clearly  a  small number of schools in which there are perceptions of abuse of the criteria and the process, and schools in which there is lack of transparency about the funds received.   

 

46 

4.10. Interviews With National Stakeholders and Role Players  Interviews were conducted with national stakeholders and role players working at the MoLSS, the MoESAC, the Ministry of Finance and UNICEF; one potential respondent from a participating bank could not be  interviewed because of  internal bank protocols. The salient points raised  in the interviews are presented below.  Relevance  

• BEAM is highly relevant in the Zimbabwean context, but needs to evolve as new support mechanisms are introduced, such as social cash transfers.  

 Efficiency  

• Disbursement is now more accurate than it is speedy; accuracy is the responsibility of the BEAM PMU in collaboration with district and provincial offices, while  the responsibility for  timely  disbursement  is  the  responsibility  of  donors  and  the  Treasury.  During  the application  process,  some  districts  hold  up  applications  until  they  have  a  batch  for submission; provincial offices are sometimes responsible for delays in approving fees and levies. 

• A much improved management information system is needed to support monitoring and evaluation, and monitoring should be much more systematic and rigorous.  

• The PMU needs to be better equipped (for example, with vehicles and photocopiers)  to improve its management and monitoring capacity. 

• Improved communication and regular meetings are needed between MoLSS, MoESAC and MoF. Moreover, the responsibilities of the two implementing ministries need to be clearly defined: it is the responsibility of the MoLSS to provide for social protection (in this case access  to  education)  and  the  responsibility  of  the  MoESAC  to  ensure  that  educational goals and objectives are met and to monitor the use of school funds. 

• Opinions differed on the best location of BEAM. Most respondents felt that BEAM is best located  in  the MoLSS  as  it  is  a  social  protection mechanism;  however,  one  respondent argued  that  the MoESAC  understands  the  educational  goals  and  objectives  better.  This respondent also argued for joint decision making between the MoESAC and the MoLSS. 

• Donors’ conditions must be fulfilled before funds can be released, which is sometimes a slow process. 

• More funds are needed to improve capacity for management and administration. • An  auditing  strategy  should  be  developed  to  ensure  that  schools  are  aware  that  they 

might be subjected  to a  thorough  investigation of  identification and selection processes and application of funds. 

• Verification of school bank account numbers has improved with help from participating banks;  this  has  led  to  improved  efficiency  in  disbursement.  The  percentage  of  schools with bank transfer rejections in 2011 was 0.2%. 

 Effectiveness  

• Not all levies are covered by BEAM, and there is a need to provide for cost items such as uniforms and transport to enhance enrolment and attendance.  

• The  relatively  small  portion  of  BEAM  funds  (on  average  1.5%)  that  is  set  aside  for programme  management  and  administration  is  insufficient,  and  is  the  cause  of  weak management capacity, weak capacity for monitoring and evaluation and overload in the PMU. The BEAM Adviser, who is paid by UNICEF, is assisted by other staff members, such 

 

47 

as data capturers, who are MoLSS employees and are reported to have other competing duties within the ministry. 

• The identity and purpose of BEAM need to be aligned with other initiatives such as social cash transfers. 

• The  BEAM  selection  criteria  should  be  reviewed,  as  the  poverty  criterion  needs  to  be more prominent and categories of beneficiary such as disabled children might be better served by a different funding mechanism. More generally, BEAM beneficiaries may need additional assistance from other sources; an integrated management information system would be invaluable in this regard. 

• BEAM should identify a group of beneficiaries and take them through the school system; the list of beneficiaries should not change so frequently. 

• Dissatisfaction  in  communities  is  likely  to  be  a  result  of  the  small  resource  envelope, which results in children in need being left out.  

• The grievance procedure is not functional and needs to be revamped. • In many cases political differences are set aside in the selection process; this contributes 

to “national healing”. • The CSC should have a representative from the CPC to advise on children in need of social 

protection. • “Influential  people”  who  have  no  awareness  of  BEAM  are  sometimes  members  of  the 

CSCs; in some schools heads “handpick people whom they can manipulate”, and in these cases the DEO is tasked with disbanding the committee.  

• CSCs need to gain a better understanding of the selection criteria. • Children have been successfully involved in one province in the selection of beneficiaries; 

this should be encouraged. • Secondary schools do not have their own CSCs as they are not as close to the communities 

they  serve;  the CSCs are better  located at primary  schools, but  secondary  school heads should be involved. 

• The need for  incentives is not as pressing as  it was at the height of the economic crisis; parents are  sometimes expected  to pay  for  such  incentives  in addition  to  school  levies, and  therefore  in  addition  to  levies  paid  through  BEAM.  This  practice  undermines  the purpose  of  BEAM,  and  places  BEAM  beneficiaries  at  risk  of  discrimination  if  their parents/guardians cannot pay.  

• Although  BEAM  does  not  allow  the  practice,  schools  sometimes  force  parents  to  pay tuition  fees and  levies  if BEAM funds are delayed, and they are not always reimbursed. This was described as an  “illegal” practice. Moreover,  termly increases in school fees and levies have eroded the value of the assistance in terms of the number of beneficiaries. 

• There have been  cases  of  school  heads providing  the PMU with  their personal  account numbers; these have been treated as criminal cases. 

• Although  10%  of  BEAM  funds  is  set  aside  for  disabled  children  (for  disbursement  to special  schools  and  registered  resource  units),  there  is  lack  of  awareness  in  school communities of the support available and only 75% of the funds have been spent; many families also keep children with special needs at home. 

• Street  children  are  not  beneficiaries  because  BEAM  is  institution‐based;  communities tend not to look out for such children. 

 Impact  

• BEAM  has  had  a  major  impact  on  enrolment  and  attendance,  and  has  contributed  to broader  social  outcomes;  more  children  are  writing  A‐levels  and  some  BEAM beneficiaries  have  been  able  to  go  on  to  university.  Gender  balance  in  terms  of beneficiaries has been consistently maintained. 

 

48 

Sustainability  

• Continued funding is needed for as long as there is vulnerability in school communities; it will “take a while before our communities can be able to tackle issues of vulnerability on their own”. 

• Because  of  BEAM’s  impact  on  enrolment  and  attendance  the  programme  should  be maintained by donors. Respondents noted the urgency of funds being made available for 2012,  and  the  probability  that  BEAM will  have  to  be  sustained  by  the  GoZ  from 2013. Every  effort  should  be  made  to  reach  greater  numbers  of  vulnerable  children.  It  was noted that the target of 560,000 BEAM beneficiaries was not based on accurate data on vulnerability and is probably an underestimate. 4 One respondent suggested that all rural children  should  be  supported  at  lower  per  capita  rates,  and  another  suggested  that families qualifying for cash transfers (under the ZHSCTS) should automatically qualify for BEAM.  It  was  noted  that  the  results  of  the  Poverty,  Income,  Consumption  and Expenditure Survey (PICES), due in August 2012, will assist in this regard. 

  

                                                        4 Albeit drawing on a very small sample, researchers studying extremely poor households found that only 14% of children of primary school age and 11% of children of secondary school age are BEAM beneficiaries. MoLSS (2010). Process and Results of Baseline Survey of Labour Constrained, Extremely Poor Households in Goromonzi, Ward 5. Harare: MoLSS. 

 

49 

Chapter 5: CONCLUSIONS AND LESSONS LEARNED  5.1. Summary of Findings  The  summary  of  findings  presented  below  is  based  on  the  analysis  of  quantitative  and qualitative  data  gathered  in  all  ten  provinces  and  on  the  review  of  BEAM  documents  and finances presented in Chapter 1.   5.1.1. Programme Relevance  The  qualitative  data  show  that  BEAM  is  a  highly  relevant  and  necessary  intervention (particularly  in  the  lowest  quartile  of  schools  in  terms  of  school  income)  that  has  had  a substantial  impact  on  enrolment  and  attendance.  The  quantitative  data  also  show  that  the relevance of the BEAM intervention is indisputable, with on average almost 90% of respondents of all types viewing the support as ‘very necessary’. It should be noted that the respondent types included BEAM and non‐BEAM  children  and  parents,  and  that  no  significant  differences were found  in  terms  of  their  endorsement  of  BEAM.  Also,  no  significant  differences were  found  by province; BEAM is therefore found to be relevant in all ten provinces.  The most common beneficiary types reported by school heads and community representatives were children who: 

• Are double orphans (both parents deceased) • Are single orphans (one parent deceased) • Children in foster care with poor guardians • Had never attended school • Are living in child‐headed households • Are living in an extremely poor household • Have a breadwinner at home who is not gainfully employed • Have a breadwinner at home who is chronically ill. 

 Significantly less commonly reported beneficiaries were children who: 

• Are disabled • Are living on the street. 

 Of  concern  are  the  percentages  of  children  identified  as  needing  BEAM  support  who  were selected in 2010 (49% of those identified were selected) and 2011 (58% of those identified were selected). The  situation  is  significantly more  serious  in  this  regard  in primary  schools  than  in secondary schools. These low percentages suggest that BEAM is much more widely needed than available resources permit – based on the 2011 data, an increase of 172% in financial resources would  be  needed  to  reach  all  children  identified  by  communities  as  needing  assistance.  This would enable BEAM to reach 794,000 primary school children (US$34 per capita) and 268,000 secondary school children (US$102 per capita).  The analysis of school income and expenditure shows that BEAM on average contributes 7% of total school  income in urban schools and 8% in rural schools; urban schools are better able to raise income from sources other than parents and BEAM than rural schools. The schools in the quartile with the lowest income per learner (i.e. the poorest schools) benefit from BEAM funding much more (25% of total school income) than schools in the other income quartiles.  

 

50 

5.1.2. Programme Efficiency  School  heads,  district  and  provincial  officials  and  community  representatives  all  rated the accuracy of BEAM disbursements more positively than they rated the speed with which the disbursements were made to the schools. The responses of school heads are typical in this regard, with 78% rating the accuracy of disbursements as ‘excellent’ or ‘good’ in 2011 and 84% rating the speed of disbursements as ‘poor’ or ‘very poor’ in the same year. There were no significant differences in this regard between the ratings for 2010 and 2011, indicating that programme efficiency is viewed positively over the two-year period in terms of accuracy of disbursements but negatively with respect to speed. This was confirmed by focus group respondents, who expressed dissatisfaction with the late receipt of funds, leading in some schools to children being sent home.  The success rate (defined by successful  transfers of  funds  to schools) with respect  to  the total number of actual applications and disbursements was 99.8% in 2011. Efficiency over the period reviewed was lowest in 2010, and improved dramatically after the appointment of key PMU staff despite  the  complexity  of  the  processing  of  applications.  In  the  absence  of  up‐to‐date information on vulnerability,  the  funds made available varied per province  in  relation  to  total enrolment. Gender balance among beneficiaries was consistently maintained.   The per capita allocation for primary school children rose by 151% and by 150% for secondary school  children  from  2010  to  2011.  The  number  of  primary  school  beneficiaries  therefore dropped 25% over the same years even though the amounts disbursed increased by 113%; the total  number  of  beneficiaries  (primary  and  secondary)  dropped  by  29%.  This meant  that  the percentage  of  primary  school  children  supported  with  respect  to  the  target  number  of beneficiaries  dropped  from  96%  in  2010  to  72%  in  2011.  If  the  primary  school  per  capita allocation  had  risen  by  only  110%  rather  than  151%  from  2010  to  2011,  the  number  of beneficiaries  would  have  been  554,391  rather  than  403,398  –  in  other  words,  only  73%  of potential beneficiaries were supported.   National  stakeholders  and  role  players  argued  for  a  number  of  mechanisms  to  enhance efficiency: 

• A much improved management information system is needed. • Monitoring and evaluation should be much more systematic and rigorous. • More funds are needed to improve capacity for management and administration. • Improved  communication  and  regular  meetings  are  needed  between  the  participating 

ministries (MoLSS, MoESAC and MoF). • An auditing strategy should be developed. 

5.1.3. Programme Effectiveness  93.2% of all  school‐level  respondent  types  (school heads, parents,  community  representatives and children) felt that BEAM support had impacted positively on the school’s financial position. Although parents and school heads were less likely to select “Quite a lot” and tended to opt for the response “A lot”, these differences are not statistically significant.5   80% of school heads, 77% of parents and 89% of community representatives felt that the BEAM community  selection  committees  had  been  “well”  constituted  (as  envisaged  in  the  BEAM manual); 15% of school heads, 15% of parents and 7% of community representatives felt  that the BEAM selection  criteria were not  appropriate.  Similar  levels  of  dissatisfaction were  found                                                         5 In Zimbabwean English, “quite a lot” is more emphatic than “a lot”, and in this and other questions therefore indicates higher impact. 

 

51 

with  regard  to  the  prioritization  of  children  for  BEAM  support:  18% of  school  heads,  14% of parents  and  6%  of  community  representatives  felt  that  the  prioritisation  of  children was  not appropriately  effected.  14.5%  of  parents  also  expressed  dissatisfaction  with  the  selection process,  and  39%  reported  that  they  had  faced  challenges  in  getting  their  children  onto  the BEAM programme. Analysis of  the qualitative data gathered at  the school  level shows that  the challenges are likely to be the following: 

• There are, in a very small number of schools, reports of abuse of the registration criteria.  • Application of the selection criteria is variable, with some schools emphasising orphans, 

others  inviting  single  mothers  to  apply,  and  most  applying  or  trying  to  apply  all  the criteria.  However, most  respondents  acknowledged  that  the most  needy  children were not always selected, and that on occasion only one of several needy children is selected from a given family. 

• Too few children are selected of those identified. • Many  parents  and  guardians  find  it  difficult  to  provide  the  documents  required  for 

registration, such as death certificates.  The majority  of  school  heads  (83%)  and  community  representatives  (88%)  felt  that  there  is active  participation  of  CSC members  in  the  identification  of  children  in  need  of  BEAM; many fewer respondents (36% of school heads and 44% of community representatives) felt that there has been active participation of children.   With regard to the effectiveness of BEAM support in their schools, school heads felt that BEAM had contributed to: 

• Improving the quality of teaching and learning materials • Improving the school completion rate at the school • Improving school attendance of BEAM beneficiaries • Reducing the drop‐out rate at the school. 

 It was significantly less commonly reported that BEAM had contributed to: 

• Improving the pass rate at the school • Improved facilities (such as furniture) • The introduction of feeding programmes. 

 Focus group respondents expressed dissatisfaction with the following aspects of BEAM: 

• The need for greater involvement of teachers and children in the selection process, and a more ‘on‐the‐ground’ approach to the identification of needy children. 

• The need for a wider range of  inputs  to enhance children’s wellbeing, such as uniforms and food. 

• The need to cover all levies, such as for practicals in secondary schools. • The lack of selection committees at secondary schools. 

 While  many  focus  group  respondents  reported  their  satisfaction  with  the  fairness  of  the selection process, there is a small number of schools in which there are perceptions of abuse of the criteria and the process, and schools in which there is lack of transparency about the funds received. There  is  a need  to  investigate  further  these potential pockets of  abuse, while noting that these perceptions were not commonly reported.  National stakeholders and role players proposed a number of ways to enhance effectiveness: 

• Not all levies are covered, and there is a need to provide for  items such as uniforms and transport to enhance enrolment and attendance. Over time levies should be abolished. 

 

52 

• The  relatively  small  portion  (1.5%)  of  BEAM  funds  that  is  set  aside  for  programme management  and  administration  is  insufficient.  The  BEAM  Adviser,  who  is  paid  by UNICEF,  is  assisted  by  other  staff  members,  such  as  data  capturers,  who  are  MoLSS employees and are reported to have other competing duties within the ministry.  

• The  BEAM  selection  criteria  should  be  reviewed,  as  the  poverty  criterion  needs  to  be more prominent and categories of beneficiary such as disabled children might be better served by a different funding mechanism. More generally, BEAM beneficiaries may need additional assistance from other sources; an integrated management information system would be invaluable in this regard. 

• The  need  for  incentives  for  teachers  is  not  as  pressing  as  it  was  at  the  height  of  the economic crisis; parents are sometimes expected to pay for such incentives in addition to school  levies,  and  therefore  in  addition  to  levies  paid  through  BEAM.  This  practice undermines  the  purpose  of  BEAM,  and  places  BEAM  beneficiaries  at  risk  of discrimination if their families cannot pay.  

• The identity and purpose of BEAM need to be aligned with other initiatives such as social cash transfers. 

 5.1.4. Programme Impact  The  broader  social  impact  of  BEAM  was  positively  rated  by  all  respondents.  Parents  and community  representatives  felt  that  in particular BEAM had  improved access  to education  for orphans  and  girl  children.  The  following  impacts  were  also  rated  as  important,  but  less important than the support for orphans and girl children: 

• Improved access to education for learners with special learning needs • Improved access to education for learners with physical disabilities • Improved access to education for children with chronically ill parent(s) • Improved access to education for children with unemployed parents • Improved children’s well‐being. 

 5.1.5. Programme Sustainability  Focus  group  respondents  did  not  believe BEAM outcomes  can be  achieved without  continued funding;  moreover,  all  respondent  types  believe  that  funds  should  be  increased  to  reach  all needy  children.  Responding  to  the  quantitative  survey,  parents  (87%)  and  community representatives  (89%)  reported  that without BEAM  funding  the  school  and community would not be able to keep beneficiaries in school. School heads were less categorical in their response, with  42%  responding  that  the  school  would  not  be  capable  at  all  of  keeping  beneficiaries  in school  and 54% responding  “not  very  capable”. However,  the overall  percentages  for  the  two responses (“not capable at all” and “not very capable”) are similar across these respondent types – 96% of school heads and parents and 99% of community representatives. Adult school‐level respondents thus believe that the BEAM objectives are attainable only with continued funding.  National stakeholders and role players believe that BEAM should receive continued funding, but that  BEAM  needs  to  evolve  as  new  support  mechanisms  are  introduced,  such  as  social  cash transfers. These respondents noted the urgency of funds being made available for 2012, and the probability  that  BEAM  will  have  to  be  sustained  by  the  GoZ  from  2013  and  reach  greater numbers of vulnerable children. Accurate data on vulnerable children are needed to this end.   The conclusions presented in the following sections are based on triangulations of the analysis of  quantitative  and  qualitative  data  gathered  in  all  ten  provinces,  as  well  as  documentary evidence reviewed in Chapter 1. 

 

53 

 5.2. Conclusions: Underlying Policy Assumptions and Relevance  Underlying Policy Assumptions  

• BEAM remains a key strategy for achieving both the National Orphan Care Policy and the legal obligation to meet the right of every child to education. 

• BEAM is making a significant contribution to the need identified in NAP II to strengthen coordination and awareness of strategies to help meet children’s rights. 

• Although  the  envisaged  new  Constitution  and  a  strengthened  legal  framework  may provide for new mechanisms for addressing access to education by OVC, this is unlikely to have a significant impact on BEAM before the end of its current mandate in 2015. 

• As  demand‐side  pressure  on  BEAM  eases  with  the  roll‐out  of  a  social  cash  transfers programme this will enable it to be more targeted.  

• As MoESAC introduces strategies to replace fees and levies charged to parents there will be  reduced demand on BEAM, which may  enable  it  to  become more  targeted  on  those children especially at risk of not attending or completing school.  

 Relevance  

• BEAM is a highly relevant and necessary intervention, particularly in the poorest quartile of schools in terms of school income per learner, in which BEAM funds constitute 25% on average of school income.  

• The  intended  beneficiaries  of  BEAM,  such  as  orphans,  are  commonly  the  actual beneficiaries;  BEAM  has  very  largely  achieved  its  objectives  in  this  regard.  The  only intended categories of beneficiary that were significantly  less commonly reported were disabled children and street children; however, this is undoubtedly attributable to these categories being  smaller with  respect  to  the  total  population.  Gender balance has been maintained in terms of the numbers of beneficiaries. 

• BEAM is much more widely needed than available resources permit – based on the 2011 data,  an  increase  in  financial  resources of 172% would be needed  to  reach all  children identified by school communities as needing assistance.  

 5.3. Conclusions Related to the Evaluation Criteria  Efficiency  

• While  the  accuracy  of  BEAM  disbursements  is  acceptable,  the  speed  with  which  the disbursements were made to the schools in 2010‐2011 needs to improve.  

• Improvements  are  needed  with  respect  to  management  capacity,  PMU  resourcing, information management,  communication, monitoring  and  evaluation,  and  school‐level auditing. 

• The  relatively  small  portion  (1.5%)  of  BEAM  funds  that  is  set  aside  for  programme management and administration is insufficient. Although it must be noted that there are other contributions to BEAM administration, such as the voluntary work of the CSCs, the work of district  officials  in processing applications  and UNICEF’s  support  in disbursing funds, there is weak management capacity, weak capacity for monitoring and evaluation and overload at the level of the PMU. A clear budget is needed to strengthen PMU capacity to manage such a large programme more strategically. 

 

54 

Effectiveness  

• BEAM has very largely achieved its objectives, and gender balance has been maintained in  terms of  the numbers of beneficiaries. BEAM support has  impacted positively on  the financial  position  of  schools.  It  has  made  an  important  contribution  to  many  of  the intended  outcomes  at  school  level,  such  as  improving  school  attendance  of  BEAM beneficiaries  and  reducing  the  drop‐out  rate.  BEAM  has  contributed  less  to  improving pass  rates,  improving  school  supplies  such  as  furniture  and  introducing  feeding programmes.  

• BEAM  community  selection  committees  are  generally  perceived  to  have  been  well constituted. 

• The BEAM selection criteria are generally perceived to be appropriate, especially among community representatives (93%); slightly lower levels of satisfaction were found among parents (85%) and school heads (85%). The prioritization of children for BEAM support is  also  felt  to  be  appropriately  undertaken,  but  again with  higher  levels  of  satisfaction among community representatives  (94%)  than among school heads  (82%) and parents (86%).  However,  it  should  be  noted  that  the  percentages  of  parents  and  school  heads expressing  dissatisfaction  with  the  selection  criteria  and  process  are  relatively  low; dissatisfaction is certainly not widespread. Further discussion of the targeting criteria is presented under ‘Targeting’ below. 

• Nevertheless,  the  need  to  determine  which  schools  are  experiencing  problems  in  the selection of beneficiaries is clear, and this is supported by the fact that nearly two‐fifths of parents reported that they had faced challenges in getting their children onto the BEAM programme.  Focus  groups  of  parents  frequently  reported  difficulties  in  providing  the required documentation, and in a very small number of schools parents reported abuse of the  selection  criteria  and  lack of  transparency  regarding  the  funds  received. There  is  a need  to  investigate  further  these  potential  pockets  of  abuse,  while  noting  that  these perceptions were not commonly reported. 

• Further discussion of the selection criteria is presented under ‘Targeting’ below. • According  to  the  PMU,  the  grievance  procedure  is  not  functional  and  needs  to  be 

redesigned. • Although  10%  of  BEAM  funds  is  set  aside  for  disabled  children,  insufficient  funds  are 

disbursed to special schools and registered resource units because of lack of awareness in school communities of the support available and because many families reportedly keep children with special needs at home. 

• While  there  is  active  participation  of  CSC members  in  the  identification  of  children  in need  of  BEAM,  the  active  participation  of  children  is  much  less  common  and  the participation of teachers could be strengthened. The general absence of a more  ‘on‐the‐ground’  approach  to  the  identification  of  needy  children  is  a  concern.  The  lack  of secondary school CSCs is also a concern. 

• Policy on teacher incentives is that the total paid in each school may not exceed 10% of the levies raised in the case of teachers and 5% in the case of administrative staff. There is anecdotal evidence, however,  that  the total often exceeds these prescribed  limits and that funds for incentives are sometimes raised informally – that is, above and beyond the approved  levies.  If  there  are  instances  where  the  incentives  exceed  the  allowed percentages of  levies raised, BEAM  is  funding  illicit  school expenditure;  if  the  funds  for the  incentives  are  in  some  cases  raised  informally,  children  whose  parents/guardians cannot pay are at  risk of discrimination.  If BEAM is  indeed  funding  illicit expenditure a quick remedy would be to provide a fixed amount of per capita funding rather  than the total cost of tuition fees and levies.   

 

55 

• The  BEAM  selection  criteria  need  to  be  reviewed  to  foreground  the  poverty  criterion; other mechanisms to support particular categories of BEAM beneficiary, such as disabled children, may be advisable since it can be assumed that all disabled children need some form  of  support,  whereas  currently  many  run  the  risk  of  not  being  selected  as  BEAM beneficiaries. 

• The identity and purpose of BEAM need to be aligned with other initiatives such as social cash transfers; this is further discussed below under ‘BEAM as Part of a Broader Strategy’. 

 Impact  

• The  broader  social  impact  of  BEAM  is  substantial,  in  particular  in  terms  of  improved access to education for poor children, and particularly for orphans and girl children.  

• Conversely,  the withdrawal of BEAM support would have a serious  impact on access  to education  for  hundreds  of  thousands  of  current  beneficiaries,  given  that  the  targeting strategy has been largely successful. 

 Sustainability  

• Without BEAM funding schools and communities would not be able  (or would struggle) to keep beneficiaries in school. The BEAM objectives are attainable only with continued funding. As noted above (see 5.1.1 Programme Relevance), increased funding is needed in the  future  to  reach  all  children  identified  by  school  communities  as  potential beneficiaries. 

 5.4. Conclusions: Additional Barriers Affecting Children’s Access to Schools  There  is  a  need  for  a  wider  range  of  inputs  to  enhance  children’s  wellbeing  and  enhance enrolment  and  attendance,  such  as  uniforms,  food,  transport,  books  and  stationery.  These difficulties are clearly related to household poverty, and will presumably be addressed over time through the ZHSCTS.   Respondents  reported  early marriage  and  child  labour  –  in  particular  in  the  informal mining sector  in  some  districts  –  as  barriers  affecting  children’s  access  to  schools.  These  are  factors beyond  the  scope  of  BEAM  and  need  to  be  addressed  through  other  social  protection mechanisms.  5.5. Conclusions Related to the Resource Allocation and Targeting Strategy  The Resource Allocation Strategy  The  BEAM  Operational  Manual6  notes  that  a  vulnerability‐based  model  for  the  allocation  of funds  is  preferable  because  it  takes  into  account  different  proportions  of  vulnerable  children across  districts;  however,  in  the  absence  of  recent  data  (for  example,  the  last  Poverty Assessment Study dates back to 2003), BEAM allocations to individual schools are based solely on  their  shares  in  the  total  enrolment  in  their  district.  Although  poverty  is  widespread  in Zimbabwe,  there  are  substantial  regional  differences  in  poverty  levels,  and  rural  areas  have higher poverty levels than urban areas.7 In the future, with improved data, it may be possible to 

                                                        6 Ministry of Labour and Social Services and Ministry of Education, Sport, Arts and Culture (January 2010). Enhanced Social Protection Programme: BEAM Operational Manual. Harare. 7 UNICEF (May 2010). Child‐Sensitive Social Protection in Zimbabwe. Harare: UNICEF. 

 

56 

allocate  BEAM  funds  based  on  relative  vulnerability  across  districts  before  applying  the enrolment share approach.  The Targeting Strategy  In  the  vast  majority  of  schools  parents,  children,  teachers,  heads  of  school  and  community representatives are satisfied that the targeting strategy is appropriate and the selection criteria are  appropriately  applied  to  identify  beneficiaries.  In  a  minority  of  schools  there  is dissatisfaction with  the application of  the selection criteria  as  children clearly  in need are not beneficiaries;  in  only  one  of  the  40  schools  in which  focus  groups were  conducted  there was concern  about  abuse  of  the  selection  criteria.  Based  on  the  responses  of  parents  and  school heads to the survey questionnaire, there may be unsatisfactory application of the criteria in 14‐18% of schools, and in the vast majority of these the exclusion of needy children is likely to be unintentional. There is clearly variability in the understanding of the selection criteria; possible reasons for this variability are discussed below.  As noted in Chapter 1, there is an explicit set of criteria (presented as ‘eligibility guidelines’) in the  BEAM  operational  manual  that  CSCs  are  required  to  apply.  For  convenience,  these  are reproduced below – the intended beneficiaries include: 

• children who have never been to, or have dropped out of school due to poverty; • school record of child’s previous failure to pay fees and levies due to poverty; • the source of income and health status of the head of household/breadwinner; • orphanhood status of potential beneficiaries;  • household asset ownership of the guardians of potential beneficiaries; and • previous  participation  of  the  child  in  the  Educational  Support  Programme  under  the 

Programme of Support to the NAP for OVC implemented through NGOs.  However,  the  application  form  to  be  submitted  by  each  CSC  contains  the  following  additional criteria in the form of a list of categories of beneficiary, which are presumably indicative criteria as the only requirement is that the numbers of children in each category must be indicated in the application:  Table 16: Categories of children eligible for BEAM funding CATEGORY OF CHILDREN  Total Number Assisted 

ORPHANS (BOTH PARENTS)   

ORPHAN (ONE PARENT DECEASED)   

CHILD IN FOSTER CARE UNDER POOR FOSTER PARENTS   

NEVER BEEN TO SCHOOL   

WITH DISABILITY AND POOR   

DROPPED OUT OF SCHOOL DUE TO ECONOMIC HARDSHIPS   

LIVING ON THE STREET   

LIVING IN CHILD‐HEADED HOUSEHOLD   

HOUSEHOLD EXTREMELY POOR AND HAS NO ASSETS   

HAS PREVIOUS RECORD OF FAILURE TO PAY FEES AND LEVIES   

BREADWINNER NOT GAINFULLY EMPLOYED   

BREADWINNER CHRONICALLY ILL   

 

 

57 

The targeting framework is problematic for the following reasons: • The  existence  of  two  sets  of  selection  criteria  (although  one  is  explicit  and  the  other 

implicit and although they overlap) is confusing. We have noted above that application of the selection criteria by CSCs is variable, with some schools emphasising orphans, others inviting single mothers to apply, and most applying or trying to apply all the criteria. This variability is likely to be the result of the above. 

• The list of categories gives the impression, probably unintentionally, that the categories are  ranked  in  order  of  importance,  since  the  first  two  categories  are  ‘orphan  (both parents  deceased)’  and  ‘orphan  (one  parent  deceased)’;  children  ‘with  disability  and poor’  and children in extremely poor households with no assets are listed fifth and ninth respectively. A CSC working with the impression that the categories are ranked would be likely to target orphans at the expense of, for example, children with disabilities, as was reported by a small number of focus groups. 

 5.6. Conclusions: the Importance of Levies  The increase in per capita allocations from 2010 to 2011 (151% for primary school children and 150% for secondary school children) must be largely due to increased levies, which account for 60% of income in primary schools and 43% of income in secondary schools (not counting levies paid  by  BEAM).  This  had  a  substantial  impact  on  the  numbers  of  beneficiaries  as  the  total number of primary and secondary school beneficiaries dropped 29% over the same years even though  the  total  funds available decreased by  less  than one percentage point. This meant  that the  percentage  of  primary  school  children  supported  with  respect  to  the  target  number  of beneficiaries dropped from 96% in 2010 to 72% in 2011;  in primary schools,  if  the per capita allocation  had  risen  by  only  110%  rather  than  151%  from  2010  to  2011,  the  number  of beneficiaries  would  have  been  554,391  rather  than  403,398  –  in  other  words,  only  73%  of potential  beneficiaries  were  supported.  The  impact  of  increased  levies  on  BEAM  targets  is clearly substantial and the reasons for increased levies need to be understood; it may be the case that BEAM constitutes a perverse incentive for schools to raise their levies in order to increase their income from levies paid by BEAM. If this proves to be the case, a quick remedy (once again) would be  to provide a  fixed amount of per capita  funding rather    than the  total cost of  tuition fees and levies.  5.7. Conclusions: BEAM as Part of a Broader Strategy for Social Support  It seems clear that a successful and equitable school financing model (that ensures that OVCs are able to attend school) would replace the need for BEAM; BEAM would become redundant in the presence of such a model. A social cash transfer strategy such as the ZHSCTS, however, is distinct from support that is specifically intended to increase school enrolment and completion rates; the scheme will give households the decision‐making power to allocate funds to their most pressing needs, such as  food, education, health or  job‐seeking. BEAM’s specific  focus on schooling costs removes this element from a family’s decision about how to allocate a cash transfer.  BEAM  clearly  has  to  take  all  relevant  social  protection  initiatives  into  account  in  its  strategic planning, for a number of reasons: 

• All  such  initiatives  need  to  complement  one  another  as  elements  in  an  integrated strategic framework.  

• This  in  turn  implies  that  the  information  systems  of  the  various  initiatives  must  be harmonised; their monitoring and evaluation strategies must also be aligned for greater effectiveness and cost‐effectiveness. 

 

58 

• The overall social protection framework needs to address important financial and social barriers  that  affect  children’s  access  to  schools  (see  section  5.4  above)  other  than  the inability of families to pay tuition fees and levies. 

• The medium‐ to long‐term BEAM strategy needs to take into account that the module may become redundant in the presence of an effective and equitable school financing system. 

 5.8. Conclusions Related to the Efficacy of the Institutional Arrangements  BEAM Management and Administration  

• The  efficacy  of  the  PMU  is  not  in  doubt with  respect  to  accurate  transfers  of  funds  to schools; as noted above, efficiency has  improved considerably since the appointment of PMU staff in 2010.  

• The PMU needs to be better equipped (for example, with vehicles and photocopiers)  to improve  its management and monitoring  capacity.  Improvements are also needed with respect  to  information  management,  and  a  new  management  information  system  for BEAM should be designed in such a way that it can interact with other key systems such as that of the ZHSCTS and the EMIS. As noted above, the relatively small portion (1.5%) of BEAM  funds  that  is  set  aside  for  programme  management  and  administration  is insufficient.

 Cooperation and Coordination Among Partners at National Level  

• Factors affecting the speed with which funds are disbursed, such as donor requirements that need to be fulfilled before funds are made available, need to be addressed; delays in disbursement have serious consequences, such as children being sent home and parents being forced to pay without, in some cases, being reimbursed when the funds are transferred to the school. It should be noted that accuracy in disbursement is the responsibility of the BEAM PMU  in  collaboration  with  district  and  provincial  offices,  while  the  responsibility  for timely disbursement is the responsibility of donors and the Treasury, and of UNICEF as the  agency  responsible  for  transferring  funds  to  schools.  However,  the  possibility  that delays  occur  at  district  level  in  submitting  applications  and  at  provincial  level  in approving fees and levies needs to be investigated and remedied. 

• Improved communication and regular meetings are needed between MoLSS, MoESAC and MoF. Moreover, the responsibilities of the two implementing ministries need to be clearly defined: it is the responsibility of the MoLSS to provide for social protection (in this case access  to  education)  and  the  responsibility  of  the  MoESAC  to  ensure  that  educational goals and objectives are met and to monitor the use of school funds. 

• An example of an  important MoESAC responsibility  is  the need  to monitor  increases  in levies and tuition fees to ensure that these are justified. The very substantial increase in BEAM per capita allocations from 2010 to 2011 must be largely due to increased levies, which were therefore a major cause in the 29% decrease in the numbers of beneficiaries over  the  same  years.  The  reasons  for  increased  levies  need  to  be  understood  and  the increases kept to the minimum necessary. Increased capacity or capacity building may be needed at the MoESAC to monitor and control levy increases. 

 Institutional Arrangements at the School Level  

• At the school level high levels of satisfaction were expressed with the constitution of the CSCs  and with  the  application  of  the  selection  criteria;  as  noted  above,  it  is  likely  that problems  are  experienced  in  only  14‐18%  of  schools,  and  that  in  most  cases  the 

 

59 

dissatisfaction is a result of errors in rather than abuse of the selection process. However, there is clearly variability in the understanding of the selection criteria; as noted above, the  existence  of  two  sets  of  selection  criteria  (although  one  is  explicit  and  the  other implicit and although they overlap) is confusing. More training of CSCs in the application of the criteria is needed, pending the results of a review of the criteria. 

• Consideration should be given to strengthening the role of  teachers and children  in the selection  process,  to  support  a  more  ‘on‐the‐ground’  approach  to  the  identification  of potential beneficiaries. 

• The CSC should have a representative from the CPC to advise on children in need of social protection. 

• Secondary  schools  are  not  sufficiently  aware  of  the  selection  process  as  they  do  not participate in the CSCs, which are located at primary schools. However, secondary school heads should be more involved in the process. 

 5.9. Lessons Learned  The  lessons  presented  in  this  section  constitute  key  generalizations  from  the  findings  of  this evaluation that may be applicable in other local and international settings, bearing in mind the context  in  which  the  Programme  was  designed  and  implemented.  The  lessons  learned  are presented in the table below with reference to potential application domains.  Table 17: Lessons learned Lessons Learned  Application Domain 1. BEAM specifically targets children at risk of not enrolling at, 

not attending or not completing school. It delivers funds to schools rather than households. Nevertheless, it is equivalent to social cash transfer programmes in terms of its outcomes and intended social and economic impact. Its specificity is particularly appropriate because the return on investment in education is typically high. 

Policy and legislation underpinning the programme 

2. Programmes such as BEAM are especially relevant in countries in which there is no adequate or equitable state financing of school education and poor parents/guardians are expected to fund or partially fund the cost of schooling. 

Policy underpinning the programme 

3. Programmes such as BEAM should form part of a holistic approach to social support, and their management, budgets and management information systems should form part of a coherent whole that takes into account and specifically targets different categories of beneficiary, such as the disabled and orphans. Competition for support across different categories of potential beneficiaries should be avoided. 

Policy underpinning the programme 

4. The processing of applications for social assistance should be governed by secondary legislation, with appropriate penalties for abuse of procedures, including deliberate inappropriate application of criteria. 

Legislation underpinning the programme 

5. Households with children of school‐going age that are identified, by whatever means, as poor should automatically qualify for assistance such as that provided by BEAM; measures to identify vulnerable households should be as accurate and efficient as possible, and need not be programme‐specific. 

Policy underpinning the programme 

 

60 

6. The agents and agencies responsible for identifying vulnerable households should be as close to the ground as possible; in the case of BEAM, children and teachers are potential agents who seem to have been underutilised. 

Programme strategy 

7. Beneficiaries and beneficiary institutions (and their communities) should be fully aware of the structures, processes and criteria that inform decisions about the granting of support and fully aware of the decisions made. In the case of BEAM, secondary schools are not well informed because the selection committees are located in primary schools. 

Programme strategy 

8. Charges to parents/guardians that distort the efficient implementation of support mechanisms such as BEAM must be avoided; in the case of BEAM, payments to schools for levies that cover teacher incentives must fall within the parameters set in national policy, and if firm evidence emerges of informal demands for payment of teacher incentives these must be outlawed.  

Policy and law underpinning the programme 

9. Funding for social protection should eliminate all obstacles to school enrolment and attendance, such as the inability of many families to pay for transport, uniforms and food, and not only formal school fees and levies. 

Programme strategy 

10. Programme management and administration should be funded with an appropriate percentage of total programme funds, to ensure that effective management strategies, structures, systems and processes are in place; this should include budgetary provision for effective information systems, efficient delivery of funds, effective monitoring and evaluation systems, school‐level auditing and training of decision makers at school level. 

Programme funding 

 

 

61 

Chapter 6: RECOMMENDATIONS  The  recommendations  which  follow  represent  the  strategic  actions  that  should  be  taken  to improve  BEAM  implementation  with  respect  to  programme  design,  budget  planning  and implementation.  The  recommendations  are  closely  based  on  the  findings  and  conclusions presented in Chapter 5, and are presented as short‐, medium‐ and long‐term recommendations (2012, 2013‐2015 and post‐2015 respectively).  Table 18: Short­term recommendations (2012) Short­Term Recommendations (2012)  Actor  Target Group 1. BEAM is highly relevant in schools attended by 

vulnerable children and should receive urgent and enhanced support from GoZ and/or donors; using estimates derived from the quantitative dataset, US$27 million are needed in primary education for 2012 and US$27.5 million are needed in secondary education to support all children identified by CSCs as in need. 

Donors, MoLSS, MoESAC, MoF, UNICEF 

Schools and children 

2. Since the largest proportion of school income in urban and rural schools is from levies paid by the parents, and since increases in levies from 2010 to 2011 have impacted very negatively on BEAM targets, a study should be undertaken to investigate the reasons for levy increases and ascertain whether BEAM is a perverse incentive for schools to raise their levies in order to increase their income from levies paid by BEAM. 

MoESAC. MoLSS  SDCs, children and households 

3. If BEAM is indeed a perverse incentive for schools to increase levies, consideration should be given to providing a fixed amount of per capita funding rather  than the total cost of tuition fees and levies. Since the increase in per capita funding in 2011 to US$37.66 for primary school children and US$113.98 for secondary resulted in a 29% decrease in total beneficiaries (in primary and secondary schools), the 2010 per capita amounts (US$24.91 for primary and US$76.14 for secondary) should be considered as benchmarks and adjusted for inflation for application in 2012 and beyond.  

MoLSS, MoESAC, donors 

Schools, children and households 

4. The BEAM selection criteria create a situation in which children with different types of disadvantage effectively compete for limited resources, and there is evidence that different criteria are foregrounded in different school communities. The criteria should be urgently reviewed, and consideration should be given to ensuring that in the medium term certain categories of children (such as children in extremely poor households, children in child‐headed households and disabled children) are 

Donors, MoLSS, UNICEF 

Schools, children and households 

 

62 

Short­Term Recommendations (2012)  Actor  Target Group guaranteed assistance within the overall framework of social protection. Consideration should be given in the review process to a medium‐term scenario in which the allocations are weighted per category of need. 

5. While fairness and transparency characterise the selection process in most schools, there is evidence of lack of transparency in some schools and pockets of abuse in the application of the BEAM criteria. Therefore: (a) a much stronger monitoring mechanism is 

required to review identification and selection processes and ensure that BEAM funds are made public and used appropriately;  

(b) a random auditing strategy should be designed and implemented and communicated to schools; 

(c) the capacity of the PMU to manage rather than administer BEAM should be considerably enhanced in terms of staffing, resources and authority to monitor implementation at school level;  

(d) consideration should be given to regulating, in secondary legislation and with appropriate penalties, the manner in which CSCs identify and select beneficiaries and make public the receipt and utilisation of BEAM funds; and 

(e) the grievance procedure should be strengthened. 

Donors, MoLSS, MoESAC, UNICEF 

Schools, children and households 

6. The allocation of only 2% of donor funds available for primary schools (and only in 2011) for BEAM training is small given the complexity of the selection process at school level. There needs to be a larger allocation and the allocation needs to be consistent year on year as CSCs are elected annually. Training should focus on harmonising the interpretation of the targeting criteria. 

MoLSS, UNICEF, donors 

CSCs 

7. The current allocation of only 1.5% of funds for BEAM management and administration is too small and needs to be increased, for example to strengthen capacity for monitoring and evaluation, to build an effective management information system and to speed up the processing of applications.  

Donors, MoLSS, MoESAC, UNICEF 

Schools, children and households 

8. Every effort should be made to speed up the disbursement of funds.  

Donors, MoLSS, MoESAC, MoF, UNICEF 

Schools, children and households 

9. To simplify the processing of applications and  Donors, MoLSS, MoESAC, UNICEF 

Schools, children and households 

 

63 

Short­Term Recommendations (2012)  Actor  Target Group delivery of funds, consideration should be given to approving beneficiaries for a longer period, such as three years rather than one, subject to exception‐based reporting by CSCs in cases where children’s circumstances have clearly changed.  

10. An effective management information system is needed that is harmonised with other relevant systems such as the ZHSCTS. 

Donors, MoLSS, MoESAC, UNICEF 

Schools, children and households 

11. The current division of labour between the two implementing ministries should be maintained, but a clear definition of responsibilities should be drawn up. For example, it is the responsibility of the MoLSS to provide for social protection, in this case access to education; it is the responsibility of the MoESAC to ensure the achievement of educational goals and objectives. A specific area of focus that MoESAC should address urgently is the need to investigate the substantial increases in school levies that have been approved in recent years, which have caused a dramatic reduction in the number of BEAM beneficiaries. In a relatively small number of schools lack of transparency was reported regarding receipt of BEAM funds and the amounts received; while this is not a widespread problem, the MoESAC should ensure that school funds (including funds provided by BEAM) are transparently managed in all schools. Consideration should be given to building the capacity of the MoESAC to perform these and other BEAM‐related management and monitoring functions. 

Donors, MoLSS, MoESAC, UNICEF 

Schools, children and households 

 Table 19: Medium­Term Recommendations (2013­15) Medium­Term Recommendations (2013­15)  Actor  Target Group 12. BEAM should be maintained for as long as it is 

needed to ensure that OVCs can attend and complete school. 

Donors, MoLSS, MoESAC, MoF, UNICEF 

Schools and children 

13. The design and size of BEAM needs to be progressively reviewed in the context of other social support initiatives, such as the Harmonised Social Cash Transfer Scheme. However, it must be noted that a poor household receiving a cash transfer but not receiving support through BEAM would face a difficult choice in terms of how to use the grant; some households would choose schooling and some would not. The specificity of BEAM in addressing school enrolment and attendance must be borne in mind, and it cannot be assumed that a social cash transfer scheme will achieve the same 

Donors, MoLSS, MoESAC, MoF, UNICEF 

Schools, children and households 

 

64 

Medium­Term Recommendations (2013­15)  Actor  Target Group objectives.  

14. Every effort should be made to ensure that sufficient funds are disbursed to  special schools and registered resource units; this may entail raising awareness in school communities of the support available and addressing the reported difficulty that many families keep children with special needs at home. 

Donors, MoLSS, MoESAC, UNICEF 

Schools, children and households 

15. As the Harmonised Social Cash Transfer Scheme is implemented, targeted households that have children of school‐going age should qualify automatically for BEAM. 

Donors, MoLSS, MoESAC, MoF, UNICEF 

Schools, children and households 

16. Barriers to enrolment and completion identified in this evaluation, such as the inability of families to pay for uniforms, books, stationery and transport should be covered in the future under the Harmonised Social Cash Transfer Scheme. 

Donors, MoLSS, MoESAC, MoF, UNICEF 

Schools, children and households 

17. Teachers and children should be more involved in the identification – on the ground – of children in need of BEAM. 

MoLSS, teachers and children 

Children and households 

18. CSCs should invite the participation, at least with observer status, of secondary school heads. 

MoLSS, secondary school heads 

Secondary schools 

19. Incentives for teachers and administrative staff should be discontinued in favour of a standard national salary scale, as they are not as pressing a need as they were at the height of the economic crisis; until such time as they are discontinued, BEAM should ensure that it does not fund teacher incentives beyond the percentages of levies prescribed in policy, and that payments for incentives are not demanded informally. To this end, an investigation into the extent and amount of incentives paid should be undertaken, and its findings should inform both national policy and BEAM’s allocation of funds to schools. Once again, consideration should be given to providing a fixed amount of per capita funding rather  than the total school‐based costs of tuition fees and levies, since this would eliminate any distortion of the effectiveness of BEAM support that might arise as a result of the payment of incentives. 

MoESAC, MoF, Public Service Commission  

Schools, children and households 

 Table 20: Long­Term Recommendations (post­2015) Long­Term Recommendations (post­2015)  Actor  Target Group 20. BEAM needs to review its role in the social 

protection framework as the latter evolves, and contribute to ensuring that by 2015 a harmonised framework of social support is in place that 

GoZ, donors, UNICEF 

Children and schools 

 

65 

Long­Term Recommendations (post­2015)  Actor  Target Group addresses all barriers to school enrolment and completion; the framework should be based on sound data on different types of disadvantage that affect access to schooling, and a vulnerability‐based model for the allocation of funds should take into account different proportions of vulnerable children across districts. The overall social protection framework needs to address important financial barriers (such inability to afford uniforms) and social barriers (such as child labour and early marriage) that affect children’s access to schools other than the inability of families to pay tuition fees and levies. 

 

 

66 

Appendix A: Survey Instruments UID: HEADQ             

BEAM Process and Impact Evaluation (Zimbabwe)  

SCHOOL HEAD QUESTIONNAIRE  

CfBT Education Trust, Impact Research International and  Paul Musker and Associates 

for The Ministry of Labour and Social Services of the Government of Zimbabwe 

  We have been asked to conduct an Evaluation of the BEAM programme in Zimbabwe on behalf of the  Government  of  Zimbabwe's  Ministry  of  Labour  and  Social  Services.  Your  school  has  been randomly selected to participate in this evaluation.   While participation in this study is voluntary, we would be grateful if you can take a few minutes of your time to complete this questionnaire. Because we would like to ensure that no one can link your answers  to you personally, do not write your name anywhere on  this questionnaire. During data analysis, information from all respondents will be combined and analyzed together and nowhere in the report will we include participants' names or schools.   Besides, the information that you are being asked to provide will only be used for the purposes of this  evaluation  and will  be  treated  confidentially.  Thank  you  in  advance  for  your  co­operation. Kindly respond to all the questions objectively and honestly.  

FOR OFFICE USE ONLY             

Date of completion of questionnaire  DAY  MM  YY    

Name of Fieldworker     

Signature of Fieldworker     

Date of Quality Assurance (QC)  DAY  MM  YY    

Name of Quality Controller   

  

Name of Capturer   

  

Date Captured  DAY  MM  YY    Instructions This questionnaire consists of two types of questions. Most of the questions require you to select an  option  that  best  represents  your  view.  For  these  questions  please  respond  by  circling  a number that best represents your views. The second type of questions require you to fill in your brief responses in the space provided (SHADED GREY). The third type of questions require you to  respond  by writing  a  short  description OR  narration.  Please  answer ALL  questions  as  it  is 

 

67 

important  for  us  to  have  complete  data  for  each  school.  {Please  circle  the  number corresponding to your answer. If you make a mistake put two lines across}  

 

68 

 SECTION A: ABOUT YOUR SCHOOL AND YOURSELF 

ABOUT YOUR SCHOOL   

1. Name of School    

2. Name of District    

3. Level of School  Primary  1  Secondary  2 

4. School owned by  Government  1  Mine  4 

  Council/Municipality 2  Church  5 

  Charitable Organisation  3  Other_______ 6 

5. Grade of School  P1  P2  P3  P___ ? 

   S1  S2  S3  S___ ? 

6. Category of School  Mainstream  1  Special School  2 

7. School type  Day school  1  Boarding  2 

   Boarding/Cum Day  3     

8. Province  Harare  1  Bulawayo  6 

   Mash West  2  Mat North  7 

   Mash East  3  Mat South  8 

   Mash Central  4  Midlands  9 

   Manicaland  5  Masvingo  10 

 ABOUT YOURSELF         

9. Your Gender  Male  1  Female  2 

10. Your Age __________years old 

11. Highest Educational Qualification  Teaching Cert  1  Grad CE/DEd  4 

   Diploma in Ed  2  Masters  5 

   BA/BSc/BED  3  PhD  6 

12. Since when have you been HEAD of this school? 

  DD  MM  YYYY    

  

 

69 

 SECTION B:  IMPLEMENTATION OF BEAM AT THIS SCHOOL 

     1. The school started receiving BEAM funds in     ___________[Year]  

2. Total school enrolment at present  Boys    Girls    Don’t know   9 

3. Total number of children on BEAM programme  Boys    Girls    

Don’t know   9 

4. Do you have children on BEAM who ....    

Are double orphans (both parents deceased)  Yes  1  No  2 Don’t know 

3 

Are single orphans (one parent deceased)  Yes  1  No  2 Don’t know 

3 

Children in foster care with poor guardians  Yes  1  No  2 Don’t know 

3 

Had never attended school  Yes  1  No  2 Don’t know 

3 

Are disabled  Yes  1  No  2 Don’t know 

3 

Are living on the street  Yes  1  No  2 Don’t know 

3 

Are living in child­headed households  Yes  1  No  2 Don’t know 

3 

Are living in an extremely poor household  Yes  1  No  2 Don’t know 

3 

Have a breadwinner at home who is not gainfully employed  Yes  1  No  2 

Don’t know 

3 

Have a breadwinner at home who is chronically ill  Yes  1  No  2 Don’t know 

3 

 5. BEAM training in 2011:

a. Did you attend BEAM training in 2011? 1 Yes 

2 No 

b. How would you rate the usefulness of the BEAM training? 

1 Very useful 

2 Useful 

3 Not very useful 

4 Not useful 

 6. In your opinion:

a. To what extent would you say that BEAM assistance was necessary at this school? 

1 Very 

necessary 

2 Necessary 

3 Not very necessary 

4 Not necessary 

at all 

5 Don’t know 

b. To what extent would you say that assistance from BEAM has made a significant impact in your school? 

 1 

Quite A lot 

 2 

A lot  

 3 

A little 

 4 

Not at All 

 5 

Don’t know 

   In 2010  In 2011     

 

70 

7. Number of children attending the school in 2010 and 2011  Boys     Boys    

Don’t know  99

   Girls     Girls    Don’t know  99

    In 2010  In 2011     

8. Number of children identified as needing BEAM assistance in 2010 and 2011  Boys     Boys    

Don’t know  99

   Girls     Girls    Don’t know  99

   In 2010  In 2011       9. Number of children selected for BEAM assistance by the CSC in 2010 and 2011  Boys     Boys    

Don’t know  99

  

Girls     Girls    Don’t know  99

    In 2010  In 2011       

10. Number of children submitted for BEAM assistance to PMU in 2010 and 2011  Boys     Boys    

Don’t know  99

  

Girls     Girls    Don’t know  99

   In 2010  In 2011       

11. Number of children receiving BEAM assistance who had previously dropped out of school  Boys     Boys    

Don’t know  99

  

Girls     Girls    Don’t know  99

12. In your opinion:

a. To what extent would you say that the criteria used to identify BEAM beneficiaries at this school is appropriate? 

1 Very 

appropriate 

2 Appropriate 

3 Not very 

appropriate 

4 Not 

appropriate at all 

5 Don’t know 

b. To what extent would you say that children who apply for BEAM at this school are being prioritised appropriately? 

1 Very 

appropriately 

2 Appropriatel

y 

3 Not very 

appropriately 

4 Not 

appropriately at all 

5 Don’t know 

 

13. In your opinion:

a. In 2010, to what extent were BEAM funds disbursed quickly to your school? 

1 Very quickly 

2 Quickly 

3 Not very quickly 

4 Not quickly 

5 Don’t know 

b. In 2010, to what extent were the  amounts of BEAM funds disbursed to your school accurate? 

1 Very 

accurate 

2 Nearly accurate 

3 Not very accurate 

4 Very 

inaccurate 

5 Don’t know 

c. In 2011, to what extent were BEAM funds disbursed quickly to your school? 

1 Very quickly 

2 Quickly 

3 Not very quickly 

4 Not quickly 

5 Don’t know 

 

71 

d. In 2011, to what extent were the amount of BEAM funds disbursed to your school accurate? 

1 Very 

accurate 

2 Nearly accurate 

3 Not very accurate 

4 Very 

inaccurate 

5 Don’t know 

  

14. In your opinion:

Was the Community Selection Committee well constituted? (i.e. as envisaged in the BEAM manual)?  1 

YES 2 NO 

 3 

Don’t know 

  15. In your opinion:

To what extent did the Community Selection Committee members participate actively in decisions about BEAM beneficiaries? 

1 Very 

actively 

2 Actively 

3 Not very actively 

4 Not 

actively at all 

5 Don’t know 

  

16. In your opinion:

To what extent have children been able to actively participate in the identification of other children in need at this school? 

1 Very 

actively 

2 Actively 

3 Not very actively 

4 Not 

actively at all 

   SECTION C:  INCOME AND EXPENDITURE 

17. Please itemise school income in US$ for 2010 in the table below:

Source of income Income (US$)

BEAM assistance (total paid via BEAM)

School fees paid by parents/guardians

School levies paid by parents/guardians

Other sources of income

Total of all sources of income

18. If you have listed ‘Other sources of income’ in question 13 above, please specify what these sources were:

Other sources of income  Income (US$) 

a.    

b.    

 

72 

c.    

d.    

e.    

Total of other sources of income   

 

73 

 19.  Please itemise school expenditure in US$ for 2010 in the table below: 

Type of expenditure Amount (US$)

Learning materials (e.g. textbooks)

Staff development

Feeding scheme for children

Improving school buildings and grounds

Improving health conditions at the school

Other types of expenditure

Total of all types of expenditure

20. If you have listed ‘Other types of expenditure’ in question 2.5 above, please specify what these types of expenditure were:

Other types of expenditure  Amount (US$) 

a.    

b.    

c.    

d.    

e.    

f.    

Total of other types of expenditure  

  

SECTION D: EFFECTIVENESS OF THE BEAM PROGRAMME  

21. Please indicate the extent to which BEAM funds have contributed to the following outcomes in the school and the school community:  

  A lot  A little  Not at all  Not sure 

Improved access to education for orphans  1  2  3  4 

 

74 

Improved access to education for learners with special learning needs 

1  2  3  4 

Improved access to education for learners with physical disabilities 

1  2  3  4 

Improved access to education for children with chronically ill parent(s) 

1  2  3  4 

Improved access to education for children with unemployed parents 

1  2  3  4 

Improved access to learning for girls  1  2  3  4 

Contributed to improving the quality of teaching /learning materials 

1  2  3  4 

Improved the school completion rate at the school  1  2  3  4 

Improved the pass rate at the school  1  2  3  4 

Improved school attendance of BEAM beneficiaries  1  2  3  4 

Reduced the drop‐out rate at this school  1  2  3  4 

Improved facilities (e.g. furniture)  1  2  3  4 

Led to the introduction of feeding programmes in the school to improve nutrition 

1  2  3  4 

  SECTION E: IMPACT OF THE BEAM PROGRAMME  

22. In your opinion:

To what extent would you say that BEAM has had an impact on children’s access to education? 

1 Quite A lot 

2 A lot  

3 A little 

4 Not at All 

5 Don’t know 

  

23. In your opinion:

To what extent would you say that BEAM has had an impact on children’s wellbeing? 

1 Quite A lot 

2 A lot  

3 A little 

4 Not at All 

5 Don’t know 

  SECTION F: SUSTAINABILITY  OF THE BEAM PROGRAMME  

24. In your opinion:

If BEAM funding were to be stopped today to what extent would this school and the community be able to keep beneficiaries in school?  

1 Very 

capable 

2 Capable 

3 Not very capable 

4 Not capable 

at all 

  SECTION G: RECOMMENDATIONS FOR THE IMPROVEMENT OF BEAM  

25. What could be done differently to improve the BEAM programme? Please write your recommendations in the table below:

 

 

 

75 

 

 

 

 

THANK YOU VERY MUCH FOR YOUR ASSISTANCE  

 

76 

    UID: PAQ             

BEAM Process and Impact Evaluation (Zimbabwe)  

PARENT QUESTIONNAIRE  

CfBT Education Trust, Impact Research International and  Paul Musker and Associates 

for The Ministry of Labour and Social Services of the Government of Zimbabwe 

 

   We have been asked to conduct an Evaluation of the BEAM programme in Zimbabwe on behalf of the  Government  of  Zimbabwe's  Ministry  of  Labour  and  Social  Services.  Your  school  has  been randomly selected to participate in this evaluation.   While participation in this study is voluntary, we would be grateful if you can take a few minutes of your time to complete this questionnaire. Because we would like to ensure that no one can link your answers to you personally, we will NOT write your name anywhere on this questionnaire. During data  analysis,  information  from  all  respondents  will  be  combined  and  analyzed  together  and nowhere in the report will we include participants' names or schools.   Besides, the information that you are being asked to provide will only be used for the purposes of this  evaluation  and will  be  treated  confidentially.  Thank  you  in  advance  for  your  co­operation. Kindly respond to all the questions objectively and honestly.  

FOR OFFICE USE ONLY             

Date of completion of questionnaire  DAY  MM  YY    

Name of Fieldworker     

Signature of Fieldworker     

Date of Quality Assurance (QC)  DAY  MM  YY    

Name of Quality Controller   

  

Name of Capturer   

  

Date Captured  DAY  MM  YY     

Instructions This questionnaire consists of two types of questions. Most of the questions require you to select an  answer  from  the  given  options.  The  second  type  of  questions  require  you  to  express  your views.  Please  answer  ALL  questions  as  it  is  important  for  us  to  have  complete  data  for  each 

 

77 

parent.  {Interviewer:  Please  circle  the  number  corresponding  to  the  answer  given  by respondent. If you make a mistake put two lines across} 

  

SECTION A: ABOUT YOUR SCHOOL, COMMUNITY AND YOURSELF  

ABOUT THE SCHOOL   

1. Name of School (pre‐complete)    

2. Name of District (pre‐complete)    

3. Level of School (pre‐complete)  Primary  1  Secondary  2 

4. School owned by (pre‐complete)  Government  1  Mine  4 

  Council/Municipality  2  Church  5 

   Charitable Org  3  Other_______  6 

5. Province (pre‐complete)  Harare  1  Bulawayo  6 

   Mash West  2  Mat North  7 

   Mash East  3  Mat South  8 

   Mash Central  4  Midlands  9 

   Manicaland  5  Masvingo  10 

 ABOUT YOURSELF         

6. Your gender (pre‐complete)  Male  1  Female  2 

7. How old are you?  __________years old  1 

8. Highest educational qualification  Primary  1  Degree  4 

  Secondary  2  Masters  5 

No formal education __________________7   Diploma   3  PhD  6 9. Altogether how many children under 18 years are staying with you?   _______  Children      

10. Of the children you live with, how many are your own?   _______  Children      11. Are any of your children/children you live with receiving assistance from BEAM?   Yes  1  No  2 12. Of all the children you stay with, how many are receiving assistance from BEAM?   _______  Children      13. Are any of your children/children you live with receiving financial assistance other than from BEAM?   Yes  1  No  2 14. If you have answered YES to question 13, from which organization do they receive financial assistance?    

 

78 

SECTION B: IMPLEMENTATION OF THE BEAM PROGRAMME 

1. Whether children in your family have benefited from BEAM or not, in your opinion:

c. To what extent would you say that BEAM assistance was necessary at this school? 

1 Very 

necessary 

2 Necessar

y 

3 Not very necessary 

4 Not 

necessary at all 

5 Don’t know 

d. To what extent would you say that assistance from BEAM has made a significant impact in your school? 

 1 

Quite A lot 

 2 

A lot  

 3 

A little 

 4 

Not at All 

 5 

Don’t know 

 2. In your opinion:

c. To what extent would you say that the criteria used to identify BEAM beneficiaries at this school is appropriate? 

1 Very 

appropriate 

2 Appropriate

3 Not very 

appropriate 

4 Not 

appropriate at all 

5 Don’t know 

d. To what extent would you say that children who apply for BEAM at this school are being prioritised appropriately? 

1 Very 

appropriately 

2 Appropriately 

3 Not very 

appropriately 

4 Not 

appropriately at all 

5 Don’t know 

 3. In your opinion...

Was the Community Selection Committee well constituted? (i.e. as envisaged in the BEAM manual)?  1 

YES 2 NO 

 3 

Don’t know 

 4. Are there any challenges that you faced in getting your child (or children you live with) getting enrolled into the BEAM programme?   Yes  1  No  2  

5. Generally, are you happy with the way in which children are selected to benefit from BEAM at this school?    Yes  1  No  2  SECTION C:  EFFECTIVENESS OF THE BEAM PROGRAMME 

 6. From what you know, what is the extent to which BEAM funds have contributed to the following outcomes in the school and the school community?

  A lot  A little  Not at all 

Not sure 

Improved access to education for orphans  1  2  3  4 

Improved access to education for learners with special learning needs 

1  2  3  4 

Improved access to education for learners with physical disabilities 

1  2  3  4 

Improved access to education for children with chronically ill parent(s) 

1  2  3  4 

Improved access to education for children with unemployed parents 

1  2  3  4 

 

79 

Improved access to learning for girls  1  2  3  4 

Contributed to improving the quality of teaching /learning materials 

1  2  3  4 

Improved the school completion rate at the school  1  2  3  4 

Improved the pass rate at the school  1  2  3  4 

Improved school attendance of BEAM beneficiaries  1  2  3  4 

Reduced the drop‐out rate at this school  1  2  3  4 

Improved facilities (e.g. furniture)  1  2  3  4 

Led to the introduction of feeding programmes in the school to improve nutrition 

1  2  3  4 

  SECTION D: IMPACT AND SUSTAINABILITY  OF THE BEAM PROGRAMME  

7. In your opinion:

To what extent would you say that BEAM has had an impact on children’s access to education? 

1 Quite A lot 

2 A lot  

3 A little 

4 Not at All

5 Don’t know 

 8. In your opinion:

To what extent would you say that BEAM has had an impact on children’s wellbeing? 

1 Quite A lot 

2 A lot  

3 A little 

4 Not at All

5 Don’t know 

 9. In your opinion:

If BEAM funding were to be stopped today to what extent would this school and the community be able to keep beneficiaries in school?  

1 Very 

capable 

2 Capable 

3 Not very capable 

4 Not 

capable at all 

5 Don’t know 

  SECTION E: RECOMMENDATIONS FOR THE IMPROVEMENT OF BEAM  

10. What could be done differently to improve the BEAM programme? Please give your recommendations {After discussion, summarise the THREE most important recommendations made}

 

 

 

  

THANK YOU VERY MUCH FOR YOUR ASSISTANCE  

 

80 

 UID: COMQ             

 BEAM Process and Impact Evaluation (Zimbabwe) 

 

COMMUNITY REPRESENTATIVES QUESTIONNAIRE  

CfBT Education Trust, Impact Research International and  Paul Musker and Associates 

for The Ministry of Labour and Social Services of the Government of Zimbabwe 

   We have been asked to conduct an Evaluation of the BEAM programme in Zimbabwe on behalf of the  Government  of  Zimbabwe's  Ministry  of  Labour  and  Social  Services.  Your  school  has  been randomly selected to participate in this evaluation.   While participation in this study is voluntary, we would be grateful if you can take a few minutes of your time to complete this questionnaire. Because we would like to ensure that no one can link your answers to you personally, we will NOT write your name anywhere on this questionnaire. During data  analysis,  information  from  all  respondents  will  be  combined  and  analyzed  together  and nowhere in the report will we include participants' names or schools.   Besides, the information that you are being asked to provide will only be used for the purposes of this  evaluation  and will  be  treated  confidentially.  Thank  you  in  advance  for  your  co­operation. Kindly respond to all the questions objectively and honestly.  

FOR OFFICE USE ONLY             

Date of completion of questionnaire  DAY  MM  YY    

Name of Fieldworker     

Signature of Fieldworker     

Date of Quality Assurance (QC)  DAY  MM  YY    

Name of Quality Controller   

  

Name of Capturer   

  

Date Captured  DAY  MM  YY     

Instructions This questionnaire consists of two types of questions. Most of the questions require you to select an  answer  from  the  given  options.  The  second  type  of  questions  require  you  to  express  your views.  Please  answer  ALL  questions  as  it  is  important  for  us  to  have  complete  data  for  each school.  {Interviewer:  Please  circle  the  number  corresponding  to  the  answer  given  by respondent. If you make a mistake put two lines across} 

 

81 

SECTION A: ABOUT YOUR SCHOOL, COMMUNITY AND YOURSELF  

ABOUT YOUR SCHOOL   

1. Name of School (pre‐complete)    

2. Name of District (pre‐complete)    

3. Level of School (pre‐complete)  Primary  1  Secondary  2 

4. School owned by  Government  1  Mine  4 

 Council/Municipality  2  Church  5 

   Charitable Org  3 Other_______  6 

8. Province (pre‐complete)  Harare  1  Bulawayo  6 

   Mash West  2  Mat North  7 

   Mash East  3  Mat South  8 

   Mash Central  4  Midlands  9 

   Manicaland  5  Masvingo  10 

 ABOUT YOURSELF         

9. Your gender (pre‐complete)  Male  1  Female  2 

10. How old are you?  __________years old  1 

11. Highest Educational Qualification  Primary  1  Degree  4 

No formal education __________________7   Secondary  2  Masters  5 

  Diploma   3  PhD  6 12. What position, if any, do you hold in the community? 

_____________________________________________ 

13. In which school committee are you a member?  SDC  3  CSC  6 14. Total number of years you have been involved with BEAM in this area   _______________  yrs   _____  Months  

 

82 

SECTION B:  IMPLEMENTATION OF BEAM AT THIS SCHOOL  1. BEAM training in 2011:

e. Did you attend BEAM training in 2011? 

1 Yes 

2 No 

f. How would you rate the usefulness of the BEAM training? 

1 Very useful 

2 Useful 

3 Not very useful 

4 Not useful 

 2. From what you know are there children on BEAM who .... 

Circle Number 

Are double orphans (both parents deceased)  Yes  1  No  2  Don’t know  3 

Are single orphans (one parent deceased)  Yes  1  No  2  Don’t know  3 

Children in foster care with poor guardians  Yes  1  No  2  Don’t know  3 

Had never attended school  Yes  1  No  2  Don’t know  3 

Are disabled  Yes  1  No  2  Don’t know  3 

Are living on the street  Yes  1  No  2  Don’t know  3 

Are living in child­headed households  Yes  1  No  2  Don’t know  3 

Are living in an extremely poor household  Yes  1  No  2  Don’t know  3 

Have a breadwinner at home who is not gainfully employed  Yes  1  No  2  Don’t know  3 

Have a breadwinner at home who is chronically ill  Yes  1  No  2  Don’t know  3 

 3. In your opinion:

c. To what extent would you say that BEAM assistance was necessary at this school? 

1 Very 

necessary 

2 Necessar

y 

3 Not very necessary 

4 Not 

necessary at all 

5 Don’t know 

d. To what extent would you say that assistance from BEAM has made a significant impact in your school? 

 1 

Quite A lot 

 2 

A lot  

 3 

A little 

 4 

Not at All 

 5 

Don’t know 

 

4. In your opinion:

e. To what extent would you say that the criteria used to identify BEAM beneficiaries at this school is appropriate? 

1 Very 

appropriate 

2 Appropriate

3 Not very 

appropriate 

4 Not 

appropriate at all 

5 Don’t know 

f. To what extent would you say that children who apply for BEAM at this school are being prioritised appropriately? 

1 Very 

appropriately 

2 Appropriately 

3 Not very 

appropriately 

4 Not 

appropriately at all 

5 Don’t know 

 

83 

5. In your opinion.....

Was the Community Selection Committee well constituted? (i.e. as envisaged in the BEAM manual)?  1 

YES 2 NO 

 3 

Don’t know 

 6. Regarding the level of participation of the Community Selection Committee (as envisaged in the BEAM manual):

To what extent did the Community Selection Committee members participate actively in decisions about BEAM beneficiaries? 

1 Very 

actively 

2 Actively 

3 Not very actively 

4 Not 

actively at all 

5 Don’t know 

 7. Level of participation of youth and children:

To what extent have children been able to actively participate in the identification of other children in need at this school? 

1 Very 

actively 

2 Actively 

3 Not very actively 

4 Not 

actively at all 

 

SECTION C:  EFFECTIVENESS OF THE BEAM PROGRAMME 

8. In your opinion:

d. In 2010, to what extent were BEAM funds disbursed quickly to your school? 

1 Very quickly 

2 Quickly 

3 Not very quickly 

4 Not quickly 

5 Don’t know 

f. In 2010, to what extent were the  amounts of BEAM funds disbursed to your school accurate? 

1 Very 

accurate 

2 Nearly accurate 

3 Not very accurate 

4 Very 

inaccurate 

5 Don’t know 

f. In 2011, to what extent were BEAM funds disbursed quickly to your school? 

1 Very quickly 

2 Quickly 

3 Not very quickly 

4 Not quickly 

5 Don’t know 

h. In 2011, to what extent were the amount of BEAM funds disbursed to your school accurate? 

1 Very 

accurate 

2 Nearly accurate 

3 Not very accurate 

4 Very 

inaccurate 

5 Don’t know 

 9. Please indicate the extent to which BEAM funds have contributed to the following outcomes in the school and the school community:  

  A lot  A little  Not at all  Not sure 

a. Improved access to education for orphans  1  2  3  4 

b. Improved access to education for learners with special learning needs 

1  2  3  4 

c. Improved access to education for learners with physical disabilities 

1  2  3  4 

d. Improved access to education for children with chronically ill parent(s) 

1  2  3  4 

e. Improved access to education for children with unemployed parents 

1  2  3  4 

f. Improved access to learning for girls  1  2  3  4 

g. Contributed to improving the quality of teaching /learning materials 

1  2  3  4 

h. Improved the school completion rate at the school  1  2  3  4 

 

84 

i. Improved the pass rate at the school  1  2  3  4 

j. Improved school attendance of BEAM beneficiaries  1  2  3  4 

k. Reduced the drop‐out rate at this school  1  2  3  4 

l. Improved facilities (e.g. furniture)  1  2  3  4 

m. Led to the introduction of feeding programmes in the school to improve nutrition 

1  2  3  4 

 SECTION D: IMPACT OF THE BEAM PROGRAMME  

10. In your opinion:

To what extent would you say that BEAM has had an impact on children’s access to education? 

1 Quite A lot 

2 A lot  

3 A little 

4 Not at All 

5 Don’t know 

 11. In your opinion:

To what extent would you say that BEAM has had an impact on children’s wellbeing? 

1 Quite A lot 

2 A lot  

3 A little 

4 Not at All 

5 Don’t know 

 SECTION E: SUSTAINABILITY  OF THE BEAM PROGRAMME  

12. In your opinion:

If BEAM funding were to be stopped today to what extent would this school and the community be able to keep beneficiaries in school?  

1 Very 

capable 

2 Capable 

3 Not very capable 

4 Not 

capable at all 

5 Don’t know 

  SECTION F: RECOMMENDATIONS FOR THE IMPROVEMENT OF BEAM  

13. What could be done differently to improve the BEAM programme? Please give us your recommendations {After discussion, summarise the THREE most important recommendations made}

 

 

 

 

 THANK YOU VERY MUCH FOR YOUR ASSISTANCE 

 

 

85 

 UID: CHILDQ             

BEAM Process and Impact Evaluation (Zimbabwe)  

CHILD QUESTIONNAIRE  

CfBT Education Trust, Impact Research International and  Paul Musker and Associates 

for The Ministry of Labour and Social Services of the Government of Zimbabwe 

 

Pilot Version 111111  We have been asked to conduct an Evaluation of the BEAM programme in Zimbabwe on behalf of the Government of Zimbabwe's  Ministry  of  Labour  and  Social  Services.  Your  school  and  community  has  been  randomly  selected  to participate in this evaluation.   While participation in this study is voluntary, we would be grateful if you can take a few minutes of your time to answer a few questions. Because we would like to ensure that no one can link your answers to you personally, do NOT write your name anywhere on this questionnaire. During data analysis, information from all children will be combined and analyzed together and nowhere in the report will we include your name or the name of your school.    Besides, the information that you are being asked to provide will only be used for the purposes of this evaluation and will  be  treated  confidentially.  Thank  you  in  advance  for  your  co­operation.  Kindly  respond  to  All  the  questions objectively and honestly.  

FOR OFFICE USE ONLY             

Date of completion of questionnaire  DAY  MM  YY    

Name of Fieldworker     

Signature of Fieldworker     

Date of Quality Assurance (QC)  DAY  MM  YY    

Name of Quality Controller   

  

Name of Capturer   

  

Date Captured  DAY  MM  YY     Instructions This questionnaire consists of two types of questions. Most of the questions require you to select an answer from the  given  options.  The  second  type  of  questions  require  you  to write  down what  you  think  about BEAM.  Please answer ALL questions as it is important for us to have complete information for each school. Please circle the number corresponding to your answer. If you make a mistake put two lines across}  

 

86 

SECTION A: ABOUT YOUR SCHOOL, COMMUNITY AND YOURSELF  

ABOUT YOUR SCHOOL   

1. Name of School    

2. Name of District    

3. Level of School  1  Primary  2  Secondary 

4. In which Province is your school   1  Harare  6  Bulawayo 

   2  Mash West  7  Mat North 

   3  Mash East  8  Mat South 

   4  Mash Central  9  Midlands 

   5  Manicaland  10  Masvingo 

         

 ABOUT YOURSELF         

5. Your gender   1 Male  2  Female 

6. How old are you?  __________years old 

7. What grade(or form) are you in?  Grade  ___  Form  _____ 

 

1. Introduction and Context

1.1 Are you currently receiving assistance from the BEAM programme?

1  

YES  

2 NO 

If NO, Skip to 1.3  

If you are on the BEAM programme.... 

1.2 For how long have you been on the BEAM programme? Since _________________(year)  

 

1.3 Are you receiving assistance from anyone other than from BEAM?  Yes  1  No  2 

1.4 If YES, from whom?    

 

87 

1.5 Whether you have benefited from BEAM or not:

g. Do you think the assistance from BEAM has been necessary in your school? 

1 Yes, it has been very necessary 

2 Yes, it has been necessary 

3 It has not been very necessary 

4 No 

h. Has the assistance from BEAM had a positive impact in your school? 

1 Very 

positive 

2 Positive 

3 Not very positive 

4 No 

2. Effectiveness  2.1 In your opinion:

Are the children receiving assistance from BEAM at this school the ones who deserve it? 

1 Yes, 

definitely  

2 Yes, most of the time 

3 Sometimes mistakes are made 

4 No 

  

3. Impact  3.1 In your opinion:

Has BEAM helped children at this school who didn’t previously attend school to get an education? 

1 Yes, many children have been helped 

2 Yes, some children have been helped 

3 Not many children have been helped 

4 No 

  

4. Recommendations for the Improvement of BEAM  4.1 What could be done differently to improve the BEAM programme? You can write your

recommendations in your own language

 

 

 

 

 

 

   

THANK YOU FOR YOUR COOPERATION!  

 

88 

 UID SUBNQ           

BEAM Process and Impact Evaluation (Zimbabwe)  

SUB­NATIONAL QUESTIONNAIRE  CfBT Education Trust, Impact Research International and  

Paul Musker and Associates for 

The Ministry of Labour and Social Services of the Government of Zimbabwe  We have been asked to conduct an Evaluation of the BEAM programme in Zimbabwe on behalf of the  Government  of  Zimbabwe's  Ministry  of  Labour  and  Social  Services.  Your  school  has  been randomly selected to participate in this evaluation.   While participation in this study is voluntary, we would be grateful if you can take a few minutes of your time to complete this questionnaire. Because we would like to ensure that no one can link your answers to you personally, do not write your name anywhere on this questionnaire. During data analysis, information from all respondents will be combined and analyzed together and nowhere in the report will we include participants' names or schools.   Besides, the information that you are being asked to provide will only be used for the purposes of this  evaluation  and will  be  treated  confidentially.  Thank  you  in  advance  for  your  co­operation. Kindly respond to all the questions objectively and honestly.  

DO NOT COMPLETE THIS SECTION             

Date of completion of questionnaire  DAY  MM  YY    

Name of Fieldworker     

Signature of Fieldworker     

Date of Quality Assurance (QC)  DAY  MM  YY    

Name of Quality Controller   

  

Name of Capturer   

  

Date Captured  DAY  MM  YY    Instructions This questionnaire consists of two types of questions. Most of the questions require you to select an  option  that  best  represents  your  view.  For  these  questions  please  respond  by  circling  a number that best represents your views. The second type of questions require you to fill in your brief responses in the space provided (SHADED GREY). The third type of questions require you to  respond  by writing  a  short  description OR  narration.  Please  answer ALL  questions  as  it  is important  for us  to have  complete data  for each district/province.  {Please circle  the number corresponding to your answer. If you make a mistake put two lines across}   

 

89 

SECTION A: DEMOGRAPHIC INFORMATION 

1. Name of District    

2. Province  1  Harare  6  Bulawayo 

   2  Mash West  7  Mat North 

   3  Mash East  8  Mat South 

   4  Mash Central  9  Midlands 

   5  Manicaland  10  Masvingo 

3. Your Gender  1  Male  2  Female  

4. Highest Educational Qualification  1  Teaching Cert  4  Grad CE 

   2  Diploma in Ed  5  Masters 

   3  BA/BSc/BED  6  PhD 6.For how many years have you been involved in the BEAM programme? 

 Years:  ___________  Months:  ________

  

5. Introduction and Context

5.1 In your opinion:

e. To what extent would you say that BEAM assistance is necessary at this district/province? 

1 Very 

necessary 

2 Necessary 

3 Not 

necessary 

4 Not 

necessary at all 

f. To what extent would you say that assistance from BEAM has made an impact in this district/province? 

 1 

Quite A lot 

 2 

A lot 

 3 

A little 

 4 

Not at All 

c. To what extent would you say that BEAM is consistent with priorities of government such as poverty reduction and sustainable development? 

1 Very 

consistent 

2 Consistent 

3 Not  

consistent 

4 Not 

consistent at all 

d. To what extent are the policy assumptions that underpin BEAM still relevant in the current development context? 

1 Very 

relevant 

2 Relevant 

3 Not 

relevant 

4 Not relevant 

at all  

6. Efficiency

6.1 In your opinion:

g. In 2010, to what extent were BEAM funds disbursed quickly to school in this district/province? 

1 Very quickly 

2 Quickly 

3 Not quickly 

4 Not quickly 

at all 

5 Don’t know 

j. In 2010, to what extent were the  amounts of BEAM funds disbursed to schools in this district/province  accurate? 

1 Very 

accurate 

2 Nearly accurate 

3 Not 

accurate 

4 Not  

accurate at all 

5 Don’t know 

i. In 2011, to what extent were BEAM funds disbursed quickly to schools in this district/province? 

1 Very quickly 

2 Quickly 

3 Not quickly 

4 Not quickly 

at all 

5 Don’t know 

 

90 

l. In 2011, to what extent were the amount of BEAM funds disbursed to schools in your district/province accurate? 

1 Very 

accurate 

2 Nearly accurate 

3 Not 

accurate 

4 Not 

accurate at all 

5 Don’t know 

 

6.2 If you have answered ‘3’ or ‘4’ to questions 2.1 (a), (b), (c) and/or (d) above, please list a maximum of three challenges that have been encountered in the receipt of BEAM funds:

a.  

b.  

c.  

6.3 In your opinion:

In 2010‐2011, to what extent was the implementation of BEAM consistent with the BEAM manual at national level? 

1 Very 

consistent 

2 Consistent 

3 Not 

consistent 

4 Not 

consistent at all 

6.4 If you have answered ‘3’ or ‘4’ to question 2.3 above, please list a maximum of three challenges that were encountered in BEAM implementation at district/provincial level:

a.  

b.  

c.  

6.5 In your opinion:

To what extent is the management of BEAM at national level efficient? 

1 Very 

efficient 

2 Efficient 

3 Not efficient 

4 Not efficient 

at all 

6.6 If you have answered ‘3’ or ‘4’ to question 2.5 above, please list a maximum of three challenges that have been encountered in the management of BEAM:

a.  

b.  

c.  

7. Effectiveness  7.1 In your opinion:

a. To what extent would you say that BEAM made a contribution to improving access to education for orphans in this district/province? 

 1 

Quite A lot 

 2 

A lot 

 3 

A little 

 4 

Not at All 

 b. To what extent has BEAM made a 

contribution to improving access to education for learners with special learning needs in this district/ province? 

 1 

Quite A lot 

 2 

A lot 

 3 

A little 

 4 

Not at All 

 

91 

 c. To what extent has BEAM made a 

contribution to improving access to education for learners with physical disabilities in this district/province? 

 1 

Quite A lot 

 2 

A lot 

 3 

A little 

 4 

Not at All 

 d. To what extent has BEAM made a 

contribution to improving access to education for chronically sick children in this district/province? 

 1 

Quite A lot 

 2 

A lot 

 3 

A little 

 4 

Not at All 

 e. To what extent has BEAM made a 

contribution to improving access to education for migrant children in this district/province? 

 1 

Quite A lot 

 2 

A lot 

 3 

A little 

 4 

Not at All 

 f. To what extent has BEAM made a 

contribution to improving access to education for girls in this district/province? 

 1 

Quite A lot 

 2 

A lot 

 3 

A little 

 4 

Not at All 

  

8. Impact  8.1 In your opinion:

To what extent are  the criteria used to identify BEAM beneficiaries appropriate in this district/province? 

1 Very 

appropriate

2 Appropriate

3 Not 

appropriate 

4 Not 

appropriate at all 

 8.2 If you have answered ‘3’ or ‘4’ to question 4.1 above, please list difficulties that your district

has encountered in the application of BEAM criteria. For each difficulty, please indicate what changes you would make:

 

 8.3 In your opinion:

To what extent have the Community Selection Committees in this district/province been well constituted (as envisaged in the BEAM manual)? 

1 Very well 

2 Well 

3 Not well 

4 Not well  at all 

 8.4 If you have answered ‘3’ or ‘4’ to question 4.3 above, please list difficulties that have been

encountered in the constitution of the Community Selection Committee. For each difficulty, please indicate what changes you would make:

 

 8.5 In your opinion:

To what extent have the Community Selection Committees in this district/ province participated actively in BEAM decisions (as envisaged in the BEAM manual)? 

1 Very 

actively 

2 Actively 

3 Not actively 

4 Not 

actively  at all 

5 Don’t know 

 

 

92 

8.6 In your opinion:

To what extent have children in this district/province been actively involved in identifying other children in need in this district/province? 

1 Very 

actively 

2 Actively 

3 Not very actively 

4 Not 

actively 

5 Don’t know 

 8.7 In your opinion:

To what extent would you say that BEAM has had an impact on children’s access to education in this district/ province? 

1 Quite A lot 

2 A lot  

3 A little 

4 Not at All 

5 Don’t know 

  8.8 In your opinion:

To what extent would you say that BEAM has had an impact on children’s wellbeing in this district/province? 

1 Quite A lot 

2 A lot  

3 A little 

4 Not at All 

5 Don’t know 

 9. Sustainability

 9.1 In your opinion:

If funding of the BEAM programme were to be stopped today to what extent would schools and communities in this district/province be able to keep beneficiaries in school? 

1 Very 

capable 

2 Possibly capable 

4 Not 

capable 

10. Recommendations for Improvement of BEAM  10.1 What could be done differently to improve the BEAM programme?

 

 

 

 

 

 

  

THANK YOU FOR YOUR COOPERATION!    

 

93 

 Appendix B: Qualitative Instruments 

UID PARENTSFGD           BEAM Process and Impact Evaluation (Zimbabwe) FOCUS GROUP DISCUSSION GUIDE (MODERATOR) 

PARENTS CfBT Education Trust, Impact Research International and  

Paul Musker and Associates for 

The Ministry of Labour and Social Services of the Government of Zimbabwe 

1. Name of School (pre­complete)    

2. Name of District (pre­complete)    

5. Province (pre­complete)  Harare  1  Bulawayo  6 

   Mash West  2  Mat North  7 

   Mash East  3  Mat South  8 

   Mash Central  4  Midlands  9 

   Manicaland  5  Masvingo  10  FOR COMPLETION BY FGD MODERATOR 

 FGD Filename    

Date:  DAY  MM  YY    

Name of Moderator    

Name of Observer    

Group Size  MALE    FEMALE    Date of Quality Assurance (QC)  DAY  MM  YY    

Name of Quality Controller    

Name of Transcriber    

Date Transcribed  DAY  MM  YY     Introduction Good morning/afternoon. Thank you very much  for coming  to  this group discussion meeting. My name  is  _____  and  that  of  my  colleague  here  is_________.  We  have  been  asked  to  conduct  an evaluation  of  the  BEAM  programme  in  Zimbabwe  on  behalf  of  the  Government  of  Zimbabwe's Ministry  of  Labour  and  Social  Services.  Your  school/Community  has  been  randomly  selected  to participate in this evaluation.  Because we would like to ensure that no one can link your answers to you personally, we will NOT write  your  name  anywhere.  During  data  analysis,  information  from  all  respondents  will  be combined and analyzed together and nowhere in the report will we include participants' names or schools. Besides, the information that you will share with us will be treated confidentially.  

 

94 

We are interested in everyone’s view – therefore it is very important that, during the discussion, you all  feel  free  to express your views, even  if your views are different  from others –  it  is normal  for people to have different views on the issues we will be discussing.   Now, to make it easy to refer to each other during the discussion, please think of a name by which you would like to be called during this discussion – I will call myself __________, and I will stick that name on me (as you do it). Please do the same. (Hand out stickers for people to write their names or write the names on stickers for them.) {WAIT UNTIL THIS IS COMPLETED BY EVERYONE} THE NEED FOR TAPE RECORDING AND GROUND RULES  

• Explain that you will NEED TO record the discussion using a tape recorder so that you can capture everything that is said. {Obtain verbal consent} Once Consent is granted, TURN ON THE RECORDER at this point 

Before we begin,  there are a  few  things which we must all  follow,  in order  to have a meaningful discussion: 

Because of  the need  to  transcribe  the  tape  recorded  information  later,  it  is  important  that only one person talks at a time, but one can kindly ask to respond while someone is still talking 

Everyone must be allowed to express their views freely without being interrupted  

A group discussion is built around certain questions ‐ today we will talk about the BEAM programme 

At  certain  times,  the  observer may  need  to  check  a  point  with  the moderator,  to make  sure  all questions are asked. 

Explain that there are no right or wrong answers. 

Question 1 (OPENER‐ICEBREAKER). There are many things that people say about the BEAM programme. From what you have heard, what do people say when they talk about the BEAM programme in this area?  {Let everyone  talk and probe  individuals  if necessary  to  say something  to break  the  ice: Keep this part brief ‐ max 5 mins}   Question 2. {Relevance} Now, let us talk specifically about your views regarding the BEAM 

programme in Zimbabwe.  PROBES 

• Do you think BEAM is necessary? If YES, why ‐ if NOT, why not? 

• What do you like most about BEAM?  

• What do you like LEAST about BEAM? Why? 

Question 3. {Efficiency} I would like us to now talk about how children are selected to benefit from BEAM in this area. 

PROBES: 

• How do people in this area get to know about BEAM? 

• Is there a committee that is responsible for selecting children for BEAM? 

• How is the selection committee put together? Who participates in the selection process for Committee Members? Are there any difficulties that were/are experienced during selection ‐ what are they and how are/were they resolved? 

 

95 

• What does the selection process for BEAM beneficiaries involve? Any documents required; easy to get? Any problems? How are problems dealt with?  

• Is it a fair process? (Probe to establish whether there is any unfair selection, interference in the selection process or other problems happening in the area; do this carefully so as not to create tension in the group!) 

• Are out of school children targeted? By whom? Any examples of cases involving out of school children? 

• Is there anything that you think should be done differently with respect to selection of children to receive BEAM assistance? What? Why? 

 

Question 4. {Effectiveness} Let us now talk about how effective the BEAM programme has been in this area 

PROBES • Were deserving children selected as BEAM beneficiaries? {Probe respondents on the views they 

express}. Are there children who you think should be on BEAM but are not? Reasons? 

• Do you know of any children who are not attending school because they cannot pay the required fees and levies? How proactive is the school in reaching out to out‐of‐school children? 

• Any children who are not attending school for other reasons? Reasons?  

• Do you have any suggestions on changes that could make BEAM more effective in future? 

Question 5. {Impact} Do you think that the BEAM programme has contributed positively to children's education in this area? 

PROBES • Is BEAM making a difference to children's access to education in this area? If so, in what way? If NOT, 

why not? 

• Besides access to education, do you think BEAM has other benefits for the selected children and/or their families? 

• What of things such as school completion rates? Pass rates? School attendance? General child wellbeing?  

• How are children on BEAM viewed by people in this area? {Probe for community perceptions of BEAM beneficiaries and non‐beneficiaries ‐ any negative impacts?} 

Question 6. {Sustainability}. We are nearing the end of our discussion now. I would like to know your views about whether or not BEAM should continue in its present form? 

PROBES: • If funding of the BEAM programme were to be stopped today what options does the community have 

to keep the beneficiaries and potential beneficiaries in school? 

• Will these options be sustainable in the long run?  Question 7: {Recommendations} If the BEAM programme continues, what could be done differently to improve its effectiveness and impact? PROBES: 

• Currently, BEAM assistance is purely financial, is there anything that could be added to make BEAM an ideal package?  

Question 8: {CLOSURE}. Is there anything else you would like us to know about how BEAM is being implemented in this area? 

 Thank you very much for coming to this meeting and sharing your views with us. 

 

 

96 

 UID COMFGD           

BEAM Process and Impact Evaluation (Zimbabwe) FOCUS GROUP DISCUSSION GUIDE (MODERATOR)  

COMMUNITY REPRESENTATIVES  

CfBT Education Trust, Impact Research International and  Paul Musker and Associates 

for The Ministry of Labour and Social Services of the Government of Zimbabwe 

 

1. Name of School (pre­complete)    

2. Name of District (pre­complete)    

5. Province (pre­complete)  Harare  1  Bulawayo  6 

   Mash West  2  Mat North  7 

   Mash East  3  Mat South  8 

   Mash Central  4  Midlands  9 

   Manicaland  5  Masvingo  10  FOR COMPLETION BY FGD MODERATOR 

 FGD Filename    

Date:  DAY  MM  YY    

Name of Moderator    

Name of Observer    

Group Size  MALE    FEMALE    Date of Quality Assurance (QC)  DAY  MM  YY    

Name of Quality Controller    

Name of Transcriber    

Date Transcribed  DAY  MM  YY     Introduction Good morning/afternoon. Thank you very much  for coming  to  this group discussion meeting. My name  is  _____  and  that  of  my  colleague  here  is_________.  We  have  been  asked  to  conduct  an evaluation  of  the  BEAM  programme  in  Zimbabwe  on  behalf  of  the  Government  of  Zimbabwe's Ministry  of  Labour  and  Social  Services.  Your  school/Community  has  been  randomly  selected  to participate in this evaluation.  Because we would like to ensure that no one can link your answers to you personally, we will NOT write  your  name  anywhere.  During  data  analysis,  information  from  all  respondents  will  be 

 

97 

combined and analyzed together and nowhere in the report will we include participants' names or schools. Besides, the information that you will share with us will be treated confidentially.  We are interested in everyone’s view – therefore it is very important that, during the discussion, you all  feel  free  to express your views, even  if your views are different  from others –  it  is normal  for people to have different views on the issues we will be discussing.   Now, to make it easy to refer to each other during the discussion, please think of a name by which you would like to be called during this discussion – I will call myself __________, and I will stick that name on me (as you do it). Please do the same. (Hand out stickers for people to write their names or write the names on stickers for them.) {WAIT UNTIL THIS IS COMPLETED BY EVERYONE} THE NEED FOR TAPE RECORDING AND GROUND RULES  

• Explain that you will NEED TO record the discussion using a tape recorder so that you can capture everything that is said. {Obtain verbal consent} Once Consent is granted, TURN ON THE RECORDER at this point 

Before we begin,  there are a  few  things which we must all  follow,  in order  to have a meaningful discussion: 

Because of  the need  to  transcribe  the  tape  recorded  information  later,  it  is  important  that only one person talks at a time, but one can kindly ask to respond while someone is still talking 

Everyone must be allowed to express their views freely without being interrupted  

A group discussion is built around certain questions ‐ today we will talk about the BEAM programme 

At  certain  times,  the  observer may  need  to  check  a  point  with  the moderator,  to make  sure  all questions are asked. 

Explain that there are no right or wrong answers. 

Question 1 (OPENER‐ICEBREAKER). There are many things that people say about the BEAM programme. From what you have heard, what do people say when they talk about the BEAM programme in this area?  {Let everyone  talk and probe  individuals  if necessary  to  say something  to break  the  ice: Keep this part brief ‐ max 5 mins}   Question 2. {Relevance} Now, let us talk specifically about your views regarding the BEAM 

programme in Zimbabwe.  PROBES 

• Do you think BEAM is necessary? If YES, why ‐ if NOT, why not? 

• What do you like most about BEAM?  

• What do you like LEAST about BEAM? Why? 

Question 3. {Efficiency} I would like us to now talk about how children are selected to benefit from BEAM in this area. 

PROBES: • How do people in this area get to know about BEAM? 

• How is the selection committee put together? Who participates in the selection process for Committee Members? Are there any difficulties that were/are experienced during selection ‐ what are they and how are/were they resolved? 

 

98 

• What does the selection process for BEAM beneficiaries involve? Any documents required; easy to get? Any problems? How are problems dealt with?  

• Is it a fair process? (Probe to establish whether there is any unfair selection, interference in the selection process or other problems happening in the area; do this carefully so as not to create tension in the group!) 

• Are out of school children targeted? By whom? Any examples of cases involving out of school children? 

• Is there anything that you think should be done differently with respect to selection of children to receive BEAM assistance? What? Why? 

 Question 4. {Effectiveness} Let us now talk about how effective the BEAM programme has 

been in this area PROBES 

• Were deserving children selected as BEAM beneficiaries? {Probe respondents on the views they express}. Are there children who you think should be on BEAM but are not? Reasons? 

• Do you know of any children who are not attending school because they cannot pay the required fees and levies? How proactive is the school in reaching out to out‐of‐school children? 

• Any children who are not attending school for other reasons? Reasons?  

• Do you have any suggestions on changes that could make BEAM more effective in future? 

Question 5. {Impact} Do you think that the BEAM programme has contributed positively to children's education in this area? 

PROBES • Is BEAM making a difference to children's access to education in this area? If so, in what way? If NOT, 

why not? 

• Besides access to education, do you think BEAM has other benefits for the selected children and/or their families? 

• What of things such as school completion rates? Pass rates? School attendance? General child wellbeing?  

• How are children on BEAM viewed by people in this area? {Probe for community perceptions of BEAM beneficiaries and non‐beneficiaries ‐ any negative impacts?} 

Question 6. {Sustainability}. We are nearing the end of our discussion now. I would like to know your views about whether or not BEAM should continue in its present form? 

PROBES: • If funding of the BEAM programme were to be stopped today what options does the community have 

to keep the beneficiaries and potential beneficiaries in school? 

• Will these options be sustainable in the long run?  Question 7: {Recommendations} If the BEAM programme continues, what could be done differently to improve its effectiveness and impact? PROBES: 

• Currently, BEAM assistance is purely financial, is there anything that could be added to make BEAM an ideal package?  

Question 8: {CLOSURE}. Is there anything else you would like us to know about how BEAM is being implemented in this area? 

 Thank you very much for coming to this meeting and sharing your views with us. 

 

 

99 

 UID CHILDFGD           

BEAM Process and Impact Evaluation (Zimbabwe) FOCUS GROUP DISCUSSION GUIDE (MODERATOR)  

CHILDREN  

CfBT Education Trust, Impact Research International and  Paul Musker and Associates 

for The Ministry of Labour and Social Services of the Government of Zimbabwe 

  

1. Name of School (pre­complete)    

2. Name of District (pre­complete)    

5. Province (pre­complete)  Harare  1  Bulawayo  6 

   Mash West  2  Mat North  7 

   Mash East  3  Mat South  8 

   Mash Central  4  Midlands  9 

   Manicaland  5  Masvingo  10  FOR COMPLETION BY FGD MODERATOR 

 FGD Filename    

Date:  DAY  MM  YY    

Name of Moderator    

Name of Observer    

Group Size  MALE    FEMALE    Date of Quality Assurance (QC)  DAY  MM  YY    

Name of Quality Controller    

Name of Transcriber    

Date Transcribed  DAY  MM  YY     Introduction Good morning/afternoon. Thank you very much  for coming  to  this group discussion meeting. My name  is  _____  and  that  of  my  colleague  here  is_________.  We  have  been  asked  to  conduct  an evaluation  of  the  BEAM  programme  in  Zimbabwe  on  behalf  of  the  Government  of  Zimbabwe's Ministry  of  Labour  and  Social  Services.  Your  school/Community  has  been  randomly  selected  to participate in this evaluation.  Because we would like to ensure that no one can link your answers to you personally, we will NOT write  your  name  anywhere.  During  data  analysis,  information  from  all  respondents  will  be 

 

100 

combined and analyzed together and nowhere in the report will we include participants' names or schools. Besides, the information that you will share with us will be treated confidentially.  We are interested in everyone’s view – therefore it is very important that, during the discussion, you all  feel  free  to express your views, even  if your views are different  from others –  it  is normal  for people to have different views on the issues we will be discussing.   Now, to make it easy to refer to each other during the discussion, please think of a name by which you would like to be called during this discussion – I will call myself __________, and I will stick that name on me (as you do it). Please do the same. (Hand out stickers for people to write their names or write the names on stickers for them.) {WAIT UNTIL THIS IS COMPLETED BY EVERYONE} THE NEED FOR TAPE RECORDING AND GROUND RULES  

• Explain that you will NEED TO record the discussion using a tape recorder so that you can capture everything that is said. {Obtain verbal consent} Once Consent is granted, TURN ON THE RECORDER at this point 

Before we begin,  there are a  few  things which we must all  follow,  in order  to have a meaningful discussion: 

Because of  the need  to  transcribe  the  tape  recorded  information  later,  it  is  important  that only one person talks at a time, but one can kindly ask to respond while someone is still talking 

Everyone must be allowed to express their views freely without being interrupted  

A group discussion is built around certain questions ‐ today we will talk about the BEAM programme 

At  certain  times,  the  observer may  need  to  check  a  point  with  the moderator,  to make  sure  all questions are asked. 

Explain that there are no right or wrong answers. 

Question 1 (OPENER‐ICEBREAKER). There are many things that people say about the BEAM programme. From what you have heard, what do people say when they talk about the BEAM programme in this area?  {Let everyone  talk and probe  individuals  if necessary  to  say something  to break  the  ice: Keep this part brief ‐ max 5 mins}   Question 2. {Relevance} Now, let us talk specifically about your views regarding the BEAM 

programme in Zimbabwe.  PROBES 

• Do you think BEAM is necessary? If YES, why ‐ if NOT, why not? 

• What do you like most about BEAM?  

• What do you like LEAST about BEAM? Why? 

Question 3. {Efficiency} I would like us to now talk about how children are selected to benefit from BEAM in this area. 

PROBES: • How did you get to know about BEAM? 

• How does one get to be a BEAM beneficiary  {If it's a group of beneficiaries ask: How were you selected? ‐Any documents required; easy to get? Any problems? How did you resolve the problems?} {If it's a group of non‐beneficiaries ask: Do any of you think you should be on the BEAM programme? Do you know why you are NOT on the BEAM programme? 

 

101 

• Is the selection process a fair process? (Probe to establish whether there is any unfair selection, interference in the selection process or other problems happening in the area; do this carefully so as not to create tension in the group!) 

• Is there anything that you think should be done differently with respect to selection of children to receive BEAM assistance? What? Why? 

 Question 4. {Effectiveness} Let us now talk about how effective the BEAM programme has 

been in this area PROBES 

• From what you know, were deserving children selected as BEAM beneficiaries? {Probe respondents on the views they express}. Are there children who you think should be on BEAM but are not? Reasons? 

• Do you know of any children who are not attending school because they cannot pay the required fees and levies? How proactive is the school in reaching out to out‐of‐school children? 

• Any children who are not attending school for other reasons? Reasons?  

• Do you have any suggestions on changes that could make BEAM more effective in future? 

Question 5. {Impact} Do you think that the BEAM programme has contributed positively to children's education in this area? 

PROBES • Is BEAM making a difference to children's access to education in this area? If so, in what way? If NOT, 

why not? 

• Besides access to education, do you think BEAM has other benefits for the selected children and/or their families? 

• How are children on BEAM viewed by teachers, and other children at this school? {Probe for community perceptions of BEAM beneficiaries and non‐beneficiaries ‐ any negative impacts?} 

Question 6. {Sustainability}. We are nearing the end of our discussion now. I would like to know your views about whether or not BEAM should continue in its present form? 

PROBES: If Children on BEAM Ask: 

• If funding of the BEAM programme were to be stopped today what will happen to you?   

If Children not on BEAM Ask: • If funding of the BEAM programme were to be stopped today, do you think many children on BEAM 

will continue with their schooling?   Question 7: {Recommendations} If the BEAM programme continues, what could be done differently to improve its effectiveness and impact? PROBES: 

• Currently, BEAM assistance is purely financial, is there anything that could be added to make BEAM an ideal package?  

Question 8: {CLOSURE}. Is there anything else you would like us to know about how BEAM is being implemented in this area? 

 Thank you very much for coming to this meeting and sharing your views with us. 

    

 

102 

Appendix C: Fieldworker Training Workshop Information Samples  

17 Nov 2011

FIELDWORKER TRAINING WORKSHOP

SESSION 1

PROF PATRICK CHIRORO

IMPACT RESEARCH INTERNATIONALZIMBABWE

 

Consor t ium Par tners – CfBT (Na irobi) , IR I and PMA

Paul Musker – Team Leader

Prof Patr ick Chiroro – Lead Researcher

Dr Harvey Smith – QA Advisor

A b i t about IR I :

Prof P Chiroro – Founding MD of both IRI-SA (Pretoria) and IRI-Z im (Marlborough)

Wholly black-owned companies both in SA and in Zimbabwe

In existence s ince 2006, working in Zimbabwe, South Afr ica and SADC region

Research, capacity strengthening of organizations & systems through M & E

studies/consulting

Consistent clients include World Bank , Government Depar tments, Corporations, USAID,

EU, etc

CONTEXT AND PURPOSE OF THE STUDY (M in is tr y Representative)

INTRODUCTION

 

 

103 

Mixed methods approach anchored on data tr iangulation principles – degree of consistency of responses across dif ferent categories of respondents Will gather both quantitative and qualitative data

Quantitative – questionnaires – mostly closed questions

Qualitative – FGD/IDI guides – open ended Qs

This is a PROCESS and IMPACT evaluation – so we are interested in both the OUTCOMES of BEAM as well as the PROCESSES that led to the outcomes for dif ferent groups

It is therefore CRITICAL to obtain VALID and RELIABLE data

Poor Data = Wrong conclusions = misinforming our ministry and our government = consequences = wrong decisions

What can compromise these two principles – LET’S DISCUSS what and HOW to avoid potential r isks to validity & reliability of data

STUDY DESIGN: VALIDIT Y & RELIABILIT Y

  

GOAL = Representative sample (stronger evidence)STEPS:

Sampling frame: all primary & sec schools in ZimbabweGrouping: By province, district, location, resp authority (etc)Weighting the sample by strata, and sub-strataLets go through the files step by step

FIELDWORK PROCESS TO BE EXPLAINED AS WE DISCUSS THE INSTRUMENTSHow many altogether?Who they are to be used with and how?Detailed discussion of instruments question by questionEthical issuesData management and quality control

SAMPLING AND DATA COLLECTION PROCESS