1

Chapter 1:

But even these massive figures do not include indirect costs, the greatest of which are the cost to organisations of the time that their people spend in initiatives such as change teams, training, away days, conferences, coaching etc. This omission results in true costs being typically understated by a factor of rarely less than three, and sometimes as much as ten. 

2

From Chapter 1:

Can we explain why so few organisations – governments, public sector bodies, large companies, not‐for‐profits, small firms and local organisations – have developed coherent ways of showing links between the resource they spend on their people and the impact outcomes they achieve? ………… Does it mean that they do not really see their expenditure on these people and their development as an ‘investment’?

3

From Chapter 1:

Three decades ago ‘quality’ was measured at the end of the production line. If a product came off a line faulty, nit was rejected. Now the focus on quality has moved to the beginning of the line. We expect smarter planning and implementation. We look for quality indicators to prevent faults, and to provide the basis for continuous improvement……………………………………………too many organisations are ignoring the evidence that collecting, reviewing and carefully analysing data about performance, rather than simply exchanging descriptions and anecdotes about it, leads to better planning, better decisions and improved results.

4

From Chapter 3:

We find the most value in Theory of Change as a means of developing the demand‐led objectives that can generate good data. Others see it as a complete evaluation model, valuing it for the discursive and descriptive approach that it encourages. The disadvantage of using it in this way is that, because the focus is more discursive, it will not provide the strong chain of impact that both shows why results have been achieved and,. Thus, provides s clear basis on which future improvements or innovations can be framed.

5

Chapter 4:

Understanding the baseline from which an improvement or achievement is being sought is just as important for those who are carrying through a project or activity as it is for an evaluator trying to make sense of it.

Chapter 5:

In our working lives companies and organisations routinely place us into interdependent structures: teams extended organisations, partnerships, less‐structured networks. These may well include a mix of colleagues, managers, associates, clients, funders and even regulators. When we look at these through the perspective of the processes, projects, programmes or activities we want to evaluate we can see them all as potential stakeholders.

Chapter 10:

….when data is collected throughout the chain, it becomes possible to see the results of an investment or project in something approaching real time………disappointing early results may be due to weak know‐how, nor unexpected barriers at Level 3. But it might also be worth investigating whether the assumptions about connections between performance change and task implementation were correct and/ or our timing  expectations were over‐optimistic. 

6

Chapter 2:

Analysis of the feedback that we collect from participants in our evaluation competency‐building workshops suggests that the most critical problem many of them face it that they were not included in the planning of the projects they are expected to evaluate. 

7

Chapter 2:

Our disciplined and logical approach can produce robust outcome data even for the most complex activities. But it is demanding to apply, and that deters many. They fear it may prove too difficulty This is partly because it brings evaluation into the initial project planning stage, rather than starting it later as an afterthought.

8

Chapter 12:

An evaluator’s highest priirity and greatest test is achieving credibility………it is not possible to show direct causality: no one can. Building credibility starts with the recognition that attributing improvement nto one or more ‘causes’ is not and never will be an exact science. 

9

Chapter 2:

We are not setting out to present final proof of cause and effect. We know that is never going to be possible. We are seeking to establish an agreement about the amount of change or improvement that all parties will accept as having been achieved. We are looking for the common ground from which all parties can safely draw conclusions and determine next steps.

10

11