Dr Bill BartlettDr Bill BartlettJoint Clinical DirectorJoint Clinical DirectorDiagnostics GroupDiagnostics GroupBiochemical MedicineBiochemical MedicineNinewells Hospital & Medical SchoolNinewells Hospital & Medical SchoolNHS TaysideNHS TaysideScotland UKScotland UK

Bill.Bartlett@Bill.Bartlett@nhsnhs.net.net

•• DiagnosisDiagnosis•• PrognosisPrognosis•• Monitoring Monitoring •• ScreeningScreening•• Assessment of Assessment of 

RiskRisk

The  metrologyAn understanding of its relativity to a point of reference

UnusualChange

Biological Rhythms (time)Biological Rhythms (time)HomeostasisHomeostasisAge Age SexSexEthnicityEthnicityPathologyPathologyResponse to StimuliResponse to Stimuli

eGFR

> 60 in a 30 year old white  female:  Changing renal function?

GrasbeckGrasbeck

& Saris 1969& Saris 1969Introduced the term Introduced the term ““reference valuereference value””::

The mode of generation of such values is known with respect The mode of generation of such values is known with respect  to: to: ‐‐

Selection of subjectsSelection of subjectsAssessment of state of  healthAssessment of state of  healthPopulation characteristics, age, sex,Population characteristics, age, sex,Specimen collection and storageSpecimen collection and storageAnalytical technique and performance characteristicsAnalytical technique and performance characteristicsData handling techniques. Data handling techniques. 

1.1.

The Concept of Reference Values. The Concept of Reference Values. 1987;25:3371987;25:337‐‐342342

2.2.

The selection of Individuals for the Production of The selection of Individuals for the Production of 

reference values. reference values. 1987;25:6391987;25:639‐‐644644

3.3.

Preparation of individuals and collection of Preparation of individuals and collection of 

specimens for the production of reference intervals. specimens for the production of reference intervals.  1988;26:5931988;26:593‐‐598598

4.4.

Control of analytical variability in the production of Control of analytical variability in the production of 

reference values. reference values. 1991;29:5311991;29:531‐‐535535

5.5.

Statistical treatment of collected reference limits. Statistical treatment of collected reference limits. 

1987;25:6451987;25:645‐‐656656

6.6.

Presentation of observed values related to reference Presentation of observed values related to reference 

values. values. 1987;25:6571987;25:657‐‐662662

JJ

Clin Chem Clin Biochem Clin Chem Clin Biochem 

This looks nice so 

far , but what is the 

use of biological 

variation data? 

Analytical variance  (CVAnalytical variance  (CVAA ).).

Within Subject biological variance (CVWithin Subject biological variance (CVII ).).

Between Subject biological variance (CVBetween Subject biological variance (CVGG )..)..

σσ22 Total Total 

= = σσ22

Analytical Analytical 

++

σσ22 Individual Individual 

+ + σσ22

GroupGroup

Setting of analytical goals (Setting of analytical goals (CVCVgoalgoal).).Quality specifications  for : Quality specifications  for : 

total allowable error (TEtotal allowable error (TEAA))Bias (BBias (BAA ))

Evaluating the significance of change in serial results Evaluating the significance of change in serial results (RCV).(RCV).Assessing the utility of reference intervals (Index of Assessing the utility of reference intervals (Index of Individuality).Individuality).Assessing number of specimens required to estimate Assessing number of specimens required to estimate homeostatic set points.homeostatic set points.Choice of specimen type.Choice of specimen type.Timing of specimens.Timing of specimens.

These These fundamental datafundamental data have many applications have many applications that underthat under‐‐pin our practice.pin our practice.We need to have We need to have confidenceconfidence in the data and in the data and understand its limitations.understand its limitations.

Should we not have Should we not have standardsstandards

for their for their  production and characterisation?production and characterisation?

www.biologicalvariation.com

Generation and Application of  data on Biological Variation in Clinical Chemistry: ‐Fraser CG, Harris EK.

Crit

Rev

Clin

Lab

Sci

1989:27,(5), 409‐435.

Optimal Conditions Precision.

Purpose of studyExperimental DesignCharacterisation of the methodsData analysisConfidence limits

What are the potential impacts of What are the potential impacts of  error in the data?error in the data?

Biological  Variation  DatabaseBiological  Variation  Databasewww.www.westgardwestgard.com/biodatabase1..com/biodatabase1.htmhtm

CVCVI I 

==

5.3%     CV5.3%     CVG G 

= 14.2%= 14.2%

DesirableCVA

< 0.5 x CVI

BA

< 0.25 x (CVI2

+ CVG2)0.5

Tea < 1.65 x 0.5 x CVI

. + 0.25 x (CVI2

+ CVG

2)0.5

OptimumCVA

< 0.25 x CVI

BA

< 0.125 x (CVI2

+ CVG2)0.5

Tea < 1.65 x 0.5 x CVI

. + 0.125 x (CVI2

+ CVG

2)0.5 

MinimumCVA

< 0.75 x CVI

BA

< 0.0.345 x (CVI2

+ CVG2)0.5

Tea < 1.65 x 0.5 x CVI

. + 0.375 x (CVI2

+ CVG

2)0.5 

www.westgard.com/biodatabase1.htm

n = [n = [Z * (CVZ * (CV AA

2 2 

++

CVCV II

22)/D] )/D] 22

D = % of closeness requiredD = % of closeness required

Biological variation data simulator. WWW.biologicalvariation.com

CVCV II

= 5.3 %          CV= 5.3 %          CV G G 

= 14.2%= 14.2% CVCV

AA

=2.7%=2.7%

CVCV II

= 5.3 %          CV= 5.3 %          CV G G 

= 14.2%= 14.2%

Index of individuality = 0.4

Biological Variation Serum Creatinine: Average within subject (CVI) = 4.1%Gowans

& Fraser. Ann

Clin Biochem

1988:25:259‐263 

Quantity Units Group Mean CVI CVGIndex  of 

Individuality

Serum 

Creatinineµmol/L Male (7) 83.9 3.4 6.8 0.54 Fraser

µmol/L Female (8) 71.4 4.9 11.8 0.41 Fraser

µmol/L** Whole (15) 83.9 4.1 14.1 0.29 Fraser

µmol/L ? ? 5.3 14.2 0.4 BioV

Site

µmol/L**** N= 20Male (7)Female(13)

77 4.7 14.4 0.33 Reinhard

et al

*   Jaffe*   Jaffe

****

EnzymaticEnzymatic

MM FFGG

MM FFGG

CVCV

GG

=14.1=14.1

CVCV

GG

=4.1=4.1

Creatinine µmol/LCreatinine µmol/L

Probability (%)Probability (%)

Starting 

Creatinine

96 µmol/L

Creatinine µmol/LCreatinine µmol/L

Probability (%)Probability (%)

Starting 

Creatinine

96 µmol/L

Upper Reference Limits: Upper Reference Limits: ‐‐Male = 106 Male = 106 µµmol/Lmol/L

Female = 80 Female = 80 µµmol/Lmol/L

RCV larger for men than for women.RCV larger for men than for women.

If  True: If  True: ‐‐•• Clinically important as disease progression needs Clinically important as disease progression needs 

to be monitored and appropriate actions taken to be monitored and appropriate actions taken  (e.g. Acute on Chronic Kidney failure).(e.g. Acute on Chronic Kidney failure).

•• Tighter  analytical performance characteristics to Tighter  analytical performance characteristics to  be applied for females.be applied for females.

•• Impact will be greater onImpact will be greater on

eGFReGFR

% Change at % % Change at % ProbabilityProbability

CVCVII 95%95% 99%99%Rise in CreatinineRise in Creatinine 4.34.3 10.3%10.3% 14.6%14.6%

5.35.3 12.6%12.6% 17.8%17.8%Fall inFall in eGFReGFR 4.34.3 12.8%12.8% 15.4%15.4%

6.86.8 16.0%16.0% 22.6%22.6%

Assumes a CVA

= 1%

"% Probability that %Rise in Serum Creatinine is Significant

0

5

10

15

20

25

50 55 60 65 70 75 80 85 90 95 100

% R

ise

in C

reat

inin

e

% Probability that %Rise in Creatinine is Significant

"% Probability that % Fall in eGFR is Significant

0.0

5.0

10.0

15.0

20.0

25.0

50 55 60 65 70 75 80 85 90 95 100

% F

all i

n eG

FR

% Probability that % Fall in eGFR is Significant

Significance of Fall in eGFR at CKD Classification Boundaries

0

5

10

15

20

25

65 70 75 80 85 90 95 100

% Probability that Fall is Significant

Fall

in e

GFR

in m

L/m

in/1

.73m

2 90 mL60 mL45 mL30 mL 15 mL4 mL/min/1.73m2

Use eGFR for initial classification of CKD stage.Use creatinine to follow patients with RCV indicator flag?

More Precise?

Difficulty is that there is a suggestion that creatinine  CVI  is variable in disease. Therefore which CVI?

State of HealthState of Health CVCV

II Number of Number of  SubjectsSubjects

Length of Length of  Studies  Studies  

(days)(days)

Number Number  Samples/SubSamples/Sub

Healthy Median?Healthy Median? 4.34.3

CRFCRF 5.35.3 1717 2121 88

Type 1 DMType 1 DM 5.95.9 2727 5656 88

Impaired renal Impaired renal  functionfunction6.96.9 99 22 1111

Type 1 DMType 1 DM 6.56.5 1111 5656 88

Post renal transplantPost renal transplant 11.511.5 4141 9090 88

Acute MIAcute MI 13.413.4 2020 44 19.519.5

CKD childrenCKD children 13.013.0 5454 540540 99

Ricos

et al  Ann

Clin Biochem

2007;44: 343‐352

The LiteratureThe Literature

• 319 Constituents: 319 Constituents: •• 90 entries based on 1 Paper90 entries based on 1 Paper

ISSUESISSUESNonNon‐‐complex complex vv complex complex molecules.molecules.Improved assay specificity.Improved assay specificity.CreatinineCreatininePTHPTH

Longish history of evolving assay systems with differing  analytical performance characteristics and specificities.

1970s – C‐Terminal RIALate 80s – Sandwich IRMA Assay1990 – 98 Nichols IRMA  assays dominateLate 1990s – variety of “intact” sandwich assays on a number of different analytical platforms.2004 – Bioactive PTH assay

Adapted from M Scott Focus 2010 

Much evidence in the literature indicating that  assays react to varying extents with the variety of 

PTH fragments present in Serum.

M Scott Focus 2010

If clearance of fragments is not identical in all patients and non diseased patients the apparent biological variation will vary and be assay specific.Assay specificity an important BV qualifier?

Ankrah TetAnkrah Tet

et alet al. Ann. Ann

Clin BiochemClin Biochem

2008;45:1672008;45:167‐‐ 169169

PTH  = Nichols Advantage PTH  = Nichols Advantage 4 Males 6 Females4 Males 6 Females““NormalsNormals””

GardhamGardham

et al .et al .

ClinClin

J Am SocJ Am Soc

Nephrol  ePressNephrol  ePress

May May  2424thth

20102010

Abbot Architect Intact PTHAbbot Architect Intact PTHImmunotopicsImmunotopics

Inc.Inc.

BiointactBiointact

PTH 1PTH 1‐‐8484

12 12 ““NormalsNormals””

22 Haemodialysis patients22 Haemodialysis patients

Subjects n Assay PTHng/L

CVI CVG CVA RCV 

(%)N‐Set*

“Normal” 10 Nichols 51.7 25.9 23.8 5.0 72.3 27

“Normal” 12 Abbott 51.9 19.2 3.5 54.0 15

ImmunotopicsBio‐intact 1‐84

27.5 23.8 4.2 67.0 22

Dialysis 22 Abbott 303.0 25.6 3.6 72.0 26

ImmunotopicsBio‐intact 1‐84

131.0 30.2 6.3 86.0 37

* Number of Specimens Required to estimate homeostatic point 

within 10%  with a probability of 95%

Data in chronic stable disease “often can be considered  constant over time and geography”“Same order of magnitude in disease and health”

Within Subject Variation (CVWithin Subject Variation (CVII ,%) for Serum ,%) for Serum Sodium and UreaSodium and Urea

No. ofNo. of TimeTime SexSex statusstatus NaNa++ UreaUreasubjectssubjects

1111 0.5 h0.5 h mm HH 0.60.6 2.22.21111 8 h8 h mm HH 0.50.5 6.06.06262 1 d1 d HH 0.60.6 4.84.81111 2 weeks2 weeks mm HH 0.70.7 12.312.31010 4 weeks4 weeks mm HH 0.90.9 14.314.31414 8 weeks8 weeks FF HH 0.50.5 11.311.3111111 15 weeks15 weeks mm HH 0.60.6 15.715.73737 22 weeks22 weeks mm HH 0.50.5 11.111.1274274 6 months6 months -- HH 0.50.5 11.211.21515 40 weeks40 weeks -- HH 0.70.7 13.913.999 2 d2 d -- RFRF 0.80.8 6.56.51515 6 weeks6 weeks FF HPHP 0.80.8 14.514.51616 8 weeks8 weeks mm DMDM 0.80.8 13.013.0

Fraser 2001

66 quantities 34 disease with 45 references.66 quantities 34 disease with 45 references.““For the majority of quantities studied CVFor the majority of quantities studied CVII of of same same order order as diseased. as diseased. ““Disease specificDisease specific RCVsRCVs may be necessary in some may be necessary in some cases.cases.Effect of variability  in variability not quantitatively Effect of variability  in variability not quantitatively studied.studied.““Heterogeneity in study designs and methods Heterogeneity in study designs and methods compiledcompiled””

“Blood samples were taken at weekly intervals from 10 healthy subjects (4 men and 6 women, median age 21 years, range 19–27 years; mean body mass index 21.3, range 19.0–25.9) for six weeks at the same time of the day (between 12:30 and 14:30 h),”

II’’m healthy m healthy 

and normal !and normal !II’’m a m a 

biochemist!biochemist!

•• Need to assess on a case by case basis. Need to assess on a case by case basis. •• Questions around Questions around uncertaintyuncertainty. . 

•• What are the implications for their application?What are the implications for their application?•• Can the impact of uncertainty be quantified and Can the impact of uncertainty be quantified and 

reduced where necessary.reduced where necessary.•• Accepted standard Accepted standard needed for their production.needed for their production.•• Critical appraisal checklist Critical appraisal checklist required to enable veracity of required to enable veracity of 

existing and new publications.existing and new publications.•• MetaMeta‐‐analysis of dataanalysis of dataQuestions to be addressed by the EFCC biological Variation Questions to be addressed by the EFCC biological Variation 

Working groupWorking group

1.1.

Define the purpose for which they are to be used.Define the purpose for which they are to be used.2.2.

Only meaningful and transferable if defined for Only meaningful and transferable if defined for 

the population or individual in terms of: the population or individual in terms of: ‐‐Inclusion and exclusion criteriaInclusion and exclusion criteriaIntake of food & drugsIntake of food & drugsPhysiological and environmental conditionsPhysiological and environmental conditionsSpecimen collection criteriaSpecimen collection criteriaPerformance characteristics of the analytical methodPerformance characteristics of the analytical methodThe statistical methods used for estimation of the limitsThe statistical methods used for estimation of the limits

3.3.

State of health defined.State of health defined.WHOWHO DefnDefn: : ‐‐““

a state of complete physical mental and social well being and na state of complete physical mental and social well being and not ot 

merely the absence of disease or infirmitymerely the absence of disease or infirmity””

Disease is a state of health.Disease is a state of health.Conceptually different in different countries.Conceptually different in different countries.

The term The term ““ReferenceReference””

should be accompanied or preceded by a word should be accompanied or preceded by a word  qualifying the state of health. E.g diabetic, hospitalised diabequalifying the state of health. E.g diabetic, hospitalised diabetic, tic, 

ambulatory diabetic, Healthy laboratory worker?ambulatory diabetic, Healthy laboratory worker?

The reference change value: a proposal The reference change value: a proposal  to interpret laboratory reports in serial to interpret laboratory reports in serial  testing based on biological variation.testing based on biological variation.

C. RICO´

et al Scand J Clin Lab Invest 2004; 64: 175 – 184

“The RCV data in this study are presented as a point of The RCV data in this study are presented as a point of  departure for a widely applicable objective guide to departure for a widely applicable objective guide to 

interpret changes in serial results.interpret changes in serial results.””

HL7  recognised conceptRequests for additional  flags pending

Fit for 

Purpose?

Kinoull

Hill, Perth  Scotland.            Ruth Bartlett