This is an HTML version of an attachment to the Freedom of Information request 'Summary Minutes for CHM meeting on 16th & 17th July 2015'.

link to page 1 link to page 6 link to page 6 link to page 6 link to page 6


Vaccine 31 (2013) 4961–4967
 
 
Contents lists available at ScienceDirect
 
 
 
 
Vaccine
j o u r n a l h o m e p a g e : w w w . e l s e v i e r . c o m / l o c a t e / v a c c i n e
 
 
 
 
 
 
 
Bivalent human papillomavirus vaccine and the risk of fatigue
 
 
 
 
 
 
 
 
syndromes in girls in the UK
 
 
 
 
 
Katherine Donegan, Raphaelle Beau-Lejdstrom, Bridget King, Suzie Seabroke,
 
 
 
 
 
 
 
Andrew Thomson, Philip Bryan 
 
 
 
Vigilance and Risk Management of Medicines, Medicines and Healthcare products Regulatory Agency, London, UK
 
 
 
 
 
 
 
 
 
 
 
 
 
a r t i c l e i n f o
a b s t r a c t
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Article history:
Introduction: Over 70% of cervical cancers are related to human papillomavirus types 16 and 18. In 2008,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Received 5 March 2013
the vaccine Cervarix, protecting against these two strains, was introduced into the routine UK immun-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Received in revised form 23 July 2013
 
 
 
 
 
 
isation programme for girls aged 12–13 years, with a catch-up in girls aged up to 18 years. As part of the
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Accepted 9 August 2013
 
 
 
risk management planning for this new campaign, the Medicines and Healthcare products Regulatory
Available online 1 September 2013
 
 
 
 
 
 
 
 
 
 
 
 
Agency (MHRA) anticipated a range of conditions, including chronic fatigue syndrome, which might be
 
 
 
 
 
 
 
 
 
 
 
 
 
reported as adverse events in temporal association with the vaccine.
 
 
 
 
 
 
 
 
 
Keywords:
Methods: Near-real time ‘observed vs. expected’ analyses were conducted comparing the number of
Human papillomavirus vaccine
 
 
 
 
 
 
 
 
 
 
 
 
 
 
reports of fatigue syndromes submitted via the MHRA’s Yellow Card passive surveillance scheme to the
Chronic fatigue syndrome
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
expected number, using background rates calculated from the Clinical Practice Research Datalink (CPRD)
 
 
 
 
 
 
 
 
 
 
 
 
and estimates of vaccination coverage. Subsequently, an ecological analysis and a self-controlled case
 
 
 
 
 
 
 
 
 
 
 
 
series (SCCS), both using CPRD, compared the incidence rate of fatigue syndromes in girls before and
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
after the start of the vaccination campaign and the risk in the year post-vaccination compared to other
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
periods.
Results: The number of spontaneous reports of chronic fatigue following Cervarix vaccination was consis-
 
 
 
 
 
 
 
 
 
 
 
 
 
tent with estimated background rates even assuming low reporting. Ecological analyses suggested that
 
 
 
 
 
 
 
 
 
 
 
 
there had been no change in the incidence of fatigue syndromes in girls aged 12–20 years after the intro-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
duction of the vaccination despite high uptake (IRR: 0.94, 95% CI: 0.78–1.14). The SCCS, including 187
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
girls, also showed no evidence of an increased risk of fatigue syndromes in the year post first vaccination
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
(IRR: 1.07, 95% CI: 0.57–2.00, p = 0.84).
 
 
 
 
 
 
 
Discussion: The successful implementation of an enhanced pharmacovigilance plan provided immediate
 
 
 
 
 
 
 
 
 
 
reassuring evidence that there was no association between vaccination with Cervarix and an increased
 
 
 
 
 
 
 
 
 
 
 
 
 
risk of chronic fatigue syndromes. This has now also been further demonstrated in more comprehensive
 
 
 
 
 
 
 
 
 
 
 
 
 
 
epidemiological studies.
 
Crown Copyright © 2013 Published by Elsevier Ltd. All rights reserved.
 
1. Introduction
to prevent up to 400 deaths per year [4]. The campaign involved
 
 
 
 
 
 
 
 
 
 
 
 
immunisation of approximately 2 million girls over the first 2 years,
 
 
 
 
 
 
 
 
 
 
Despite increased screening and improving treatments consid-
with three doses each over at least 5 months [5,6]. At launch in the
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
erably reducing cervical cancer mortality rates in the UK [1], there
UK, Cervarix had not been used routinely in any other country.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
are still nearly 1000 deaths per year.
The key pharmacovigilance objective in any mass immunisa-
 
 
 
 
 
 
 
 
 
 
 
 
 
Over 99% of cervical cancers are attributable to human papil-
tion campaign with a new vaccine is to detect side effects as
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
lomavirus (HPV) infection with over 70% of these related to types
quickly as possible. However, given the sudden large increase in
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
16 and 18 [2,3]. To reduce the burden of disease, the vaccine Cer-
use it is inevitable that many adverse events entirely coincidental
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
varix, protecting against these strains, was introduced into the UK
with vaccination will be reported. Unfounded safety concerns can
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
national immunisation programme in September 2008. It is offered
damage confidence in a vaccine so the challenge is to rapidly dis-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
to all girls aged 12–13 years, with an initial catch-up programme
tinguish potential side effects from coincidental events. To try and
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
for those aged 14–18 years. The programme is eventually expected
address this, the Medicines and Healthcare products Regulatory
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Agency (MHRA) applied, as enhanced proactive pharmacovigilance
 
 
 
 
 
 
alongside routine signal detection activities, statistical methods
 
 
 
 
 
 
∗ Corresponding author. Tel.: +44 20 3080 6810.
for near-real time sequential analysis of adverse event reporting
 
 
 
 
 
 
 
 
 
 
 
 
 
 
E-mail address: xxxxxx.xxxxx@xxxx.xxx.xxx.xx (P. Bryan).
via the Yellow Card scheme. This could then be supported by
 
 
 
 
 
 
 
 
 
 
 
 
 
 
0264-410X/$ – see front matter. Crown Copyright   2013 Published by Elsevier Ltd. All rights reserved.
  
©
 
 
 
 
 
http://dx.doi.org/10.1016/j.vaccine.2013.08.024

link to page 6 link to page 6 link to page 6 link to page 6 link to page 6 link to page 6 link to page 6 link to page 7 link to page 7 link to page 6 link to page 7 4962
K. Donegan et al. / Vaccine 31 (2013) 4961–4967
 
 
 
 
 
 
 
epidemiological analyses using the Clinical Practice Research
Composite age and gender-specific background incidence rates
 
 
 
 
 
 
 
 
 
 
 
 
Datalink (CPRD; formerly GPRD).
for CFS/ME and PVFS were estimated using data from the CPRD
 
 
 
 
 
 
 
 
 
 
 
 
 
Based on prior experience, it was known that a range of autoim-
for the 10 years prior to the start of the campaign. These rates
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
mune and neuroinflammatory disorders naturally prevalent in the
were used along with the weekly uptake data as they became avail-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
population, were likely to be reported as adverse events follow-
able to estimate the expected cumulative number of diagnoses in
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ing adolescent immunisation. One such condition was chronic
vaccinated girls during the first 2 years of the programme.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
fatigue syndrome/myalgic encephalomyelitis (CFS/ME), charac-
The maximised sequential probability ratio test (MaxSPRT) was
 
 
 
 
 
 
 
 
 
 
 
terised by debilitating fatigue and a range of symptoms including
used to generate a ‘signal’, when the observed number of reports
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
malaise, headaches, sleep disturbances, difficulties with concentra-
exceeds the expected, by comparing the log-likelihood ratio to a
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
tion, and muscle pain, which has a prevalence of 0.2% in England
critical value derived from the Poisson distribution [17]. Sequential
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
[7] and 0.006–3% worldwide [8,9]. In 1998, reports of CFS/ME and
methods are required to adjust for the multiple testing that occurs
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
demyelinating disorders led to suspension of the French adolescent
with weekly surveillance. Given the likelihood of under-reporting
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
hepatitis B immunisation programme [10]. It took years of epidemi-
of suspected cases via the Yellow Card Scheme, adjustments were
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ological study to determine that these events were coincidental.
made assuming various hypothetical levels of reporting (10%, 25%,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
This paper describes the MHRA’s proactive pharmacovigilance
50%, 75% and 100% of cases reported). This sequential approach has
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
methodology, applied to reports of chronic fatigue conditions dur-
been taken previously for the UK pandemic flu vaccine [18] and in
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ing the first 2 years of the Cervarix immunisation campaign, and
other international vaccine safety studies [19–21].
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
subsequent epidemiological analyses.
In each of the first 2 years of the vaccination programme, the
 
 
 
 
 
 
 
 
 
 
 
 
 
observed vs. expected analysis was updated each time a new report
 
 
 
 
 
 
 
 
 
 
2. Methods
of possible chronic fatigue was received or when new uptake data
 
 
 
 
 
 
 
 
 
 
 
became available. In the first year, due to the higher number of
 
 
 
 
 
 
 
 
 
 
 
2.1. Data sources
reports expected, analysis was stratified by age but in the second
 
 
 
 
 
 
 
 
 
 
 
 
year one analysis covering all ages was conducted.
 
 
 
 
 
 
 
2.1.1. UK Yellow Card Scheme
 
 
 
 
Introduced in 1964, the Yellow Card system (www.mhra.gov.
2.2. Epidemiological analyses
 
 
 
 
 
 
 
 
 
uk/yellowcard) is a spontaneous reporting scheme through which
 
 
 
 
 
 
 
health professionals, the public, and pharmaceutical companies
2.2.1. Ecological study
 
 
 
 
 
 
 
 
can promptly report any suspected adverse drug reaction directly
Patients with a clinical diagnosis of a chronic fatigue syndrome,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
to the MHRA. To date, approximately 670,000 reports have been
during 2000–2011, were extracted from the CPRD general practice
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
received. Despite possible under-reporting, an inherent issue with
database, in March 2012. Diagnoses were identified via a dated
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
any spontaneous reporting approach, this type of scheme is one of
clinical read code according to a pre-defined code list. Given the
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
the most established ways of monitoring drug safety in routine clin-
difficult nature of the diagnosis a range of related terms were con-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ical practice. The utility of the scheme in vaccine pharmacovigilance
sidered including CFS/ME, PVFS, fibromyalgia, and neurasthenia
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
was well-demonstrated with the childhood meningitis C vaccine in
[5,6]. An incident diagnosis was defined as the first recorded clin-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
late-1999 [11].
ical code per acceptable patient registered in an up-to-standard
 
 
 
 
 
 
 
 
 
practice. The incidence of diagnoses per quarter, in girls aged
 
 
 
 
 
 
 
 
 
12–20 years, was calculated overall and by category of first diag-
2.1.2. Clinical Practice Research Datalink
 
 
 
 
 
 
 
 
 
 
 
 
 
 
nosis. Missing months of birth were randomly assigned. Poisson
The CPRD holds up-to-date demographic, clinical, prescribing,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
regression was used to compare trends in incidence rates before
and referral data extracted from 3.5+ million active electronic med-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
(2006–2007) and after (2009–2011) the introduction of the HPV
ical records throughout the UK (http://www.cprd.com/intro.asp),
 
 
 
 
 
 
 
 
 
 
 
 
 
vaccine. Comparative analyses examining the incidence in adults
with historical data on 12.5+ million patients. The data have been
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
aged 21+ years and boys aged 12–20 years were conducted. A
extensively used in epidemiological research including several
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
sensitivity analysis, in girls aged 12–20 years, including referrals
studies on CFS/ME [12–15]. Diagnoses, test results, and referrals are
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
for fatigue syndromes and symptoms of tiredness, using the pre-
recorded using read codes [16]. The CPRD research group assess the
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
defined list of relevant read codes for referrals and additional codes
quality and completeness of the extracted data. Patients are con-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
for symptoms recorded as clinical diagnoses, was also conducted.
sidered “acceptable” and GP practices “up-to-standard” if the data
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
from that patient/practice is concluded by the group to be suitable
 
 
 
 
 
 
 
 
 
 
2.2.2. Self-controlled case series
for epidemiological research.
 
 
 
 
 
Self-controlled case series (SCCS) methodology [22] was used
 
 
 
 
 
 
 
to estimate the risk of diagnosis in the year after first vaccination
 
 
 
 
 
 
 
 
 
 
 
2.1.3. National statistics on immunisation uptake
 
 
 
 
 
relative to the risk in the remainder of the patient’s time in follow-
 
 
 
 
 
 
 
 
 
 
 
 
Regular updates on the estimated number of girls by age who
 
 
 
 
 
 
 
 
 
 
up during the study period (01/10/2008–31/12/2011). Girls with
 
 
 
 
 
 
 
received a dose of Cervarix were obtained via the Department of
 
 
 
 
 
 
 
 
 
 
a record of HPV vaccination and diagnosis of a fatigue syndrome
 
 
 
 
 
 
 
 
 
 
Health in England and the health departments in Wales, Scotland
 
 
 
 
 
 
 
 
 
(CFS/ME, PVFS, fibromyalgia, or neurasthenia), occurring during the
 
 
 
 
 
 
 
and Northern Ireland.
 
 
study period while registered in an up-to-standard practice, were
 
 
 
 
 
 
 
 
included. Girls with less than 1 year of follow-up were excluded
 
 
 
 
 
 
 
 
 
 
2.1.4. ‘Observed vs. expected’ analysis
to ensure adequate data. The index date was defined as the date
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Yellow Cards reporting CFS/ME in temporal association with
of the first clinical record of a diagnosis of a fatigue syndrome. The
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Cervarix (and HPV vaccine where brand was not stated) were
12 month risk window was defined to start the day after the date
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
followed-up with reporters on an ongoing basis to determine
of first vaccination. Follow-up was censored at the earliest of the
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
diagnostic certainty. This included reports of post-viral fatigue syn-
practice last data collection date, the date of transfer out of the
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
drome (PVFS) and cases describing ‘chronic’ fatigue. Possible cases,
practice, or 31st December 2011. Age and calendar time, in years,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
reported in the UK media but not via the Yellow Card Scheme, were
were adjusted for as discrete time-varying covariates.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
also included, with the conservative assumption that diagnosis was
A sensitivity analysis, including first referrals for, and symptoms
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
confirmed. This analysis was signal generating so the potential for
of, chronic fatigue syndromes was conducted. The index date in
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
false positives was accepted.
this analysis was therefore the first record of symptoms, referral,
 
 
 
 
 
 
 
 
 
 
 
 

link to page 3 link to page 3 link to page 3 link to page 4 link to page 5 link to page 5 link to page 6 K. Donegan et al. / Vaccine 31 (2013) 4961–4967
4963
 
 
 
 
 
 
 
Table 1
 
Yellow Card and media reported cases of fatigue syndromes.
 
 
 
 
 
 
 
 
Year
Age group (years)
Number of spontaneous
Estimated number
Estimated background rate
 
 
 
 
 
 
 
 
 
cases identified
of girls receiving at
per 100,000 girls per year
 
 
 
 
 
 
 
 
least one dose of
estimated from the CPRD
 
 
 
 
 
 
Cervarix
Yellow Card
From the UK media
Retrospectively
 
 
 
 
reports
only
identified (i.e. not
 
 
available for real
 
 
time analysis)
 
2008/2009a
12–13
8b
2
5
320,414
31.2
 
 
 
 
17–18
1
0
1
210,808
69.5
 
 
 
 
2009/2010
12–18
9
0
3
1,005,773
47.4
 
 
 
 
 
 
a Note that in 2008/2009 there were no cases reported in 14–16 year olds.
 
 
 
 
 
 
 
 
 
 
 
 
b Three were also reported in the UK media.
 
 
 
 
 
 
 
or diagnosis, whichever was earliest. Further sensitivity analyses
diagnosis. When comparing the rate of diagnosis for each category
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
first changing the risk window from 12 to 6 and 18 months and
for 2006–2007 with 2009–2011, the only significant change is the
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
secondly including only girls with a specific diagnosis of CFS/ME or
decreased diagnosis of neurasthenia (IRR 0.08, 95% CI: 0.02–0.24,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
PVFS (and not fibromyalgia or neurasthenia) were conducted.
p < 0.001).
 
 
 
 
 
 
 
 
 
Analyses were conducted using STATA 11.1. Full CPRD read code
The decrease in the incidence of fatigue syndromes, in girls aged
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
lists for vaccination and diagnoses (including referrals and symp-
12–20 years, from 2003 to 2005, was also seen when including
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
toms) can be obtained from the authors.
earlier symptoms and referrals. However, beyond that, a further
 
 
 
 
 
 
 
 
 
 
 
 
 
 
reduction was seen (2009/2011 vs. 2006/2007 IRR: 0.77, 95% CI:
 
 
 
 
 
 
 
 
 
3. Results
0.66–0.91, p < 0.001) which was not seen when only considering
 
 
 
 
 
 
 
 
 
 
 
recorded diagnoses.
 
3.1. Observed vs. expected analysis
 
 
 
 
3.3. Self-controlled case series
 
 
 
Table 1 describes reports of suspected chronic fatigue syn-
 
 
 
 
 
 
 
 
dromes for the first 2 years of the immunisation programme.
187 girls with an incident diagnosis of a fatigue syndrome
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Fig. 1 shows the results from the observed vs. expected analy-
and a recorded vaccination with the HPV vaccine were identified
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
sis as it progressed during the same time period. In 2008/2009, for
(01/10/2008–31/12/2011). 98 (52%) had no recorded symptoms or
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
12–13 year olds, a ‘signal’ was raised under the assumption that
specialist referral prior to diagnosis. 87 (47%) had symptoms of
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
just 10% of events were reported. Only cases reported within the
tiredness recorded a median (IQR) 12.5 (3.0–41.7) months before
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
relevant year were included in the real-time analyses. If additional
diagnosis. 28 (15%) had a specialist referral 25.6 (5.1–107.4) weeks
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
retrospectively identified cases had been available for real-time
before diagnosis. A further 15 girls had a first referral 1.3 (0.1–25.1)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
inclusion the critical threshold would have been briefly surpassed
weeks after their first recorded diagnosis. 53 girls were diagnosed
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
under the assumption that 25% of events were reported (results not
in the 1 year risk window after the first recorded vaccination.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
shown). Only two cases in older girls were identified for 2008/2009,
The adjusted conditional Poisson regression model showed no
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
within expected levels. In 2009/2010, fewer cases were identified,
evidence of an increased risk of fatigue syndromes in the year fol-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
the majority (7/9) in girls aged 16–18 years, and a ‘signal’ was again
lowing first vaccination (IRR: 1.07, 95% CI: 0.57–2.00, p = 0.84).
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
only raised assuming 10% reporting.
The first sensitivity analysis, changing the index date to date of
 
 
 
 
 
 
 
 
 
 
 
 
 
 
earlier symptoms or referral, also showed no association between
 
 
 
 
 
 
 
 
3.2. Ecological study
vaccination and fatigue syndromes. Given the difficulties associ-
 
 
 
 
 
 
 
 
 
ated with diagnosis further sensitivity analyses changing the risk
 
 
 
 
 
 
 
 
1294 incident diagnoses of fatigue syndromes were identified
window to 6 and 18 months were considered as well as only includ-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
in girls aged 12–20 years in 2000–2011. Fig. 2 shows the rate of
ing those with a diagnosis of CFS/ME or PVFS. Again, no association
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
diagnoses in girls aged 12–20 years by quarter and that in boys
of an increased risk was found. Full model results can be seen in
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
aged 12–20 years and adults aged 21+ years.
Table 2.
 
 
 
 
 
 
 
 
From 2003 to 2005 there was a decline in the rate of diagnosis
 
 
 
 
 
 
 
 
 
 
 
 
of fatigue syndromes. Comparing the incidence rate for girls aged
4. Discussion
 
 
 
 
 
 
 
 
 
 
12–20 years in 2009–2011 to 2006–2007 resulted in an incident
 
 
 
 
 
 
 
 
 
rate ratio IRR = 0.94 (95% confidence interval: 0.78–1.14) suggesting
Campaigns with new vaccines require proactive safety evalu-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
that there was no change in the incidence of fatigue syndromes fol-
ation to quickly identify potential risks and prevent unfounded
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
lowing introduction of the HPV vaccination. This was also observed
safety concerns. It is inevitable that mass immunisation will lead to
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
in adults (IRR: 0.96, 95% CI: 0.93–1.01). However, the decreasing
serious adverse events being reported whether causally associated
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
trend in incidence observed prior to 2006 was seen to continue in
with vaccination or coincidental. Having processes in place to eval-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
boys aged 12–20 years (2009/2011 vs. 2006/2007, IRR: 0.66, 95%
uate events in near-real time is essential. To meet this challenge
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
CI: 0.50–0.87). This was in part driven by a slight increased inci-
for the UK’s HPV immunisation programme, the MHRA adopted a
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
dence in boys in 2006/2007 compared to 2005 while a decrease
strategy of proactive ‘enhanced’ surveillance via the Yellow Card
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
was observed in girls and adults over the same period. There is
Scheme supported by epidemiological analyses using CPRD.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
no obvious scientific explanation for this beyond natural random
A key strength of the Yellow Card Scheme is its coverage, allow-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
variation which, given the lower background rates in boys, is more
ing rare adverse events to be rapidly reported by anyone in the UK.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
likely.
As with any passive surveillance, key limitations include variable
 
 
 
 
 
 
 
 
Fig. 3 shows the rate of incident diagnoses of fatigue syn-
under-reporting and potentially biased reporting of more severe
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
dromes in girls aged 12–20 years by quarter stratified by type of
or acute onset cases. Although passive surveillance alone cannot
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

link to page 7 4964
K. Donegan et al. / Vaccine 31 (2013) 4961–4967
 
 
 
 
 
 
 
i) 2008
 
/09 - ages 12
  -13
   yea
  rs
12
10
io
at

8
 r
6
lihood
-like
4
og
L

2
0
1  3  5  7  9  11  13  15  17  19  21  23  25  27  29  31  33  35  37  39  41  43  45  47  49 51
Wee
  k
ii) 2008
 
/09 - ages 17
  -18
   yea
  rs
5
4
io
at
 r 3

lihood
2
-like
og
L 1

0
1  3  5  7  9  11  13  15  17  19  21  23  25  27  29  31  33  35  37  39  41  43  45  47  49 51
Wee
  k
iii) 2009
 
/10 - ages 12
  -18
   yea
  rs
7
6
io 5
at
 r

4
lihood 3
-like
og 2

L
1
0
1  3  5  7  9  11  13  15  17  19  21  23  25  27  29  31  33  35  37  39  41  43  45  47  49 51
Wee
  k
Critical val
 
ue 10%
 
 events repor
 
ted 
25% events repor
 
ted  
50% events repor
 
ted 
75% events repor
 
ted  
100% even
 
ts repor
 
ted 
Fig. 1. Real time maximised SPRT for fatigue syndromes for girls in 2008/2009* (i) ages 12–13 and (ii) ages 17–18 and (iii) 2009/2010 ages 12–18.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
determine causality, combining it with data on vaccine exposure
spontaneously reported and media cases were included, even those
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
and background incidence provides a powerful tool for rapid ‘signal
without a definitive diagnosis. In many Yellow Card cases reported
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
generation’.
as CFS/ME, the available clinical details did not necessarily sup-
 
 
 
 
 
 
 
 
 
Due to the heterogeneous nature of chronic fatigue syndrome,
port such a diagnosis. This may also be true for reports in the
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
there are no validated diagnostic tests or specific biological markers
media. The threshold for generation of a potential safety ‘signal’
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
for diagnosing it. Diagnosis is based on recognition of the typ-
was reached only if it was assumed that no more than 10% of
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ical symptom pattern after the exclusion of alternative medical
cases occurring after the vaccine had been reported. Although
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
and psychiatric conditions [23]. Therefore, a conservative approach
the level of under-reporting cannot be accurately quantified, it
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
was taken to the observed vs. expected analyses, where all
could be assumed that the expected level would be higher than
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

link to page 7 link to page 6 link to page 7 K. Donegan et al. / Vaccine 31 (2013) 4961–4967
4965
 
 
 
 
 
 
 
100
90
80
70
rs
y
 p

60
0
0
,0
00

50
r 1
e

40
e p
at
R

30
20
10
0
2000 
2001 
2002 
2003 
2004 
2005 
2006 
2007 
200
  8 
2009 
2010 
201
  1
Yea
  r
Girls 12
  -20 yrs 
Boys
   12
  -20 yrs 
Adu
  lts 21
  + yrs
Fig. 2. The incidence of fatigue syndromes in the CPRD 2000–2011.
 
 
 
 
 
 
 
 
 
 
this as reporting is usually higher during the first phase of a
acute outcomes, have also been used to investigate non-acute
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
new immunisation programme. Cervarix had ‘Black Triangle’ sta-
outcomes [25]. They can be efficient as they involve only the iden-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
tus [24] in order to encourage adverse event reporting, and the
tification of cases and implicitly control for all fixed confounders.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
MHRA issued guidance to encourage reporting at the start of the
General practice databases contain data primarily recorded for
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
programme. In addition, the media cases may have stimulated
clinical monitoring rather than research and verifying outcomes is
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
reporting.
difficult. This is likely to have been an issue here with apparent
 
 
 
 
 
 
 
 
 
 
 
There are limitations to the observed vs. expected approach.
diagnoses of fatigue syndromes potentially later being ruled out
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Given some girls were not vaccinated the appropriateness of using
and complicates both the estimation of background rates used for
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
data from the whole CPRD population to estimate age-specific
the observed vs. expected analyses and the epidemiological stud-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
background risks might be questioned as the risk profile of those
ies. However, there is no reason to believe this has systematically
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
vaccinated may not be the same as the general population. How-
biased the conclusions of the study.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ever, given the high coverage of the vaccine [5], consistently above
There are two major limitations of the data within the CPRD.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
85% for one dose, differences are hopefully minimal.
Firstly, the recording of HPV vaccination within the CPRD is low. The
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Despite these limitations, it was clear that the observed vs.
vaccine is primarily administered in school and, although reporting
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
expected analyses showed no sustained ‘signal’ of an association
of the immunisation to the GP is encouraged, only approximately
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
of chronic fatigue syndromes with HPV vaccination. No signal was
40% of girls had a record for a vaccination whereas we know, from
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
seen in further retrospective observed vs. expected analyses also
the national uptake data, that coverage has been much higher. This
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
conducted but not presented here.
made the use of the SCCS methodology particularly pertinent, as
 
 
 
 
 
 
 
 
 
 
 
 
 
Self-controlled case series methods, originally developed to
there is no need to include non-exposed patients, but also means
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
examine the relationship between a time-varying exposure and
that there is an increased chance of selection bias should symptoms
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
40
35
30
rs
25
0 p
00
0,
20
r 1
e

e p 15
at
R

10
5
0
2000 
200
  1 
2002 
2003 
2004 
2005 
200
  6 
2007 
2008 
2009 
2010 
201
  1
Yea
  r
CFS
Fibromyalgia
Post viral fatigue syndrome
Neurasthenia
Fig. 3. The incidence of fatigue syndromes in girls aged 12–20 years by type of diagnosis 2000–2011.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

link to page 6 link to page 6 4966
K. Donegan et al. / Vaccine 31 (2013) 4961–4967
 
 
 
 
 
 
 
Table 2
 
Self-controlled case series analyses results.
 
 
 
 
Analysis
Details of SCCS statistical analysisa
Number of
IRR
95% CI
p-Value
 
 
 
 
 
 
 
 
 
identified cases in
 
 
vaccinated girls
 
Index date – first diagnosis of
Primary analysis
 
 
 
 
 
187
1.07
0.57–2.00
0.84
 
fatigue (including CFS/ME, PVFS,
 
 
 
 
 
fibromyalgia, and neurasthenia)
 
 
Risk window – 12 months
 
 
 
 
Index date – first
 
 
 
193b
0.99
0.54–1.82
0.97
symptoms/referral/diagnosis of
 
 
 
fatigue (including CFS/ME, PVFS,
 
 
 
fibromyalgia, and neurasthenia)
Sensitivity analyses
 
 
 
Risk window – 12 months
 
 
 
 
Index date–first diagnosis of
 
 
 
187
1.24
0.67–2.29
0.50
fatigue (including CFS/ME, PVFS,
 
 
 
fibromyalgia, and neurasthenia)
 
 
Risk window – reduced to 6
 
 
 
 
 
months
Index date – first diagnosis of
 
 
 
 
 
187
1.47
0.77–2.82
0.25
fatigue (including CFS/ME, PVFS,
 
 
 
fibromyalgia, and neurasthenia)
 
 
Risk window – extended to 18
 
 
 
 
 
months
Index date – first diagnosis of
 
 
 
 
 
161
1.03
0.51–2.07
0.93
CFS/ME or PVFS only (excluding
 
 
 
 
fibromyalgia and neurasthenia)
 
 
Risk window – 12 months
 
 
 
 
a Details include: (1) The index date for the analysis – i.e. the date for which the fatigue syndrome is defined to have started. (2) The risk window following the first recorded
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
HPV vaccine exposure.
 
 
b Includes 6 cases with symptoms of tiredness or a referral to specialist care for fatigue with no recorded clinical diagnosis.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
or diagnosis of a fatigue syndrome have stimulated retrospective
[2] McCance DJ. Papillomaviruses. In: Zuckerman AJ, Banatvala JE, Pattison JR, Grif-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
recording of the vaccination. It additionally meant that it was not
fiths P, Schoub B, editors. Principles and Practice of Clinical Virology. 5th ed.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Wiley & Sons Ltd.; 2004.
possible to define a separate risk period following each of the three
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
[3] Smith JS, Lindsay L, Hoots B, Keys J, Franceschi S, Winer R, et al. Human
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
doses without further reducing the number of patients available for
papillomavirus type distribution in invasive cervical cancer and high-grade
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
study. This issue with recording raises the potential for misclassi-
cervical lesions: a meta-analysis update. Int J Cancer 2007;121:621–32,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
http://dx.doi.org/10.1002/ijc.22527.
fication of vaccination status when the first recorded vaccination
 
 
 
 
 
 
 
 
[4] http://www.nhs.uk/conditions/hpv-vaccination/pages/introduction.aspx?WT.
date is not actually of the first dose but of a subsequent injection.
 
 
 
 
 
 
 
 
 
 
 
 
 
mc id=090805. Accessed 2.11.12.
 
 
However, over 92% of first recorded vaccinations are specifically
[5] Annual HPV vaccine coverage in England in 2010/2011. Routine pro-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
coded as the ‘first HPV vaccination’ so impact of any misclassi-
gramme for school year 8 females (12–13 years old). DH HPA March
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2012.
fication is likely to be minimal. Secondly, CPRD data is collected
 
 
 
 
 
 
 
 
 
 
[6] The
‘Green
Book’
Chapter
on
Human
Papillomavirus
(HPV).
 
 
 
 
 
 
 
 
primarily for clinical monitoring so diagnoses have not been veri-
Department of Health. https://www.wp.dh.gov.uk/immunisation/files/2012/07/
 
 
 
 
 
 
 
 
 
 
 
 
fied. Given the difficult nature of the diagnosis this is a concern so
Green-Book-Chapter-18a-v2 0.pdf. Accessed 13.12.12.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
[7] Nacul LC, Lacerda EM, Pheby D, Campion P, Molokhia M, Fayyaz S, et al.
a broad definition was used initially with a subsequent sensitivity
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Prevalence of myalgic encephalomyelitis/chronic fatigue syndrome (ME/CFS)
 
 
 
 
 
 
analysis restricting the read codes used to identify cases. Neither
in three regions of England: a repeated cross-sectional study in primary care.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
of these analyses found any association between the vaccine and
BMC Med 2011;9(91), http://dx.doi.org/10.1186/1741-7015-9-91.
 
 
 
 
 
 
 
 
 
 
 
 
fatigue syndromes.
[8] Afari N, Buchwald D. Chronic fatigue syndrome: a review. Am J Psychiatry
 
 
 
 
 
 
 
 
 
 
 
 
 
2003;160:221–36, http://dx.doi.org/10.1176/appi.ajp.160.2.221.
One additional assumption made in the SCCS is that the like-
 
 
 
 
 
 
 
 
 
 
 
[9] Ranjith
G.
Epidemiology
of
chronic
fatigue
syndrome.
Occup
Med
lihood of exposure is not changed by experiencing the outcome.
 
 
 
 
 
 
 
 
 
2005;55:13–9, http://dx.doi.org/10.1093/occmed/kqi012.
 
 
 
 
 
 
 
 
 
 
However, there is no reason to suspect that girls with fatigue syn-
[10] Barquet N, Domingo P, Caylà JA. Vacination against HBV in France. Lancet
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
drome would be less likely to receive the vaccination and, indeed,
1999;353(414.), http://dx.doi.org/10.1016/S0140-6736(05)74997-7.
 
 
 
 
 
 
 
 
 
 
 
repeating the models excluding pre-exposure time also shows no
[11] Davis S, King B, Raine JM. Spontaneous reporting – UK. In: Mann RD, Andrews
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
EB, editors. Pharmacovigilance. 2nd ed. England: John Wiley & Sons Ltd.; 2007.
association (results not shown).
 
 
 
 
 
 
 
 
 
 
 
 
 
 
p. 199–215.
 
In summary, this study shows no evidence of an increased
[12] Gallagher AM, Thomas JM, Hamilton WT, White PD. Incidence of fatigue symp-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
risk of chronic fatigue syndromes with Cervarix. While there are
toms and diagnoses presenting in UK primary care from 1990 to 2001. J R Soc
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Med 2004;97:571–5, http://dx.doi.org/10.1258/jrsm.97.12.571.
established limitations to epidemiological methods we can be reas-
 
 
 
 
 
 
 
 
 
 
[13] Hamilton WT, Gallagher AM, Thomas JM, White PD. The prognosis of differ-
sured by the consistent findings. This proactive strategy for signal
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ent fatigue diagnostic labels: a longitudinal survey. Fam Pract 2005;22:383–8,
 
 
 
 
 
 
 
 
 
detection has led to a large evidence base regarding its safety.
http://dx.doi.org/10.1093/fampra/cmi021.
 
 
 
 
 
 
 
 
 
 
In particular, this meant that when initial concerns were raised
[14] Petersen I, Thomas JM, Hamilton WT, White PD. Risk and predictors of
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
about the risk of fatigue syndromes, real-time pharmacovigilance
fatigue after infectious mononucleosis in a large primary-care cohort. QJM
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2006;99:49–55, http://dx.doi.org/10.1093/qjmed/hci149.
 
was able to provide reassurance that there was no evidence of an
 
 
 
 
 
 
 
 
 
 
 
[15] Hamilton WT, Gallagher AM, Thomas JM, White PD. Risk markers
 
 
 
 
 
 
 
 
 
 
association.
for both chronic fatigue and irritable bowel syndromes: a prospec-
 
 
 
 
 
 
 
 
 
tive case-control study in primary care. Psychol Med 2009;15:1–9,
 
 
 
 
 
 
 
 
http://dx.doi.org/10.1017/S0033291709005601.
[16] http://www.connectingforhealth.nhs.uk/systemsandservices/data/uktc/
 
References
readcodes. Accessed 12.07.13.
 
 
[17] Kulldorff M, Davis RL, Kolczak M, Lewis E, Lieu T, Platt R. A maximised sequential
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
[1] http://www.cancerresearchuk.org/cancerinfo/cancerstats/types/cervix/
probability ratio test for drug and vaccine safety surveillance. Sequential Anal
 
 
 
 
 
 
 
 
 
 
 
mortality/. Accessed 17.09.12.
2011;30:58–78, http://dx.doi.org/10.1080/07474946.2011.539924.
 
 
 

K. Donegan et al. / Vaccine 31 (2013) 4961–4967
4967
 
 
 
 
 
 
 
[18] Bryan P, Seabroke S, Davies C. H1N1 vaccine safety: real-time surveillance in
[22] Whitaker HJ, Farrington CP, Spiessens B, Musonda P. Tutorial in biostatis-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
the UK. Lancet 2010;376:417–8.
tics: the self-controlled case series method. Stat Med 2006;25:1768–97,
 
 
 
 
 
 
 
 
 
 
 
[19] Lieu T, Kulldorff M, Davis R, Lewis E, Weintraub ES, Yih K, et al., for the Vaccine
http://dx.doi.org/10.1002/sim.2302.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Safety Datalink Rapid Cycle Analysis Team. Real-time vaccine safety surveil-
[23] National
Institute
for
Health
and
Clinical
Excellence:
Chronic
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
lance for the early detection of adverse events. Med Care 2007;45:S89–95,
Fatigue
Syndrome/Myalgic
Encephalomyelitis:
NICE
Guideline.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
http://dx.doi.org/10.1097/MLR.0b013e3180616c0a.
http://www.nice.org.uk/nicemedia/pdf/CG53NICEGuideline.pdf.
Accessed
 
[20] Greene S, Kulldorf M, Lewis EM, Li R, Yin R, Weintraub ES, et al. Near
7.09.12.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
real-time surveillance for influenza vaccine safety: proof-of-concept in
[24] http://www.mhra.gov.uk/Safetyinformation/Howwemonitorthesafetyof
 
 
 
 
 
 
 
 
the vaccine safety datalink project. Am J Epidemiol 2010;171:177–88,
products/Medicines/BlackTriangleproducts/index.htm.
Accessed
26.06.
 
 
 
 
 
 
 
 
 
 
http://dx.doi.org/10.1093/aje/kwp345.
13.
[21] Yih WK, Kulldorff M, Fireman BH, Shui IM, Lewis EM, Klein NP,
[25] Farrington CP, Miller E, Taylor B. MMR and autism: further evi-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
et
al.
Active
surveillance
for
adverse
events:
the
experience
of
dence
against
a
causal
association.
Vaccine
2001;19:3632–5,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
the
vaccine
safety
datalink
project.
Pediatrics
2011;127:S54–64,
http://dx.doi.org/10.1016/S0264-410X(01)00097-4.
 
 
 
 
 
 
http://dx.doi.org/10.1542/peds.2010-1722I.

Document Outline