This is an HTML version of an attachment to the Freedom of Information request 'Summary Minutes for CHM meeting on 16th & 17th July 2015'.




BMJ 2013;347:f5906 doi: 10.1136/bmj.f5906 (Published 9 October 2013)
Page 1 of 11
Research
RESEARCH
Autoimmune, neurological, and venous
thromboembolic adverse events after immunisation of
adolescent girls with quadrivalent human
papillomavirus vaccine in Denmark and Sweden: cohort
study
OPEN ACCESS
Lisen Arnheim-Dahlström associate professor 1, Björn Pasternak postdoctoral fellow 2, Henrik
Svanström statistician 2, Pär Sparén professor 1, Anders Hviid senior investigator 2
1Department of Medical Epidemiology and Biostatistics, Karolinska Institutet, Stockholm 171 77, Sweden; 2Department of Epidemiology Research,
Statens Serum Institut, Copenhagen, Denmark
Abstract
criteria. Furthermore, the pattern of distribution in time after vaccination
Objective To assess the risk of serious adverse events after vaccination
was random for all three and the rate ratios for these outcomes in the
of adolescent girls with quadrivalent human papillomavirus (qHPV)
period from day 181 after vaccination were similar to the rate ratios in
vaccine.
the primary risk period. The rate ratios for five neurological events were
Design Register based cohort study.
not significantly increased and there were inverse associations with
epilepsy (rate ratio 0.66, 95% confidence interval 0.54 to 0.80) and
Setting Denmark and Sweden, October 2006 to December 2010.
paralysis (0.56, 0.35 to 0.90). There was no association between
Participants 997 585 girls aged 10-17, among whom 296 826 received
exposure to qHPV vaccine and venous thromboembolism (0.86, 0.55
a total of 696 420 qHPV vaccine doses.
to 1.36).
Main outcome measures Incident hospital diagnosed autoimmune,
Conclusions This large cohort study found no evidence supporting
neurological, and venous thromboembolic events (53 different outcomes)
associations between exposure to qHPV vaccine and autoimmune,
up to 180 days after each qHPV vaccine dose. Only events with at least
neurological, and venous thromboembolic adverse events. Although
five vaccine exposed cases were considered for further assessment.
associations for three autoimmune events were initially observed, on
Rate ratios adjusted for age, country, calendar year, and parental country
further assessment these were weak and not temporally related to
of birth, education, and socioeconomic status were estimated, comparing
vaccine exposure. Furthermore, the findings need to be interpreted
vaccinated and unvaccinated person time. For outcomes where the rate
considering the multiple outcomes assessed.
ratio was significantly increased, we regarded three criteria as signal
strengthening: analysis based on 20 or more vaccine exposed cases
Introduction
(reliability), rate ratio 3.0 or more (strength), and significantly increased
Since the regulatory approval of first the quadrivalent human
rate ratio in country specific analyses (consistency). We additionally
papillomavirus (qHPV) vaccine in 2006 and later the bivalent
assessed clustering of events in time and estimated rate ratios for a risk
HPV vaccine, as of 2011 about 120 million doses have been
period that started on day 181.
distributed worldwide.1 The introduction of a new vaccine
Results Among the 53 outcomes, at least five vaccine exposed cases
invariably puts focus not only on its effectiveness but also on
occurred in 29 and these were analysed further. Whereas the rate ratios
its safety. From experience we know that adverse events, with
for 20 of 23 autoimmune events were not significantly increased,
onset shortly after the receipt of a vaccine, especially if these
exposure to qHPV vaccine was significantly associated with Behcet’s
events are serious (for example, chronic immune mediated and
syndrome, Raynaud’s disease, and type 1 diabetes. Each of these three
neurological diseases), tend to be attributed to this exposure by
outcomes fulfilled only one of three predefined signal strengthening
pure temporal association.2 3 The likelihood of adverse events
Correspondence to: L Arnheim-Dahlström xxxxx.xxxxxxx.xxxxxxxxx@xx.xx
Extra material supplied by the author (see http://www.bmj.com/content/347/bmj.f5906?tab=related#webextra)
Supplementary tables 1 to 4
No commercial reuse: See rights and reprints http://www.bmj.com/permissions
Subscribe: http://www.bmj.com/subscribe

BMJ 2013;347:f5906 doi: 10.1136/bmj.f5906 (Published 9 October 2013)
Page 2 of 11
RESEARCH
occurring in temporal association with exposure to vaccine will
Sweden, between 1 October 2006 and 31 December 2010. Every
increase proportionally with vaccine coverage as a new vaccine
resident in both Denmark and Sweden has a unique personal
is introduced. Concern about vaccine related adverse events has
identification number enabling individual level linkage between
been identified as an important barrier to vaccination and one
multiple registers.18 To define the study cohort in Sweden, we
of the reasons for low HPV vaccine uptake in some settings.4 5
obtained information on birth date and date of death from the
Concerns about autoimmune and neurological conditions being
total population register and death register, respectively, from
triggered by HPV vaccination may be fueled further by findings
Statistics Sweden. To define the study cohort in Denmark, we
related to other vaccines, such as the reported association
used the Civil Registration System, which contains daily updated
between adjuvanted influenza A(H1N1)pdm09 vaccine and
information on vital and demographic variables, such as birth
narcolepsy in Sweden and Finland6 7 as well as a small but
date and place, and loss to follow-up due to emigration or
significantly increased risk of Guillain-Barré syndrome after
disappearance from the registers, and death.19
influenza A(H1N1)pdm09 vaccination, according to a recent
meta-analysis.8 Several potential mechanisms by which vaccines
Vaccination
could induce or stimulate autoimmunity have been suggested,
including molecular mimicry and bystander activation.2
The qHPV vaccine (Gardasil; Sanofi Pasteur MSD SNC, Lyon,
Consequently, to acquire the best possible evidence of safety,
France (in the United States: Merck, Whitehouse Station, NJ))
adverse events of newly introduced vaccines such as the HPV
was marketed in Europe on 20 September 2006. In Sweden, the
vaccines need to be monitored continuously.
qHPV vaccine has been subsidised for 13-17 year old adolescent
girls since May 2007 (inclusion of HPV vaccination in the
Most adverse events occurring after HPV vaccination of
national vaccination programme for 10-12 year old girls was
adolescent girls have been mild and temporary, such as fever,
initially planned for January 2010 but was postponed to January
headache, and injection site reactions.9 10 Pooled analyses of
2012 and then coupled with catch-up vaccination of 13-17 year
clinical trials have involved almost 12 000 participants exposed
old adolescent girls). In Denmark, the qHPV vaccine has been
to the qHPV vaccine11 and more than 16 000 participants
included in the national vaccination programme since January
exposed to the bivalent HPV vaccine.12 Although these studies
2009 for 12 year old girls, with catch-up vaccination of 13-15
did not identify an increased risk of chronic or autoimmune
year olds from October 2008.
diseases overall, they were not large enough to study individual
conditions. An analysis of 12 424 reports to the Vaccine Adverse
We obtained information on exposure to HPV vaccine in
Event Reporting System, among which 772 described serious
Denmark from the childhood vaccination database at Statens
events, identified disproportionate reporting of syncope and
Serum Institut.20 This database is continually updated from
venous thromboembolic events but not other events, such as
National Health Insurance data obtained from the National Board
autoimmune conditions.13 However, analysis of data reported
of Health. General practitioners in Denmark carry out all
to passive surveillance can only identify potential risk signals
immunisations in the childhood vaccination programme and are
and can neither estimate the risk relative to an unexposed
reimbursed for reporting each instance to the National Health
population nor exclude risks with certainty. Sequential analyses
Insurance. Reimbursement takes place only after the general
of Vaccine Safety Datalink observational data within seven
practitioner has submitted a form that details the vaccine, the
managed care organisations in the United States (600 558 qHPV
date it was administered, and the personal identification number
vaccine doses) found no increased risk of eight prespecified
of the recipient. Therefore the database is thought to be close
outcomes, although a non-significantly increased relative risk
to complete for vaccines administered through the national
of venous thromboembolism was observed.14 A cohort study of
programme. Because HPV vaccination was also available
189 629 women in two managed care organisations in California
outside the national programme in the study period, we retrieved
explored the risk of 16 autoimmune events and found a
additional vaccination data from the national prescription
significantly increased rate ratio for Hashimoto’s thyroiditis,
register, which contains individual level information on all
although further assessment revealed no temporal relation or
prescriptions filled at all Danish pharmacies. This includes the
biological plausibility to support a true association.15 In this
personal identification number of the recipient, the date the
same cohort, no new safety concerns emerged when the risk of
prescription was dispensed, and the Anatomic Therapeutic
visits to an emergency department or admissions to hospital
Chemical (ATC) code.21 The ATC code used to identify the
were evaluated for a wide range of health outcomes.16
qHPV vaccine was J07BM01. In Sweden, correspondingly, we
obtained information on vaccination status from Svevac and
Sweden and Denmark keep population based healthcare registers
the drug prescription register. Svevac is a national HPV
and thereby have unique opportunities to address the safety of
vaccination register, established in 2006 and held by the Swedish
HPV vaccination. In Denmark, we have previously described
Institute for Communicable Disease. Healthcare staff who
the incidence rates of anticipated immune mediated adverse
administer the vaccines report to Svevac on a voluntary basis,
events among adolescent girls in the period before the
and the register has an estimated completeness of about 80%.22
introduction of HPV vaccination.17 In the present study we
The drug prescription register contains all prescription drugs
identified potential safety signals after the introduction of qHPV
dispensed at pharmacies in Sweden since 1 July 2005.23
vaccination in Denmark and Sweden by comparing incidence
Adolescent girls aged between 13 and 17 years received
rates of several autoimmune, neurological, and venous
subsidised HPV vaccination and vaccination had to be prescribed
thromboembolic adverse events between adolescent girls
and expedited at a pharmacy, thereby generating a register entry
exposed and not exposed to the qHPV vaccine.
in the drug prescription register. The register is held by the
National Board of Health and Welfare. For adolescent girls aged
Methods
13-17 years it is assumed that almost 100% of administered
Study population
HPV vaccine doses are registered in the drug prescription
register.
This register based cohort study of serious adverse events
associated with the qHPV vaccine was based on individual level
data from all 10 to 17 year old adolescent girls in Denmark and
No commercial reuse: See rights and reprints http://www.bmj.com/permissions
Subscribe: http://www.bmj.com/subscribe

link to page 10 link to page 7 BMJ 2013;347:f5906 doi: 10.1136/bmj.f5906 (Published 9 October 2013)
Page 3 of 11
RESEARCH
Outcomes
vaccination, the median time between first symptoms and
We identified data on predefined adverse events from the
diagnosis was 23 days (interquartile range 2-59 days).15 26 For
national patient registers in both countries using ICD-10 codes
venous thromboembolism, the period at risk was 90 days after
(international classification of diseases, 10th revision). The
vaccination. This was regarded as the maximal period where
patient registers include nationwide individual level information
an acute event could be plausibly related to vaccination;
on dates of hospital contact and doctor assigned diagnoses
furthermore, the mean time between vaccination and diagnosis
according to the international classification of diseases.24 We
of thromboembolism among cases reported to the Vaccine
did not have information on outcomes from primary healthcare.
Adverse Event Reporting System was 42 days.13
The Danish patient register was established in 1977, has included
Because we acquired data on vaccine exposure from two sources
both inpatients and outpatients since 1994, and has been using
that were partly overlapping—that is, some of the girls had both
ICD-10 codes since 1995, whereas the Swedish patient register
filled prescriptions and were registered in one of the vaccination
has had nationwide coverage since 1987, has included both
databases—we applied an algorithm to harmonise the data and
inpatients and outpatients since 2001, and has used ICD-10
define dates of vaccination. Essentially this algorithm removed
codes since 1997.25 We predefined several serious adverse
double data entries and doses appearing beyond the three dose
outcome events, as identified from records of inpatient
schedule. Furthermore, on the basis of data from girls with both
admissions and hospital outpatient and emergency department
filled prescriptions and register entries in vaccination databases,
visits, based on our earlier study of autoimmune events,17 and
it was established that the median lag between the dispensing
we added several neurological events. We also included venous
of a prescription and the date of vaccination as registered in the
thromboembolism because it represents a potential adverse
vaccination databases was two days. Consequently, for vaccine
event.13 14 The included outcomes are all well defined diseases.
doses that were defined by prescriptions alone, the date of
In total, we assessed 53 outcomes (see supplementary table 1
exposure was defined as the date of filling the prescription plus
for all included outcome events, with ICD-10 codes).
two days.
As the recommended qHPV vaccine schedule includes three
Covariate information
doses given at 0, 2, and 6 months, any girl could contribute up
From Statistics Denmark and Statistics Sweden we obtained
to three doses in the analyses; we counted exposed person time
data on parental educational level, country of birth, and
from the date the vaccine was administered, and each dose
socioeconomic status. We identified the parents from the Danish
contributed up to 180 days (autoimmune and neurological
Civil Registration System and Swedish multigeneration register.
events) of follow-up or up to 90 days (venous
thromboembolism) of follow-up (fig 1⇓). We used SAS
Statistical analyses
statistical software version 9.3 (SAS Institute, Cary, NC).
Adolescent girls were followed from age 10 years or 1 October
Analytical strategy
2006, whichever came latest, and until either the occurrence of
an adverse event, receipt of bivalent HPV vaccine (Cervarix,
Given that a large number of serious adverse events were
GlaxoSmithKline Biologicals; Rixensart, Belgium; ATC code
assessed and consequently there was a high probability of chance
J07BM02), death, disappearance from the registers, emigration
findings, we used the following predefined criteria for the
(this information was only available for Denmark), 18th
analysis of data. As the first criterion, and in the interest of
birthday, or end of follow-up (31 December 2010). We
obtaining relatively reliable rate ratios, for any further
aggregated the resulting person years of follow-up with counts
assessment to take place we considered only outcomes with at
of outcome events according to qHPV vaccine exposure status
least five vaccine exposed cases during the predefined period
and analysed these using Poisson regression (log-linear
at risk. To be regarded as a safety signal, the rate ratio for an
regression of the counts using the logarithm of follow-up time
outcome with at least five vaccine exposed cases had to be
as offset). This produced incidence rate ratios according to
significantly increased (lower bound of 95% confidence interval
qHPV exposure status. Exposure to the qHPV vaccine was a
>1.0). We regarded three criteria as signal strengthening:
time varying variable; thus adolescent girls could contribute
analysis based on 20 or more vaccine exposed cases (reliability
person time to the study first as unvaccinated and later as
of analysis); a rate ratio of 3.0 or more (strength of association);
vaccinated, but once vaccinated the girls could not be put into
and significantly increased rate ratios in both countries when
the unvaccinated category again. All individual outcomes were
analysed separately (consistency). For outcomes where the rate
treated as separate analyses, and for each specific analysis girls
ratio was significantly increased, we additionally assessed
were eligible only if free from the outcome event before entry
clustering of events in time by plotting cases according to time
to the cohort. Estimates were adjusted for country, age in two
since exposure to the vaccine and estimated rate ratios for a risk
year categories, calendar year, parental educational level (highest
period that started on day 181.
attained level of either parent classified as: primary school (nine
years) or shorter; secondary school (12 years); short tertiary
Results
education; and medium or long tertiary education), parental
country of birth (categories: both parents, one parent, or no
Cohort
parent born in Scandinavia), and paternal socioeconomic status
The study cohort included 997 585 girls of whom 296 826
(categories: employment with basic, unknown, or no
(29.8%) received at least one dose of the qHPV vaccine (table
qualification; employment with medium level or high level
1⇓). Among the vaccinated girls, 238 608 (80.4% of vaccinated
qualifications; self employed; and not in labour market).
girls and 23.9% of total study cohort) received the second dose
For all autoimmune and neurological outcomes, we defined the
and 160 986 (54.2% of vaccinated girls and 16.1% of total study
period at risk as 180 days after exposure to vaccine. This period
cohort) received the third. Overall, 696 420 qHPV vaccine doses
was chosen to allow for the insidious onset of the diseases
were administered. During follow-up, 1322 girls received the
studied and because diagnostic investigations may take time;
bivalent HPV vaccine and hence were censored.
in a recent study of autoimmune outcomes after qHPV
No commercial reuse: See rights and reprints http://www.bmj.com/permissions
Subscribe: http://www.bmj.com/subscribe

link to page 8 link to page 10 link to page 9 link to page 11 BMJ 2013;347:f5906 doi: 10.1136/bmj.f5906 (Published 9 October 2013)
Page 4 of 11
RESEARCH
Outcome events
Among 40 predefined autoimmune outcomes, five or more
Of the 53 assessed outcomes, 29 fulfilled the criterion for further
vaccine exposed cases occurred in 23, and these were analysed
analysis (≥5 vaccine exposed cases within the predefined risk
further. Exposure to qHPV vaccine was not significantly
periods after vaccination) whereas 24 did not (see supplementary
associated with 20 of these autoimmune outcome events.
table 2). Table 2⇓ and figure 2⇓ show crude incidence rates and
However, the rate ratios were significantly increased for
adjusted rate ratios, respectively, according to exposure status
Behcet’s syndrome, Raynaud’s disease, and type 1 diabetes.
of the qHPV vaccine for the 29 analysed outcomes.
According to the predefined analytical strategy, we assessed
the strength of the observed safety signal for these outcome
Autoimmune events
events; for each of the three outcomes, only one of three
predefined signal strengthening criteria was met. Furthermore,
The rate ratios for 20 of the 23 analysed autoimmune outcomes
the rate ratios for the association between exposure to qHPV
were not significantly increased. Exposure to qHPV vaccine
vaccine and each of these three outcome events in the period
was significantly associated with Behcet’s syndrome (rate ratio
starting on day 181 after vaccination and beyond were similar
3.37, 95% confidence interval 1.05 to10.80), Raynaud’s disease
to the rate ratios in the primary period at risk (180 days).
(1.67, 1.14 to 2.44), and type 1 diabetes (1.29, 1.03 to 1.62).
Additionally, on visual inspection, the distribution of cases
exhibited a random pattern. The initially observed associations
Neurological events
thus need to be interpreted with several factors considered: the
The rate ratios were not significantly increased for any of the
overall number of outcomes included in the study and hence
five analysed neurological outcomes. For two of these outcomes,
the possibility of chance findings; the relative weakness of these
epilepsy and paralysis, the rate ratios were significantly
signals, as per our evaluation of predefined signal strengthening
decreased.
criteria; and the biological implausibility of events occurring
without a clear temporal pattern in relation to the exposure. On
Venous thromboembolism
this basis, although significantly increased rate ratios were
initially observed for three outcomes, it can be concluded that
The rate ratio for the association between exposure to qHPV
after further assessment no consistent evidence for a causal
vaccine and venous thromboembolism was 0.86 (0.55 to 1.36).
association was found.
Evaluation of safety signals
Relation to other studies
Each of the three autoimmune outcome events where the rate
These findings corroborate those from a cohort study of 189
ratios were significantly increased was assessed using the
629 women in two managed care organisations in California,
predefined signal strengthening criteria. For each of these three
which found no safety signal when investigating the risk of 16
outcomes, one of the three signal strengthening criteria was
autoimmune events.15 That study did find an inverse association
fulfilled (table 3⇓). For Raynaud’s disease and type 1 diabetes,
between exposure to qHPV vaccine and type 1 diabetes (rate
the fulfilled criterion was that the analysis was based on 20 or
ratio 0.57, 95% confidence interval 0.47 to 0.73), lending further
more vaccine exposed cases. For Behcet’s syndrome, the
support to the conclusion that the initial signal for type 1
criterion was that the rate ratio was 3.0 or above.
diabetes observed in our study might be a false positive.
Subsequently, for each of the three outcome events with a
Of the 12 neurological outcomes assessed in our study, five
significantly increased rate ratio within 180 days after qHPV
fulfilled the criterion for further analyses. The rate ratio was not
vaccination, we estimated rate ratios for a later period. Starting
significantly increased for any of these five outcomes, and both
from day 181 after vaccination and onwards, the rate ratios were
epilepsy and paralysis were inversely associated with exposure
3.18 (95% confidence interval 0.83 to 12.19) for Behcet’s
to qHPV vaccine. Not at least given that the Vaccine Safety
syndrome, 1.50 (0.95 to 2.37) for Raynaud’s disease, and 1.18
Datalink study of qHPV vaccine related adverse events reported
(0.91 to 1.55) for type 1 diabetes (see supplementary table 3).
a relative risk of 1.02 for seizures,14 the observed inverse
Visual inspection of the temporal distribution of cases revealed
association for this outcome in our study is most likely due to
no distinct pattern in time for Raynaud’s disease and type 1
chance. This underlines the need to interpret the findings from
diabetes (fig 3). For Behcet’s syndrome, this analysis was
our study taking into account the large number of comparisons
inconclusive owing to the low number of cases.
made and the need for ongoing monitoring in independent
populations.
Sensitivity analysis
Analysis of data reported to the Vaccine Adverse Event
Because of the possible delay between disease onset and
Reporting System revealed disproportionate reporting of venous
diagnosis, the selected risk period of 180 days might not have
thromboembolism.13 A study by the Vaccine Safety Datalink,
captured narcolepsy events adequately. Therefore we did a
which involved eight outcomes, identified a non-significantly
sensitivity analysis with the risk period starting from day 181;
increased relative risk (1.98) of venous thromboembolism;
the rate ratio was 0.64 (95% confidence interval 0.26 to 1.57;
medical record review could confirm five of the eight cases
see supplementary table 4).
identified from databases using international classification of
diseases codes, and all five had known risk factors for venous
Discussion
thromboembolism.14 In our analysis, based on 21 vaccine
exposed cases, there was no significant association with venous
This population based study included all adolescent girls aged
thromboembolism within 90 days after exposure to qHPV
between 10 and 17 years in Denmark and Sweden who received
vaccine. These results are corroborated by a study in two
quadrivalent human papillomavirus (qHPV) vaccine in the first
managed care organisations in California that did not find
four years after its licensure. Overall, the findings of this study,
evidence of an association between qHPV vaccination and
which were based on nearly one million girls and 700 000
venous thromboembolism when assessing all events in
vaccine doses, were reassuring for autoimmune, neurological,
emergency department and admissions to hospital using
and venous thromboembolic events after qHPV vaccination.
international classification of diseases codes.16
No commercial reuse: See rights and reprints http://www.bmj.com/permissions
Subscribe: http://www.bmj.com/subscribe

BMJ 2013;347:f5906 doi: 10.1136/bmj.f5906 (Published 9 October 2013)
Page 5 of 11
RESEARCH
Strengths and weaknesses of this study
provides an opportunity to evaluate symptoms that may not
Our study has strengths and limitations. We analysed nationwide
have been evaluated otherwise and, hence, that those vaccinated
data from Denmark and Sweden, which permitted a large sample
may be more likely to have certain disorders diagnosed; this
size; this was advantageous because many of the outcomes
would bias results towards increased risk attributed to
studied are rare and therefore not possible to study in a clinical
vaccination. This phenomenon is unlikely for diseases with
trial. Furthermore, the use of individually linked data allowed
relatively prominent and well recognised symptoms, such as
the identification of truly incident cases. Additionally, the
type 1 diabetes, but is plausible for diseases that may present
inclusion of entire populations in the cohort allowed the rates
with obscure symptoms or that initially may be interpreted by
among those exposed to vaccine to be compared directly with
the patient as normal variation, such as Raynaud’s disease.
the true national background rates.27 Although Denmark and
Although the results from this study are possibly generalisable
Sweden are alike in many respects, including having similar
to comparable populations that are of similar age, they cannot
healthcare systems and universal access to healthcare,
be directly extrapolated to adults. Furthermore, the results should
differences in diagnostic coding practices might have influenced
not be inferred to the bivalent HPV vaccine, because the
the ascertainment of cases. This is, however, unlikely for
constituents of the vaccine differ.
relatively well defined diseases. Our case definition was based
on hospital diagnoses, which likely captured the majority of
Conclusion
cases because most adolescent girls with the severe conditions
This cohort study of about one million adolescent girls aged 10
studied are under specialised paediatric care (this type of care
to 17 years utilised routine healthcare data from two
is only available from hospitals in Denmark and Sweden), at
Scandinavian countries to identify potential serious adverse
the very least during the diagnostic phase.
events during the first four years after the qHPV vaccine was
Dates of onset of symptoms or disease were not available for
marketed. While the study expands on the current safety
this study, which instead relied on dates of diagnoses to define
information of the qHPV vaccine by systematically assessing
the index dates of outcome events. It is therefore possible that
a range of serious adverse outcomes, the results need to be
a proportion of events attributed to vaccine exposure in the
interpreted cautiously considering the large number of statistical
analyses had symptom onset before the vaccine was
tests performed; as well as the chance of false positive findings,
administered, and similarly, that a proportion of events had
true associations may have been missed. Although significantly
symptom onset within the risk period but were diagnosed later
increased rate ratios were initially observed for three outcomes,
on and were thus not attributed to vaccine exposure in the
further assessment showed no consistent evidence for a plausible
analyses. To accommodate the time delay between first symptom
association; firstly, these risk signals were relatively weak, as
and diagnosis we used a 180 day risk period for autoimmune
assessed by prespecified criteria, and, secondly, no temporal
and neurological outcomes, which is longer than in some studies
relation between vaccine exposure and outcome was evident.
(for example, studies of Guillain-Barré syndrome after
Thus, this study identified no safety signals with respect to
vaccination typically have a risk window of 42 days), but
autoimmune, neurological, and venous thromboembolic events
consistent with other studies of autoimmune disease after HPV
after the qHPV vaccine had been administered. Nevertheless,
vaccination.15 However, it may have been too short to capture
these findings need to be confirmed in studies with longer
diseases with a more insidious onset. Because the latter may be
follow-up time, validation of outcomes, and data on time of
the case for narcolepsy, we conducted a sensitivity analysis with
onset of disease. Further monitoring of HPV vaccine safety is
a risk window starting on day 181 after vaccination; no
warranted in other populations when use and coverage has
significant association was observed with narcolepsy.
increased.
The vaccine coverage was 49% in Denmark and 18% in Sweden.
This difference between the countries may reflect the fact that
We thank Jonas Hällgren for data administration, Karin Sundström for
during the study period the qHPV vaccine had been introduced
valuable discussion on the findings in this study, and the Swedish
in the national childhood vaccination programme in Denmark
Institute for Communicable Diseases for contributing with HPV
but not in Sweden. The statistical models included adjustment
vaccination data from the Svevac register.
for age, country, calendar year, and parental educational level,
Contributors: BP, HS, and AH created the database and performed the
country of birth, and socioeconomic status. However, we could
statistical analyses. LAD and BP drafted the manuscript. All authors
not obtain information on other potential risk factors such as
actively participated in study design, interpretation and discussion of
smoking as this information is not recorded in any nationwide
the results, revision of the manuscript, and approval of the final version
register. This may represent a source of residual confounding.
of the manuscript. AH is the guarantor.
In particular, given an overall 30% vaccine coverage, adolescent
Funding: This study was supported by a grant from the Swedish
girls who did receive the vaccine may be selected individuals
Foundation for Strategic Research and the Danish Medical Research
and could be at differential risk of certain outcomes or be more
Council. The funding bodies had no role in the study design; the
or less likely to consult healthcare for health problems. Self
collection, analysis, and interpretation of the data; the writing of the
controlled case series analysis28 could have tackled some of the
article; and the decision to submit it for publication. All authors are
potential problems from confounding. However, as the aim of
independent from the funding agencies.
this study was signal detection and strengthening and the method
Competing interests: All authors have completed the ICMJE uniform
chosen is computationally efficient for analysing a large number
disclosure form at www.icmje.org/coi_disclosure.pdf (available on
of outcomes, the self controlled case series method is data
request from the corresponding author) and declare: no support from
intensive and would be cumbersome when studying a large
any organisation for the submitted work; LAD and PS are and have
number of outcomes. Furthermore, the self controlled case series
been involved in other studies with unconditional grants from
becomes problematic when onset of disease is not known to
GlaxoSmithKline, Sanofi Pasteur MSD, and Merck; and no other
any great extent (which is the case, for example, for narcolepsy,
relationships or activities that could appear to have influenced the
which normally has a long incubation period).
submitted work.
An unmasking phenomenon has been described in vaccine safety
research.26 This refers to the fact that the vaccination visit
No commercial reuse: See rights and reprints http://www.bmj.com/permissions
Subscribe: http://www.bmj.com/subscribe

BMJ 2013;347:f5906 doi: 10.1136/bmj.f5906 (Published 9 October 2013)
Page 6 of 11
RESEARCH
What is already known on this topic
Vaccines against human papillomavirus (HPV) have been available since 2006
Clinical trials and post-licensure studies from the United States have not identified any increase in the risk of serious adverse events
after vaccination
What this study adds
This European cohort study found no evidence supporting associations between exposure to qHPV vaccine and autoimmune, neurological,
and venous thromboembolic adverse events in almost one million adolescent girls
Ethical approval: This study was approved by the regional ethical review
13 Slade BA, Leidel L, Vellozzi C, Woo EJ, Hua W, Sutherland A, et al. Postlicensure safety
committee in Stockholm, Sweden, and by the Danish Data Protection
surveillance for quadrivalent human papillomavirus recombinant vaccine. JAMA
2009;302:750-7.
Agency. Ethical approval is not required for register based research in
14 Gee J, Naleway A, Shui I, Baggs J, Yin R, Li R, et al. Monitoring the safety of quadrivalent
Denmark.
human papillomavirus vaccine: findings from the Vaccine Safety Datalink. Vaccine
2011;29:8279-84.
Declaration of transparency: The lead author affirms that this manuscript
15 Chao C, Klein NP, Velicer CM, Sy LS, Slezak JM, Takhar H, et al. Surveillance of
is an honest, accurate, and transparent account of the study being
autoimmune conditions following routine use of quadrivalent human papillomavirus vaccine.
J Intern Med 2012;271:193-203.
reported; that no important aspects of the study have been omitted; and
16 Klein NP, Hansen J, Chao C, Velicer C, Emery M, Slezak J, et al. Safety of quadrivalent
that any discrepancies from the study as planned (and, if relevant,
human papillomavirus vaccine administered routinely to females. Arch Pediatr Adolesc
Med 2012:166:1140-8.
registered) have been explained.
17 Callreus T, Svanstrom H, Nielsen NM, Poulsen S, Valentiner-Branth P, Hviid A. Human
Data sharing: No additional data available.
papillomavirus immunisation of adolescent girls and anticipated reporting of
immune-mediated adverse events. Vaccine 2009;27:2954-8.
18 Ludvigsson JF, Otterblad-Olausson P, Pettersson BU, Ekbom A. The Swedish personal
1
Medical Products Agency. Vaccination against human papillomavirus (HPV) vaccine
identity number: possibilities and pitfalls in healthcare and medical research. Eur J
Gardasil and Cervarix. 2012. [In Swedish.] www.lakemedelsverket.se/OVRIGA-SIDOR/
Epidemiol 2009;24:659-67.
HPV-vaccinering/.
19 Pedersen CB, Gotzsche H, Moller JO, Mortensen PB. The Danish Civil Registration
2
Wraith DC, Goldman M, Lambert PH. Vaccination and autoimmune disease: what is the
System. A cohort of eight million persons. Dan Med Bull 2006;53:441-9.
evidence? Lancet 2003;362:1659-66.
20 Hviid A. Postlicensure epidemiology of childhood vaccination: the Danish experience.
3
Siegrist CA. Autoimmune diseases after adolescent or adult immunization: what should
Expert Rev Vaccines 2006;5:641-9.
we expect? CMAJ 2007;177:1352-4.
21 Kildemoes HW, Sorensen HT, Hallas J. The Danish National Prescription Registry. Scand
4
Trim K, Nagji N, Elit L, Roy K. Parental knowledge, attitudes, and behaviours towards
J Public Health 2011;39:38-41.
human papillomavirus vaccination for their children: a systematic review from 2001 to
22 Leval A, Herweijer E, Ploner A, Eloranta S, Fridman Simard S, Dillner J,et al. Quadrivalent
2011. Obstet Gynecol Int 2012;2012:921236.
HPV-vaccine effectiveness on genital warts: a population-based study in over 2.2 million
5
Laz TH, Rahman M, Berenson AB. An update on human papillomavirus vaccine uptake
women including dose evaluation. J Natl Cancer Inst 2013 (in press).
among 11-17 year old girls in the United States: national health interview survey, 2010.
23 Wettermark B, Hammar N, Fored CM, Leimanis A, Otterblad Olausson P, Bergman U, et
Vaccine 2012;30:3534-40.
al. The new Swedish Prescribed Drug Register—opportunities for pharmacoepidemiological
6
Nohynek H, Jokinen J, Partinen M, Vaarala O, Kirjavainen T, Sundman J, et al. AS03
research and experience from the first six months. Pharmacoepidemiol Drug Safety
adjuvanted AH1N1 vaccine associated with an abrupt increase in the incidence of childhood
2007;16:726-35.
narcolepsy in Finland. PLoS One 2012;7:e33536.
24 Lynge E, Sandegaard JL, Rebolj M. The Danish National Patient Register. Scand J Public
7
Medical Products Agency. Occurrence of narcolepsy with cataplexy among children and
Health 2011;39:30-3.
adolescents in relation to the H1N1 pandemic and Pandemrix vaccinations. Secondary
25 Ludvigsson JF, Andersson E, Ekbom A, Feychting M, Kim JL, Reuterwall C, et al. External
occurrence of narcolepsy with cataplexy among children and adolescents in relation to
review and validation of the Swedish national inpatient register. BMC Public Health
the H1N1 pandemic and Pandemrix vaccinations 2011. www.lakemedelsverket.se/upload/
2011;11:450.
nyheter/2011/Fallinventeringsrapport_pandermrix_110630.pdf.
26 Chao C, Jacobsen SJ. Evaluation of autoimmune safety signal in observational vaccine
8
Salmon DA, Proschan M, Forshee R, Gargiullo P, Bleser W, Burwen DR, et al. Association
safety studies. Hum Vaccin Immunother 2012;8:1302-4.
between Guillain-Barre syndrome and influenza A (H1N1) 2009 monovalent inactivated
27 Rasmussen TA, Jorgensen MR, Bjerrum S, Jensen-Fangel S, Stovring H, Ostergaard L,
vaccines in the USA: a meta-analysis. Lancet 2013;381:1461-8.
et al. Use of population based background rates of disease to assess vaccine safety in
9
Lu B, Kumar A, Castellsague X, Giuliano AR. Efficacy and safety of prophylactic vaccines
childhood and mass immunisation in Denmark: nationwide population based cohort study.
against cervical HPV infection and diseases among women: a systematic review and
BMJ 2012;345:e5823.
meta-analysis. BMC Infect Dis 2011;11:13.
28 Farrington CP, Nash J, Miller E. Case series analysis of adverse reactions to vaccines:
10 Van Klooster TM, Kemmeren JM, van der Maas NA, de Melker HE. Reported adverse
a comparative evaluation. Am J Epidemiol 1996;143:1165-73.
events in girls aged 13-16 years after vaccination with the human papillomavirus
Accepted: 28 August 2013
(HPV)-16/18 vaccine in the Netherlands. Vaccine 2011;29:4601-7.
11 Block SL, Brown DR, Chatterjee A, Gold MA, Sings HL, Meibohm A, et al. Clinical trial
and post-licensure safety profile of a prophylactic human papillomavirus (types 6, 11, 16,
Cite this as: BMJ 2013;347:f5906
and 18) l1 virus-like particle vaccine. Pediatr Infect Disease J 2010;29:95-101.
12 Descamps D, Hardt K, Spiessens B, Izurieta P, Verstraeten T, Breuer T, et al. Safety of
This is an Open Access article distributed in accordance with the Creative Commons
human papillomavirus (HPV)-16/18 AS04-adjuvanted vaccine for cervical cancer
Attribution Non Commercial (CC BY-NC 3.0) license, which permits others to distribute,
prevention: a pooled analysis of 11 clinical trials. Hum Vaccin 2009;5:332-40.
remix, adapt, build upon this work non-commercially, and license their derivative works
on different terms, provided the original work is properly cited and the use is
non-commercial. See: http://creativecommons.org/licenses/by-nc/3.0/.
No commercial reuse: See rights and reprints http://www.bmj.com/permissions
Subscribe: http://www.bmj.com/subscribe

BMJ 2013;347:f5906 doi: 10.1136/bmj.f5906 (Published 9 October 2013)
Page 7 of 11
RESEARCH
Tables
Table 1| Descriptive characteristics of adolescent girls aged 10-17 years included in cohort, Denmark and Sweden, October 2006-December
2010. Values are numbers (percentages) unless stated otherwise

Characteristics
Overall (n=997 585) Denmark (n=387 294) Sweden (n=610 291)
Person years of follow-up
2 797 701
1 090 515
1 707 186
Mean (SD) age at study entry (years)
12.8 (2.7)
12.5 (2.6)
12.9 (2.7)
Year of study entry:
2006
700 156 (70.2)
260 849 (67.4)
439 307 (72.0)
2007
74 809 (7.5)
32 044 (8.3)
42 765 (7.0)
2008
73 653 (7.4)
31 307 (8.1)
42 346 (6.9)
2009
73 909 (7.4)
31 439 (8.1)
42 470 (7.0)
2010
75 058 (7.5)
31 655 (8.2)
43 403 (7.1)
Exposed to quadrivalent human papillomavirus vaccine
Mean (SD) age at vaccination (years)
14.6 (1.7)
14.0 (1.6)
15.7 (1.4)
Total vaccine doses, No (% of total No in cohort):
696 420
409 724
286 696
Dose 1
296 826 (29.8)
188 053 (48.6)
108 773 (17.8)
Dose 2
238 608 (23.9)
139 861 (36.1)
98 747 (16.2)
Dose 3
160 986 (16.1)
81 810 (21.1)
79 176 (13.0)
Year of first vaccine dose, No (% of vaccinated):
2006
426 (0.1)
248 (0.1)
178 (0.2)
2007
22 943 (7.7)
6280 (3.3)
16 663 (15.3)
2008
41 799 (14.1)
12 314 (6.5)
29 485 (27.1)
2009
170 830 (57.6)
133 571 (71.0)
37 259 (34.3)
2010
60 828 (20.5)
35 640 (19.0)
25 188 (23.2)
Data from vaccination registers
572 696 (82.2)
351 804 (85.9)
220 892 (77.0)
Data from prescription registers
123 724 (17.8)
57 920 (14.1)
65 804 (23.0)
Because of rounding, percentages may not total 100.
No commercial reuse: See rights and reprints http://www.bmj.com/permissions
Subscribe: http://www.bmj.com/subscribe

BMJ 2013;347:f5906 doi: 10.1136/bmj.f5906 (Published 9 October 2013)
Page 8 of 11
RESEARCH
Table 2| Rates of adverse events according to quadrivalent human papillomavirus (qHPV) vaccination status, cohort of adolescent girls
aged 10-17 years in Denmark and Sweden, October 2006-December 2010

Unvaccinated
Within 180 days after qHPV vaccine exposure
Adverse events
Person years No of events Incidence rate* (95% CI)
Person years No of events Incidence rate* (95% CI)
Autoimmune
Thyroid:
Graves’ disease
2 373 554
237
9.99 (8.79 to 11.34)
229 914
27
11.74 (8.05 to 17.12)
Hashimoto’s thyroiditis
2 371 866
560
23.61 (21.73 to 25.65)
229 751
50
21.76 (16.49 to 28.71)
Other hyperthyroidism
2 373 629
250
10.53 (9.30 to 11.92)
229 946
23
10.00 (6.65 to 15.05)
Hypothyroidism
2 368 919
1018
42.97 (40.41 to 45.70)
229 563
79
34.41 (27.60 to 42.90)
Gastrointestinal:
Coeliac disease
2 358 918
1413
59.90 (56.86 to 63.11)
228 820
107
46.76 (38.69 to 56.52)
Crohn’s disease
2 372 337
539
22.72 (20.88 to 24.72)
229 825
47
20.45 (15.37 to 27.22)
Ulcerative colitis
2 373 288
350
14.75 (13.28 to 16.38)
229 889
35
15.22 (10.93 to 21.20)
Pancreatitis
2 374 129
103
4.34 (3.58 to 5.26)
230 004
10
4.35 (2.34 to 8.08)
Muscoloskeletal or systemic:
Ankylosing spondylitis
2 374 065
93
3.92 (3.20 to 4.80)
230 001
8
3.48 (1.74 to 6.96)
Behcet’s syndrome
2 374 464
13
0.55 (0.32 to 0.94)
230 025
5
2.17 (0.90 to 5.22)
Henoch-Schönlein’s purpura
2 369 280
203
8.57 (7.47 to 9.83)
229 365
17
7.41 (4.61 to 11.92)
Juvenile arthritis
2 366 484
861
36.38 (34.03 to 38.90)
229 202
86
37.52 (30.37 to 46.35)
Myositis
2 373 974
84
3.54 (2.86 to 4.38)
229 988
8
3.48 (1.74 to 6.96)
Rheumatoid arthritis
2 373 763
216
9.10 (7.96 to 10.40)
229 943
27
11.74 (8.05 to 17.12)
Systemic lupus erythematosus
2 374 231
74
3.12 (2.48 to 3.91)
230 005
11
4.78 (2.65 to 8.64)
Vasculitis, unspecified
2 373 826
89
3.75 (3.05 to 4.61)
229 959
14
6.09 (3.61 to 10.28)
Haematological:
Idiopathic thrombocytopenic
2 373 040
107
4.51 (3.73 to 5.45)
229 896
14
6.09 (3.61 to 10.28)
purpura
Dermatological:
Erythema nodosum
2 373 608
163
6.87 (5.89 to 8.01)
229 935
19
8.26 (5.27 to 12.95)
Localised scleroderma
2 374 016
88
3.71 (3.01 to 4.57)
229 976
6
2.61 (1.17 to 5.81)
Psoriasis
2 368 423
1091
46.06 (43.41 to 48.88)
229 540
80
34.85 (27.99 to 43.39)
Vitiligo
2 372 765
310
13.06 (11.69 to 14.60)
229 886
24
10.44 (7.00 to 15.58)
Miscellaneous
Raynaud’s disease
2 373 798
218
9.18 (8.04 to 10.49)
229 939
37
16.09 (11.66 to 22.21)
Type 1 diabetes
2 363 153
975
41.26 (38.75 to 43.93)
228 965
99
43.24 (35.51 to 52.65)
Neurological
Bell’s palsy
2 370 195
480
20.25 (18.52 to 22.15)
229 675
41
17.85 (13.14 to 24.24)
Epilepsy
2 351 894
1701
72.32 (68.97 to 75.84)
227 897
116
50.90 (42.43 to 61.06)
Narcolepsy
2 374 402
43
1.81 (1.34 to 2.44)
230 018
6
2.61 (1.17 to 5.81)
Optical neuritis
2 374 273
61
2.57 (2.00 to 3.30)
230 013
6
2.61 (1.17 to 5.81)
Paralysis
2 367 206
302
12.76 (11.40 to 14.28)
229 574
20
8.71 (5.62 to 13.50)
Venous thromboembolism†
2 373 786
297
12.51 (11.17 to 14.02)
149 817
21
14.02 (9.14 to 21.50)
Table shows outcomes with five or more vaccine exposed cases.
*Events per 100 000 person years.
†Risk window for venous thromboembolism was within 90 days after vaccine exposure.
No commercial reuse: See rights and reprints http://www.bmj.com/permissions
Subscribe: http://www.bmj.com/subscribe

BMJ 2013;347:f5906 doi: 10.1136/bmj.f5906 (Published 9 October 2013)
Page 9 of 11
RESEARCH
Table 3| Evaluation of signal strengthening criteria among outcomes where rate ratios were significantly increased
Criterion
Behcet’s syndrome
Raynaud’s disease
Type 1 diabetes
Analysis based on 20 or more vaccine
No (n=5)
Yes (n=37)
Yes (n=99)
exposed cases
Rate ratio ≥3.0
Yes (3.37)
No (1.67)
No (1.29)
Significantly increased rate ratios in
No (3.38*, 95% CI 0.83 to 13.84 for
No (1.86*, 95% CI 1.19 to 2.89 for
No (1.47*, 95% CI 1.08 to 2.01 for
both countries when analysed
Sweden (3 exposed cases); 4.63†, 95% Sweden (25 exposed cases); 1.46*, 95% Sweden (47 exposed cases); 1.09*, 95%
separately
CI 0.64 to 33.66 for Denmark (2 exposed CI 0.64 to 3.33 for Denmark (12 exposed CI 0.76 to 1.57 for Denmark (52 exposed
cases))
cases))
cases))
*Adjusted for age in two year intervals, calendar year, and parental country of birth, parental education, and paternal socioeconomic status.
†Adjusted for age in two year intervals (model with full adjustment did not converge).
No commercial reuse: See rights and reprints http://www.bmj.com/permissions
Subscribe: http://www.bmj.com/subscribe



BMJ 2013;347:f5906 doi: 10.1136/bmj.f5906 (Published 9 October 2013)
Page 10 of 11
RESEARCH
Figures
Fig 1 Periods at risk for autoimmune and neurological events in adolescent girls after exposure to quadrivalent human
papillomavirus (qHPV) vaccine. For venous thromboembolism, each period at risk was up to 90 days
Fig 2 Association between exposure to quadrivalent human papillomavirus (qHPV) vaccine and adverse events in adolescent
girls in Denmark and Sweden, October 2006-December 2010. Rate ratios are adjusted for country, age in two year intervals,
calendar year, and parental country of birth, parental education, and paternal socioeconomic status
No commercial reuse: See rights and reprints http://www.bmj.com/permissions
Subscribe: http://www.bmj.com/subscribe


BMJ 2013;347:f5906 doi: 10.1136/bmj.f5906 (Published 9 October 2013)
Page 11 of 11
RESEARCH
Fig 3 Distribution of cases according to days since first dose of quadrivalent human papillomavirus (qHPV) vaccine. For
type 1 diabetes case 1, vaccine doses 2 and 3 and event are not displayed (dose 2 was administered on day 425, dose 3
on day 609, and the event was on day 570). For type 1 diabetes case 2, event is not displayed (event was on day 460).
For type 1 diabetes case 82, vaccine dose 3 is not displayed (dose was administered on day 455)
No commercial reuse: See rights and reprints http://www.bmj.com/permissions
Subscribe: http://www.bmj.com/subscribe