Ошибки систематического обзора

  • Protocol
  • Open Access
  • Published: 04 June 2022

Systematic Reviews

volume 11, Article number: 114 (2022)
Cite this article

  • 1493 Accesses

  • 3 Altmetric

  • Metrics details

Abstract

Background

Adequately conducted systematic reviews with meta-analyses are considered the highest level of evidence and thus directly defines many clinical guidelines. However, the risks of type I and II errors in meta-analyses are substantial. Trial Sequential Analysis is a method for controlling these risks. Erroneous use of the method might lead to research waste or misleading conclusions.

Methods

The current protocol describes a systematic review aimed to identify common and major mistakes and errors in the use of Trial Sequential Analysis by evaluating published systematic reviews and meta-analyses that include this method. We plan to include all studies using Trial Sequential Analysis published from January 2018 to January 2022, an estimated 400 to 600 publications. We will search Medical Literature Analysis and Retrieval System Online and the Cochrane Database of Systematic Reviews, including studies with all types of participants, interventions, and outcomes. Two independent reviewers will screen titles and abstracts, include relevant full text articles, extract data from the studies into a predefined checklist, and evaluate the methodological quality of the study using the AMSTAR 2, assessing the methodological quality of the systematic reviews.

Discussion

This protocol follows the Preferred Reporting Items for Systematic Reviews and Meta-Analysis Protocols (PRISMA-P). The identified mistakes and errors will be published in peer reviewed articles and form the basis of a reviewed guideline for the use of Trial Sequential Analysis. Appropriately controlling for type I and II errors might reduce research waste and improve quality and precision of the evidence that clinical guidelines are based upon.

Peer Review reports

Introduction

Adequately conducted systematic reviews with meta-analyses are considered the highest level of evidence within evidence-based clinical practice [1,2,3]. Despite their place at the top of the hierarchical research pyramid, conventional meta-analyses are still at risks of type I errors (alpha) due to results reaching significance by chance and type II errors (beta) due to results not reaching significance even when an effect exists [1, 4, 5]. The risk of these errors is generally accepted at consensus-based levels (typically 5% for type I and 10% or 20% for type II errors), but may increase beyond those levels due to publication bias, biased trial designs, data heterogeneity, and poorly conducted or inadequately powered meta-analyses with multiple significance testing [1, 4, 5]. The investigated effect of a meta-analysis can reach significance even though the effect might be so small that it is not clinically relevant [6].

Several tools exist for controlling type I and type II errors as described by the Cochrane Handbook [2]. However, little emphasis has been put on mitigating the purely random causes of type I and II errors [7]. As an example, correction for multiplicity issues due to use of several outcomes has historically been under prioritised and underpowered reviews are very common [5, 8,9,10]. Moreover, there is an increased risk of an exaggerated intervention benefit in small trials due to reporting bias or methodological flaws [11]. In a meta-analytic setting, heterogeneity needs to be adequately examined and considered when designing the Trial Sequential Analysis [5, 11,12,13].

Trial Sequential Analysis can be used to estimate the diversity-adjusted required information size (DARIS or the ‘meta-analytic sample size’) in random-effects meta-analysis [14]. Trial Sequential Analysis may establish when firm evidence is reached for an effect of an intervention [12,13,14,15]. Furthermore, Trial Sequential Analysis can establish futility boundaries and thus indicate when conclusion of no effect can be drawn well before reaching the DARIS [12,13,14,15]. If adequate power is not reached by the meta-analysis, DARIS may guide the scaling of future trials [13].

Trial Sequential Analysis can be used to assess imprecision with Grading of Recommendations Assessment, Development and Evaluation (GRADE) [16]. By calculating the DARIS, and compare that with the accrued information, the reviewers can determine if and how to downgrade GRADE for imprecision (see below) [17, 18]. Also, the analysis can supply the reviewers with a trial sequential analysis-adjusted confidence interval to demonstrate a realistic confidence interval [15].

To date, numerous systematic reviews and meta-analyses have used Trial Sequential Analysis since it was first presented at the beginning of this millennium [19]. As with all methods, the Trial Sequential Analysis can be misused and misinterpreted. A rigorous process starting when writing the protocol through to the reporting phase of the results in the review is necessary. Predefined parameters such as alpha level, beta level (and power), relative risk reduction, minimally relevant clinical difference, and heterogeneity can to a large extent affect the results of the analysis and should therefore be enclosed in pre-published or registered protocols prior to searching for literature for the systematic review. Failure to do so might ultimately alter the conclusion of the meta-analysis and thereby directly misguide clinical practice [5, 15, 20].

Objective

In this review, we aim to systematically evaluate the use of Trial Sequential Analysis in published systematic reviews and meta-analyses. Specifically, we seek to evaluate how the authors prepared and conducted their Trial Sequential Analysis, and interpreted their results in the assessment of imprecision in the obtained meta-analytic results. We want to identify the most common major mistakes and errors in order to publish these in peer reviewed journals and update recommendations for a more proper use of the Trial Sequential Analysis programme in future systematic reviews [21]. The Trial Sequential Analysis programme is freely accessible from www.ctu.dk/tsa in a java-format and compatible with RevMan 5.0 [15, 20, 22].

Methods

Criteria for considering studies for this quality assessment study

As this is a methodological review examining the use of Trial Sequential Analysis in systematic reviews or in meta-analyses, there are only a few criteria for considering eligible reviews. This protocol adheres to the reporting guidelines PRISMA-P (Supplemental material) [23].

Types of studies

This review will include peer reviewed publications of systematic reviews with meta-analyses or of meta-analysis of randomised clinical trials that have included a Trial Sequential Analysis and analysed at least two randomised clinical trials. A meta-analysis is a statistical approach for combining data, while a systematic review is a detailed, organised, and transparent method of gathering, appraising and synthesising data to answer a well-defined question [2]. The included studies must at least include two randomised clinical trials in at least one meta-analysis and Trial Sequential Analysis. Only studies published from January 2018 to January 2022 will be included. For practical reasons, only articles in English will be included in the study. We expect that we will identify 400 to 600 relevant publications.

Types of participants

We accept all participants of any race, sex, or age with any disease or condition for this review.

Types of interventions

We accept all types of intervention for this review.

Types of outcomes

All dichotomous or continuous outcomes are accepted for this review if they are analysed using both meta-analysis and Trial Sequential Analysis.

Search strategy

The following databases will be sought:

  • Medical Literature Analysis and Retrieval System Online (MEDLINE)

  • The Cochrane Database of Systematic Reviews (CDSR)

Keywords used in the search strategy:

  • Trial Sequential Analysis OR TSA

  • Systematic Review OR Meta-analysis

The preliminary search strategy can be found in Supplemental material.

Selection of studies

Two authors (CGR and MHO) will independently screen the title and abstract using the web-based application Covidence (www.covidence.org, Melbourne, Australia) [24]. All relevant full-text articles will be retrieved and screened for eligibility, and reasons for exclusion will be recorded. Any discrepancy will be resolved through discussion. If an agreement is not reached, a third author (CG) will resolve the disagreement. Trial selection will be shown through a flow chart following the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) statement (Supplemental material).

Methodological quality of the systematic reviews and meta-analyses

Two authors will independently evaluate the methodological quality in all included systematic reviews and meta-analyses using the AMSTAR 2 — Assessing the Methodological Quality of Systematic Reviews [25]. The assessment of the methodological quality of the studies will be used to evaluate whether improper use of Trial Sequential Analysis is related to other methodological flaws. Each of the 16 items will be rated, and a final rating of the overall confidence in the results of each study will be given on a scale of confidence as high, moderate, low, or critically low [25]. Any discrepancy will be resolved through discussion. If an agreement is not reached, a third author (CG) will resolve the disagreement.

Extraction of data

Two independent authors will extract data from each included study. After extraction, all data will be compared, consensus will be reached, or a third author will be consulted to resolve disagreement.

General information (review characteristics) on each study will be extracted (author, year, medical field, intervention characteristics). For data concerning the conduct of the systematic reviews we will extract data related to the PRISMA statement on transparent reporting of systematic reviews such as comparator used, description of outcomes, number of included trials in the analyses, GRADE, methods for grading imprecision etc. [26]. For the specificities on the use and conduct of Trial Sequential Analysis we will extract data regarding the parameters used in the chosen analysis such as information on how the analysis was conducted (fixed- or random-effects, relative risk or odds ratio, etc.), and to what degree adjustments of alpha-level, and power were used. Also, details about the relative risk reduction and minimally relevant difference and how these were conceived are extracted. We will mainly report on the primary outcomes of the systematic reviews prioritising to include both dichotomous and continuous outcomes if possible. Specific data regarding the Trial Sequential Analysis will be extracted systematically through a predefined checklist made in REDCap (Research Electronic Data Capture, University of Kansas, United States) hosted at Rigshospitalet [27,28,29].

A prespecified extraction checklist containing items about the methodology of Trial Sequential Analysis will be prepared prior to the literature search. By using the Trial Sequential Analysis manual [30] and randomly selecting 10 systematic reviews, including meta-analysis and Trial Sequential Analysis, the most common and important steps in the analysis has been selected by the review group and synthesised into the extraction checklist. The extraction checklist contains four main categories (identification, content of the pre-registred protocol, content of the systematic review, and results), each of which has relevant questions depending on the type of outcome (dichotomous or continuous) used in the review. For more information on the extraction checklist, see Supplemental material.

Assessment of Trial Sequential Analysis results for downgrading for imprecision

We will assess the way authors of systematic reviews or meta-analyses have used Trial Sequential Analysis for downgrading for imprecision in GRADE [16, 17] or by other methods. The GRADE approach for downgrading imprecision recommends evaluating the naïve 95% confidence interval and calculating the optimal information size [16, 31]. Thus, the approach does not emphasise the possibility to adjust alpha and beta-level, a priori decide a relative risk reduction or minimally relevant difference, and take into account heterogeneity in the analysis. We will compare the downgrading for imprecision in the included studies with the following method: imprecision in GRADE is downgraded by two levels if the accrued number of participants is below 50% of the DARIS, and one level if between 50 and 100% of DARIS. We will not expect downgrading if the cumulative Z-curve crosses the monitoring boundaries for benefit, harm, or futility, or if DARIS is reached. This method for assessing imprecision has been described and used in previous systematic reviews [32, 33]. We will examine if this methodology has an impact on how the level of imprecision is assessed and on the outcome of the systematic review or meta-analysis.

Data analysis

The most common mistakes will be ranked according to their prevalence and comparisons of the AMSTAR 2 score in groups of studies will be made. The consequences of the most common errors and mistakes found in the literature when using Trial Sequential Analysis will be explained by examples and suggestions on how to correct these. Finally, a guideline for future reviewers will be created from the identified mistakes and errors.

Mistakes and errors will be categorised as related to the protocol, methodology, presentation of the results, and the interpretation. Each mistake and error will, furthermore, be classified as major or minor. Major mistakes or errors are those with the potential to cause a wrong conclusion. This classification will be based on a consensus by the investigators.

Statistical considerations

The number of major or minor mistakes and errors per article will be presented as median and interquartile range. The AMSTAR 2 overall rating of confidence will be used to classify systematic reviews as high, moderate, low, or critically low confidence. Systematic reviews without any major mistakes will be compared to those with any major mistake using Wilcoxon-signed rank test or Fisher’s exact test for dichotomous outcomes.

The mistakes and errors will be presented as frequencies, with a 95% confidence interval calculated using 1-sample proportions test without continuity correction. The AMSTAR 2 score for the manuscripts where the specific mistake and error was present will be presented as a covariate. We will combine these mistakes and errors based on our recommendations, as errors referring to both protocol and presentation of results might be handled by one recommendation. Both the specified and aggregated frequency will be presented in a table related to the recommendation.

Discussion

This review aims to assess the use of Trial Sequential Analysis in the current body of systematic reviews and meta-analyses. Trial Sequential Analysis offers important pieces of information [4, 14, 34] and provides more stringent planning of how to calculate the DARIS and interpret the imprecision in GRADE [15, 17, 18, 20, 22, 33,34,35] than present recommendations regarding the calculation of optimal information size and assessment of imprecision in GRADE [16]. However, the method is currently not a mandatory part of Cochrane Reviews. Arguments put forward against the use is that authors of systematic reviews and meta-analysis rarely has the power to start or stop a trial being conducted and that conclusions of meta-analyses should not be driven by statistical testing [36, 37].

Since the introduction of Trial Sequential Analysis in 2005 [19], an increasing number of authors have used the Trial Sequential Analysis to control the risk of type I and II errors and thus improve the quality of evidence and the recommendations. However, strict systematic approaches to this analysis are important as it can be misused for a ‘cherry-picking’ approach. Therefore, this systematic review of the methodology of current systematic reviews and meta-analyses is important for understanding and conceptualising the use of Trial Sequential Analysis. As mistakes and errors in the use of the Trial Sequential Analysis are likely to be found, these will be used to establish a guideline for future reviewers.

The strengths of this protocol are that it is pre-published and detailed prior to conducting the systematic search. As the purpose of the review is to explore the current practice of using Trial Sequential Analysis, the use of a standardised extraction template is difficult to produce as mistakes and errors comes in a variety of ways that are not always predictable. Furthermore, the extent of the work will require several persons to extract data from protocols, articles, and supplemental data from the publications. This may compromise the internal validity of the extraction. To account for this, weekly meetings are held for consensus, and all investigators are encouraged to extract in different pairs throughout the process.

Trial Sequential Analysis has been accepted as a supplementary analysis in the Cochrane Hepato-Biliary Group systematic reviews (https://hbg.cochrane.org/information-authors) and as stated in the Cochrane Handbook for Systematic Reviews of Interventions: “…trial sequential analysis may, however, be used in the context of a prospectively planned series of randomized trials” [38].

The results from this review will be used in the development of a comprehensive and more intuitive guideline including a standard operating procedure for conducting Trial Sequential Analysis. It is our intention that such a guideline will help future reviewers avoid these errors and mistakes. Furthermore, as the Trial Sequential Analysis software is currently being updated, the results can be incorporated in the steps when conducting the analysis to avoid mistakes.

Stage of the review at the time of the submission

At the time of submitting this protocol, ten randomly selected systematic reviews with meta-analysis and Trial Sequential Analysis were used to test and improve the extraction checklist. Minor changes to the extraction checklist can occur during the first stage of data extraction. A preliminary search was done on the 9th of July, 2021 and the final search will be conducted after the submission of this protocol.

Availability of data and materials

Not applicable.

Abbreviations

AMSTAR 2:

Assessing the methodological quality of systematic reviews 2

D2
:

Diversity

DARIS:

Diversity-adjusted required information size

GRADE:

Grading of Recommendations Assessment, Development and Evaluation

Pc:

Proportion of participants with the outcome in the control group

RRR:

Relative risk reduction

References

  1. Garattini S, Jakobsen JC, Wetterslev J, Bertelé V, Banzi R, Rath A, et al. Evidence-based clinical practice: Overview of threats to the validity of evidence and how to minimise them. Eur J Intern Med. 2016;32:13–21. https://doi.org/10.1016/j.ejim.2016.03.020.

    Article 
    PubMed 

    Google Scholar 

  2. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.3. Updated February 2022. Cochrane; 2022. Available from http://www.training.cochrane.org/handbook.

  3. Ioannidis JPA. The mass production of redundant, misleading, and conflicted systematic reviews and meta-analyses. Milbank Q. 2016;94:485–514. https://doi.org/10.1111/1468-0009.12210.

    Article 
    PubMed 
    PubMed Central 

    Google Scholar 

  4. Brok J, Thorlund K, Gluud C, Wetterslev J. Trial sequential analysis reveals insufficient information size and potentially false positive results in many meta-analyses. J Clin Epidemiol. 2008;61:763–9. https://doi.org/10.1016/j.jclinepi.2007.10.007.

    Article 
    PubMed 

    Google Scholar 

  5. Jakobsen JC, Wetterslev J, Winkel P, Lange T, Gluud C. Thresholds for statistical and clinical significance in systematic reviews with meta-analytic methods. BMC Med Res Methodol. 2014;14:120.

    Article 

    Google Scholar 

  6. Shrier I, Christensen R, Juhl C, Beyene J. Meta-analysis on continuous outcomes in minimal important difference units: an application with appropriate variance calculations. J Clin Epidemiol. 2016;80:57–67. https://doi.org/10.1016/j.jclinepi.2016.07.012.

    Article 
    PubMed 

    Google Scholar 

  7. Roberts I, Ker K, Edwards P, Beecher D, Manno D, Sydenham E. The knowledge system underpinning healthcare is not fit for purpose and must change. BMJ. 2015;350:h2463. https://doi.org/10.1136/bmj.h2463.

    Article 
    PubMed 

    Google Scholar 

  8. Bender R, Bunce C, Clarke M, Gates S, Lange S, Pace NL, et al. Attention should be given to multiplicity issues in systematic reviews. J Clin Epidemiol. 2008;61:857–65. https://doi.org/10.1016/j.jclinepi.2008.03.004.

    Article 
    PubMed 

    Google Scholar 

  9. Turner RM, Bird SM, Higgins JPT. The impact of study size on meta-analyses: Examination of underpowered studies in Cochrane reviews. PLOS ONE. 2013;8:e59202. https://doi.org/10.1371/journal.pone.0059202.

    Article 
    CAS 
    PubMed 
    PubMed Central 

    Google Scholar 

  10. Imberger G, Vejlby AD, Hansen SB, Møller AM, Wetterslev J. Statistical multiplicity in systematic reviews of anaesthesia interventions: a quantification and comparison between Cochrane and non-Cochrane reviews. PLOS ONE. 2011;6:e28422. https://doi.org/10.1371/JOURNAL.PONE.0028422.

    Article 
    CAS 
    PubMed 
    PubMed Central 

    Google Scholar 

  11. Kjaergard LL, Villumsen J, Gluud C. Reported methodologic quality and discrepancies between large and small randomized trials in meta-analyses. Ann Intern Med. 2001;135:982–9. https://doi.org/10.7326/0003-4819-135-11-200112040-00010.

    Article 
    CAS 
    PubMed 

    Google Scholar 

  12. Wetterslev J, Thorlund K, Brok J, Gluud C. Estimating required information size by quantifying diversity in random-effects model meta-analyses. BMC Med Res Methodol. 2009;9:86. https://doi.org/10.1186/1471-2288-9-86.

    Article 
    CAS 
    PubMed 
    PubMed Central 

    Google Scholar 

  13. Claire R, Gluud C, Berlin I, Coleman T, Leonardi-Bee J. Using Trial Sequential Analysis for estimating the sample sizes of further trials: example using smoking cessation intervention. BMC Med Res Methodol. 2020;20:284. https://doi.org/10.1186/s12874-020-01169-7.

    Article 
    PubMed 
    PubMed Central 

    Google Scholar 

  14. Wetterslev J, Thorlund K, Brok J, Gluud C. Trial sequential analysis may establish when firm evidence is reached in cumulative meta-analysis. J Clin Epidemiol. 2008;61:64–75. https://doi.org/10.1016/j.jclinepi.2007.03.013.

  15. Wetterslev J, Jakobsen JC, Gluud C. Trial Sequential Analysis in systematic reviews with meta-analysis. BMC Med Res Methodol. 2017;17:1–18. https://doi.org/10.1186/s12874-017-0315-7.

  16. Guyatt GH, Oxman AD, Kunz R, Brozek J, Alonso-Coello P, Rind D, et al. GRADE guidelines 6. Rating the quality of evidence–imprecision. J Clin Epidemiol. 2011;64:1283–93. https://doi.org/10.1016/j.jclinepi.2011.01.012.

    Article 
    PubMed 

    Google Scholar 

  17. Castellini G, Bruschettini M, Gianola S, Gluud C, Moja L. Assessing imprecision in Cochrane systematic reviews: A comparison of GRADE and Trial Sequential Analysis. Syst Rev. 2018;7:110. https://doi.org/10.1186/s13643-018-0770-1.

    Article 
    PubMed 
    PubMed Central 

    Google Scholar 

  18. Gartlehner G, Nussbaumer-Streit B, Wagner G, Patel S, Swinson-Evans T, Dobrescu A, et al. Increased risks for random errors are common in outcomes graded as high certainty of evidence. J Clin Epidemiol. 2019;106:50–9. https://doi.org/10.1016/j.jclinepi.2018.10.009.

    Article 
    PubMed 

    Google Scholar 

  19. Thorlund K, Wetterslev J, Brok J, Gluud C. Trial sequential analyses of six meta-analyses considering heterogeneity and trial weight. In: Corroboree. Abstracts of the 13th Cochrane Colloquium; 2005 22-26 Oct; Melbourne, Australia. 2005. https://abstracts.cochrane.org/2005-melbourne/trial-sequential-analyses-six-meta-analyses-considering-heterogeneity-and-trial.

  20. Thorlund K, Devereaux PJ, Wetterslev J, Guyatt G, Ioannidis JPA, Thabane L, et al. Can trial sequential monitoring boundaries reduce spurious inferences from meta-analyses? Int J Epidemiol. 2009;38:276–86. https://doi.org/10.1093/ije/dyn179.

    Article 
    PubMed 

    Google Scholar 

  21. Copenhagen Trial Unit, Centre for Clinical Intervention Research. TSA Trial Sequential Analysis. 0.9.5.10 Beta. [Computer program]. Copenhagen Trial Unit, Centre for Clinical Intervention Research 2022. https://www.ctu.dk/tsa/downloads/. Accessed 26 Apr 2022.

  22. Brok J, Thorlund K, Wetterslev J, Gluud C. Apparently conclusive meta-analyses may be inconclusive–Trial sequential analysis adjustment of random error risk due to repetitive testing of accumulating data in apparently conclusive neonatal meta-analyses. Int J Epidemiol. 2009;38:287–98. https://doi.org/10.1093/ije/dyn188.

    Article 
    PubMed 

    Google Scholar 

  23. Moher D, Shamseer L, Clarke M, Ghersi D, Liberatî A, Petticrew M, et al. Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Syst Rev. 2015;4(1):1. https://doi.org/10.1186/2046-4053-4-1.

    Article 
    PubMed 
    PubMed Central 

    Google Scholar 

  24. Covidence systematic review software. Veritas Health Innovation,
    Melbourne, Australia. https://www.covidence.org. Accessed 3 Jun 2021.

  25. Shea BJ, Reeves BC, Wells G, Thuku M, Hamel C, Moran J, et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ. 2017;358:4008. https://doi.org/10.1136/bmj.j4008.

    Article 

    Google Scholar 

  26. Moher D, Liberati A, Tetzlaff J, Altman DG; PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. PLOS MED. 2009;6:e1000097. https://doi.org/10.1371/journal.pmed.1000097.

  27. Harris PA, Taylor R, Thielke R, Payne J, Gonzalez N, Conde JG. Research electronic data capture (REDCap)— a metadata-driven methodology and workflow process for providing translational research informatics support. J Biomed Inform. 2009;42(2):377–81. https://doi.org/10.1016/j.jbi.2008.08.010.

  28. Harris PA, Taylor R, Thielke R, Payne J, Gonzalez N, Conde JG. Research electronic data capture (REDCap)-A metadata-driven methodology and workflow process for providing translational research informatics support. J Biomed Inform. 2009;42:377–81.

    Article 

    Google Scholar 

  29. Harris PA, Taylor R, Minor BL, Elliott V, Fernandez M, O’Neal L, et al. The REDCap consortium: Building an international community of software platform partners. J Biomed Inform. 2019;95:103208.

    Article 

    Google Scholar 

  30. Thorlund K, Engstrøm J, Wetterslev J, Brok J, Imberger G, Gluud C. User manual for Trial Sequential Analysis (TSA) [pdf]. 2nd ed. Copenhagen: Copenhagen Trial Unit, Centre for Clinical Intervention Research, 2017: pp 1–119. www.ctu.dk/tsa/files/tsa_manual.pdf.

  31. Schünemann H, Brożek J, Guyatt G, Oxman A (editors). GRADE handbook for grading quality of evidence and strength of recommendations. Updated October 2013. The GRADE Working Group; 2013. Available from http://www.guidelinedevelopment.org/handbook. Accessed 27 Apr 2022.

  32. Juul S, Nielsen EE, Feinberg J, Siddiqui F, Jørgensen CK, Barot E, et al. Interventions for treatment of COVID-19: a living systematic review with meta-analyses and trial sequential analyses (The LIVING Project). PLOS MED. 2020;17(9):e1003293. https://doi.org/10.1371/journal.pmed.1003293.

    Article 
    CAS 
    PubMed 
    PubMed Central 

    Google Scholar 

  33. Korang SK, Juul S, Nielsen EE, Feinberg J, Siddiqui F, Ong G, et al. Vaccines to prevent COVID-19: a protocol for a living systematic review with network meta-analysis including individual patient data (The LIVING VACCINE Project). Syst Rev. 2020;9:262. https://doi.org/10.1186/s13643-020-01516-1.

    Article 
    PubMed 
    PubMed Central 

    Google Scholar 

  34. Bangalore S, Wetterslev J, Pranesh S, Sawhney S, Gluud C, Messerli FH. Perioperative β blockers in patients having non-cardiac surgery: a meta-analysis. Lancet. 2008;372:1962–76. https://doi.org/10.1016/S0140-6736(08)61560-3.

    Article 
    CAS 
    PubMed 

    Google Scholar 

  35. Nielsen N, Friberg H, Gluud C, Herlitz J, Wetterslev J. Hypothermia after cardiac arrest should be further evaluated-A systematic review of randomised trials with meta-analysis and trial sequential analysis. Int J Cardiol. 2011;151:333–41. https://doi.org/10.1016/j.ijcard.2010.06.008.

    Article 
    PubMed 

    Google Scholar 

  36. Cochrane Scientific
    Committee. Trial Sequential Analysis or sequential meta-analysis. 2017. https://methods.cochrane.org/sites/default/files/public/uploads/2017_1_18_may_scientific_committee_agenda_docs.pdf. Accessed 15 May 2021.

  37. Cochrane Scientific Comittee. Should Cochrane apply error-adjustment methods when conducting repeated meta-analyses? 2018. https://methods.cochrane.org/sites/default/files/public/uploads/tsa_expert_panel_guidance_and_recommendation_final.pdf. Accessed 15 May 2021.

  38. Thomas J, Askie LM, Berlin JA, Elliott JH, Ghersi D, Simmonds M, et al. Chapter 22: Prospective approaches to accumulating evidence. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.3. Updated February 2022. Cochrane; 2022. Available from http://www.training.cochrane.org/handbook.

Download references

Acknowledgements

We would like to thank Information specialist Sarah Louise Klingenberg at The Cochrane Hepato-Biliary Group, Copenhagen for help in developing the search strategy.

Funding

No external funding was received for this study.

Author information

Authors and Affiliations

  1. Department of Neurorehabilitation, Traumatic Brain Injury, Copenhagen University Hospital − Rigshospitalet, Kettegård Alle 30, 2650, Hvidovre, Denmark

    Christian Gunge Riberholt

  2. Department of Neuroanaesthesiology, Neuroscience Centre, Copenhagen University Hospital − Rigshospitalet, Blegdamsvej 9, 2100, Copenhagen, Denmark

    Markus Harboe Olsen

  3. Copenhagen Trial Unit, Centre for Clinical Intervention Research, The Capital Region, Copenhagen University Hospital − Rigshospitalet, Blegdamsvej 9, 2100, Copenhagen, Denmark

    Markus Harboe Olsen, Joachim Birch Milan & Christian Gluud

Authors

  1. Christian Gunge Riberholt

    You can also search for this author in
    PubMed Google Scholar

  2. Markus Harboe Olsen

    You can also search for this author in
    PubMed Google Scholar

  3. Joachim Birch Milan

    You can also search for this author in
    PubMed Google Scholar

  4. Christian Gluud

    You can also search for this author in
    PubMed Google Scholar

Contributions

CGR, MHO, JBM, and CG are responsible for the conception and design of the study. CGR is the guarantor of the protocol and drafted the manuscript, and all authors approved the final version of the manuscript.

Corresponding author

Correspondence to
Christian Gunge Riberholt.

Ethics declarations

Ethics and approval and consent to participate

Not applicable.

Consent for publication

Not applicable.

Competing interests

The authors’ declare that they have no competing interests.

Additional information

Publisher’s Note

Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

Supplementary information

Rights and permissions

Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http://creativecommons.org/licenses/by/4.0/. The Creative Commons Public Domain Dedication waiver (http://creativecommons.org/publicdomain/zero/1.0/) applies to the data made available in this article, unless otherwise stated in a credit line to the data.

Reprints and Permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Riberholt, C.G., Olsen, M.H., Milan, J.B. et al. Major mistakes and errors in the use of Trial Sequential Analysis in systematic reviews or meta-analyses – protocol for a systematic review.
Syst Rev 11, 114 (2022). https://doi.org/10.1186/s13643-022-01987-4

Download citation

  • Received: 13 September 2021

  • Accepted: 23 May 2022

  • Published: 04 June 2022

  • DOI: https://doi.org/10.1186/s13643-022-01987-4

Keywords

  • Meta analysis
  • Methodology
  • Systematic review
  • Trial Sequential Analysis
Источник

Доказательная
медицина. Систематические обзоры.
Метаанализ

Цель
занятия: ознакомиться
с основами научно обоснованной
(дока­зательной) медицины и освоить
принципы составления систематичес­ких
обзоров.

В
результате изучения темы студенты
должны знать:

• определение
и основные особенности (преимущества)
доказательной ме­дицины;

• предпосылки
возникновения доказательной медицины;

• сферы
применения доказательной медицины;

• источники
поиска доказательной информации,
основные базы данных;

• принципы
деятельности Кокрановского сотрудничества
и Кокрановской электронной библиотеки;

• основные
разделы Кокрановской библиотеки;

• определение
и основную характеристику систематических
обзоров;

• отличия
систематических обзоров от обзоров
литературы;

• возможности
и ограничения систематических обзоров;

• основные
этапы составления систематического
обзора;

• принципы
отбора исследований для систематических
обзоров;

• понятие
«метаанализ»;

• основные
типы проведения метаанализа;

• определение
показателей результатов исследований,
используемых в практике метаанализа;

• способы
представления результатов метаанализа.
В
результате изучения темы студенты
должны уметь:

• осуществлять
поиск доказательной информации;

• использовать
принципы составления систематических
обзоров при обоб­щении данных
литературы.

САМОПОДГОТОВКА
К ЗАНЯТИЮ

В
процессе подготовки к занятию студенты
самостоятельно изучают рекомендованную
литературу и приведенный в главе
информационный материал.

Вопросы
для самоподготовки

1.
Определение и основные особенности
(преимущества) доказательной медицины.

2.
Источники поиска доказательной
информации. Основные базы дан­ных.

3.
Принципы деятельности Кокрановского
сотрудничества и Кокранов-ская электронная
библиотека.

4.
Определение и основная характеристика
систематических обзоров:

• зачем
они нужны?

• как
их делают?

• где
их найти?

• кто
их использует?

• что
их результаты означают для врача и
пациента?

5.
Понятие и основные типы метаанализа.

Контроль
самоподготовки

Ответьте
на вопросы

1.
Назовите основные сферы применения
доказательной медицины.

2.
Систематический обзор — это
структурированный процесс, вклю­чающий:…

3.
Преимущества систематических обзоров
и синтетического подхода к анализу
результатов исследований заключаются
в следующем:…

4.
Метаанализом называют…

5.
Цель метаанализа заключается в…

6.
Перечислите основные принципы деятельности
Кохрановского со­трудничества.

7.
Метаанализ
часто используют для обобщения результатов
раз­личных испытаний определенного
лечения или другого вмешательс­тва
(диагностического или профилактического).
Можете ли вы назвать другие виды
исследований, которые могли бы стать
предметом мета­анализа?

ИНФОРМАЦИОННЫЙ
МАТЕРИАЛ

Доказательная
медицина (evidence—based
medicine)
— раздел
меди­цины, основанный на доказательствах,
предполагающий поиск, сравне­ние,
обобщение и широкое распространение
полученных доказательств для использования
в интересах больных (Evidence
Based
Medicine
Working
Group,
1993).
Термин ^evidence—based
medicines
впервые
был предложен в 1990 г. группой канадских
ученых из Университета Мак-Мастера в
То­ронто. В буквальном переводе —
«медицина, основанная на фактах» либо,
что более точно отражает значение
термина, «научно-обоснован­ная
медицинская практика», или
«научно-доказательная медицина».
До­казательная медицина — это новый
подход, направление или техноло­гия
сбора, анализа, обобщения и интерпретации
научной информации. Предусматривает
добросовестное, объяснимое и основанное
на здравом смысле использование наилучших
современных достижений для лече­ния
каждого пациента.

Основная
цель внедрения принципов доказательной
медицины в практику здравоохранения —
оптимизация качества оказания медицин­ской
помощи с точки зрения безопасности,
эффективности, стоимости и других
значимых факторов. В научно обоснованной
медицине при­нятие решений опирается
только на достоверные факты. Достоверный
факт — это надежное и объективное
подтверждение принципа или про­цедуры.
При рассмотрении результатов исследования
как достоверного факта особое внимание
необходимо обращать на качество
исследования, которое во многом зависит
от заранее определенного плана, схемы
иссле­дования. Корректная схема
(структура) исследования позволяет
свести к минимуму предвзятость и получить
объективные результаты. Основ­ной
акцент при этом делается не на интуицию
или на общепринятую практику, а на
беспристрастную, объективную оценку
научного факта. В связи с этим огромное
значение приобретают стандарты качества
ин­формации и критическая ее оценка.
Многие врачи полагают, что они в своей
практике ориентируется на реальные
научные факты. В действи­тельности
большинство клиницистов при принятии
решений полагаются на интуицию или на
общепринятую практику. Не зная принципов
отбора и не имея некоторых основных
навыков, качественную информацию
отобрать трудно. Вместе с тем в практической
деятельности желательно использовать
только полезные вмешательства, а из
полезных те, которые дают наибольшую
пользу, причем наибольшую пользу на
единицу затрат. Оттого, насколько
убедительны научные данные в отношении
клини­ческой и стоимостной эффективности,
зависит правильность размеще­ния
финанансовых средств. Естественно, что
наиболее эффективно на­правлять эти
ресурсы на развитие методов профилактики,
диагностики и лечения, практическая
польза которых подтверждена исследованиями,
удовлетворяющими критерии научно
обоснованной медицинской прак­тики.
Именно доказательная медицина способствует
решению проблемы сравнения, стандарта
в оценке результатов лечения, профилактики,
диа­гностики, принятия клинических
и управленческих решений.

Кому
и зачем это нужно?

Ни
один практический врач не обладает
достаточным опытом, позво­ляющим
свободно ориентироваться во всем
многообразии клинических ситуаций.
Можно полагаться на мнения экспертов,
авторитетные руко­водства и справочники,
однако это не всегда надежно из-за так
называ­емого эффекта запаздывания:
перспективные терапевтические методы
внедряются в практику спустя значительное
время после получения до­казательств
их эффективности. С другой стороны,
информация в учеб­никах, руководствах
и справочниках зачастую устаревает еще
до их пуб­ликации, а возраст проводящего
лечение опытного врача отрицательно
коррелирует с эффективностью лечения.
Эти заключения были получены с помощью
основного статистического инструмента
доказательной ме­дицины — метаанализа.

Основные
тенденции развития биомедицинских наук
определяют сле­дующие факторы:

• глобализация
информационных процессов;

• большое
количество проводимых биомедицинских
исследований;

• широкий
спектр лекарственных средств на
фармацевтических рынках;

• увеличение
потока медицинской информации (издается
около 40тыс. биомедицинских журналов,
публикующих примерно 2 млн статей
ежегодно);

• остро
стоит проблема рационального расходования
средств в системе здравоохранения.

Эти
основные тенденции определяют следующие
потребности прак­тической медицины:

• необходимость
критической оценки информации,
предназначенной для практических врачей
и руководителей здравоохранения;

• выбор
системных подходов для принятия решений
в медицине (ле­чебных, диагностических,
управленческих и др.).

Следовательно,
существует необходимость обобщения
биомедицинс­ких знаний и широкого
информирования медицинской общественности
о результатах новейших исследований.

Область
применения

Потенциальные
возможности применения принципов
доказательной медицины в практике
здравоохранения значительны. В первую
очередь, их применение позволяет
применять объективные критерии ко всем
ас­пектам фармакотерапии. Принципы
доказательной медицины дают воз­можность
с учетом новейшей и достоверной информации
оптимизи­ровать влияние на принятие
решения таких во многом субъективных
факторов, как интуиция и квалификация
врача, мнения авторитетных экспертов,
рекомендации популярных руководств и
справочников. Та­ким образом,
доказательная медицина предполагает
объединение инди­видуального
клинического опыта врача с наилучшими
доступными не­зависимыми клиническими
доказательствами из систематизированных
исследований. При этом принципы
доказательной медицины позволяют
разрабатывать наиболее эффективные,
безопасные и экономичные сов­ременные
терапевтические стратегии, которые
могут быть реализованы на государственном,
региональном, популяционном,
субпопуляционном и индивидуальном
уровнях, способствуя выбору оптимального
варианта в каждом конкретном клиническом
случае.

Остановимся
на некоторых аспектах практического
применения принципов доказательной
медицины. Прежде всего они применимы
для повышения качества оказания
медицинской помощи: это разра­ботка
клинических рекомендаций для практических
врачей и внедрение систем стандартизации
в здравоохранение. Клинические
рекомендации для практических врачей
позволяют усовершенствовать работу
врача в отношении следующих аспектов:

• определение
задач, стоящих перед врачом;

• описание
заболевания (этиология, распространенность,
клиническая картина и др.);

• алгоритмы
диагностических процедур (программа
обследования, по­казания и противопоказания
к назначению диагностических манипу­ляций);

• лечение
(тактика, описание конкретных ЛС и
лечебных мероприятий, критерии
эффективности и прекращения лечения);

• осложнения,
прогноз, показания к госпитализации,
диспансерное на­блюдение и др.

Внедрение
систем стандартизации в здравоохранении

• Сфера
обращения ЛС.

• Разработка
и применение медицинской техники.

• Разработка
формулярной системы (протоколы ведения
и лечения больных).

• Разработка
и использование протоколов в страховой
медицине.

• Определение
относительной ценности различных
источников инфор­мации применительно
к поиску ответа на клинические вопросы.

Достоверно
или нет?

Важный
аспект доказательной медицины —
определение степени достоверности
информации: результатов исследований,
которые берут за основу при составлении
систематических обзоров. Центр
доказатель­ной медицины в Оксфорде
разработал следующие определения
степени достоверности представляемой
информации:

• высокая
достоверность — информация основана
на результатах не­скольких независимых
клинических испытаний с совпадением
ре­зультатов, обобщенных в систематических
обзорах;

• умеренная
достоверность — информация основана
на результатах по меньшей мере нескольких
независимых, близких по целям клини­ческих
испытаний;

• ограниченная
достоверность — информация основана
на результатах одного клинического
испытания;

• строгие
научные доказательства отсутствуют
(клинические испыта­ния не проводились)
— некое утверждение основано на мнении
экс­пертов.

Согласно
мнению Шведского совета по методологии
оценки в здра­воохранении, достоверность
доказательств из разных источников
неоди­накова и убывает в следующем
порядке:

1)
рандомизированное контролируемое
клиническое испытание;

2)
нерандомизированное клиническое
испытание с одновременным контролем;

3)
нерандомизированное клиническое
испытание с историческим контролем;

4)
когортное исследование;

5)
исследование типа «случа-контроль»;

6)
перекрестное клиническое испытание;

7)
результаты
наблюдений;

8)
описание отдельных случаев.

Систематический
обзор

Персональный
клинический опыт важен для формирования
гипо­тез, но из-за фактора пристрастности
и высокой подверженности к сме­щению
оценок он не очень полезен для
количественных оценок, хотя до введения
контролируемых клинических испытаний
основой фарма­котерапии были именно
персональные рекомендации.

Сопоставление
доказательств

Главный
недостаток описательных обзоров — их
подверженность к смещению оценок. Для
минимизации смещения необходимо
при­близить обзор к доступным
доказательствам с помощью
научно-сис­тематического подхода,
получившего название метаанализа и
мощное развитие в работах Ассоциации
Кохрана. Выполненный таким образом
обзор рассматривается как систематический
и включает шесть основ­ных этапов.

• определение
основной цели обзора;

• определение
способов оценки результатов;

• систематический
информационный поиск;

• суммирование
количественной информации;

• суммирование
доказательств с использованием подходящих
статис­тических методов;

• интерпретация
результатов.

Как
и влюбом научном исследовании, эти этапы
фиксируются в про­токоле.

Систематический
обзор — разновидность научного
исследования с за­ранее спланированными
методами, где объектом изучения служат
резуль­таты ряда оригинальных
исследований. Систематический обзор
синтези­рует результаты этих
исследований, используя подходы,
уменьшающие возможность систематических
и случайных ошибок. В большинстве
сис­тематических обзоров используют
статистические методы обобщения данных
— метаанализ. По мере поступления новых
данных их выводы могут меняться.

Систематический
обзор — структурированный процесс,
включающий:

• правильно
сформулированный вопрос;

• полноценный
и профессиональный поиск информации;

• несмещенный
(безошибочный) процесс отбора публикаций
и извле­чения фактических данных из
них;

• критическая
оценка данных;

• синтез
данных.

Правильно
сформулированный клинический вопрос
— основа высо­кокачественного
систематического обзора. При плохо
сформулирован­ном вопросе обзор вряд
ли будет достаточно информативным.
Кроме того, четко сформулированный
вопрос позволяет врачу быстро понять,
применимы ли результаты обзора в его
клинической практике. На основе такого
обзора делаются соответствующие выводы:

• вмешательство,
несомненно, эффективно и его необходимо
приме­нять;

• вмешательство
неэффективно и его не следует применять;

• вмешательство
наносит вред и его следует запретить;

• польза
или вред не доказаны, требуются дальнейшие
исследования. Систематические обзоры
рассматривают результаты только хорошо

спланированных
научных исследований, которые проходят
экспер­тизу на достоверность. Это в
основном контролируемые проспективные
(участников делят на группы, которые
будут или не будут подвергнуты изучаемому
вмешательству до того, как наступили
исходы) исследова­ния, с разделением
больных на опытную (применяется новое
лечение) и контрольную группы (применяется
стандартное лечение). Слово «кон­тролируемые»
означает, что при организации испытаний
действие посто­ронних факторов,
способных повлиять на результат сравнения
испытуе­мых методов, учтено (находится
под контролем). Для того чтобы средние
показатели в обеих группах различались
как можно меньше, проводится рандомизация
(англ. random
— случайный).

По
этой причине научно-доказательная
медицина не рассматривает обычные
литературные обзоры в качестве надежных
источников инфор­мации. Систематические
обзоры проводят для того, чтобы найти
ответы на определенные, часто узкие
клинические вопросы, в точной формули­ровке
которых должны быть отражены следующие
параметры:

• определенная
популяция и клиническая база (например,
дети, амбу­латорные больные);

• изучаемое
заболевание (например, бронхиальная
астма);

• используемый
метод исследования или лечения (например,
опреде­ленная лекарственная терапия);

• один
или более определенный клинический
исход (например, частота приступов,
качество жизни).

Количественный
систематический обзор литературы, или
количест­венный синтез, первичных
данных с целью получения суммарных
ста­тистических показателей называется
метаанализом.

Систематический
обзор (systematic
review,
systematic
overview)
—
особый вид научного исследования,
выполненный по специально разработанной
методике, объектом которого являются
результаты других, оригинальных научных
исследований. Анализ и обобщение
результатов исследований, включенных
в обзор, можно проводить с применением
статистических методов и без них.
Систематические обзоры позволяют
провести адек­ватное обобщение
результатов научных исследований. Целью
системати­ческого обзора является
взвешенное и беспристрастное изучение
резуль­татов ранее проведенных
исследований. Часто в систематическом
обзоре проводится количественная оценка
суммарного эффекта, установленного на
основании результатов всех изученных
исследований (метаанализ).

Примечательна
история одного из первых систематических
обзоров. Результаты первого клинического
исследования, посвященного эффек­тивности
недорогого короткого курса кортикостероидов,
который на­значали беременным с
высоким риском преждевременных родов,
были опубликованы в 1972 г. Было установлено,
что кортикостероиды снижают вероятность
смерти новорожденных от осложнений,
обусловленных недо­ношенностью. К
1991 г. были опубликованы сообщения еще
о семи кли­нических испытаниях,
посвященных той же теме, подтвердивших
и уточ­нивших результаты первого
клинического испытания. Было доказано,
что риск смерти у таких детей можно
снизить на 30—50 %. Схематическое изображение
результатов этого исследования стало
эмблемой Кокранов-ского Сотрудничества.
Поскольку до 1989г. не было опубликовано
ни од­ного систематического обзора
данных клинических испытаний, боль­шинство
врачей считали такую терапию неэффективной.
Таким образом, прошло около 20 лет со
времени публикации первых результатов
исследо­вания до широкого их внедрения
в практику. По приблизительной оценке
десятки тысяч детей пострадали и умерли
от отсутствия необходимой тера­пии.
Это впечатляющая иллюстрация необходимости
внедрения принци­пов доказательной
медицины в практику (The
Cochrane
Collaboration,
2001).

Систематические
обзоры — главный результат деятельности
Кокра-новского Сотрудничества —
регулярно публикуются в электронном
виде под названием «The
Cochrane
Database
of
Systematic
Reviews»
(Кокрановс-кая
база данных систематических обзоров).

Основные
характеристики систематического обзора
приведены в табл. 7-1.

Таблица
7-1. Основные характеристики систематического
обзора

Цель

Характеристики

Ясность
цели обзора

Протокол,
содержащий задачи исследования,
описание объектов и методов исследования

Избежать
невключения в обзор релевантных
исследований

Исчерпывающие,
чувствительные и документиро­ванные
стратегии исследования с использованием
библиографических баз данных, ключевых
слов, возможно ручного поиска, возможно
попытки включения неопубликованных
исследований, не ограниченных страной
или языком

Избежать
случайного выбора/ исключения
исследований

Подробные
и верифицированные критерии выбора
и исключения, разработанные для оценки
результатов исследования

Резюмирование
данных исследований

Использование
таблиц отбора данных с провер­кой
их полноты

Оценить
валидность результатов исследования

Разработать
и использовать критерии качества для
оценки валидности исследований с
помощью оценки дизайна, проведения и
анализа иссле­дований с оценкой
размера ошибки, смещений и шансов

Оценить
размер ассоциаций и источника
разнообразия данных исследования

Обзор
оснований, почему результаты
исследова­ния могут использовать
различные соответству­ющие
количественные модели для оценки роли
таких факторов, как состояние пациента,
дозы, продолжительности и природы
вмешательства. Там где это возможно,
исследования объединяют для получения
общего эффекта

Оценить
качество результатов обзора

Проверка
чувствительности результатов выбо­ров
и предположений сделанных в обзоре,
таких как критерии включения и
валидности, которые влияют на
исследование на метод, использован­ный
для объединения данных

Критическая
оценка или повторение обзора

Отчет
о ключевых аспектах создания обзора,
мето­дах, анализе и результатах. Он
должен включать резюме протокола,
стратегию поиска, таблицу основных
элементов каждого включенного
иссле­дования. Отчет может дополняться
графическим описанием

Помочь
читателю оценить применение обзора
для нужд организаторов здравоохранения,
практикующих врачей, исследователей

Обсуждение
методологических ограничений, как в
отношении первичных исследований,
так и обзора. Обеспечить использование
доказа­тельств исследования, в том
числе путем разра­ботки рекомендаций
по применению результатов исследования

Преимущества
систематических обзоров и синтетического
подхода к анализу результатов исследований
заключаются в следующем.

• Помогают
демократизировать научные исследования
и использование их результатов,
способствуют большей открытости базы
знаний, в том числе для общественности.
Это может уменьшить значение «экспер­тов»
как сосредоточения знаний, что в прошлом
приводило к увели­чению числа ошибок.

• Предоставляет
научной общественности бесценный
источник инфор­мации, который позволяет
обобщать накопленный в прошлом мате­риал,
упорядочивать новые материалы и
разработать методологию оп­ределения
тем и ключевых направлений научных
исследований. Это позволяет обеспечить
применение результатов исследований
и про­ведение оценки теорий во всем
мире.

• Предоставляет
возможность для исследователей определить
основные пробелы в исследованиях,
предлагать новые решения в рамках
накоп­ленных знаний и избежать
ненужного дублирования исследований.

• Предоставляет
базу знаний для практикующих врачей и
организато­ров здравоохранения,
которые могут использовать обзоры для
оценки эффективности различных форм и
видов оказания медицинской по­мощи.

• Содействуют
кумулятивному развитию науки. Крайне
редко исследо­вание проводится на
совершенно новой почве, мы «стоим на
плечах» предыдущих исследований.

• Помогают
более ясно определить то, чего мы не
знаем и степень не­ясности.

Использование
систематических обзоров не только
позволяет по­лучить лучшие результаты,
но и повысить их качество и степень
дове­рия к ним.

Наиболее
авторитетными в области доказательной
медицины счита­ются систематические
обзоры Кокрановской библиотеки
(Российское отделение — http://www.cochrane.
ru/cochrane/rus_otd.htm).
К сожале­нию, подавляющее большинство
статей и докладов из области практи­ческой
медицины, которые публикуются у нас в
стране, к доказательной медицине имеют
очень далекое отношение. Часто группу
больных, под­вергшихся новому методу
лечения, сравнивают с исторической
контроль­ной группой или вообще
отсутствует контрольная группа,
неправильно проводится рандомизация
или вообще не проводится, неадекватно
при­меняются статистические методы,
иногда исследователи (и докладчики)
бывают экономически заинтересованы в
определенных результатах.

Различия
между систематическими обзорами и
обзорами литературы

Все
обзоры относятся к ретроспективным
наблюдательным исследо­ваниям и
поэтому подвержены систематическим и
случайным ошибкам. Соответственно
качество обзора и, следовательно, его
ценность зависят от использования при
его проведении научных методов, снижающих
до минимума эти ошибки. Это основное,
что отличает традиционные обзоры
литературы от систематических (табл.
7-2.). Если обзор проведен согласно
принципам, изложенным в правой колонке
таблицы, более ве­роятно, что он будет
систематическим и обеспечит наиболее
объектив­ные выводы. Если методы
проведения обзора соответствуют
приведен­ным в средней колонке, это
скорее обзор литературы; вероятность
того, что его выводы основаны на
безошибочном объединении всех относя­щихся
к данному вопросу данных, гораздо ниже.

Таблица
7-2.
Различия
между обзорами литературы и систематическими
обзорами

Характеристика

Обзор
литературы

Систематический
обзор

Освещаемые
вопросы

Часто
рассматривается широкий спектр
вопросов

Часто
посвящен определенному клиническому
вопросу

Источники
данных и стратегия поиска

Источники
не всегда указаны, стратегия может
быть ошибочной

Источники
обычно всеобъемлющи, а стратегия
поиска точно изложена

Принцип
отбора данных

Не
всегда указан, может быть ошибочным

Отбор
основан

на
определенных критериях,

применяемых
одинаковым

образом

Методы
оценки данных

Различные

Строгие,
критические методы оценки

Обобщение
данных

Часто
качественное

Количественное
(метаанализ)

Выводы

Иногда
научно обоснованные

Как
правило, научно обоснованные

Систематические
обзоры проводят, чтобы найти ответы на
опреде­ленные, часто довольно узкие
клинические вопросы. В точной формули­ровке
этих вопросов должны быть отражены
четыре параметра:

• определенная
популяция и клиническая база (например,
пожилые ам­булаторные больные);

• изучаемое
заболевание (например, артериальная
гипертония);

• используемый
метод исследования или лечения (например,
опреде­ленная лекарственная терапия);

• один
или более определенный клинический
исход (например, сер­дечно-сосудистая
и цереброваскулярная заболеваемость
и смертность). Пример хорошо сформулированного
клинического вопроса — пре­дотвращает
ли лекарственное лечение артериальной
гипертонии у по­жилых больных инсульты
и инфаркты миокарда и увеличивает ли
оно продолжительность жизни? Если
вопрос, на который обзор должен отве­тить,
не ясен из названия, резюме и введения
или если не включен раздел с описанием
методов проведения обзора, статья,
скорее всего, окажется обзором литературы,
а не систематическим обзором.

Большинство
обзоров литературы чаще посвящены
широкому диа­пазону проблем, связанных
сданной темой, а не глубокому анализу
конкретного вопроса. Например, обзор
литературы по диабету (напо­минающий
главу из учебника) может содержать
разделы по физиоло­гии и патофизиологии
обмена углеводов, жиров и белков,
эпидемио­логии диабета и прогнозу
при нем, диагностическим и скрининговым
методам, профилактическим, лечебным,
реабилитационным и паллиа­тивным
вмешательствам. Таким образом, обзоры
литературы наиболее полезны для получения
широкого представления о теме, они
гораздо менее полезны при поиске
конкретного ответа на определенный
кли­нический вопрос. Обзоры литературы
хороши для описания истории развития
вопроса и его решения, они могут лучше
представить новей­шие достижения,
если проведенные исследования были
немногочис­ленными, предварительными
или не очень достоверными из-за
недо­статков в их организации или
исполнении. Они могут быть особенно
полезны для обсуждения данных в свете
основной теории. В обзорах литературы
допустимы аналогии, умозрительное
объединение иссле­дований в двух
независимых областях (например,
посвященных раку и синдрому приобретенного
иммунодефицита). Однако в таких обзорах
связь между клиническими рекомендациями
и фактами, часто слабая, неполная, или,
что еще хуже, основана на предвзятом
цитировании определенных оригинальных
исследований. В результате рекоменда­ции
в обзорах литературы, публикуемых в
журналах или руководствах, часто
отличаются от рекомендаций систематических
обзоров. Напри­мер, обзоры литературы
могут с опозданием на десятилетие
рекомен­довать методы лечения,
эффективность которых доказана, или
приво­дить доводы в защиту методов
лечения, о которых уже давно известно,
что они бесполезны или вредны. Кроме
того, систематические обзоры, использующие
количественные методы, скорее, чем
обзоры литера­туры, позволят обнаружить
небольшие, но клинически значимые
эф­фекты лечения.

Возможности
и ограничения систематических обзоров

Значение
правильно проведенного систематического
обзора для практического врача трудно
переоценить. Многие из нас перегружены
объемом выпускаемой медицинской
литературы и в результате часто
предпочитают просматривать обзорные
сообщения, а не публикации оригинальных
исследований. Обзорные статьи позволяют
нам оставаться на уровне современных
знаний. Высококачественные систематические
обзоры помогают определить границы
известного и узнавать обо всех научно
доказанных фактах. Отдельные исследования
редко дают точ­ные ответы на определенные
клинические вопросы, а систематические
обзоры могут помочь практическим врачам
решать их. Критически ана­лизируя
первичные исследования, систематические
обзоры помогают также выявить противоречия
между результатами различных исследо­ваний.
Количественно объединяя результаты
нескольких небольших ис­следований,
метаанализ позволяет делать более
точные, разносторонние и убедительные
выводы. Примером тому служит недавно
опубликован­ный обзор, подчеркнувший
благоприятное влияние ограничения
белков в пище на прогрессирование
заболеваний почек диабетической и иной
этиологии. Кроме того, систематический
обзор нескольких исследова­ний
помогает лучше определить, для каких
подгрупп больных приме­нимы полученные
результаты.

Систематические
обзоры нужны и исследователям, так как
позволяют суммировать существующие
данные, усовершенствовать гипотезы,
опре­делять необходимые размеры
выборки для исследования, помогают
вы­работать план будущих исследований.
Без этих обзоров исследователи могут
пройти мимо многообещающих направлений
или изучать уже ре­шенные вопросы.
Организаторам здравоохранения обзоры
и другие обоб­щающие публикации
необходимы для выработки политики
оказания медицинских услуг, обеспечивающей
оптимальные результаты при име­ющихся
ресурсах.

Систематические
обзоры могут помочь в решении клинических
про­блем, но никогда не заменят
клинического опыта. Врачи дают
реко­мендации конкретным больным,
основываясь на аналогиях, опыте,
ло­гических построениях и теории,
равно как и на научно обоснованных
результатах исследований. Осведомленность
об эффективности какой-либо терапии не
заменит знания о том, как использовать
ее для лечения конкретных больных.
Научно обоснованные рекомендации могут
при­вести к плохим практическим
результатам, если применяются некри­тически
или неосознанно. Структура принятия
решений в медицине сложна; для этого
требуется объединять знания, навыки,
морально-эти­ческие ценности и научно
обоснованные факты при каждой встрече
больного с врачом.

Прошлое,
настоящее и будущее систематических
обзоров

Распространенность
обзорных статей быстро изменяется;
число ежегодно издаваемых систематических
обзоров увеличилось в прошлом десятилетии
по крайней мере в 500 раз. Теперь часто
можно встретить несколько систематических
обзоров по одним и тем же или близким
клиническим вопросам. Например, оценке
влияния кальция на арте­риальное
давление были посвящены недавно два
метаанализа, опуб­ликованные в течение
одного месяца. Хотя дублирующие друг
друга независимые обзоры, в которых
получены аналогичные результаты,
позволяют относиться к ним с большим
доверием, за это приходится расплачиваться
сужением возможностей — они могут
отвлекать ис­следователей от проведения
необходимых систематических обзоров
в других областях. Ситуация может стать
еще более сложной, если в не­скольких
обзорах результаты похожи, а клинические
рекомендации раз­личаются; такое
случилось с пятью метаанализами по
ведению боль­ных в отделениях
интенсивной терапии, изданными в течение
5 лет (причем два из них были опубликованы
в одном выпуске одного и то­го же
журнала). Разрешить разногласия между
метаанализами можно, проведя на высоком
методологическом уровне новый
систематичес­кий обзор, в котором
будут синтезированы все существующие
дан­ные. За прошедшие 10 лет были
разработаны методические рекоменда­ции,
помогающие критически оценивать и
применять обзорные статьи. Схема
интерпретации данных оригинальных
исследований и создания систематических
обзоров с использованием уровней
доказательности и степени обоснованности
рекомендаций была с успехом использована
несколькими группами исследователей.
На согласительных конфе­ренциях
Американской коллегии пульмонологов
по предотвращению тромбозов лечебные
рекомендации обычно классифицируют
согласно степени их научной доказательности
— в зависимости от того, основа­ны ли
они на результатах крупных, строгих,
рандомизированных иссле­дований,
метаанализов, наблюдательных исследований
или на мнении экспертов.

Международное
содружество ученых, названное Cochrane
Collaboration,
создано
именно для того, чтобы помочь в подготовке,
постоянном обнов­лении и распространении
результатов систематических обзоров
по лечеб­ным вмешательствам. Библиотека
Cochrane
—
первый крупномасштабный многодисциплинарный
продукт этого сотрудничества. Она
обновляется ежеквартально, и в январе
1997 г. содержала 159 законченных
система­тических обзоров, подготовленных
в рамках Cochrane
Collaboration
(еще
199 систематических обзоров готовятся
к выпуску в настоящее время), более чем
1600 резюме других систематических
обзоров, список более чем 1 Ютыс.
контролируемых исследований и библиографию
из 400 ста­тей по методике подготовки
систематических обзоров.

Каковы
перспективы систематических обзоров?
Охват ими различных направлений медицины
хотя и быстро расширяется, но все еще
ограни­чен. Cochrane
Collaboration
работает
в этом направлении, но оно нужда­ется
в более активном участии и поддержке,
чтобы действовать успешно. Исследования,
посвященные науке синтеза данных,
позволят повысить качество и ценность
результатов, получаемых в систематических
обзорах. Будут выработаны более
эффективные методы проведения этих
обзоров. Увеличится доступ к обзорам
больных и руководителей здравоохранения,
что будет побуждать врачей более активно
искать, анализировать и при­менять
результаты систематических обзоров в
своей работе. Развитие информационных
технологий сможет обеспечить доступность
инфор­мации прямо на месте оказания
медицинской помощи, но практические
врачи должны будут приобрести навыки
использования такой техноло­гии.
Форматы представления данных станут
более удобными и для меди­ков, и для
больных. Будут созданы и повсеместно
распространены прак­тические методы
включения информации из систематических
обзоров в процесс выработки клинического
решения. В ожидании этого про­гресса
врачи уже сейчас могут и должны
пользоваться преимуществами систематических
обзоров.

Основные
особенности систематических обзоров

• В
систематических обзорах собирают,
критически оценивают и обоб­щают
результаты первичных исследований по
определенной теме или проблеме.

• При
подготовке систематических обзоров
используют подходы, уменьшающие
возможность систематических и случайных
ошибок.

• Систематические
обзоры — аналитико-синтетические
статьи, к ним относятся также экономические
анализы, клинические рекоменда­ции,
анализы алгоритмов принятия клинических
решений.

• Систематические
обзоры помогают врачам быть в курсе
современной информации, несмотря на
огромное количество медицинских
публи­каций.

• Систематические
обзоры могут помочь обосновать клинические
ре­шения результатами исследований,
хотя сами по себе они не позво­ляют
принимать решения и не заменяют
клинического опыта.

Поиск
и анализ доказательной информации

Информационный
поиск в области доказательной медицины
требует от исследователя соответствующего
опыта и использования системного
подхода. Для успешного поиска необходимой
информации по вопросам доказательной
медицины большое значение имеют выбор
доступных баз клинических данных
(MEDLINE,
Cochrane
Library,
Adonis
и
др.) и разра­ботка адекватной методологии
поиска (по ключевым словам или
словосо­четаниям, именам авторов и
др.). Но даже при самом тщательном и
квали­фицированном поиске не всегда
удается найти необходимую информацию
о проведенных клинических испытаниях
(например, из-за некачествен­ного
индексирования или нежелания фирм-спонсоров
публиковать отри­цательные результаты
клинических исследований). Таким образом,
дан­ные некоторых необходимых
клинических исследований могут остаться
не охвачеными. По этой причине при поиске
доказательной информации компьютерный
отбор необходимо дополнять другими
методами поиска:

• «ручным»
поиском информации о клинических
исследованиях, опи­сание которых
отсутствует в электронных базах данных;

• изучением
списков литературы в найденных статьях;

• запросами
исследователям и производителям ЛС.

Для
анализа доказательной информации
используют такие специаль­ные методы
работы с информацией, как систематический
обзор и мета-анализ.

Метаанализ

Метаанализ
(meta—analysis)
— применение
статистических методов при создании
систематического обзора (см. ниже) в
целях обобще­ния результатов, включенных
в обзор исследований. Систематические
обзоры иногда называют метаанализом,
если этот метод применялся в обзоре.
Метаанализ проводят для того, чтобы
обобщить имеющуюся информацию и
распространить ее в понятном для
читателей виде. Он включает определение
основной цели анализа, выбор способов
оценки результатов, систематизированный
поиск информации, обобщение ко­личественной
информации, анализ ее с помощью
статистических мето­дов, интерпретацию
результатов. Метаанализ — статистический
метод, позволяющий объединить результаты
независимых исследований. Чаще всего
его используют для оценки клинической
эффективности терапев­тических
вмешательств; для этого объединяют
результаты двух и более рандомизированных
контролируемых исследований.
Информативность метаанализа зависит
от качества систематического обзора,
на основа­нии которого он проводится.
Качественный метаанализ предполагает
изучение всех исследований, посвященных
соответствующей проблеме, оценку
неоднородности и определение
информативности основных ре­зультатов
путем анализа чувствительности.
Существует несколько раз­новидностей
метаанализа.

• Кумулятивный
метаанализ
позволяет построить кумулятивную кривую
накопления оценок при появлении новых
данных.

• Проспективный
метаанализ
— попытка разработки метаанализа
пла­нируемых испытаний. Такой подход
может оказаться приемлемым в областях
медицины, где уже существует сложившаяся
сеть обмена информацией и совместных
программ.

• На
практике вместо проспективного
метаанализа часто применяют
проспективно-ретроспективный
метаанализ,
объединяя новые резуль­таты с ранее
опубликованными.

• Метаанализ
индивидуальных
данных основан
на изучении результатов лечения отдельных
больных. В ближайшем будущем метаанализ
инди­видуальных данных, вероятнее
всего, будет ограничиваться изучением
основных заболеваний, лечение которых
требует крупномасштабных

централизованных
капиталовложений. Преимущества:

• получение
достоверных результатов;

• устранение
возможных ошибок;

• точность
оценок;

• прозрачность.
Сложности:

• выявление
и отбор исследований;

• неоднородность
представленной информации;

• вероятность
потери важной информации;

• неадекватный
анализ сравниваемых подгрупп;

• неадекватный
анализ чувствительности метода.

Главное
требование к информативному метаанализу
— наличие адек­ватного систематического
обзора. Результаты метаанализа обычно
пред­ставляют в виде графика и отношения
шансов (odds
ratio),
суммарного
показателя, отражающего выраженность
эффекта.

Почему
метаанализ?

Систематические
обзоры предоставляют научные доказательства
для внедрения результатов исследований
в практику и принятия реше­ний, в то
время как метаанализ — аналитическая
часть систематичес­ких обзоров. Ниже
приведены основные черты, характерные
для мета­анализа.

• Уточнение
в протоколе исследования задач
исследования, оценивае­мых гипотез
(как в области медицины, так и в области
биологии), об­зора материала и методов
систематических обзоров прежде, чем
ис­следования будут предприняты.

• Объединение
всех доступных первичных исследований,
включая ин­формационный поиск, с
четким описанием стратегии поиска и
ис­точников информации. Выбор
исследований должен быть основан на
четких критериях, обоснованных протоколом
исследования.

• Оценка
методологического качества отобранных
исследований (при­менение методов,
снижающих ошибку). Оценка воспроизводимости
исследований.

• Определение
искомых результатов исследований,
объяснение отли­чий, которые по
возможности проводятся по каждому из
первичных исследований.

• Выбор
и метод оценки результатов исследований,
а также предмет ис­следований
характеризуют в стандартизованной
форме по первичной документации
исследования с проверкой ошибки выборки.
Проце­дура должна быть ясной,
воспроизводимой и с минимальной
статис­тической ошибкой.

• Там,
где обзор и характеристики данных
выполнены, метаанализ (ко­личественный
синтез результатов первичных исследований)
исполь­зует соответствующие методы
и модели (ясно обоснованные) для того,
чтобы учесть при расчетах все возможные
причины изменчивости признаков (например,
различия качества исследований,
участников, дозы, продолжительности и
характера вмешательства, определения
и измерений результатов).

• Когда
данные имеют значительный разброс,
слишком низкое качество или высокую
неоднородность, проведение метаанализа
представляет большую сложность.

• Обеспечение
ясности результатов систематического
обзора в отноше­нии выборов и
предположений проводится на всех стадиях
анализа. В частности, в метаанализе
должны найти отражение:

■ влияние
качества исследования и (или) критерии
включения;

■ правдоподобие
и возможное влияние статистических
ошибок;

■ влияние
различных моделей стратегии выбора и
обеспечение ре­конструкции значений
пропущенных данных в исследованиях с
неполными результатами.

• Ясное
представление ключевых аспектов всех
этапов анализа в отчете исследования,
проведение критической оценки и
обеспечение вос­производимости. Эти
данные могут быть представлены в виде
специ­альной таблицы, включающей
ключевые элементы каждого первич­ного
исследования. Графическое представление
результатов также может помочь в
интерпретации и его нужно включать там,
где это не­обходимо.

• Методологические
ограничения как первичных исследований,
так и систематических обзоров, должны
быть оценены. Любые кли­нические или
организационные рекомендации должны
быть практи­ческими и исчерпывающими,
и обеспечивать ясность доказательств,
на основании которых они сделаны.
Предложения необходимых ис­следований
должны включать клинические и
методологические тре­бования к этим
исследованиям.

Стадии
метаанализа

• Поиск
исследований, содержащих данные по
интересующей про­блеме.

• Определение
критериев отбора для включения или
исключения ис­следований из рассмотрения.

• Абстрагирурование
данных от конкретных исследований.

• Совместный
анализ абстрагированных данных.

• Определение
размера эффектов для проверки гомогенности.

Проблемы
метаанализа

Смещенные
оценки

Существует
несколько типов смещения оценок в
метаанализе. К пер­вому типу относятся
смещения из-за пристрастности к публикации
по­ложительных результатов в противовес
отрицательным. Предложен ста­тистический
метод, позволяющий выявить смещение и
устранить его из оценок. Более того, при
анализе чувствительности суммарной
оценки общепринято оценивать число
испытаний с отрицательным результатом
(индекс надежности), которые потребовались
бы для предотвращения любого наблюдаемого
положительного результата.

Другие
типы потенциального смещения обусловлены:

• незаконченностью
информационного поиска;

• неудачными
критериями включения/исключения
источников;

• небрежностями
изложения в оригинальных сообщениях.

Можно
показать, что этих проблем в систематических
обзорах сущес­твенно меньше по
сравнению с традиционными повествовательными
аналогами.

Объединение
разнородных исследований

Критика
метаанализа исходит из того, что в нем
«яблоки смешива­ются с апельсинами»,
что дает неинтерпретируемые результаты,
однако грамотно выполненный в рамках
систематического обзора метаанализ
должен преодолеть этот критицизм,
поскольку его существенными этапами
становятся строгие критерии включения
и тщательная ин­терпретация наблюдаемой
разнородности. В самом деле, смешивание
«слегка различающихся сортов цитрусовых»
может существенно улуч­шить однородность
выборки с помощью различных статистических
методов.

Включение
неопубликованных данных

В
метаанализе основные усилия направлены
на идентификацию всего набора испытаний
в определенной области — опубликованных
или неопубликованных. И хотя последние
могут быть методологически слабыми,
тщательная оценка качества обеих групп
перед включением в метаанализ устраняет
этот недостаток. Подобный подход может
дать наиболее ценный синтез данных.

«Золотой
стандарт»

В
качестве такого стандарта обычно
рассматривают хорошо проведен­ное
клиническое испытание соответствующего
дизайна и размера вы­борки, организованное
с целью оценки эффективности лекарственного
средства. Когда результаты нескольких
таких испытаний эффективности данного
лекарства доступны для анализа, следующее
из их анализа факты будут неоспоримыми,
поскольку при таких условиях метаанализ
дает на­иболее точные оценки. Проблемы
возникают при расхождении резуль­татов
между одним большим и группой более
ранних и малочисленных исследований.
Причины расхождения необходимо детально
выяснить, не поддаваясь стремлению
подытожить результаты в пользу большого
исследования.

Поиск
исследований для анализа

• Проводят
систематический и тотальный поиск всех
статей по интере­сующей теме. Если
какие-либо исследования будут пропущены,
воз­можна систематическая ошибка
результатов метаанализа.

• Неопубликованные
исследования могут остаться не
обнаруженными. Публикационную
систематическую ошибку часто упоминают
как ог­раничение для метаанализа.

• Исследования
с позитивными результатами публикуют
чаще, чем с негативными.

• Включение
неопубликованных исследований без
рецензирования не может приветствоваться.

• Статистические
или квази-статистические методы
предложены для оценки публикационной
систематической ошибки, но не все
по­лагают, что эти методы приемлемы.

Определение
критериев отбора

• Критерии
отбора, приведенные ниже, должны быть
записаны в про­токоле перед началом
исследования:

■ адекватность
размера выборки;

■ наличие
контрольной группы;

■ полнота
информации об исследовании в источнике;

■ годы
публикации;

■ тип
исследования;

■ сходство
экспозиции (доза, кофакторы);

■ сходство
эффектов;

■ контроль
систематических ошибок;

■ ограничения
исследования.

• Подбирают
систему подсчета баллов, выставляемых
исследованиям.

• На
основании установленных критериев
разрабатывают форму абс­трагирования.

• Регистрируют
исключаемые из анализа исследования,
указывая при­чины исключения.

Выбор
статистической модели

Выбор
для метаанализа модели фиксированных
или случайных эф­фектов — предмет
острой дискуссии (табл. 7-3).

Таблица
7-3.
Виды
статистических моделей метаанализа

Гетерогенные
результаты

Если
оценки эффектов в индивидуальных
исследованиях разнородны, то использование
методов фиксированных и случайных
эффектов, ско­рее всего, даст различные
результаты. Стоит ли объединять
результаты, которые неоднородны? Многие
эпидемиологи полагают, что метаана­лиз
— скорее средство систематизации
информации, доступной по оп­ределенной
проблеме, чем средство получения
объединенных оценок. Во всех ситуациях,
когда отдельные исследования неоднородны
по ре­зультатам, необходимо выявлять
причины этих различий.

Оценка
однородности

Существуют
графические средства и статистические
тесты для оценки однородности размеров
эффектов в отдельных исследованиях. В
данном случае могутбытьполезныдве
формы графического представления
данных:

• частотное
распределение оценок эффекта в
исследованиях;

• диаграмма
рассеяния «размер эффекта — размер
выборки». Статистические тесты применяют
для вычисления взвешенной раз­ницы
между мерой суммарного эффекта и мерой
эффекта в каждом от­дельном исследовании.
Результирующая статистика обычно
обозначается буквой Q,
и следует распределению хи-квадрат со
степенью свободы рав­ной числу
исследований минус 1.

Метод
Ментела—Хензела

В
этом методе каждое исследование —
отдельный слой (страта). Дан­ные из
соответствующих исследований должны
быть представлены в виде таблицы «два
на два».

Оценка
суммарного отношения шансов по этому
методу включает в себя:

• оценку
вариации отношения шансов для каждого
отдельного иссле­дования;

• вычисление
весов для каждого исследования по
формуле «1/вариацию»;

• вычисление
произведения веса на отношение шансов
для каждого от­дельного исследования;

• вычисление
суммы весов;

• вычисление
суммы произведений весов на отношение
шансов;

• оценку
суммарного отношения шансов путем
деления суммы произ­ведений (#5) на
сумму весов (#4);

• оценку
вариации суммарного отношения шансов,
и 95 % доверитель­ных интервалов.

Метод
Пето

Этот
метод используют для исследований, в
которых эффект пред­ставлен в виде
относительных коэффициентов. Этот метод
включает не­сколько этапов.

• вычисление
ожидаемого числа событий в экспонированной
группе каждого исследования;

• вычисление
разностей между наблюдаемым и ожидаемым
числом со­бытий в каждом исследовании;

• оценка
вариации наблюдаемое минус ожидаемое
число событий в каж­дом исследовании;

• вычисление
суммы разностей (#2) для всех исследований;

• вычисление
суммы вариаций;

• оценка
натурального логарифма суммарного
отношения шансов пу­тем деления суммы
разностей (#4) на сумму вариаций (#5);

• оценка
суммарного отношения шансов путем
возведения ее в степень натурального
логарифма (#6);

• оценка
95 % доверительного интервала.

Методы,
основанные на общей вариации

Методы
Ментела—Хензела и Пето, как правило,
используют в тех слу­чаях, когда эффект
представлен в виде относительных
коэффициентов.

Для
мер различия следует использовать общий
метод, основанный на вариации:

RDs=3(WjxRDj)/3Wj,

где
Wj=l /variance.

95
% доверительный интервал вычисляют по
формуле

95
% доверительный интервал =RDs+1.96xvariances.

Общий
метод, основанный на вариации, можно
использовать и в тех случаях, когда
эффект представлен в виде относительных
коэффициентов.

Общий
метод, основанный на вариации, с
использованием доверительных интервалов

Этот
метод используют в тех случаях, когда
эффект представлен в виде относительных
коэффициентов и требует информации об
относительном риске и его 95 % доверительном
интервале.

In
RRs=2(WjxIn Rj) /3Wj,

где
Wj=l/variance
RRj.

Относительные
риски для отдельных исследований (Rr/)
могут быть отношениями шансов или
относительными рисками.

Методы
Тер-Симоняна и Лейрда

Необходимо
подчеркнуть, что, хотя этот метод часто
используют в случае гетерогенности
результатов отдельных исследований,
этот вы­бор не вполне корректен в
отношении систематической ошибки,
не­контролируемого влияния мешающих
факторов и любых других причин различия
в размерах эффекта. Этапы получения
суммарного отношения шансов описаны
ниже.

• Вычислить
натуральный логарифм отношения шансов
для каждого исследования.

• Вычислить
вариацию внутри исследований (Wj)
для каждого исследо­вания и вариацию
между исследованиями (D).

• Вычислить
весовой фактор (Wj)
для каждого исследования:

Wj=l/[D+(1/Wj)].

• Вычислить
95 % доверительный интервал.

Проблемы,
которые могут возникать при проведении
метаанализа

• Размеры
эффектов полностью гетерогенны.

• Выявление
в ходе оценки нескольких выпадающих
значений.

• В
некоторых исследованиях может не
использоваться контрольная группа.

• Может
не быть оценки эффекта, только р-значение
или F-статистика.

• Отсутствие
информации о стандартном отклонении
или вариации.

• Множество
измерений внутри каждого исследования.

Определение
ограничений исследования

Важно
знать ограничения исследования и
определить области, подхо­дящие для
дальнейших исследований.

Наиболее
общие ограничения

• Неадекватная
информация о потенциальных мешающих
факторах.

• Отсутствие
точной информации об экспозиции.

• Доступность
подходящей популяции для сравнения.

• Отсутствие
информации о взаимодействии экспозиции
и болезни на индивидуальном уровне в
экологических исследованиях, отсутс­твие
точного знания о биологическом механизме
болезни, возмож­ность систематической
ошибки при формировании групп.

• Экспозиции
без случайного отбора, различный процент
отзыва рес­пондентов в исследованиях
«случай-контроль», неверная классифи­кация.
Ограничения по изучению временных
взаимосвязей в попе­речных исследованиях.
Потери при прослеживании в продольных
исследованиях.

ОПРЕДЕЛЕНИЕ
ПОКАЗАТЕЛЕЙ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЙ,
ИСПОЛЬЗУЕМЫХ В ПРАКТИКЕ МЕТААНАЛИЗА

Результаты
исследований можно разделить на три
группы в зависи­мости от типа данных,
на основании которых сделаны выводы.

• К
первой группе принадлежат результаты,
основанные на парных (би­нарных) данных
(альтернативные исходы — выжившие/умершие,
за-болевшие/незаболевшие).

• Ко
второй — результаты, основанные на
динамически изменяющихся количественных
данных (например, артериальное давление).

• Третья
группа объединяет категориальные
(порядковые, ранговые) данные, например,
степень тяжести заболевания. Большинство
результатов исследований медицинских
исследований

оказываются
сравнимыми. В частности, сравнимы
результаты первых двух групп результатов.
При этом несравнимые парные данные
также слу­жат предметом обсуждения.

Несравнимые
парные данные

Шансы

Выражение
результатов в шансах иногда используют
в неконтроли­руемых исследованиях,
когда пациентов опытной группы сравнивают
с историческим контролем. Шансы
наступления события рассматривают для
одной группы, в то время как при сравнении
двух групп используют отношение шансов.

• Для
статистического анализа обычно используют
натуральные лога­рифмы шансов:

Ln
(ODDS)
=Lnx
(число пациентов, у которых событие
наступило) + (число пациентов, у которых
событие не наступило).

• Вариабельность
оценивают по формуле

var
[Ln
(ODDS)]
= [1+ (число пациентов, у которых событие
наступило)] + [1+ (число пациентов, у которых
событие не наступило)].

Отношение:
шансов

OR=ad/bc,

при
вариабельности var
[Ln
(OR)]
=l/a+l/b+l/c+l/d.

Для
того чтобьи избежать деления на ноль,
при расчете вариабельности принято
добавлять 0,5 к каждому из значений
четырехпольной таблицы до вычисления
отношения шансов (или их логарифмов).

Пример
расчета отношения шансов

В
рандомизированном контролируемом
исследовании изучали эф­фективность
применения препаратов, снижающих
концентрацию холес­терина в крови.
Контрольная группа составила 202 пациента,
опытная — 204. Результаты исследования
приведены в выде таблицы:

Умерло

Выжило

Всего

Опыт
(новое лечение)

28

176

204

Контроль

51

151

202

Это
несколько больше, чем нескорректированное
значение (0,47), рассчитанное выше. В табл.
7-5 приведены данные о неблагоприятных
исходах в РКИ, использованных для
составления систематического об­зора
эффективности холестерин-снижающих
препаратов.

Таблица
7-5.
Данные
34 РКИ, использованных для составления
систематичес­кого обзора эффективности
применения холестерин-снижающих
препаратов

Таблица
7-6. Расчеты
отношений шансов в отношении неблагоприятных
исхо­дов РК.И по эффективности
применения холестерин-снижающих
препаратов

Сложности
в интерпретации результатов теста

• Статическая
мощность теста на неоднородность в
большинстве случаев небольшая в связи
с небольшим количеством объединяемых
исследова­ний. Поэтому рекомендуют
изменять критерии достоверности до
0,10 вместо обычных 0,05. Это обычная практика
в метаанализе.

• Когда
размер выборки в каждом исследовании
очень большой, тест на гетерогенность
отвергают даже если отличия размеров
эффекта по отдельным исследованиям
небольшие.

• Недостатки
в планировании исследования и
статистические погреш­ности могут
резко усложнить интерпретацию теста
на неоднород­ность. Если предполагается,
что все исследования имеют одни и те же
недостатки и что результаты исследований
с отрицательным и (или) «нулевым»
результатом публикуются значительно
реже, то эффект может быть более сильным.

Некоторые
авторы не рекомендуют использовать
этот статистический критерий в
метаанализе, ограничивая его использование
только в качестве диагностического
инструмента при планировании/моделировании
разли­чий между исследованиями.
Гораздо более чувствительным методом
счи­тают оценку магнитуды различий
между исследованиями.

Альтернативные
тесты

• Однонаправленный
вариационный анализ (ANOVA)
для оценки гете­рогенности между
группами и внутри отдельных групп.

• Статистический
анализ по Gail
и
Simon
—
оценка различий в направ­ленности
эффекта.

• Тест
на неоднородность по Zelen.

• Регрессионный
анализ.

• Методы,
основанные на анализе отношений
правдоподобия. Пример

Оценка
неоднородности 34 РКИ, использованных
при составлении систематического обзора
по эффективности препаратов, снижающих
концентрацию холестерина в крови.

Это
значит, что неоднородность высока и для
проведения метаана­лиза необходимо
выбирать модель со случайным эффектом.
В при­веденном рис. 7-1 отображены
результаты всех 34 РКИ, посвящен­ных
применению препаратов, снижающих
концентрацию холестерина в крови.

Кокрановское
сотрудничество

Основой
современной доказательной медицины
служит так назы­ваемое Кокрановское
сотрудничество — международная
организация, цель которой состоит в
поиске и обобщении достоверной информации
о результатах медицинских вмешательств.
Составление систематичес­ких обзоров
— весьма трудоемкая работа, требующая
совместных уси­лий исследователей.
Кокрановское сотрудничество — наиболее
активная организация, созданная с этой
целью в 1992 г. Дж. Чалмерсом, в настоя­щее
время насчитывающая около Зтыс.
организаций-участников. Кок­рановское
сотрудничество действует в виде сети
сообщающихся цент­ров в различных
странах. Цель Кокрановского сотрудничества
— создать исчерпывающий регистр всех
РКИ, необходимых для составления
сис­тематических обзоров. В 1973 г.
английский эпидемиолог Арчи Кокран
(Cochrane
A.
L.)
составил первый систематический обзор.
В 1992г. — от­крыт первый Кокрановский
центр в Оксфорде.

Принципы
Кокрановского сотрудничества

За
годы, прошедшие с момента образования,
Кокрановское сотруд­ничество претерпело
значительные изменения, не отступив
при этом от провозглашенных задач и
принципов. Основная задача этой
между­народной организации — создание,
обновление и распространение
сис­тематических обзоров результатов
медицинских вмешательств, которые
должны облегчить заинтересованным
лицам принятие решений в раз­личных
областях медицины.

Кокрановское
сотрудничество основано на восьми
принципах:

• дух
сотрудничества;

• энтузиазм
участников;

• отсутствие
дублирования в работе;

• минимизация
предвзятости и систематических ошибок;

• постоянное
обновление данных;

• актуальность
обзоров;

• доступность
обзоров;

• постоянное
повышение качества работы.

Кокрановские
центры

Кокрановские
центры поддерживают деятельность
подразделений Кокрановского сотрудничества.
Профиль каждого центра определя­ется
с учетом интересов его участников и
уровнем финансирования, но все они
должны координировать свои действия и
оказывать поддержку Кокрановскому
сотрудничеству. Кокрановские центры
облегчают работу всех, кто намерен
составлять систематические обзоры по
отдельным об­ластям клинической
медицины и системы здравоохранения в
целом. Ус­ловие такого сотрудничества
— публикация в Кокрановской базе данных
систематических обзоров, распространяемых
также на компакт-дисках (The
Cochrane
database
of
systematic
reviews,
1995)
и в сети Интернет. По­лучить такую
информацию можно, например, воспользовавшись
услу­гами сервера Московского центра
доказательной медицины и фарма­котерапии:

http://evbmed.fb
m.msu.ru/index—r.html

или
официальным сайтом Российского отделения
Кокрановского сотрудничества:

http://www.cochrane.ru.

Международные
проблемные группы по составлению
систематических обзоров

Международные
проблемные группы по составлению
система­тических обзоров занимаются
составлением и обновлением Кокра-новских
обзоров. В помощь членам проблемных
групп Кокрановское сотрудничество
готовит обучающие материалы, а Кокрановские
цен­тры и в отдельных случаях сами
проблемные группы проводят семи­нары.
При обучении лиц, участвующих в составлении
Кокрановских обзоров, по возможности
используют примеры реально проведен­ных
исследований. В работе групп участвуют
исследователи, врачи, представители
организаций потребителей — все, кто
заинтересован в получении надежной,
современной и актуальной информации в
об­ласти профилактики, лечения и
реабилитации при различных забо­леваниях.

Кокрановские
рабочие группы по методологии обзоров

При
составлении обзоров применяют специальные
методы компи­ляции, оценки и обобщения
результатов испытаний. Эти методы
разра­батывают члены Кокрановских
рабочих групп по методологии обзоров,
призванных поддерживать на должном
уровне доказательность и точ­ность
систематических обзоров. Например, в
одной из методологических групп была
разработана высокоэффективная
унифицированная страте­гия ручного
поиска публикаций в журналах, которую
используют про­блемные группы по
составлению обзоров. Усилиями методологов
из раз­ных рабочих групп создана и
постоянно совершенствуется компьютерная
программа Review
Manager
(RevMan)
для планирования, подготовки, ана­лиза
и представления результатов систематических
обзоров.

Кокрановская
электронная бибилиотека

Чтобы
обеспечить единую методологическую
основу и единый элект­ронный формат
для Кокрановских обзоров, создана
Кокрановская элек­тронная библиотека.
Для этого разработано специальное
программное обеспечение — программа
RevMan.
Завершенные обзоры и протоколы об­зоров,
а также информация, полученная от
подразделений Кокрановского сотрудничества
(центров, групп по областям интересов,
рабочих групп по методологии обзоров,
Кокрановской сети потребителей и др.),
регу­лярно пересылаются в главную
базу данных Кокрановского сотрудничес­тва.
Именно из этой непрерывно обновляемой
базы данных отбираются Кокрановские
обзоры и информация о деятельности
Кокрановской ассо­циации для публикации
в Кокрановской электронной библиотеке.
Кокра­новская электронная библиотека
состоит из четырех отдельных баз данных.

• Кокрановская
база данных систематических обзоров
содержит завер­шенные обзоры и
протоколы готовящихся обзоров.

• Кокрановский
регистр контролируемых испытаний
представляет со­бой библиографическую
базу данных всех выявленных публикаций
контролируемых испытаний.

• Реферативная
база данных обзоров по эффективности
медицинских вмешательств содержит
структурированные рефераты тех
система­тических обзоров, которые
прошли критическую оценку сотрудни­ками
Йоркского Центра по составлению и
распространению обзоров (Великобритания)
либо сотрудниками журналов «Атепсап
College
of
Physicians‘Journal
Club»
и
« Evidence—
Based
Medicines.

• Кокрановская
база данных по методологии обзоров
представляет со­бой библиографию
статей, посвященных методам синтеза и
анализа результатов клинических
исследований.

В
Кокрановскую электронную библиотеку
также включены:

• учебное
пособие по методологии составления
систематических обзоров;

• словарь
методологических и специфических
терминов, принятых в организации;

• адреса
проблемных групп и других подразделений
Кокрановского со­трудничества.

Кокрановский
подход — основа развития идей доказательной
медицины. Органы управления здравоохранением
и страховые организации промыш-ленно
развитых стран, принимая большинство
своих решений, руковод­ствуются
заключениями и рекомендациями
Кокрановского сотрудничества.

Эталоны
ответов к заданиям для самоподготовки

К
задаче 1.
См.
информационный материал.

К
задаче 2. Систематический
обзор — структурированный процесс,
включающий:

• правильно
сформулированный вопрос;

• полноценный
и профессиональный поиск информации;

• несмещенный
(безошибочный) процесс отбора публикаций
и извле­чения фактических данных из
них;

• критическая
оценка данных;

• синтез
данных.

К
задаче 3. Преимущества
систематических обзоров и синтетического
подхода к анализу результатов исследований
заключаются в следующем.

• Помогают
демократизировать научные исследования
и использование их
результатов,спссобствуютбольшейоткрытостибазызнаний,
в томчисле для общественности. Это может
уменьшить значение «экспертов» как
со-средоточениязнаний,что в прошломприводилок
увеличениючислаошибок.

• Предоставляет
научной общественности бесценный
источник инфор­мации, который позволяет
обобщать накопленный в прошлом мате­риал,
упорядочивать новые материалы и
разработать методологию оп­ределения
тем и ключевых направлений научных
исследований. Это позволяет обеспечить
применение результатов исследований
и про­ведение оценки теорий во всем
мире.

• Предоставляет
возможность для исследователей определить
основные пробелы в исследованиях,
предлагать новые решения в рамках
накоп­ленных знаний и избежать
ненужного дублирования исследований.

• Предоставляет
базу знаний для практикующих врачей и
организаторов здравоохранения, которые
могут использовать обзоры для оценки
эф­фективности различных форм и видов
оказания медицинской помощи.

• Содействуют
кумулятивному развитию науки. Крайне
редко исследо­вание проводится на
совершенно новой почве, мы «стоим на
плечах» предыдущих исследований.

• Помогают
более ясно определить то, чего мы не
знаем и степень не­ясности.

4.
Метаанализом называют математическое
обобщение результатов нескольких
исследований.

5.
Цель метаанализа — получение неискаженной
оценки эффекта вме­шательства.

6.
См. информационный материал.

7.
Метаанализ в принципе может быть
использован по отношению к количественным
исследованиям любого вида, включая
клинические испытания и другие
эксперименты, квази-эксперименты и
обсерваци­онные исследования (например,
когортные исследования и исследо­вания
по типу «случай-контроль»). Большинство
метаанализов имеют дело с исследованиями,
цель которых — выяснение причинных
связей, но он также может быть применен
к исследованиям связей, которые не
обязательно причинно-следственные
(например, исследований мар­керов
риска) или к описательным исследованиям
(например, масштаба проблемы). Метаанализ
можно применять в отношении скрининговых
и других диагностических методов,
используемых как на уровне инди­вида,
так и общества (например, оценке их
валидности и надежности), или для
исследований эффективности и стоимости,
а также факторов, на них влияющих, и по
отношению к другим изучаемым темам.

РАБОТА
НА ЗАНЯТИИ

Вопросы
для отработки на практическом занятии:

• Перечень
и характеристика основных электронных
баз данных ме­дицинских исследований.

• Характеристика
основных разделов Кокрановской
электронной библи­отеки.

• Основные
этапы и принципы отбора исследований
для составления систематического обзора
(Задачи 2, 3,4).

• Показатели
результатов исследований и способы
представления ре­зультатов мета-анализа
(Задачи 5, 6, 7).

• Сравнительная
характеристика систематического обзора
и мета­анализа (Задача 1,2,3).

Указанные
вопросы отрабатываются при решении
следующих ситу­ационных задач

Ситуационные
задачи

Задача
1.

Таблица
7-7. Обобщающее
представление данных Кокрановского
обзора, сравнивающего активное и
выжидательное ведение родов в третьей
стадии

Используя
материалы, приведенные в табл. 7.7, дайте
описание и ин­терпретацию результатов
обзора, сравнивающего активное и
выжида­тельное ведение родов.

Задача
2.

Используя
критерии отбора информации, подберите
5 статей для со­ставления систематического
обзора.

Задача
3.

Используя
информационный материал и приведенный
пример (табл. 7.7), проведите объединение
приведенных результатов исследова­ния
и дайте их количественную оценку.

Задача
4.

• Проведите
анализ приведенных результатов
исследования влияния суль­фата
магнезии (табл. 7.8)
на
предупреждение преждевременных родов.
За основу взят исход — роды в течение
48
часов
с начала лечения.

Задача
5.

Был
проведен метаанализ исследований связи
между пассивным ку­рением дома и раком
легкого. В 9 найденных исследованиях
использова­лись различные методы.
Например, одно исследование было
когортным, а другие — случай — контроль.
Одни исследования использовали
инфор­мацию о выявленных случаях в
больнице, другие включали здоровых
лю­дей, проживающих дома. Два исследования
были слепыми, так, что ин­тервьюер не
знал, с кем имеет дело, со случаем болезни
или с контролем. Информация о курении
колебалась от нуля (в исследовании среди
здо­ровых лиц) до почти 70 % у больных.
Также различались дефиниции «не курящий»
и степень курения: в одном исследовании
лица, которые сооб­щали о курении от
случая к случаю, были классифицированы
как не ку­рящие, а в другом исследовании
сравнение проводили не между
подвер­гавшимися воздействию курения
и не подвергавшимися, а междулицами,
которые подвергались воздействию табака
более и менее 4 часов в день.

• Можно
ли объединять отношения шансов в этих
девяти исследованиях?

Задача
6.

Таблица
7-9. Результаты
23 рандомизированных контролируемых
испытаний по отдаленным результатам
применения Р-блокаторов после инфаркта
миокар­да (сравнение частоты смертельных
исходов в группах лечения и контроля)

Окончание
табл. 7-9

Примечание:
* — отношение показателей в группах
лечения и контроля;

**
— показатель в группе лечения минус
показатель в группе контроля; НД —

недостоверно.

В
мета-анализе, включающем 23 исследований
бета-блокаторов (табл. 7.9) суммированное
отношение показателей, полученное в
ре­зультате применения метода
Мантеля-Ханзела, было 0.79, указывающее
на то, что «в среднем» (после контроля
разницы между исследованиями)
бета-блокаторы предотвращали 21 %
смертельных исходов. Тест на ге­терогенность
показал результат значения р=0.38,
указывающий на то, что различия в
исследованиях могли быть случайными.
А теперь пред­ставьте, что в тесте на
гетерогенность значение р будет 0.001
вместо 0.38, так, что разницу нельзя будет
считать случайной. •
Как это повлияет на изменение суммарного
отношения показателей ?

Задача
7.

Поиск
в MEDLARS
совместно с просмотром Current
Contents
на
ста­тьи и ссылки позволил идентифицировать
12 контролируемых клини­ческих испытаний
эффекта добавки витамина А на детскую
смертность. Четыре испытания проводили
в больницах на детях, больных корью.
Во­семь были исследованиями, проводимыми
в общинах, включенные в них дети проживали
в различных деревнях, районах, и их
жители были опре­делены в группу
лечения или контроля. •
Можно ли все 12 испытаний включить в
метаанализ ?

Итоговый
контроль знаний

Ответьте
на вопросы

1.
Дайте определение понятию доказательная
медицина.

2.
Перечислите
основные особенности (преимущества)
доказатель­ной медицины.

3.
Укажите предпосылки возникновения
доказательной медицины.

4.
Перечислите сферы применения доказательной
медицины.

5.
Приведите источники поиска доказательной
информации. Назо­вите основные базы
данных.

6.
Перечислите принципы деятельности
Кокрановского сотрудниче­ства и
расскажите о Кокрановской электронной
библиотеке.

7.
Перечислите основные разделы Кокрановской
библиотеки.

8.
Дайте определение и основную характеристику
систематических обзоров.

9.
Перечислите основные отличия
систематических обзоров от обзо­ров
литературы.

10.
Укажите возможности и ограничения
систематических обзоров.

11.
Приведите основные этапы составления
систематического обзора.

12.
Назовите принципыотбораисследованийдля
систематических обзоров.

13.
Дайте определение понятию метаанализ.

14.
Назовите основные типы проведения
метаанализа.

15.
Дайте определение показателей результатов
исследований, исполь­зуемых в практике
метаанализа.

16.
Перечислите способы представления
результатов метаанализа.

17.
Дайте анализ реферата проведенного
метаанализа взаимосвязи между
серопозитивностью по cagA
и раком желудка.

Метаанализ
взаимосвязи между серопозитивностью
по садА и раком желудка

Обоснование
и цель

Сообщения
литературы относительно взаимоотношений
инфек­ции с cagA-положительными
штаммами Helicobacter
pylori
и
раком же­лудка по сравнению с лишь
одной инфицированностью Н.
pylori
проти­воречивы.
Цель этого исследования заключалась в
том, чтобы оценить величину риска рака
желудка, связанного с cagA-серопозитивностью,
и идентифицировать некоторые причины
гетерогенности между иссле­дованиями.

Методы

Был
предпринят метаанализ исследований по
принципу «случай-контроль» в сочетании
с контролем, согласованным по возрасту
и полу, который обеспечил предварительные
данные о частоте инфекции Н.
pylori
и
штаммов cagA
Н.
pylori,
выявленных
серологическим методом или при помощи
ПЦР.

Результаты

Всесторонний
литературный поиск идентифицировал 16
квалифи­цированных исследований с
2284 основными случаями и 2770 — конт­рольными.
Н.
pylori
и
cagA-серопозитивность
достоверно увеличивали риск рака желудка
в 2,28 и в 2,87 раза соответственно. Среди
Н.
pylori—инфицированной
популяции инфекция с cagA-позитивными
штаммами в дальнейшем увеличивала риск
рака желудка в целом в 1,64 раза
(дове­рительный интервал 95 % ДИ= 1,21
—2,24) и в 2,01 раза (95 % ДИ=1,21— 3,32) не
кардиального рака желудка. Кардиальный
рак желудка не был связан с инфекцией
Н. pylori
или
cagA-положительными
штаммами Н.
pylori.
Возраст
пациентов и локализация рака желудка
вносят вклад в ге­терогенность между
исследованиями.

Выводы

Инфекция
с cagA-положительными
штаммами Н.
pylori
увеличивает
риск рака желудка по отношению к риску,
который обусловлен только одной инфекцией
Н.
pylori.
Определение
cagA-статуса
инфекции Н.
pylori
может
дать дополнительный эффект в выявлении
популяций с высоким риском рака желудка.

Источник

Систематический обзор — специальная ветвь научных обзоров и писательского мастерства в целом. Подобная работа будет требовать от вас не только “проникновения” в саму тематику исследования, но и также варианты поиска важнейшей аналитической информации, проводя критическое мышление из собранных в нескольких источниках мнения, с обобщением всего используемого материала учитывая новизну тематики исследования. Кроме этого, необходимо уметь излагать объемные и сложные для понимания темы на простом для любого человека языке.

Подводные камни при написании систематического обзора

Подводные камни при написании систематического обзора

Какая бы отрасль не затрагивалась вами, рано или поздно вы можете столкнуться с таким занятием как написание обзорника научной литературы. Потребности в подобных трудах многими людьми объясняется тем, что из года в год находятся новые исследования, данные по исследованию, а также разработок и исследований. Именно поэтому научные редакции различных журналов на постоянной основе выпускают обзоры научных достижений, которые оцениваются и “компилируются” авторитетными учеными. В этой статье вы узнаете о том, какие подводные камни могут встретиться вами при написании систематического обзора.

Подводный камень №1. Четкое определение тематики обзорной работы, а также аудиторию

Первая проблема, с которой сталкиваются некоторые люди, неправильно подобранная тематика и аудитория обзорной работы. Не всегда вы сможете правильно понять и прочувствовать аудиторию, поэтому необходимо изучить этот момент подробнее. Вот несколько советов, как вам сделать подбор тематики правильно:

  1. Тема, которую вы планируете обозревать должна интересовать лично вас как автора. В самом лучшем случае следует прочитать и употребить десяток публикаций, которые смогли бы лаконично интегрироваться в ваш обзор. Также вы должны выстроить критическую линию, именно поэтому вы должны внимать в тематику.
  2. Тематика должна быть животрепещущей и актуальной. Такой подход заведомо вас сможет обеспечить множеством публикаций, а также большим количество человек читающих сам обзор.
  3. В обзоре следует уместить все обозначенные проблемы. Не следует разбирать то или иное, так как на это может не хватит энтузиазма, бумаги и сил.
  4. Определитесь с ЦА (целевой аудиторией). Вам следует подумать о том, какие люди (или по-другому специалисты) будут читать ваш обзор. Будет ли она интересной для них? Все это следует учесть при написании и рассмотрении тех или иных вопросов.

Подводный камень №2. Правильное использование литературы

Многие “спотыкаются” при использовании неправильной литературы для собственного обзора. В случае, если вы уже писали подобный тип работы, то можно взять предыдущую работу за основу, добавляя свежие данные, которые будут актуализировать ваш обзор. Вот некоторые советы по решению подобного момента:

  1. Не следует ограничивать себя одним лишь поисковиком, где выкладываются научные труды, так как это позволит вам получить самые актуальные и свежие публикации. Порядка 98% всех научных публикаций можно найти, используя следующие системы: DBLP, Google Scholar, ISI Proceedings, JSTOR Search, Medline, Scopus, Web of Science.
  2. Сохраните все используемые в обзоре работы в одной папке. Чтобы минимизировать время на поиск публикаций, следует применить в этом деле программы-органайзеры (Endnote, Mendeley). Также не лишним будет сделать резервную копию всех работ на других носителях/облачных хранилищах, применимых для вашего обзора.
  3. Определите ключевые особенности применимых статей. Критериями должны служить те моменты, которые позволят вам в будущем отбирать только потенциально применимые для обзора статьи.
  4. Кроме экспериментальных научных работ следует прочесть другие обзорные работы от некоторых авторов. Такой подход позволяет экономить время, а также у вас будет пища для размышлений.

Подводный камень №3. Пометки на полях

Если вы как автор обзорника только-только начали писать свой личный обзор, и отобранные статьи были прочитаны вами впервые, то логично, что вам следует запомнить всю имеющуюся информацию. В том числе выписать впечатления от того, что было вами прочитано, какие получили вы новые эмоции и ассоциации. Следует записывать все сразу, так как вы сможете связывать все это быстрее и проще — экономия времени и сил на лицо.

Подводный камень №3. Пометки на полях

Подводный камень №3. Пометки на полях

Записывайте все на полях или же заклеивайте стикноуты, а также выполняйте заметки прямо на компьютере, тем самым вы сможете использовать так называемые современные программы-каталогизаторы ЭБ, позволяющие оставлять определенные заметки. Также следует дословно выписывать определенные цитаты, особенно с тех работ, на которые будут напрямую ссылаться ваши доводы и сама работа.

Немаловажным будет записывать все аккуратно, так как небрежное написание будет не к лицу, вписывая ссылки на этом этапе. Таким образом вы сможете избежать различных непониманий в записях, а п попытках вспомнить кому принадлежат данные не путались. В итоге у вас будет полноценный черновик, который в будущем вы будете переделывать и не раз, реструктуризировав и переписав, чтобы в конечном итоге получить полностью законченный научный труд-обзорник с прослеживаемой логикой, а также весомыми аргументами.

Возникли сложности?

Нужна помощь преподавателя?

Мы всегда рады Вам помочь!

Подводный камень №4. Неправильно определенный тип обзора

Многие, не делая заметок неправильно выполняют определения типа обзора. Делая заметки в конце, вы сможете понять приблизительный объем своего обзорника. В основном существует два типа обзорных работ: миниразмерный и полноценный обзор.

Часть журналов публикуют только мини-обзоры, а некоторые свободно берут в разработку полноразмерные. Мини-обзор не означает то, что он неполноценный — наоборот, более емкий вариант, где имеется высокая концентрация знаний, сфокусирована на привлекающая внимание людей небольшим объемом. Тем более в наше время люди привыкли тратить на это меньше времени, чем при изучении полноценного труда. Недостатком небольших по объему работ заключается в том, что часть проблем предлагаются в упрощенном варианте.

Подводный камень №4. Неправильно определенный тип обзора

Подводный камень №4. Неправильно определенный тип обзора

Если говорить про полноразмерный обзор, то он имеет неоспоримые преимущества, которыми являются больше свободы действия. Также невероятное количество деталей, которые вы сможете включить в свой обзор. При этом такие работы иногда откладываются в долгий ящик.

Также обзор вы сможете классифицировать на описательные и концептуальные. Первый тип фокусируется на методиках, поиска и выполнения интерпретации любого из исследований или по-другому классифицируются как добросовестный конспект. Со вторым типом обзоров все сложнее, так как вы должны выдвигать в работе новые идеи, а также концепции, которые будут вытекать из общего массива информации опубликованных другими авторами материалов.

Чтобы сделать правильный обзор концептуального характера вы должны быть действительно знатоком в своей области, чтобы уловить даже самые незримые моменты в атмосферной части обзора. Следует быть самокритичным — сможете ли вы в итоге написать обзор уловив все тенденции? Хватит ли времени на выполнения сравнительного анализа? Помните о том, что описательные обзоры будут требовать от вас меньше времени и моральных сил.

Подводный камень №5. Неправильный подход к подбору материала

В независимости от того, о чем будет написан обзор следует сосредоточиться на отдельной проблематике, особенно если тема многогранна. Однако в момент анализа будет полезным применить материалы из смежных областей, например, при написании работы по иммунологии вам можно также включить информацию эпидемиологов, цитологов, а также врачей и биохимиков. Подобная работа будет интересной большому кругу лиц.

Подводный камень №6. Слабый уровень критичности и последовательности информации

Если вы пишете научную работу по обзору трудов ученых, то это не одно и тоже что коллекционирование марок или других предметов. Отличный обзорник являет людям не только обобщение определенной литературы, но и также критическое анализирование всего прочитанного. Это позволяет помогать людям и вам определенные методологические проблемы, а также указать на определенные пробелы в тех или иных исследованиях. После прочтения обзора каждый человек должен понять представление о том:

  • Какими основными достижениями в описанной области обладает та или иная работа;
  • Какие основные спорные вопросы имеет конкретная область науки;
  • Какие имеют основные научные вопросы, и перспективы их решений.

Ответить на все три вопроса в рамках одного обзора будет сложно, но если вы сделаете это, то он будет иметь оглушительный успех среди множества людей, прочитавший эту работу. Каждый из ученых имеет как сильные, так и слабые стороны. Например, один сможет превосходно описать результаты некоторых работ, а другим будут ловко критиковать работы других людей, что сможет повлиять на определенные места, где имеются проблемы, а третий сможет систематизировать обобщить все приведенные результаты исследований. Если у вас получится собрать такую команду, то обзор будет иметь успех.

Также кроме критического мышления, обзор на литературные работы применяется отличный слог, а также грамотность (орфография, морфология, пунктуация, синтаксический разбор и так далее). Перед публикацией следует дать почитать её “коллегам по цеху”, которые смогут помочь выделить слабые стороны, за чего следует улучшить (доработать) или уже полностью удалить с работы.

Подводный камень №7. Структурное мышление

Отличный обзор ни с чем нельзя спутать: он имеет современный слог, читается на “одном дыхании”, имеет структуру и критику, а также имеется логическая завязка. В таких обзорах редко применяется структура экспериментальных статей. Вместо этого авторами применяется собственная (авторская) логика повествования, которая без проблем диктуется самой тематикой обзора. Хотя единый формат не существует, в целом работа должна быть разбита на несколько логически соотнесенных частей, которые будут иметь свое краткое выступление, с обобщением в конце основных выводов.

Подводный камень №7. Структурное мышление

Подводный камень №7. Структурное мышление

Чтобы упорядочить весь поток основного текста в личном обзоре, чтобы читатель не потерялся, следует привести концептуальные схемы или же диаграммы. Они будут позволять читателю держать логическое построение повествования. Также немаловажным будет иметь иллюстрации, которые также смогут сохранить основные мысли без детального изучения тематики.

Возникли сложности?

Нужна помощь преподавателя?

Мы всегда рады Вам помочь!

Подводный камень №8. Следует учесть отзывы рецензентов

Не зря в наше время обзоры литературных работ также рецензируются, как и статьи с исследовательской наклонностью. Как правило, учет определенных отзывов экспертов и мнения людей, связанных с тематикой рецензентов может существенно улучшить качество изначального обзора. Вычитав ваш обзор, некоторые рецензенты смогут со своим свежим взглядом прочитать и указать на определенные недочеты, в частности несоответствия раскрытия определенной проблематике.

Советы рецензентов невероятно важны, так что необходимо получить рецензии от тех специалистов, имеющих знания в той области, по которой пишите собственный обзор. С некоторой точки зрения такой подход приводит к противоречивым мнениям по существующему обзору, но с другой стороны лучше иметь хоть какие-то отзывы, чем не иметь вообще. Разнообразие в замечаниях позволит вам определить в чем мнения рецензентов сходятся, а в чем имеются спорные моменты.

Подводный камень №9. Стоит воспользоваться своими объективными исследованиями. Однако советуют проявить скромность.

Чаще всего авторам удаётся получить определённый успех, когда они используют для работы определенную область и публикуют некоторые экспериментальные работы, связанные с этой темой. Иногда происходит появление разногласия в интересах. Не каждый способен правильно оценить свою работу. Бывает, что переоценивают собственный труд. Но, излишняя скромность тоже не уместна. Когда просят заняться написанием обзора, понятно, что удалось добиться небольшого успеха. Рекомендуют давать объективное сравнение своих данных с теми возможностями, которые имеют коллеги. Если обзоры пишут несколько авторов, объективную оценку получить более просто.

Подводный камень №9. Стоит воспользоваться своими объективными исследованиями. Однако советуют проявить скромность.

Подводный камень №9. Стоит воспользоваться своими объективными исследованиями.

В этом варианте текст будет редактироваться соавторами. Появится наличие возможности с большей реалистичностью сделать анализ того, чего удалось достичь коллегам.

Подводный камень №10. Стоит пользоваться новой информацией. Однако надо помнить и про классику.

Научные работы продолжают выпускаться в большом количестве. В разных сферах деятельности происходит устаревание литературных обзоров в медицине или других сферах. Потому происходит потеря их актуальности. Но, не стоит такого бояться. Проведение хорошего анализа сохранит высокий уровень актуальности длительный период времени.

Подводный камень №10. Стоит пользоваться новой информацией. Однако надо помнить и про классику.

Подводный камень №10. Стоит пользоваться новой информацией. Однако надо помнить и про классику.

Любой экспериментальной статьей, какой бы новой она ни оказалась, можно покрыть только не очень большую область в широком научном фронте. В обзорах нужно обобщать, обдумывать, показывать направление общего вектора в развитии главных направлений. В обзоре это будет главной задачей. Когда проходит некоторое время, однозначно происходит больше потери актуальности анализа. Но, у обзора сохраняется ценность. Его воспринимают, как отправную точку в составлении новых работ. Этому труду предписана историческая веха в процессе развития научной тематики.

Возникли сложности?

Нужна помощь преподавателя?

Мы всегда рады Вам помочь!

Подводный камень №11. Мало практики

Нельзя быть писателем с опытом, не имея практические навыки, именно поэтому если вы планируете писать качественные работы, то вам следует развивать свои навыки, а также уметь писать под своим стилем. В целом чтобы правильно писать читайте, учитесь, практикуйте и всегда пишите только качественно — на хорошем опыте вы сможете научиться гораздо быстрее, чем на плохом. Не забывайте об этом, и вы сможете первоклассно научится писать систематический обзор.

Заключение

Именно такие подводные камни могут быть в момент выполнения работы по написанию систематического обзора. Данная статья позволит вам не допускать их, тем самым вы можете сделать качественный труд, который оценят различные специалисты в той или иной области. Вы сможете не просто сделать обзор интересным, но и популярным во всех смыслах этого слова. Кроме этого, такие подходы вам могут позволить еще и дать знание людям, которые не могут в полной мере понять научные труды из-за их сложности.

Источник

Для академического журнала см. Систематические обзоры (журнал).

Систематические обзоры — это вид обзора, в котором используются повторяющиеся аналитические методы для сбора и анализа вторичных данных. Систематические обзоры — это тип синтеза доказательств, который формулирует исследовательские вопросы, которые являются широкими или узкими по своему охвату, а также выявляет и синтезирует данные, которые непосредственно относятся к вопросу систематического обзора. Хотя некоторые люди могут ассоциировать «систематический обзор» с « метаанализом », существует несколько видов обзора, которые можно определить как «систематические», которые не включают метаанализ. Некоторые систематические обзоры критически оценивают научные исследования и обобщают результаты качественно или количественно. Систематические обзоры часто предназначены для предоставления исчерпывающего резюме текущих данных, относящихся к вопросу исследования. Например, систематические обзоры рандомизированных контролируемых исследований являются важным способом информирования доказательной медицины, а обзор существующих исследований часто бывает быстрее и дешевле, чем запуск нового исследования.

Хотя систематические обзоры часто применяются в биомедицинском или медицинском контексте, их можно использовать в других областях, где будет полезна оценка точно определенного предмета. Систематические обзоры могут включать клинические тесты, вмешательства в области общественного здравоохранения, экологические вмешательства, социальные вмешательства, неблагоприятные эффекты, качественный синтез данных, методологические обзоры, обзоры политики и экономические оценки.

Понимание систематических обзоров и того, как их реализовать на практике, настоятельно рекомендуется профессионалам, занимающимся оказанием медико-санитарной помощи, общественным здравоохранением и государственной политикой.

СОДЕРЖАНИЕ

  • 1 Характеристики
  • 2 Типы
    • 2.1 Обзорные обзоры
  • 3 этапа
    • 3.1 Определение вопроса исследования
    • 3.2 Поиск соответствующих источников данных
    • 3.3 «Извлечение» релевантных данных
    • 3.4 Оцените соответствие данных
    • 3.5 Анализируйте и объединяйте данные
  • 4 Автоматизация систематических обзоров
  • 5 направлений исследований
    • 5.1 Медицина и здоровье человека
      • 5.1.1 История систематических обзоров в медицине
      • 5.1.2 Текущее использование систематических обзоров в медицине
      • 5.1.3 Участие общественности и гражданская наука в систематических обзорах
      • 5.1.4 Учебные ресурсы
    • 5.2 Социальные, поведенческие и образовательные
    • 5.3 Бизнес и экономика
    • 5.4 Исследования в области международного развития
    • 5.5 Окружающая среда
    • 5.6 Гигиена окружающей среды и токсикология
  • 6 Инструменты обзора
  • 7 Ограничения
    • 7.1 Устаревшие данные или риск предвзятости
    • 7.2 Ограниченная отчетность о клинических испытаниях и данных исследований на людях
    • 7.3 Плохое соблюдение руководящих принципов составления отчетов
  • 8 Об этой статье
    • 8.1 Отчет по стандартизированным данным по инициативам (STARDIT)
  • 9 См. Также
  • 10 Ссылки
  • 11 Внешние ссылки

Характеристики

Систематические обзоры могут использоваться для информирования при принятии решений во многих различных дисциплинах, таких как научно-обоснованное здравоохранение и политика и практика, основанные на фактических данных.

Систематический обзор может быть разработан для предоставления исчерпывающего обзора текущей литературы, имеющей отношение к вопросу исследования.

Систематический обзор использует строгий и прозрачный подход к синтезу исследований с целью оценки и, по возможности, сведения к минимуму предвзятости в выводах. Хотя многие систематические обзоры основаны на явном количественном мета-анализе имеющихся данных, существуют также качественные обзоры и другие типы обзоров с использованием смешанных методов, которые соответствуют стандартам сбора, анализа и представления доказательств.

Систематические обзоры количественных данных или обзоры смешанных методов иногда используют статистические методы (метаанализ) для объединения результатов подходящих исследований. Уровни балльной оценки иногда используются для оценки качества доказательств в зависимости от используемой методологии, хотя Кокрановская библиотека не одобряет это. Поскольку оценка доказательств может быть субъективной, можно проконсультироваться с несколькими людьми для разрешения любых различий в оценке доказательств.

Центр EPPI, Кокрейн и Институт Джоанны Бриггс сыграли важную роль в разработке методов объединения качественных и количественных исследований в систематических обзорах. Существует несколько руководящих принципов отчетности для стандартизации отчетности о том, как проводятся систематические обзоры. Такие руководящие принципы отчетности не являются оценкой качества или инструментами оценки. В Preferred отчетность Элементы для систематических обзоров и мета-анализ (Призма) заявления предлагает стандартизированный способ обеспечить прозрачную и полную отчетность систематических обзоров, и в настоящее время требуется для такого рода исследований более чем 170 медицинских журналов по всему миру. Было разработано несколько специализированных расширений рекомендаций PRISMA для поддержки определенных типов исследований или аспектов процесса обзора, включая PRISMA-P для протоколов обзора и PRISMA-ScR для обзоров по анализу. Список расширений рекомендаций PRISMA размещен в сети EQUATOR (Повышение качества и прозрачности исследований в области здравоохранения).

Для качественных обзоров руководящие принципы отчетности включают ENTREQ (Повышение прозрачности в отчетности о синтезе качественных исследований) для качественного синтеза доказательств; RAMESES (Реалистические и мета-нарративные свидетельства: эволюция стандартов) для мета-нарративных и реалистичных обзоров; и всплывать (Улучшение отчетности мета-этнографического) для мета- ethnograph.

Разработки систематических обзоров в течение 21 века включали реалистические обзоры и мета-нарративный подход, оба из которых касались проблем вариативности методов и неоднородности, существующих по некоторым предметам.

Типы

Существует более 30 типов систематических обзоров, и в таблице 1 ниже приведены некоторые из них, но она не является исчерпывающей. Важно отметить, что не всегда существует консенсус относительно границ и различий между подходами, описанными ниже.

Таблица 1: Краткое изложение некоторых типов систематического обзора.

Тип обзора Резюме
Обзор карт / систематическая карта Обзор карт отображает существующую литературу и классифицирует данные. Метод характеризует количество и качество литературы, в том числе по дизайну исследования и другим характеристикам. Картографические обзоры могут использоваться для определения потребности в первичных или вторичных исследованиях.
Мета-анализ Мета-анализ — это статистический анализ, объединяющий результаты нескольких количественных исследований. Используя статистические методы, результаты объединяются, чтобы предоставить доказательства из нескольких исследований. Два типа данных, обычно используемых для метаанализа в медицинских исследованиях, — это данные отдельных участников и агрегированные данные (например, отношения шансов или относительные риски).
Обзор смешанных исследований / обзор смешанных методов Относится к любой комбинации методов, где одним важным этапом является обзор литературы (часто систематический). Это также может относиться к комбинации подходов к обзору, таких как сочетание количественных и качественных исследований.
Качественный систематический обзор / качественный синтез доказательств Этот метод объединяет или сравнивает результаты качественных исследований. Этот метод может включать «кодирование» данных и поиск «тем» или «конструкций» в исследованиях. Несколько авторов могут повысить «достоверность» данных, потенциально уменьшив индивидуальную предвзятость.
Быстрый обзор Оценка того, что уже известно о проблеме политики или практики, при которой используются методы систематического обзора для поиска и критической оценки существующих исследований. Экспресс-обзоры по-прежнему являются систематическим обзором, однако некоторые части процесса могут быть упрощены или опущены для увеличения скорости. Быстрые обзоры использовались во время пандемии COVID-19.
Регулярный обзор Систематический поиск данных с использованием повторяемого метода. Он включает в себя оценку данных (например, качества данных) и синтез данных исследований.
Систематический поиск и обзор Сочетает в себе методы «критического обзора» с комплексным процессом поиска. Этот тип обзора обычно используется для ответа на общие вопросы с целью получения наиболее подходящего синтеза доказательств. Этот метод может включать или не включать оценку качества источников данных.
Систематизированный обзор Включите элементы процесса систематического обзора, но поиск часто не является таким всеобъемлющим, как систематический обзор, и может не включать оценки качества источников данных.

Обзорные обзоры

Обзорные обзоры отличаются от систематических обзоров несколькими важными способами. Обзорный обзор — это попытка поиска концепций путем сопоставления языка и данных, которые окружают эти концепции, и итеративной корректировки метода поиска для синтеза доказательств и оценки объема исследуемой области. Это может означать, что концептуальный поиск и метод (включая извлечение данных, организацию и анализ) уточняются на протяжении всего процесса, что иногда требует отклонений от любого протокола или исходного плана исследования. Обзор обзорного часто может быть предварительным этапом перед систематического обзора, который «прицелы» из области запроса и отображает язык и ключевые понятия, чтобы определить, является ли систематический обзор возможно или целесообразно, или заложить основу для полного систематического рассмотрение. Цель может состоять в том, чтобы оценить, сколько данных или свидетельств доступно в отношении определенной области интересов. Этот процесс еще более усложняется, если он отображает концепции на нескольких языках или культурах.

Поскольку обзорный обзор должен проводиться систематически и сообщаться (прозрачным и повторяемым методом), некоторые академические издатели относят его к категории «систематического обзора», что может вызвать путаницу. Обзорные обзоры полезны, когда невозможно провести систематический синтез результатов исследований, например, когда нет опубликованных клинических испытаний в исследуемой области. Обзорные обзоры полезны при определении возможности или целесообразности проведения систематического обзора и являются полезным методом, когда область исследования очень широка, например, при изучении того, как общественность участвует во всех этапах систематических обзоров.

По-прежнему отсутствует ясность при определении точного метода обзорного обзора, поскольку это итеративный процесс, и он все еще относительно новый. Было предпринято несколько попыток улучшить стандартизацию метода, например, с помощью расширения рекомендаций PRISMA для обзорных обзоров (PRISMA-ScR). PROSPERO (Международный проспективный реестр систематических обзоров) не разрешает подавать протоколы обзорных обзоров, хотя некоторые журналы будут публиковать протоколы обзорных обзоров.

Этапы

Хотя существует несколько видов методов систематического обзора, основные этапы обзора можно разделить на пять этапов:

Определение вопроса исследования

Чтобы разработать полезный систематический обзор, необходимо сформулировать вопрос, на который можно ответить, и согласовать объективный метод. Передовой опыт рекомендует опубликовать протокол обзора перед его инициированием, чтобы снизить риск незапланированного дублирования исследований и обеспечить согласованность между методологией и протоколом. Клинические обзоры количественных данных часто структурированы с использованием аббревиатуры PICO, что означает «популяция или проблема», «вмешательство или воздействие», «сравнение» и «результат», с другими вариациями, существующими для других видов исследований. Для качественных обзоров PICo — это «Население или проблема», «Интерес» и «Контекст».

Поиск соответствующих источников данных

Планирование того, как обзор будет искать релевантные данные исследования, которые соответствуют определенным критериям, является решающим этапом в разработке тщательного систематического обзора. Соответствующие критерии могут включать только отбор качественных исследований, отвечающих на поставленный вопрос. Стратегия поиска должна быть разработана для поиска литературы, которая соответствует указанным в протоколе критериям включения и исключения.

В разделе методологии систематического обзора должны быть перечислены все базы данных и индексы цитирования, в которых проводился поиск. Заголовки и аннотации идентифицированных статей могут быть проверены на соответствие заранее определенным критериям приемлемости и релевантности. Каждому включенному исследованию может быть назначена объективная оценка методологического качества, предпочтительно с использованием методов, соответствующих Заявлению о предпочтительных элементах отчетности для систематических обзоров и метаанализов (PRISMA) или высококачественным стандартам Кокрейн.

Общие источники информации, используемые при поиске, включают научные базы данных рецензируемых статей, такие как MEDLINE, Web of Science, Embase и PubMed, а также источники неопубликованной литературы, такие как реестры клинических испытаний и коллекции серой литературы. Ключевые ссылки также могут быть получены с помощью дополнительных методов, таких как поиск цитат, проверка списка литературы (связанный с методом поиска, называемым « выращивание жемчуга »), ручной поиск источников информации, не проиндексированных в основных электронных базах данных (иногда называемый «поиск вручную»)., и напрямую связываясь с экспертами в этой области.

Чтобы быть систематическими, искатели должны использовать комбинацию навыков и инструментов поиска, таких как предметные заголовки базы данных, поиск по ключевым словам, логические операторы, поиск по близости, пытаясь при этом сбалансировать чувствительность (систематичность) и точность (точность). Приглашение и привлечение опытного специалиста в области информации или библиотекаря может значительно улучшить качество стратегий поиска и отчетности для систематического обзора.

«Извлечение» релевантных данных

Визуализация данных, которые «извлекаются» и «комбинируются» в Кокрановском обзоре эффекта вмешательства, где возможен метаанализ.

Соответствующие данные «извлекаются» из источников данных в соответствии с методом обзора. Важно отметить, что метод извлечения данных зависит от типа данных, а данные, извлеченные по «результатам», актуальны только для определенных типов обзоров. Например, систематический обзор клинических испытаний может извлекать данные о том, как проводилось исследование (часто называемое методом или « вмешательством »), кто участвовал в исследовании (включая количество людей), как оно оплачивалось (например, финансирование источники) и что произошло (результаты). Фактически, релевантные данные извлекаются и «объединяются» в Кокрановском обзоре эффекта вмешательства, где возможен метаанализ.

Оценить соответствие данных

Этот этап включает в себя оценку соответствия данных критериям включения в обзор путем сравнения их с критериями, определенными на первом этапе. Это может включать оценку того, соответствует ли источник данных критериям приемлемости, и запись причин, по которым были приняты решения о включении или исключении из обзора. Программное обеспечение может использоваться для поддержки процесса выбора, включая инструменты интеллектуального анализа текста и машинное обучение, которые могут автоматизировать некоторые аспекты процесса. «Набор инструментов для систематического обзора» — это управляемый сообществом веб-каталог инструментов, который помогает рецензентам выбирать подходящие инструменты для обзоров.

Анализируйте и объединяйте данные

Анализ и объединение данных может дать общий результат по всем данным. Поскольку в этом комбинированном результате используются качественные или количественные данные из всех подходящих источников данных, он считается более надежным, поскольку обеспечивает более качественные доказательства, поскольку чем больше данных включается в обзоры, тем более уверенными мы можем быть в выводах. При необходимости некоторые систематические обзоры включают метаанализ, в котором используются статистические методы для объединения данных из нескольких источников. Обзор может использовать количественные данные или может использовать качественный мета-синтез, который синтезирует данные качественных исследований. Комбинация данных метаанализа иногда может быть визуализирована. В одном из методов используется лесной участок (также называемый блоббограммой ). В обзоре эффекта вмешательства ромб на «лесном участке» представляет объединенные результаты всех включенных данных.

Примером «лесного участка» является логотип Кокрановского сотрудничества. Логотип представляет собой лесной участок одного из первых обзоров, который показал, что кортикостероиды, назначаемые женщинам, которые вот-вот рожают преждевременно, могут спасти жизнь новорожденному.

Недавние нововведения в области визуализации включают график альбатросов, который отображает значения p в зависимости от размеров выборки с наложенными приблизительными контурами размера эффекта для облегчения анализа. Эти контуры можно использовать для определения величины эффекта из исследований, которые были проанализированы и представлены различными способами. Такие визуализации могут иметь преимущества перед другими типами при рассмотрении сложных вмешательств.

Оценка качества (или достоверности) доказательств — важная часть некоторых обзоров. GRADE (классификация рекомендаций, оценка, разработка и оценка) — это прозрачная структура для разработки и представления резюме доказательств и используется для оценки качества доказательств. GRADE-CERQual (уверенность в доказательствах из обзоров качественных исследований) используется для обеспечения прозрачного метода оценки достоверности доказательств из обзоров или качественных исследований. По завершении этих этапов обзор может быть опубликован, распространен и реализован на практике после принятия в качестве доказательства.

Автоматизация систематических обзоров

Живые систематические обзоры — это относительно новый вид высококачественных, полуавтоматических, актуальных онлайн-резюме исследований, которые обновляются по мере появления новых исследований. Существенное различие между живым систематическим обзором и обычным систематическим обзором — это формат публикации. Живые систематические обзоры — это «динамичные, постоянные, доступные только в Интернете резюме фактов, которые быстро и часто обновляются».

В то время как живые систематические обзоры стремятся поддерживать текущие данные, автоматизация или полуавтоматизация самого систематического процесса все чаще исследуются. Несмотря на то, что существует мало доказательств того, что это так же точно или требует меньше ручных усилий, усилия, которые способствуют обучению и использованию искусственного интеллекта для этого процесса, возрастают.

Области исследований

Медицина и здоровье человека

История систематических обзоров в медицине

В статье Карла Пирсона, опубликованной в Британском медицинском журнале за 1904 г., были собраны данные нескольких исследований прививок от брюшного тифа, проведенных в Великобритании, Индии и Южной Африке. Он использовал метааналитический подход для агрегирования результатов нескольких клинических исследований. В 1972 году Арчи Кокрейн писал: «Несомненно, серьезной критикой нашей профессии является то, что мы не организовали критическое резюме всех соответствующих рандомизированных контролируемых исследований по специальностям или узлам, периодически адаптируемым». Критическая оценка и систематический синтез результатов исследований появились в 1975 году под термином «метаанализ». Ранние обобщения проводились в широких областях государственной политики и социальных вмешательств, при этом систематический синтез исследований применялся в медицине и здравоохранении. Вдохновленный своим личным опытом в качестве старшего медицинского офицера в лагерях для военнопленных, Арчи Кокрейн работал над улучшением того, как научный метод использовался в медицинских доказательствах, написав в 1971 году: проверка гипотезы о том, что определенное лечение изменяет естественное течение болезни к лучшему ». Его призыв к более широкому использованию рандомизированных контролируемых испытаний и систематических обзоров привел к созданию Кокрановского сотрудничества, которое было основано в 1993 году и названо в его честь, опираясь на работу Иэна Чалмерса и его коллег в области беременности и родов.

Текущее использование систематических обзоров в медицине

Многие организации по всему миру используют систематические обзоры, методология которых зависит от руководящих принципов. К организациям, использующим систематические обзоры в медицине и здоровье человека, относятся Национальный институт здравоохранения и повышения квалификации (NICE, Великобритания), Агентство медицинских исследований и качества (AHRQ, США) и Всемирная организация здравоохранения. Наиболее заметной среди международных организаций является Кокрановская группа из более чем 37 000 специалистов в области здравоохранения, которые систематически анализируют рандомизированные испытания эффективности профилактики, лечения и реабилитации, а также вмешательств систем здравоохранения. При необходимости они также включают результаты других типов исследований. Кокрановские обзоры публикуются в разделе Кокрановской базы данных систематических обзоров Кокрановской библиотеки. 2015 импакт — фактор для The Cochrane Database систематических обзоров было 6,103, и он занял 12 — е место в категории Медицина, General и внутреннего.

Существует несколько типов Кокрановского обзора, в том числе:

  1. Обзоры вмешательств оценивают преимущества и вред вмешательств, используемых в здравоохранении и политике здравоохранения.
  2. Обзоры точности диагностических тестов позволяют оценить, насколько хорошо диагностический тест помогает диагностировать и обнаруживать конкретное заболевание. Для проведения проверок точности диагностических тестов доступно бесплатное программное обеспечение, такое как MetaDTA и CAST-HSROC, в графическом интерфейсе пользователя.
  3. Обзоры методологии касаются вопросов, связанных с тем, как систематические обзоры и клинические испытания проводятся и сообщаются.
  4. Качественные обзоры объединяют качественные доказательства для ответа на вопросы по другим аспектам, помимо эффективности.
  5. Обзоры прогнозов обращаются к вероятному течению или будущим исходам людей с проблемами здоровья.
  6. Обзоры систематических обзоров (OoR) — это новый тип исследования, позволяющий собрать множество доказательств из систематических обзоров в единый документ, который доступен и полезен в качестве удобного интерфейса для Кокрановского сотрудничества в отношении принятия решений в области здравоохранения. Их иногда называют «зонтичными обзорами».
  7. Живые систематические обзоры постоянно обновляются, включая соответствующие новые данные по мере их появления. Это относительно новый вид обзора, методы которого все еще разрабатываются и оцениваются. Это могут быть высококачественные, полуавтоматические, актуальные онлайн-резюме исследований, которые обновляются по мере появления новых исследований. Существенное различие между «живым систематическим обзором» и обычным систематическим обзором — это формат публикации. Живые систематические обзоры — это «динамичные, постоянные, доступные только в Интернете резюме фактов, которые быстро и часто обновляются».
  8. Экспресс-обзоры — это форма синтеза знаний, которая «ускоряет процесс проведения традиционного систематического обзора за счет оптимизации или отказа от конкретных методов для получения доказательств для заинтересованных сторон экономичным способом».
  9. Обзоры комплексных вмешательств в области здравоохранения в сложных системах рассматривают вмешательства и вмешательства, осуществляемые в сложных системах, с целью улучшения обобщения фактических данных и разработки руководящих принципов на глобальном, национальном уровне или уровне систем здравоохранения.

Кокрановское сотрудничество предоставляет руководство для систематических обозревателей вмешательств, которое «предоставляет авторам рекомендации по подготовке обзоров Кокрановских вмешательств». В Кокрановском справочнике также изложены ключевые этапы подготовки систематического обзора и составляют основу двух наборов стандартов для проведения и отчетности Кокрановских обзоров вмешательств (MECIR — Методологические ожидания Кокрановских обзоров вмешательств). Он также содержит руководство о том, как проводить качественный синтез доказательств, экономические обзоры и интегрировать результаты, сообщаемые пациентами, в обзоры.

Кокрановская библиотека — это набор баз данных, которые содержат различные типы независимых данных для принятия решений в области здравоохранения. Он содержит базу данных систематических обзоров и метаанализов, которые обобщают и интерпретируют результаты междисциплинарных исследований. Библиотека содержит Кокрановскую базу данных систематических обзоров (CDSR), которая представляет собой журнал и базу данных для систематических обзоров в области здравоохранения. Кокрановская библиотека также содержит Кокрановский центральный регистр контролируемых испытаний (CENTRAL), который представляет собой базу данных отчетов о рандомизированных и квази-рандомизированных контролируемых испытаниях. Кокрановская библиотека также доступна на испанском языке.

Кокрановская библиотека принадлежит Кокрейн. Первоначально он был опубликован компанией Update Software, а теперь публикуется издателем, владельцем которого является акционер, John Wiley amp; Sons, Ltd. как часть Wiley Online Library. Роялти от продаж Кокрановской библиотеки являются основным источником средств для Кокрейн (более 6 миллионов фунтов стерлингов в 2017 году). Во всем мире 3,66 миллиарда человек имеют доступ к Библиотеке по национальным лицензиям (национальные лицензии стоят 1,5 миллиарда фунтов стерлингов) или по бесплатному предоставлению населению в странах с низким и средним уровнем дохода, подпадающих под действие инициативы ВОЗ HINARI. Авторы должны платить дополнительную плату, чтобы их рецензия была действительно открытым доступом. Годовой доход Кокрейн составляет 10 миллионов долларов США.

Участие общественности и гражданская наука в систематических обзорах

У Кокрейн есть несколько задач, к выполнению которых может быть привлечена общественность или другие «заинтересованные стороны», связанных с производством систематических обзоров и других результатов. Задачи могут быть организованы как «начального уровня» или выше. Задачи включают:

  • Присоединение к коллективным волонтерским усилиям, помогающим классифицировать и обобщать медицинские данные
  • Извлечение данных и оценка риска систематической ошибки
  • Перевод отзывов на другие языки

Недавний систематический обзор того, как люди были вовлечены в систематические обзоры, был направлен на документирование доказательной базы, касающейся участия заинтересованных сторон в систематических обзорах, и на использование этих данных для описания того, как заинтересованные стороны были вовлечены в систематические обзоры. Тридцать процентов касались пациентов и / или лиц, осуществляющих уход. Структура ACTIVE обеспечивает способ последовательного описания того, как люди участвуют в систематическом обзоре, и может использоваться как способ поддержки принятия решений авторами систематических обзоров при планировании того, как вовлечь людей в будущие обзоры. Стандартизированные данные об инициативах (STARDIT) — еще один предлагаемый способ сообщения о том, кто участвовал в каких задачах во время исследования, включая систематические обзоры.

Несмотря на некоторую критику того, как Кокрейн приоритизирует систематические обзоры, в недавнем проекте участвовали люди, которые помогали определять приоритеты исследований для информирования будущих Кокрановских обзоров. В 2014 году партнерство Кокрейн-Википедия было официально оформлено. Это поддерживает включение соответствующих доказательств во все медицинские статьи Википедии, а также другие процессы, помогающие обеспечить высочайшее качество и точность медицинской информации, включенной в Википедию.

Образовательные ресурсы

Кокрейн подготовил множество учебных ресурсов, чтобы помочь людям понять, что такое систематические обзоры и как их проводить. Большинство учебных ресурсов можно найти на веб-странице «Cochrane Training», где также есть ссылка на книгу Testing Treatments, которая была переведена на многие языки. Кроме того, Кокрейн создал короткое видео « Что такое систематические обзоры», в котором простым английским языком объясняется, как они работают и для чего используются. Видео было переведено на несколько языков и просмотрено более 192 282 раза (по состоянию на август 2020 года). Кроме того, была создана анимированная версия раскадровки, и все видеоресурсы были выпущены в нескольких версиях под лицензией Creative Commons для использования и адаптации другими. Программа навыков критической оценки (CASP) предоставляет бесплатные учебные ресурсы, чтобы помочь людям критически оценивать исследования, включая контрольный список, содержащий 10 вопросов, которые «помогут вам разобраться в систематическом обзоре».

Социальные, поведенческие и образовательные

В 1959 году социолог и педагог по социальной работе Барбара Вуттон опубликовала один из первых современных систематических обзоров литературы по антисоциальному поведению в рамках своей работы « Социальные науки и социальная патология».

Некоторые организации используют систематические обзоры в социальных, поведенческих и образовательных областях политики, основанной на фактах, в том числе Национальный институт здравоохранения и повышения квалификации (NICE, Великобритания), Институт передового опыта в области социального обеспечения (SCIE, Великобритания), Агентство медицинских исследований. и качество (AHRQ, США), Всемирная организация здравоохранения, Международная инициатива по оценке воздействия (3ie), Институт Джоанны Бриггс и сотрудничество Кэмпбелла. Квазистандарт систематического обзора в социальных науках основан на процедурах, предложенных Campbell Collaboration, которое является одной из нескольких групп, продвигающих научно-обоснованную политику в социальных науках. Сотрудничество Кэмпбелла: «помогает людям принимать обоснованные решения, готовя, поддерживая и распространяя систематические обзоры в области образования, преступности и правосудия, социального обеспечения и международного развития». Сотрудничество Кэмпбелла — это родственная инициатива Кокрейна, созданная в 2000 году на инаугурационной встрече в Филадельфии, США, с привлечением 85 участников из 13 стран.

Бизнес и экономика

Из-за различного характера областей исследований за пределами естественных наук, вышеупомянутые методологические шаги не могут быть легко применены во всех областях бизнес-исследований. Были предприняты некоторые попытки перенести процедуры из медицины в бизнес-исследования, включая пошаговый подход и разработку стандартной процедуры для проведения систематических обзоров литературы по бизнесу и экономике. Группа по экономическим методам Кэмпбелла и Кокрейна (C-CEMG) работает над улучшением включения экономических данных в систематические обзоры вмешательств Кокрейна и Кэмпбелла, чтобы повысить полезность результатов обзора в качестве компонента для принятия решений. Такие экономические данные имеют решающее значение для процессов оценки технологий здравоохранения.

Исследования в области международного развития

Систематические обзоры становятся все более распространенными в других областях, таких как исследования в области международного развития. Впоследствии несколько доноров (включая Министерство международного развития Великобритании (DFID) и AusAid ) уделяют больше внимания и ресурсов проверке уместности систематических обзоров при оценке воздействия развития и гуманитарных вмешательств.

Среда

Сотрудничество по экологическим свидетельствам (CEE) работает над достижением устойчивой глобальной окружающей среды и сохранением биоразнообразия. В ЦВЕ есть журнал под названием Environmental Evidence, в котором публикуются систематические обзоры, протоколы обзора и систематические карты воздействия человеческой деятельности и эффективности управленческих вмешательств.

Гигиена окружающей среды и токсикология

Систематические обзоры — это относительно недавнее нововведение в области гигиены окружающей среды и токсикологии. Несмотря на то, что они обсуждались в середине 2000-х годов, первые полные рамки для проведения систематических обзоров данных о санитарном состоянии окружающей среды были опубликованы только в 2014 году Управлением оценки состояния здоровья и перевода Национальной программы токсикологии США и Руководством по навигации в Программе Калифорнийского университета в Сан-Франциско. по репродуктивному здоровью и окружающей среде. С тех пор охват был быстрым: предполагаемое количество систематических обзоров в этой области удвоилось с 2016 года, а первые согласованные рекомендации по передовой практике как предшественники более общего стандарта были опубликованы в 2020 году.

Инструменты обзора

Публикация 2019 года определила 15 инструментов систематического обзора и ранжировала их по количеству «критических характеристик», необходимых для проведения систематического обзора, в том числе:

  • DistillerSR: проприетарное платное веб-приложение
  • Swift Active Screener: проприетарное платное веб-приложение
  • Covidence: собственное платное веб-приложение и Кокрановская технологическая платформа.
  • Rayyan: проприетарное бесплатное веб-приложение
  • Sysrev: проприетарное бесплатное веб-приложение

Ограничения

Хотя систематические обзоры предполагают очень строгий подход к обобщению доказательств, они все же имеют ряд ограничений.

Устаревший или риск предвзятости

Хотя систематические обзоры считаются самой убедительной формой доказательства, обзор 300 исследований 2003 года показал, что не все систематические обзоры были одинаково надежными и что их отчетность может быть улучшена с помощью универсально согласованного набора стандартов и руководств. Дальнейшее исследование той же группы показало, что из 100 отслеживаемых систематических обзоров 7% нуждались в обновлении во время публикации, еще 4% в течение года и еще 11% в течение 2 лет; этот показатель был выше в быстро меняющихся областях медицины, особенно в сердечно-сосудистой медицине. Исследование 2003 г. показало, что расширение поиска за пределы основных баз данных, возможно, в серую литературу, повысит эффективность обзоров.

Некоторые авторы выделили проблемы с систематическими обзорами, особенно с обзорами, проводимыми Кокрейн, отметив, что опубликованные обзоры часто бывают предвзятыми, устаревшими и чрезмерно длинными. Кокрановские обзоры подвергались критике за то, что они недостаточно критичны при выборе испытаний и включают слишком много испытаний низкого качества. Они предложили несколько решений, включая ограничение исследований в метаанализах и обзорах зарегистрированными клиническими испытаниями, требование предоставления исходных данных для статистической проверки, уделение большего внимания оценкам размера выборки и устранение зависимости только от опубликованных данных.

Некоторые из этих трудностей были отмечены еще в 1994 году:

много плохих исследований возникает из-за того, что исследователи по причинам карьеры чувствуют себя вынужденными проводить исследования, для выполнения которых они плохо подготовлены, и никто их не останавливает.

Д.Г. Альтман, 1994 г.

Также были отмечены методологические ограничения метаанализа. Другая проблема заключается в том, что методы, используемые для проведения систематического обзора, иногда меняются, когда исследователи видят доступные испытания, которые они собираются включить. Некоторые веб-сайты описали опровержения систематических обзоров и опубликовали отчеты об исследованиях, включенных в опубликованные систематические обзоры. Критерии приемлемости должны быть обоснованными, а не произвольными (например, диапазон дат, в котором проводился поиск), поскольку это может повлиять на воспринимаемое качество обзора.

Ограниченная отчетность о клинических испытаниях и данных исследований на людях

В « AllTrials моментов кампании», что около половины клинических испытаний никогда не сообщают результаты и работы по улучшению отчетности. Отсутствие отчетности имеет чрезвычайно серьезные последствия для исследований, в том числе для систематических обзоров, поскольку возможно синтезировать только данные опубликованных исследований. Кроме того, вероятность публикации «положительных» испытаний в два раза выше, чем «отрицательных» результатов. В настоящее время коммерческим компаниям разрешено проводить клинические испытания и не публиковать результаты. Например, за последние 10 лет 8,7 миллиона пациентов приняли участие в исследованиях, результаты которых не публиковались. Эти факторы означают, что, вероятно, существует значительная предвзятость публикации, когда публикуются только «положительные» или предполагаемые благоприятные результаты. Недавний систематический обзор отраслевого спонсорства и результатов исследований пришел к выводу, что «спонсорство исследований лекарственных средств и устройств со стороны компании-производителя приводит к более благоприятным результатам и выводам по эффективности, чем спонсорство из других источников» и что наличие отраслевой предвзятости, которую нельзя объяснить стандартные оценки «Риск предвзятости». Систематические обзоры такой систематической ошибки могут усилить эффект, хотя важно отметить, что ошибка заключается в отчетности об исследованиях в целом, а не в методе систематического обзора.

Плохое соблюдение рекомендаций по составлению отчетов.

Быстрый рост систематических обзоров в последние годы сопровождался сопутствующей проблемой плохого соблюдения руководящих принципов, особенно в таких областях, как декларирование зарегистрированных протоколов исследований, декларация источников финансирования, риск предвзятости данных, проблемы, возникающие в результате абстракции данных и описания. четких целей исследования. Множество исследований выявили слабые места в строгости и воспроизводимости стратегий поиска в систематических обзорах. Чтобы решить эту проблему, разрабатывается новое расширение рекомендаций PRISMA под названием PRISMA-S для улучшения качества, отчетности и воспроизводимости поисковых стратегий систематических обзоров. Кроме того, были созданы инструменты и контрольные списки для экспертной оценки поисковых стратегий, такие как рекомендации Peer Review of Electronic Search Strategies (PRESS).

Ключевой проблемой при использовании систематических обзоров в клинической практике и политике здравоохранения является оценка качества данного обзора. Следовательно, был разработан ряд инструментов оценки для оценки систематических обзоров. Двумя наиболее популярными инструментами измерения и скоринга для оценки качества систематических обзоров являются AMSTAR 2 (инструмент измерения для оценки методологического качества систематических обзоров) и ROBIS (риск предвзятости в систематических обзорах); однако они подходят не для всех типов систематических обзоров.

Об этой статье

Эта статья адаптирована из рецензируемой версии этой статьи из WikiJournal of Medicine.

Отчет по стандартизированным данным по инициативам (STARDIT)

Отчет STARDIT об этой статье можно найти здесь:

  • Проверенная версия отчета STARDIT на момент публикации: Отчет STARDIT: Что такое систематические обзоры? (Q101116128)
  • «Живая» версия: STARDIT Report: Что такое систематические обзоры? (Q101116128)

Смотрите также

  • Критическая оценка
  • Доказательные исследования
  • Требуются дальнейшие исследования
  • Сканирование горизонта
  • Литературный обзор
  • Живой обзор
  • Метанаука
  • Экспертная оценка
  • Обзор журнала
  • Обобщенная агрегация моделей (GMA)
  • Обзор зонтика

использованная литература

  • Эта статья была отправлена ​​в WikiJournal of Medicine для внешнего научного рецензирования в 2019 году ( отчеты рецензентов ). Обновленный контент был повторно интегрирован на страницу Википедии по лицензии CC-BY-SA-3.0 ( 2020 ). Рассмотренная версия записи:

Джек Нанн; Стивен Чанг; и другие. (9 ноября 2020 г.). «Что такое систематические обзоры?» (PDF). WikiJournal of Medicine. 7 (1): 5. DOI : 10,15347 / WJM / 2020,005. ISSN   2002-4436. Викиданные   Q99440266.

внешние ссылки

  • Инструменты систематического обзора — поиск и список программных инструментов систематического обзора.
  • Кокрановское сотрудничество
  • MeSH: Review Literature — статьи о процессе проверки
  • MeSH: Обзор [Тип публикации] — ограничить результаты поиска обзорами
  • Предпочтительные элементы отчетности для систематических обзоров и метаанализов (ПРИЗМА) Заявление, «минимальный набор элементов отчетности, основанный на фактах, для отчетности в систематических обзорах и метаанализах»
  • PRISMA Extension for Scoping Reviews (PRISMA-ScR): контрольный список и объяснение
  • Анимированная раскадровка: что такое систематические обзоры? — Кокрановская группа потребителей и коммуникаций
  • Sysrev — бесплатная платформа с открытым доступом к систематическим обзорам.
Источник

Мета-анализ — вершина доказательной пирамиды и святой грааль для многих исследователей, выводы которого зачастую воспринимаются как жирная точка в рассматриваемом научном вопросе. Но несмотря на все достоинства, мета-анализ может содержать ложные выводы и ошибки. В представленной статье Джон Иоаннидис говорит о подводных камнях в области мета-исследований: систематических ошибках, приводящих к искажению результата, в том числе о таких известных явлениях, как публикационное смещение, выборочное предоставление результатов и выборочный анализ данных.

У мета-анализа есть масса достоинств, но нередко он приводит к неверным и обманчивым результатам. В этом обращении к председателю SRSM (Society for Research Synthesis Methodology) я привожу примеры, иллюстрирующие данные проблемы, включая примеры мета-анализа как клинических, так и неэкспериментальных исследований. Я также затрагиваю проблемы определения величины эффекта, смещения (в частности, погоню за значимостью исследования) и достоверности мета-исследований. Я рассматриваю факторы, повлиявшие на достоверность мета-анализа, включая величину эффекта, множественность анализа, шкалу измерения данных, гибкость анализа, представление данных и конфликты интересов. В сложившихся обстоятельствах опрос экспертов мета-аналитиков, принявших участие во встрече SRSM, показал, что большинство из них полагают, что реальный эффект может с равной вероятностью находиться как в пределах 95% доверительного интервала мета-анализа, так и вне его. И, наконец, я расскажу о включении мета-анализа в более обширный нынешний план исследований и предложу несколько новых моделей мета-анализа. Во многих/большинстве/всех областях все первичные исследования могут быть спланированы, выполнены и интерпретированы как потенциальный мета-анализ.

Вступление

Я хотел бы начать с отказа от ответственности. Мне кажется, что как мета-аналитик я совершил слишком много ошибок. Возможно, почти всё в моей карьере было ошибкой, и большая часть того, что я не считаю ошибкой, тоже ошибочно. На этот доклад меня главным образом вдохновили мои собственные ошибки, убедившие меня в том, что мета-анализ — это великолепный дизайн исследования, в особенности если его результаты ошибочны, и нам повезло понять эти ошибки. В этом обзоре причин, по которым мета-анализ может быть ошибочным, я сначала приведу два конкретных примера из личного опыта, которые иллюстрируют некоторые противоречия и трудности, возникающие в ходе мета-исследования. Затем я приведу теоретические размышления и эмпирические подтверждения тому, что мета-анализ — это прекрасный способ наломать дров, и расскажу, как это можно и нужно исправить, если это вообще возможно. Это обращение к председателю, а не систематическая экспертная оценка, поэтому будьте внимательны: я могу снова оказаться не прав!

Случай первый: кортикостероиды при остром бактериальном менингите

Использование кортикостероидов для лечения пациентов с острым бактериальным менингитом было изучено по меньшей мере на 3883 пациентах в ходе 23 исследований, опубликованных начиная с 1963 года (согласно данным последнего мета-анализа). Здесь мы видим пример типичной ситуации, в которой мета-анализ, как предполагалось на протяжении многих десятилетий, может быть полезен: когда имеется много небольших испытаний, не позволяющих сделать определённые выводы (Sacks et al., 1987), и когда вам, возможно, хотелось бы выяснить и объяснить причины их неоднородности (Olkin, 1995). Количество доступных исследований и общий объём выборки немного больше, чем то, что мы в среднем видим в текущих медицинских мета-анализах (Moher et al., 2007), но не значительно.

Как и во многих других областях, количество опубликованных обзоров применения стероидов в лечении острого бактериального менингита значительно превосходит число опубликованных исследований. Поиск на PubMed по запросу «Обзор ИЛИ Мета-анализ» с (стероид ИЛИ кортикостероид ИЛИ дексаметазон) И менингит [‘Review OR Meta-analysis’ (steroid OR corticosteroid OR dexamethasone) AND meningitis] выдаёт 424 результата на июль 2010 г. Большинство из них — несистематические обзоры. Не все из них напрямую связаны с лечением острого менингита стероидами, но не будет ошибкой сказать, что в целом количество обзоров будет по меньшей мере в десяток раз превосходить число статей. Судя по их огромному количеству, несистематические обзоры остаются одним из наиболее популярных и весомых способов засорения научной литературы. К тому же, они по-прежнему получают безоговорочную поддержку самых престижных журналов и ведущих учёных. Например, Nature, Science и New England Journal of Medicine до сих пор практически полностью полагаются на несистематические экспертные обзоры при кратком изложении и популяризации науки.

Мы надеемся, что мета-анализ помогает в борьбе с несистематическими обзорами и предложит достоверные данные. Однако, не всё так просто. Для начала, у нас нет ни одного мета-анализа. Тринадцать из 424 результатов поиска отмечены тегом «мета-анализ». При ближайшем рассмотрении оказалось, что 11 из них действительно имеют отношение к применению стероидов при лечении острого менингита (Assiri et al., 2009; Coyle, 1999; Geiman and Smith, 1992; Ioannidis et al., 1994; McIntyre et al., 1997; Prasad and Haines, 1995; van de Beek et al., 2003, 2007, 2010; Vardakas et al., 2009; Yurkowski and Plaisance, 1993). Но приводят ли результаты этих мета-анализов к одному и тому же выводу?

В блоке 1 я привёл некоторые дословные цитаты из шести мета-анализов (Ioannidis et al., 1994; McIntyre et al., 1997; van de Beek et al., 2003, 2007, 2010; Vardakas et al., 2009), начиная с того, автором которого стал я в 1994 г. Я привожу только 6 из 11 мета-анализов простоты ради, и поверьте мне, ситуация была бы схожей, если не ещё более запутанной, приведи я все 11 анализов. Вот некоторые критерии включения/невключения работ: «Я не включил два мета-анализа потому, что они были опубликованы раньше, чем мой мета-анализ, а мне хотелось всем показать, что я был первым; один я пропустил в ходе первоначального отбора; в одном были слишком мудрёные данные; и ещё один я пропустил, потому что мне стало скучно, и к тому же оставалось мало времени на завершение этого обращения». Если эти критерии покажутся вам немного субъективными и недостаточно научными, вот вам ещё одно, более формальное (но не обязательно более честное) заявление, у которого больше шансов пройти экспертную оценку: «Я выбрал мета-анализы, опубликованные в ведущих медицинских журналах и библиотеке Кокрейновского сотрудничества, так как они с большей вероятностью будут отличаться высоким качеством, а также два недавно опубликованных анализа». Критерии включения/невключения — волшебный инструмент для выбора понравившихся нам данных и достижения результатов, к которым мы пришли ещё до проведения анализа. Давайте не будем забывать об этом, когда будем говорить о самом мета-анализе и о том, как выбирают, какие же данные и исследования в него включить.

В 1994 году, во время прохождения специализированной подготовки, я столкнулся со случаем сильного желудочно-кишечного кровотечения у ребёнка, получавшего дексаметазон для лечения острого бактериального менингита. При поддержке Джозефа Лау я провёл мета-анализ, в котором во всех комплексных испытаниях рассматривались четыре события (Ioannidis et al., 1994). Общее число свидетельств было очень мало (обычное дело для свидетельств существенного вреда вследствие медицинского вмешательства (Hernandez et al., 2008; Papanikolaou and Ioannidis, 2004)), но я пришёл к заключению, что эти негативные последствия нужно подвергнуть серьёзному рассмотрению и сопоставить с пользой (Ioannidis et al., 1994). Я не посмел тогда засомневаться в пользе стероидов. В то время её принимали как само собой разумеющееся. И не потому, что об этом свидетельствовали два предыдущих мета-анализа — в 1994 году мало кого волновали систематические обзоры. Её принимали как данность, потому что так утверждали все эксперты, а два маленьких исследования, опубликованных в New England Journal of Medicine в 1988 и 1991 годах, показали невероятно огромный номинально статистически значимый лечебный эффект (относительный риск значительно выраженного снижения слуха или глухоты — 0,07 и относительный риск неврологических и слуховых осложнений — 0,36), основываясь на ряде событий у 200 и 101 случайного выбранных пациентов соответственно (Lebel et al., 1988; Odio et al., 1991).

В 1997 году обновлённый мета-анализ (McIntyre et al., 1997) продемонстрировал более скромные результаты, и был сделан вывод, что стероиды действительно помогали справиться с некоторыми бактериями, но далеко не со всеми. В нём также говорилось о том, что сокращение продолжительности лечения до двух дней может уменьшить наносимый вред, хотя существенной разницы в случае серьёзных повреждений не наблюдалось. База данных систематических обзоров Кокрейнского сотрудничества впервые опубликовала систематический обзор на данную тему в 2003 году (van de Beek et al., 2003). В нём говорилось о существенной пользе дексаметазона при лечении детей и о том, что неблагоприятный эффект не увеличился, в то время, как о взрослых пациентах было предоставлено недостаточно данных. Так как Кокрейновский обзор отправляли в (электронные онлайн) издания, в конце работы авторы добавили список дополнений, потому что было опубликовано новое исследование, в котором утверждалось, что дексаметазон в два раза снижал смертность среди взрослых, и, следовательно, его нужно принимать всем взрослым (van de Beek et al., 2003). Кокрейновский обзор обновили в 2007 году (van de Beek et al., 2007). В то время несколько новых исследований не показали никакой пользы от стероидов. Авторы обзора заметили, что отличительной особенностью этих исследований было то, что они проводились среди детей из стран c низким уровнем дохода. Поэтому авторы обзора пришли к заключению, что применение стероидов эффективно в лечении детей из стран с высоким, а не низким уровнем дохода. Никого больше не волновал вред стероидов. В мета-анализе данных о взрослых пациентах, опубликованном в 2009 году, особо подчёркивалось, что стероиды нужно давать всем пациентам (Vardakas et al., 2009). Казалось бы, конец истории. Но затем в 2010 году (van de Beek et al., 2010) был опубликован детальный мета-анализ данных индивидуального уровня, в котором говорилось о том, что нет никаких подтверждений существенной пользы от стероидов в лечении менингита, независимо от того, какая группа была исследована. Добавление опубликованных групповых данных, которое не было доступно на индивидуальном уровне, не повлияло на данное заключение (van de Beek et al., 2010).

Блок I. Дословные выдержки из шести мета-анализов об использовании кортикостероидов в лечении острого менингита.

Lancet 1994.

Общее число случаев кровотечения при отсутствии коагулопатии составило 4 из 803 (0,5%). Среди пациентов, принимающих плацебо (n=397), таких случаев не наблюдалось, в сравнении с 4 случаями среди принимавших стероиды (n=406) пациентов. Разность рисков составила 0,71% c 95% доверительным интервалом от −0,65 до 2,08% (метод Дерсимоняна-Лейрда (DerSimonian and Laird model), 2p=0,31) и вероятностью 3,96 с 95% доверительным интервалом 0,85–18,48 (метод Мантеля-Хенцеля (Mantel-Haenszel model), 2p=0,08).

В целом, клинически значимые случаи желудочно-кишечных кровотечений редки среди детей с бактериальным менингитом. Избыточная частота возникновения, связанная со стероидами, вероятно, ниже 1%. Однако, данный эффект может быть серьёзным… Небольшое увеличение… могло быть клинически значимым и, возможно, его стоило сравнить с благоприятным неврологическим действием.

JAMA 1997.

При лечении менингита, вызванного гемофильной палочкой типа b, дексаметазон в целом уменьшает значительно выраженное снижение слуха (комбинированное отношение шансов (ОШ), 0,31; 95% доверительный интервал, 0,14-0,69).

Что касается пневмококкового менингита, то только исследования, в которых дексаметазон принимали на ранних стадиях, продемонстрировали существенную защиту от значительно выраженного снижения слуха (комбинированное ОШ, 0,09; 95% доверительный интервал, 0,0-0,71).

Дексаметазон не привёл к существенному увеличению негативных побочных эффектов, за исключением повторной лихорадки.

Доля пациентов с желудочно-кишечным кровотечением увеличилась при длительном лечении дексаметазоном (0,5% в контрольной группе, 0,8% при лечении в течение 2 дней и 3,0% при лечении в течение 4 дней).

ВЫВОДЫ: Доступные данные о вспомогательном лечении дексаметазоном подтверждают его пользу в лечении менингита, вызванного гемофильной палочкой типа b, и, если его принимают совместно с парентеральными антибиотиками или перед их приёмом, помогает в лечении пневококкового менингита у детей. Оптимальным может быть ограничение приёма дексаметазона до 2 дней.

Cochrane 2003.

При использовании кортикостероидов число нежелательных явлений не увеличилось в значительной мере.

ВЫВОДЫ ЭКСПЕРТА. Вспомогательное лечение кортикостероидами эффективно при остром бактериальном менингите у детей. Ограниченные данные о лечении взрослых демонстрируют пользу от вспомогательного лечения кортикостероидами, но для окончательных выводов необходимо проведение дополнительных исследований.

ДОПОЛНЕНИЯ. В процессе проверки данного систематического обзора были опубликованы результаты Европейского исследования дексаметазона при лечении бактериального менингита у взрослых. Из него следует, что в ходе рандомизированного двойного слепого многоцентрового исследования, в котором участвовал 301 взрослый, страдающий бактериальным менингитом, было выявлено снижение смертности, связанное с дексаметазоном (относительный риск смерти, 0,48; 95% доверительный интервал от 0,24 до 0,96; p=0,04). Следовательно, всем взрослым, страдающим бактериальным менингитом, следует принимать дексаметазон перед первой дозой антибиотиков или вместе с ней.

Cochrane 2007.

ЗАКЛЮЧЕНИЕ АВТОРА. В целом, кортикостероиды существенно снизили уровень смертности, значительно выраженное снижение слуха и неврологические осложнения. Взрослым с внебольничным бактериальным менингитом кортикостероиды нужно давать в сочетании с первой дозой антибиотиков. Данные также подтверждают эффективность использования кортикостероидов при лечении детей в странах с высоким уровнем доходов населения. Мы не обнаружили положительного эффекта при лечении кортикостероидами детей из стран с низким уровнем доходов населения.

European Journal of Neurology 2009.

Доступные на данный момент сведения говорят о том, что все взрослые, страдающие бактериальным менингитом, должны принимать дексаметазон

Lancet 2010.

Дексаметазон не был связан с существенным снижением смертности (270 из 1019 [26,5%] принимавших дексаметазон по сравнению с 275 из 1010 [27,2%] принимавших плацебо; ОШ 0,97, 95% доверительный интервал 0,79-1,19), смертности или серьёзных неврологических последствий или двусторонней глухоты (42,3 по сравнению с 44,3%; 0,92, 0,76-1,11), смертности или любых неврологических последствий или любой степени потери слуха (54,2 в сравнении с 57,4%; 0,89, 0,74–1,07), или смерти или двустороннего значительно выраженного снижения слуха (36,4 по сравнению с 38,9%; 0,89, 0,73-1,69).

Дексаметазон никак не повлиял ни на одну из ранее указанных подгрупп (включая особые болезнетворные микроорганизмы), предшествующее лечению дексаметазоном лечение антибиотиками, ВИЧ-статус или возраст.

Объединение данных по смертности с данными всех других опубликованных исследований не оказало существенного влияния на результаты.

ИНТЕРПРЕТАЦИЯ. Дополнительное использование дексаметазона при лечении острого бактериального менингита не оказывает существенного влияния на снижение смертности или неврологических последствий. Существенного эффекта не наблюдалось ни в одной из указанных подгрупп. Таким образом, польза от применения дексаметазона в качестве дополнительного лечения для всех или некоторых из подгрупп остаётся недоказанной.

Подведём итог развития событий:

1994: вопрос о пользе не стоит, но следует остерегаться негативных последствий;
1997: однозначная польза при борьбе с определёнными видами бактерий, ограничить применение до 2 дней во избежание негативных последствий;
2003: однозначная польза лишь для детей; негативные последствия не увеличились;
2003, поправка: наблюдается польза и для взрослых;
2007: польза только в странах с высоким уровнем доходов населения;
2009: явная польза, принимать всем, точка;
2010: вообще никакой пользы.

Итак, к чему мы пришли после полувека рандомизированных исследований стероидов в лечении острого менингита? Скорее всего, к тому, что стероиды не оказывают существенного влияния — положительного или отрицательного — на исход событий при лечении острого менингита. Пожалуй, это хорошее предположение почти для каждого случая медицинского вмешательства, которое можно сделать ещё до того, как были получены какие-либо данные. Однако, согласно последним полученным результатам и доверительным интервалам недавнего мета-анализа (van de Beek et al., 2010), следующие альтернативные сценарии пока исключать нельзя.

  1. Стероиды умеренно полезны.
    2. Стероиды умеренно вредны.
    3. Стероиды и умеренно полезны, и умеренно вредны.

Само собой разумеется, результаты и выводы мета-анализов по данной теме использовались во множестве исследований. Другие авторы тоже пытались понять причины, по которым результаты мета-анализов противоречивы, и их рассуждения также отчасти противоречивы (Jadad et al., 1997; Katerndahl and Lawler, 1999; Linde and Willich, 2003), но некоторые сходства всё же есть. Я отметил некоторые причины в Таблице 1 и включил своё видение проблемы. Довольно опрометчиво делать выводы о том, какие же причины смогут объяснить противоречие по вопросу использования стероидов, в частности. Я подозреваю, что как и в большинстве случаев, это многофакторный процесс, в котором взаимодействует множество причин. Однако больше всего меня тревожит то, что и по сегодняшний день мета-анализ остаётся ретроспективным занятием. Почти все выводы из Таблицы 1 могут быть сделаны постфактум после просмотра данных или фрагментов первоначальных исследований. Разные данные, разные анализы и разные интерпретации дают возможность прийти к любому желаемому заключению.

Таблица 1. Некоторые причины противоречий в мета-анализах на одну и ту же тему.

— Разная постановка вопроса исследования

— Разные источники данных

— Разные стратегии поиска

— Разный хронометраж (изменение/накопление данных)

— Разные критерии включения/невключения данных для дизайна исследования

— Разные критерии включения/невключения подходящих популяций

— Разные критерии включения/невключения для параметров, дополнительных вмешательств и других особенностей

— Ошибки в первичных данных

— Ошибки в извлечении данных

— Различия в устранении неопределённости и разрешении конфликтов при выборе исследования и очистке данных

— Различия в извлечении неопубликованных данных

— Различия в определении результатов

— Разные критерии для проведения количественного синтеза

— Разные модели статистического анализа

— Разница в использовании анализа подгрупп, мета-регрессий и других видов исследовательского анализа

— Выборочное представление результатов мета-анализа

— Разное использование и интерпретация неоднородности показателей

— Разница в использовании критериев для определения смещения и интерпретации результатов их применения

— Неуместный акцент на возможных противоречиях, которые не обязательно являются таковыми (не исключено)

Прежде чем перейти к рассмотрению следующего случая, я хотел бы представить вам информацию о том, какие из статей о стероидах и менингите стали наиболее авторитетными. В целом, в последнее десятилетие именно на мета-анализ чаще всего ссылаются в медицинской литературе (Patsopoulos et al., 2005). Это может быть как благом, так и проклятием. Однако это не проблема для литературы о стероидах и менингите. Согласно ISI Web of Science, четырьмя наиболее цитируемыми работами остаются два ранних исследования, в которых был выявлен огромный лечебный эффект, что явно несопоставимо с медицинской реальностью (словом, с любой реальностью), ещё одно исследование, которое обнаружило невероятный лечебный эффект среди взрослых, и несистематический обзор, одобряющий использование стероидов, — все 4 были опубликованы в New England Journal of Medicine. Возможно, мета-анализ и не привёл к каким-то общим выводам, однако обнадёживает тот факт, что 4 другие самые цитируемые работы также были ошибочными.

Случай второй: в поисках генов болезни Паркинсона

Охота за генетическими факторами распространённых болезней стала популярной темой для мета-анализа. Лично я наделал в ней множество ошибок. В этой области имеется настолько много исследований и данных, что невозможно устоять перед искушением использовать их для мета-анализа. Муин Хури придумал термин HuGE (от англ. Human Genome Epidemiology — эпидемиология генома человека), продемонстрировав прекрасное понимание ситуации (Khoury and Little, 2000). Только по теме болезни Паркинсона на июнь 2010 года было опубликовано 757 статей о генетических ассоциациях, в которых говорится об обнаружении 2398 различных однонуклеотидных полиморфизмов, и 7 полногеномных поисков ассоциаций, в которых были рассмотрены сотни тысяч полиморфизмов (www.pdgene.org, 2010). Уже опубликовано несколько десятков мета-анализов с «положительными» результатами (читай как «номинально статистически значимые ассоциации, p<0,05»). Однако совсем немного генетических локусов успешно прошли репликацию и выдержали тщательные проверки. Вероятнее всего, на данный момент мы нашли всего 4-5 локусов, в которых полиморфизмы бесспорно связаны с риском возникновения болезни Паркинсона. Остальные положительные результаты подтвердить не удалось.

В 2004 году я стал соавтором мета-анализа (Maraganore et al., 2004) данных индивидуального уровня по UCHL1 (убиквитин-карбоксиконцевая гидролаза L1), которым я очень гордился. В него включили всех ведущих исследователей, которые опубликовали работы о взаимосвязи UCHL1 с болезнью Паркинсона, а ведущие статистики и эпидемиологи из «Мейо Клиник» (Mayo Clinic) проводили анализ. Для меня было честью принимать участие в этой работе. Данные были очищены, стандартизированы и централизованно проанализированы — всё было прозрачно. На реализацию проекта ушло примерно 2 года, и конечный результат, как ясно из заголовка, казался окончательным: «UCHL1 — ген предрасположенности к болезни Паркинсона». P-значение суммарного эффекта достигало 0,001. Следует учитывать, что в то время значение p=0,001 считалось убедительным в области эпидемиологии и продолжает оставаться таковым во всех тех областях эпидемиологии и клинических исследований, на которых не отразились изменения в полногеномном поиске ассоциаций (Ioannidis et al., 2009; McCarthy et al., 2008), где были агностично протестированы миллионы полиморфизмов. В обсуждении работы 2004 года (Maraganore et al., 2004) мы тщательно изучили и исключили возможность систематической ошибки. Изначально я предложил не использовать воронковый график и связанные с ним критерии асимметрии, так как в то время я уже начал задумываться о том, что они недостаточно чувствительны и специфичны для обнаружения систематических ошибок. Но рецензенты настояли на том, что мы должны «продемонстрировать воронковые графики и критерий Эггера, чтобы исключить возможность публикационного смещения». Поэтому в опубликованную работу включены воронковые графики во всей своей красе, и добавлено утверждение: «воронковые графики и критерий Эггера не выявили публикационного смещения» (Maraganore et al., 2004).

Двумя годами позже в том же журнале, самом престижном в области неврологии, была опубликована работа (Healy et al., 2006) с заголовком прямо противоположным нашему: «UCHL1 не является геном предрасположенности к болезни Паркинсона». Мы включили 4194 случая и представителей контрольных групп в наш исходный мета-анализ. Опровержители провели новое исследование с 3023 участниками, а также провели новый мета-анализ, включивший в себя многие (но не все) из тех исследований, которые использовали мы. Общий размер выборки возрос до 6594 участников. Как в повторном исследовании (репликации), так и в новом мета-анализе все точечные оценки суммарных отношений шансов были в диапазоне 0,96-1,01. По результатам основного анализа отношение шансов составило 1,00. Доверительные интервалы оказались достаточно узкими, а все p-значения — очень далекими от номинальной значимости. Результаты были довольно убедительными.

Но и на этом история не закончилась. Три года спустя появился новый мета-анализ связи гена UCHL1 и болезни Паркинсона, включивший 18 исследований — я не смог найти общий размер выборки мета-анализа в работе (Ragland et al., 2009). Мутация в этом гене была связана с номинально значимым эффектом у европеоидов при доминантной модели (p=0,02) и у азиатов при рецессивной модели (p=0,006). Авторы мета-анализа пришли к положительному выводу в пользу присутствия умеренной достоверности (Ioannidis et al., 2008). Это и остаётся самой свежей официальной точкой зрения в опубликованной литературе по состоянию на лето 2010 года: UCHL1 влияет на риск развития болезни Паркинсона. Но вскоре, в рамках консорциума Генетической эпидемиологии болезни Паркинсона, мы решили провести новый мета-анализ вопроса о UCHL1, включая опубликованные и новые ожидаемые генотипированные данные всех команд консорциума (на данный момент в количестве 40), в котором мы хотели наконец разобраться с этим спорным вопросом. Мета-анализ консорциума индивидуального уровня (неопубликованные данные, личное общение) снова продемонстрировал суммарное отношение шансов приблизительно равное 1,00, а доверительные интервалы исключили увеличение или уменьшение относительного риска на 10%, основываясь на куда большем объёме информации, чем в последнем опубликованном мета-анализе. Этот ожидаемый мета-анализ ещё не был опубликован. И я не уверен, что он будет опубликован, т.к. демонстрирует отрицательный результат. Есть вероятность, что UCHL1 будут ещё долго обвинять в причастности к болезни Паркинсона в публикуемой литературе. Ошибочность этого заявления может быть известна посвященным, но не широкой научной общественности. Подозреваю, что в научной литературе полно такого мусора, и его так и не убрали.

Какова побочная выгода от того, что никто не убирает остатки неподтверждённых гипотез? Во-первых, наш мета-анализ 2004 года по прежнему часто цитируют, т.к. согласно официальной научной литературе и последнему слову в науке мета-анализа, UCHL1 — это ген, отвечающий за болезнь Паркинсона. Во-вторых, несколько лабораторий всё ещё получают миллионы долларов, евро и юаней на изучение этого важного гена. В-третьих, все последующие гипотезы, зависящие от информации о гене UCHL1, строятся на неверных предположениях. Ошибок становится всё больше.

Некоторые первоначальные мысли: величина эффекта и место мета-анализа

Мета-анализ был бы прекрасной идеей, если бы доступная информация по любому вопросу была представлена случайной выборкой из огромной вселенной потенциальной информации, которая могла бы быть собрана с использованием объективных методов и несмещённых измерений. В таком случае можно было бы ожидать существенную неопределённость в оценке эффекта при появлении первых данных, но неопределённость снижалась бы с появлением дополнительной информации, а точечная оценка эффекта оставалась бы непредвзятой на протяжении всего исследования. То же было бы применимо и к влиянию потенциальных модификаторов. Однако у нас есть существенные подтверждения тому, что во многих областях величина эффекта изменяется с течением времени.

Многие эффекты со временем снижаются (Gehr et al., 2006; Ioannidis, 2005a, 2006; Jennions and Moeller, 2002; Krum and Tonkin, 2003; Leimu and Koricheva, 2004; Trikalinos et al., 2004; Zollner and Pritchard, 2007). Печально известные нереплицирующиеся снижающиеся эффекты присутствуют в некоторых дисциплинах, таких, как изучение генетических связей гена-кандидата и фаз сцепления (Ioannidis, 2006; Zollner and Pritchard, 2007). Но эта проблема присуща даже исследованиям с самым точным дизайном, например рандомизированным исследованиям медицинского вмешательства (Gehr et al., 2006; Ioannidis, 2005a; Krum and Tonkin, 2003; Trikalinos et al., 2004). Проблема затрагивает как примитивные, так и лучшие и самые влиятельные рандомизированные исследования (Ioannidis, 2005a). Примерно четверть эффектов, представленных в самых цитируемых рандомизированных исследованиях, опровергнуты или признаны преувеличенными (более чем в два раза) в сравнении с эффектами, просматриваемыми в гораздо более крупных испытаниях, проведённых в течение десятилетия (Ioannidis, 2005a).

Важно отметить, что в большинстве случаев обнаружения таких крупных противоречий в ранних исследованиях, мета-анализы редко служили инструментом для влияния на общественное и экспертное мнение, хотя могли бы играть эту роль куда чаще. Обычно это было привилегией отдельных крупных и хорошо организованных исследований. Как только происходило опровержение, тут же появлялись мета-анализы. В неком смысле, мета-анализы каждый раз следовали веяниям моды. В тех редких случаях, когда мета-анализы смели подвергнуть сомнению превалирующее мнение, например, в случае эффективности рентгеновской маммографии (Gøtzsche and Olsen, 2000) или токсичности росиглитазона (Nissen and Wolski, 2007), мета-аналитики навлекали на себя бурную и даже гневную реакцию научного сообщества и корпораций. Почему-то, несмотря на то, что мета-анализ со временем стал престижным, многие всё ещё считают его вспомогательным методом, который не способен изменить или подвергнуть сомнению научные заключения. Мета-анализ охотно принимают, когда он не подвергает сомнению экспертное мнение или общественную политику, и получает одобрение, когда подтверждает экспертное мнение. Мета-анализ, который ставит под сомнение общепринятое экспертное мнение, часто считают еретичеством.

Конечно, многие мета-анализы не демонстрируют снижение эффекта со временем. Величина эффекта может оставаться постоянной (и даже увеличиваться) в некоторых мета-анализах. Это может говорить о наличии реальных эффектов. Однако нужно исключить ещё одну альтернативу: смещение может быть настолько большим, что оно даже не позволяет возникнуть опровержению. В таких случаях литература кристаллизируется вокруг ложных утверждений.

Систематические ошибки мета-анализа

Ошибка может быть классифицирована как случайная или систематическая (смещение) (Ioannidis, 2005b). Обычно и тех, и других хватает в любой области исследований. По сути, случайную ошибку можно представить как один из видов смещения с определёнными свойствами, например, ожидаемое (но не обязательно наблюдаемое) среднее равное 0. Но я буду придерживаться традиционного определения. Считается, что с помощью мета-анализа можно снизить относительную важность случайной ошибки. Но от этого была бы реальная польза, если бы смещение тоже уменьшалось или хотя бы не увеличивалось в процессе.

Мета-анализ несёт в себе систематические ошибки всех тех фрагментов данных, из которых он состоит. Это привело к тому, что противники мета-анализа бесцеремонно поднимают избитый спор о том, что мета-анализ — это «мусор на входе — мусор на выходе». Однако, это не обязательно недостаток (Ioannidis and Lau, 1999). В этом отношении систематический обзор предоставляет полезную возможность исследовать, определить и описать эти систематические ошибки. Возможно, что ещё более важно, мета-анализ предоставляет возможность выделить систематические ошибки, характерные для всей области исследования, а не для отдельно взятых работ.

Самая притягательные из них те, которые можно объединить в группу под названием «систематические ошибки, совершаемые в погоне за значимостью». Они включают в себя публикационное смещение, выборочное предоставление результатов, выборочный анализ данных и фабрикацию (Рисунок 1) (Dwan et al., 2008).

Самой обсуждаемой проблемой стало публикационное смещение (Rothstein et al., 2005). Почему-то главным поводом для беспокойства в литературе стало то, что существуют неизвестные исследования, но они пропадают в ящике стола. Хотя я и считаю, что эта проблема более распространена, чем несуществующие исследования, которые, тем не менее, попадаются на глаза (фабрикации, явная фальсификация), я подозреваю, что публикационная ошибка для целых исследований — не самая большая проблема в большинстве научных областей. Выборочное представление и выборочный анализ отдельных данных являются самой большой и сложно обнаруживаемой проблемой, вызывающей тревогу у авторов во многих областях (Chan and Altman, 2005; Chan et al., 2004a,b; Contopoulos-Ioannidis et al., 2006; Mathieu et al., 2009). Выборочное предоставление результатов, которое реализуется через сокрытие информации об отдельных результатах, схоже с публикационным смещением в том, что «отрицательные» результаты могут быть не опубликованы. Представление результатов выборочного анализа может ещё чаще встречаться во многих областях. Оно заключается в том, что результаты, которые должны были оказаться «отрицательными» согласно точному, заранее определённому плану анализа (если он вообще существовал), анализируют таким образом, что они становятся «положительными». Между этими видами недобросовестного обращения с данными существует континуум, так как часть анализа подразумевает определение и обработку конечной информации (Chan and Altman, 2005; Chan et al., 2004a,b; Contopoulos-Ioannidis et al., 2006; Mathieu et al., 2009). В некоторых областях исследования представляют собой нечто размытое и могут быть равносильны оценке результата, анализу или нескольким результатам и анализам, собранным вместе удобства ради.

Я раньше также использовал термин «ошибка многообразия результатов» (Contopoulos-Ioannidis et al., 2006) (или ошибка лернейской гидры, в честь многоголового монстра, который доставил Геркулесу немало хлопот своей множественностью) для описания схожих проблем. Например, в неудачном мета-анализе (Contopoulos-Ioannidis et al., 2006) в 21 исследовании двух факторов генетического риска, которые могут влиять на ответ на терапию астмы бета2-агонистами, мы обнаружили 384 различных типа анализа разнообразных результатов и определений факторов генетического риска. Если бы их все проанализировали и представили результаты во всех исследованиях, мы получили бы 21×384=8064 эффекта. Однако были представлены лишь 485 (6%) эффектов, из которых только 243 (50%) были обозначены статистически незначимыми, в то время как остальные 244 были отмечены как многообещающие. Насколько нам известно на данный момент, скорее всего оба варианта никак не влияют на ответ на терапию астмы бета2-агонистами. Следовательно, вероятнее всего были исследованы по меньшей мере несколько тысяч эффектов, о большинстве из которых не сообщили, а некоторые превратили из «отрицательных» в «положительные». Такая интерпретация этих данных наиболее вероятна ещё и потому, что (хотя бы в теории) почти во всех данных исследованиях могли быть легко измерены все/большинство данных эффектов, даже если не все 8064 были измерены.

В Таблице 2 я привожу предполагаемый процент эффектов, которые не были представлены в различных областях исследований, основываясь на некоторых эмпирических данных (таких, как только что описанное мной исследование, и

Источник

Понравилась статья? Поделить с друзьями:
  • Ошибки ситроен с5 на дисплее перевод
  • Ошибки сша во вьетнаме
  • Ошибки синтаксиса языка
  • Ошибки ситроен с5 2002 года
  • Ошибки синтаксиса определяются на этапе