L’exploration statistique du biais de publication

Patrice Laroche

Journal de la société française de statistique (2007)

  • Volume: 148, Issue: 4, page 29-56
  • ISSN: 1962-5197

Abstract

top
The purpose of this paper is to survey and illustrate selected statistical methods that can identify and correct publication bias. Publication bias has long been a major concern to researchers. In its more benign form, it is the result of selection for statistical significance. Researchers, reviewers and editors are predisposed to treat “statistically significant” results more favorably. Hence, there are more likely to be published. Such publication bias makes empirical effects seem larger than they are. With meta-analysis, statistical methods – such as funnel asymmetry and meta-significance tests – can be employed to identify and accommodate these biases.

How to cite

top

Laroche, Patrice. "L’exploration statistique du biais de publication." Journal de la société française de statistique 148.4 (2007): 29-56. <http://eudml.org/doc/93468>.

@article{Laroche2007,
abstract = {Cet article présente les principales techniques statistiques permettant d’identifier et de corriger le biais de publication. Un biais de publication apparaît lorsque la publication d’une recherche dépend de la significativité et/ou de la direction des résultats obtenus par le chercheur. Plusieurs études ont ainsi montré que certaines revues académiques avaient tendance à un certain degré de publication sélective en ne retenant à la publication qu’un certain type d’études, notamment celles qui présentent des résultats statistiquement significatifs. Dès lors, une synthèse de la littérature qui s’appuierait uniquement sur les études publiées pourrait s’avérer biaisée en faveur d’études présentant des effets empiriques plus larges qu’ils ne sont réellement. Avec la méta-analyse, des techniques statistiques – comme le test d’asymétrie des entonnoirs et le test de méta-significativité – permettent d’identifier et de corriger ce type de biais.},
author = {Laroche, Patrice},
journal = {Journal de la société française de statistique},
keywords = {publication bias; funnel asymmetry test; meta-significance test; meta-regression analysis},
language = {fre},
number = {4},
pages = {29-56},
publisher = {Société française de statistique},
title = {L’exploration statistique du biais de publication},
url = {http://eudml.org/doc/93468},
volume = {148},
year = {2007},
}

TY - JOUR
AU - Laroche, Patrice
TI - L’exploration statistique du biais de publication
JO - Journal de la société française de statistique
PY - 2007
PB - Société française de statistique
VL - 148
IS - 4
SP - 29
EP - 56
AB - Cet article présente les principales techniques statistiques permettant d’identifier et de corriger le biais de publication. Un biais de publication apparaît lorsque la publication d’une recherche dépend de la significativité et/ou de la direction des résultats obtenus par le chercheur. Plusieurs études ont ainsi montré que certaines revues académiques avaient tendance à un certain degré de publication sélective en ne retenant à la publication qu’un certain type d’études, notamment celles qui présentent des résultats statistiquement significatifs. Dès lors, une synthèse de la littérature qui s’appuierait uniquement sur les études publiées pourrait s’avérer biaisée en faveur d’études présentant des effets empiriques plus larges qu’ils ne sont réellement. Avec la méta-analyse, des techniques statistiques – comme le test d’asymétrie des entonnoirs et le test de méta-significativité – permettent d’identifier et de corriger ce type de biais.
LA - fre
KW - publication bias; funnel asymmetry test; meta-significance test; meta-regression analysis
UR - http://eudml.org/doc/93468
ER -

References

top
  1. [1] Abramovitz M. et al. (1992). « A plea for pluralistic and rigorous economics », American Economic Review, 82, 25. 
  2. [2] Ashenfelter O., Harmon C. et H. Oosterbeek. (1999). « A review of estimates of the schooling/earnings relationship, with tests for publication bias », Labour Economics, 6, 453-470. 
  3. [3] Bauchau V. (1997), « Is there a file drawer problem" in biological research ? »", Oikos, 79, 407-409. 
  4. [4] Begg C.B. (1994). « Publication bias », in The Handbook of Research Synthesis, Russel Sage Foundation. Zbl0825.62457
  5. [5] Begg C. B. et J. A. Berlin (1988), « Publication Bias : a problem in interpreting medical data », Journal of Royal Statistical Society, Series A, 151(3), 419-463. 
  6. [6] Begg C.B. et Mazumdar M. (1994). « Operating characteristics of a rank correlation test for publication bias », Biometrics, 50, 1088-1101. Zbl0825.62457
  7. [7] Becker B.J. et Morton S.C. (2002). « Publication bias : Methods and practices in evidence-based medicine and social science », Mathematical Sciences Research Institute, Berkeley, California. 
  8. [8] Berlin J.A., Begg C.B. et Louis T.A. (1989). « An assessment of publication bias using a sample of published clinical trials », Journal of the American Statistical Association, 84, 381-392. 
  9. [9] Card D. et Krueger A.B. (1995). « Time-Series Minimum-Wage Studies : A Meta-Analysis », American Economic Review, 85(2) :238-43. 
  10. [10] Cohen J. (1969). « Statistical power analysis for the behavioral sciences », (1 st edition), Hillsdale, NJ : Erlbaum. Zbl0747.62110
  11. [11] Cooper H.M. (1998). « Synthesizing research : a guide for literature reviews », Thousand Oaks, CA : Sage. 
  12. [12] Coursol A. et Wagner E.E. (1986). « Effect of positive findings on submission and acceptance rates : a note on meta-analysis bias », Professional Psychological Research & Practice, 17, 447-452. 
  13. [13] Cucherat M. (1997). « Méta-analyse des essais thérapeutiques », Paris, Masson. 
  14. [14] Dalhuisen J., Florax R.J.G.M., DeGroot H.L.F. et Nijkamp P. (2003). « Price and income elasticities of residential water demand : a meta-analysis », Land Economics, 79, 292-308. 
  15. [15] Davidson R. et MacKinnon J.G. (2004). « Econometric theory and methods », Oxford : Oxford University Press. MR1704228
  16. [16] Dear K.B.G. et Begg C.B. (1992). « An approach for assessing for publication bias prior to performing a meta-analysis », Statistical Science, vol.7, n ∘ 2, 237-245. 
  17. [17] Dickersin K., Chan S., Chalmers T.C. SacksH.S. et Smith H. Jr. (1987). « Publication bias and clinical trials », Controlled Clinical Trials, 8, 343-353. 
  18. [18] Dickersin K., Min Y.I., et Meinert C.L. (1992). « Factors influencing publication of research results. Follow-up of applications submitted to two institutional review boards », Journal of the American Medical Association, 267, 374-378. 
  19. [19] Doucouliagos C. et Laroche P. (2003). « What do Unions do to Productivity : A Meta-Analysis », Industrial Relations, 42(4), 650-692. 
  20. [20] Doucouliagos C., Laroche P. et Stanley T.D. (2005). « Publication Bias in Union-Productivity Research », Relations Industrielles/Industrial Relations, Vol. 60, n ∘ 2, 320-347. 
  21. [21] Duval S.J. et Tweedie R.L. (2000). « A non-parametric ’trim and fill’ method of accounting for publication bias in meta-analysis », Journal of the American Statistical Association, 95, 89-98. Zbl1011.62112MR1803144
  22. [22] Egger M., Smith G.D., Scheider M., et Minder C. (1997). « Bias in meta-analysis detected by a simple, graphical test », British Medical Journal, 316, 629-34. 
  23. [23] Egger M., Juni P., Bartlett, C.Holenstein F. et Sterne J. (2003). « How important are comprehensive literature searches and the assessment of trial quality in systematic reviews ? Empirical study », Health Technology Assessment, 7, 1-68. 
  24. [24] Galbraith J.K. (1988). « A note on graphical presentation of estimated odds ratios from several clinical trials », Statistics in Medicine, 7, 177-207. 
  25. [25] Gerber A.S., Green D.P. et Nickerson D. (2001). « Testing for Publication Bias in Political Science », Political Analysis, 9, 385-392. 
  26. [26] Gilbody S.M., Song F., Eastwood A.J. et Sutton A. (2000). « The causes, consequences and detection of publication bias in psychiatry », Acta Psychiatrica Scandinavia, 102, 241-249. 
  27. [27] Givens G.H., Smith D.D. et Tweedie R.L. (1997). « Publication bias in Meta-analysis : A bayesian data-augmentation approach to account for issues exemplified in the passive smoking debate », Statistical Science, 12, 221-250. 
  28. [28] Glass G.V., McGaw B. et Smith ML. (1981). « Meta-analysis in social research », Beverly Hills, CA : Sage Publication. 
  29. [29] Goldfarb R.S. (1995). « The Economist-as-audience needs a methodology of plausible inference », Journal of Economic Methodology, 2(2), 201-22. 
  30. [30] Gorg H. et E. Strobl (2001). « Multinational Companies and Productivity : A Meta-analysis », The Economic Journal, 111(475) :723-39. 
  31. [31] Green B. et Hall J. (1984). « Quantitative methods for literature review », Annual Review of Psychology, 35, 37-53. 
  32. [32] Greene W.H. (1990). « Econometric Analysis ». New York : MacMillan. 
  33. [33] Gujarati D.N. (2003). « Basic Econometrics », 4 è me édition, MacGrawHill/Irwin. 
  34. [34] Hedges L.V. (1992). « Modeling publication selection effects in meta-analysis », Statistical Science, 7, 227-236. 
  35. [35] Hedges L.V. et Olkin I. (1985). « Statistical methods for meta-analysis », Boston : Academic Press. Zbl0666.62002MR798597
  36. [36] Hedges L.V. et Vevea J.L. (1996). « Estimating effect size under publication bias : small sample properties and robustness of a random effects selection models », Journal of Educational and Behavioral Statistics, 21, 299-332. 
  37. [37] Hunter J.E. et Schmidt F.L. (1990). « Methods of Meta-Analysis : correcting error and bias in research findings », Sage publications. 
  38. [38] Ioannidis J.P.A. et Trikalinos T.A., (2007). « The appropriateness of asymmetry tests for publication bias in meta-analyses : a large survey », Canadian Medical Association Journal, April, 1091-1096. 
  39. [39] Jarrell S. et T.D. Stanley (1990). « A Meta-Analysis of the Union-Nonunion Wage Gap », Industrial and Labor Relations Review, 44, 54-67. 
  40. [40] Laroche P. et Schmidt G. (2004). « La méta-analyse en sciences de gestion : utilités, utilisations et débats », Academy of Management, Division « Méthodes de Recherche », Crossing Frontiers in Quantitative and Qualitative Research Methods, ISEOR, Lyon, 18-20 Mars. 
  41. [41] Latour B.2001. « Le métier de chercheur, regard d’un anthropologue », Paris, INRA Editions. 
  42. [42] Light R.J. et Pillemer D.B. (1984). « Summing up : The science of reviewing research », Cambridge, MA : Harvard University Press. 
  43. [43] Macaskill P., Walter S.D., et Irwig L. (2001). « A comparison of methods to detect publication bias in meta-analysis », Statistics in Medicine, 20, 641-654. 
  44. [44] Mahoney M.J. (1977). « Publication prejudices : An experimental study of confirmatory bias in the peer review system », Cognitive Therapy & Research, 1, 161-175. 
  45. [45] Muller J.L. (1988). « Pour une revue quantitative de la littérature : les méta-analyses », Psychologie Française, 33-4, décembre, 295-303. 
  46. [46] Neumark D. et W. Wascher (2002). « Meta-Analysis », Journal of Economic Perspectives, 16(3), 226-7. 
  47. [47] Orwin R.G. (1983). « A fail-Safe N for effect size in meta-analysis », Journal of Educational Statistics, 8, 157-159. 
  48. [48] Roberts C.J. et Stanley T.D. (Eds.), « Meta-regression analysis : Issues of publications bias in economics », Blackwell Publishing. 
  49. [49] Rosenberg M.S. (2005). « The File-drawer problem revisited : a general weighted method for calculating fail-safe numbers in meta-analysis », Evolution, 59 (2), 464-468. 
  50. [50] Rosenberg M.S., D.C. Adams et J. Gurevitch. (2000). « MetaWin : Statistical Software for Meta-Analysis », Version 2.0. Sinauer Associates, Sunderland, Massachusetts. 
  51. [51] Rosenthal R. (1979), « The « file drawer problem » and tolerance for null results », Psychological Bulletin, 86 :638-41. 
  52. [52] Rosenthal R. (1991). « Meta-analytic procedures for social research », (ré-édition de l’ouvrage publié initialement en 1984), Newbury Park, CA : Sage. 
  53. [53] Rothstein H.R., Sutton A.J. et Borenstein M. (2005). « Publication bias in meta-analysis : prevention, assessment and adjustment », John Wiley & Sons. Zbl1231.62209MR2238828
  54. [54] Rust R.T., D.R. Lehmann et J.U. Farley (1990). « Estimating Publication Bias in Meta-Analysis », Journal of Marketing Research, 27, 220-226. 
  55. [55] Scargle J.D. (2000). « Publication Bias : the « file-drawer » problem in scientific inference », Journal of Scientific Exploration, 14, 91-106. 
  56. [56] Schulz K.F., Chalmers I., Hayes R.J., et Altman D.G. (1995). « Empirical evidence of bias : Dimensions of methodological quality associated with estimates of treatment effects in controlled trials », Journal of the American Medical Association, 273, 408-412. 
  57. [57] Shepherd G.B. (Ed.) (1995). « Rejected : Leading economists ponder the publication process », Sun Lakes : Thomas Horton and Daughters. 
  58. [58] Sigelman L. (1999). « Publication Bias Reconsidered », Political Analysis, 8, 201-210. 
  59. [59] Smart R.G. (1964). « The importance of negative results in psychological research », Canadian Psychologist, 5, 225-232. MR160290
  60. [60] Sommer B. (1987). « The file drawer effect and publication rates in menstrual cycle research », Psychology of Women Quaterly, 11, 233-242. 
  61. [61] Stanley T.D. (2001). « Wheat from chaff : Meta-Analysis as quantitative literature review », The Journal of Economic Perspectives 15(3), 131-150. 
  62. [62] Stanley T.D. (2005). « Beyond Publication bias », Journal of Economic Survey, 19, 309-337. 
  63. [63] Stanley T.D. et Jarrell S.B. (1989). « A meta-regression analysis : A quantitative method of literature surveys », Journal of Economic Surveys, 3, 54-67. 
  64. [64] Stanley T.D. et Roberts C.J. (2005). « Meta-regression analysis : Issues of publication bias in economics », Oxford : Blackwell Publishing Ltd. 
  65. [65] Stanley T.D, Florax R.J.G.M., et DeGroot H.L.F. (2003). « It’s all about power : Differentiating genuine empirical significance from the artifact of publication bias », Discussion Paper 3, Center for Entrepreneurial Studies, Hendrix College. 
  66. [66] Sterling T.D. (1959). « Publication decisions and their possible effects on inferences drawn from tests of significance – or vice versa », Journal of the American Statistical Association, 54, 30-34. 
  67. [67] Sterling T.D. RosenbaumW.L., et Weinkam J.J. (1995). « Publication decisions revisited : The effect of the outcome of statistical tests on the decision to publish », American Statistician, 49, 108-112. 
  68. [68] Sterne J.A.C., Gavaghan D. et Egger M. (2000). « Publication and related bias in meta-analysis : Power of statistical tests and prevalence in the literature », Journal of Clinical Epidemiology, 53, 1119-1129. 
  69. [69] Stouffer S.A., Suchman E.A., DeVinney L.C., Star A. et Williams R.M. (1949). « The American soldier : adjustment during army life », vol.1, Princeton, NJ : Princeton University Press. 
  70. [70] Sutton A.J., Duval S.J., Tweedie R.L., Abrams K.R. et Jones D.R. (2000a). « Empirical assessment of effect of publication bias on meta-analyses », British Medical Journal, 320, 1574-1577. 
  71. [71] Sutton A.J., F. Song, S. M. Gilbody et K. R. Abrams (2000b). « Modelling Publication Bias in Meta-Analysis : a review », Statistical Methods in Medical Research, 9, 421-45. Zbl1121.62668
  72. [72] Sutton A.J., Abrams K.R., Jones D.R., Sheldon T.A., et Song F. (2000c). « Methods for Meta-analysis in Medical Research », Chichester : John Wiley and Sons. 
  73. [73] Thompson S.G. et Pocock S.J. (1991). « Can meta-analyses be trusted ? », Lancet, 338, 1127-1130. 

NotesEmbed ?

top

You must be logged in to post comments.

To embed these notes on your page include the following JavaScript code on your page where you want the notes to appear.

Only the controls for the widget will be shown in your chosen language. Notes will be shown in their authored language.

Tells the widget how many notes to show per page. You can cycle through additional notes using the next and previous controls.

    
                

                
Note: Best practice suggests putting the JavaScript code just before the closing </body> tag.