Abstract
Zusammenfassung. Es wurden 436 empirische Arbeiten aus 14 psychologischen Fachzeitschriften der Jahre 2001 und 2002 u.a. daraufhin analysiert, mit welchen statistischen Verfahren gearbeitet wurde - überwiegend mit Globaltests, gefolgt von Dateninspektionen oder multiplen Vergleichen, und zwar unabhängig davon, ob die vorangestellten psychologischen Hypothesen oder Fragen gerichtet waren oder nicht. Der Kumulation der statistischen Fehlerwahrscheinlichkeiten wurde kaum Beachtung geschenkt, ebenso wenig den Voraussetzungen für parametrische statistische Verfahren. Ferner wurde fast durchgängig ohne Zufallsstichproben gearbeitet, sondern stattdessen mit “Gelegenheitsstichproben“. Inwieweit mit der Randomisierung gearbeitet wurde, ließ sich nicht erkennen, da nur für wenige Studien explizit angegeben wurde, dass randomisiert wurde. Insgesamt wurden in 250 Artikeln 391 psychologische Hypothesen geprüft, und in 301 Untersuchungen wurde mit “Forschungsfragen“ ohne explizite Hypothesen operiert. Eine Kontrolle der Teststärke fand nur in 10 Fällen statt. Mit großem Abstand am häufigsten eingesetzt wurde die statistische Hybride aus der Signifikanztesttheorie von Fisher und der Neyman-Pearson-Theorie eingesetzt, gefolgt von der Fisher-Theorie. Nur in 10 Arbeiten wurde die Theorie des statistischen Hypothesentestens von Neyman und Pearson eingesetzt, in der mit der Teststärke und Effektgrößen operiert wird; statistische Analysen nach dem Bayes-Theorem wurden ebenso wenig durchführt wie sequenzielle Tests nach Wald. Parameterschätzungen und Likelihood-Quotienten-Tests wurden nur gelegentlich eingesetzt.
Abstract. 436 articles in 14 German psychology journals of the years 2001 and 2002 were analyzed with respect to statistical tests employed. The assumptions of the statistical tests employed, in nearly all cases global tests such univariate or multivariate analyses of variance, were not tested in the majority of cases. The cumulation of error probabilities, which took place in every study, was only rarely mentioned or controlled. In most cases no random samples were drawn, and the data were based on “convenience samples“. Accordingly, generalizations were the exception rather than the rule. Random samples were very rarely used (4.5%). In 250 studies, 391 psychological hypotheses were examined. In most of the articles the authors dealt with research questions instead of hypotheses. Control of statistical power took only place in ten cases. The prevailing statistical tool was the hybrid of Fisher’s and Neyman and Pearson’s theory, followed by the Fisher theory of significance testing, whereas the competing test theory of Neyman and Pearson was only seldom employed. Analyses according to the Bayes theorem were not found, and the same holds for sequential analyses according to Wald. In addition, estimation of parameters and application of likelihood ratio tests were seldom found.
Literatur
(2001). Publication manual of the American Psychological Association (5th ed.). Washington, DC: Author
Bortz, J. (2005). Statistik für Psychologen und Sozialwissenschaftler (6. Aufl.). Berlin: SpringerBredenkamp, J. (1972). Der Signifikanztest in der psychologischen Forschung . Frankfurt am Main: Akademische VerlagsgesellschaftBredenkamp, J. (1980). Theorie und Planung psychologischer Experimente . Darmstadt: SteinkopffChalmers, A. F. (2001). Wege der Wissenschaft (5. Aufl.). (N. Bergemann & C. Altstötter-Gleich, Übers.). Berlin: Springer. (Original erschienen 1999, 3rd ed.: What is this thing called science?)Clauß, G. , Finze, F.-R. , Partzsch, L. (2004). Statistik für Soziologen, Pädagogen, Psychologen und Mediziner: Grundlagen (5. Aufl.). Frankfurt am Main: Harri DeutschCohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: ErlbaumCowles, M. (1989). Statistics in psychology: An historical perspective . Hillsdale, NJ: Erlbaum(1997). Richtlinien zur Manuskriptgestaltung (2. Aufl.). Göttingen: Hogrefe
Edgington, E. S. (1969). Statistical inference: The distribution-free approach . New York: McGraw-HillErdfelder, E. , Bredenkamp, J. (1994). Hypothesenprüfung. In T. Herrmann & W. Tack (Hrsg.), Enzyklopädie der Psychologie: Themenbereich B Methodologie und Methoden, Serie I Forschungsmethoden der Psychologie, Band 1 Methodologische Grundlagen der Psychologie (S. 604-648). Göttingen: HogrefeFisher, R. A. (1925, 1950). Statistical methods for research workers (1st, 11th ed.). Edinburgh: Oliver and BoydFisher, R. A. (1935, 1966). The design of experiments (1st, 8th ed.). Edinburgh: Oliver and BoydFisher, R. A. (1956). Statistical methods and scientific inference . Edinburgh: Oliver and BoydGadenne, V. (1984). Theorie und Erfahrung in der psychologischen Forschung . Tübingen: MohrGigerenzer, G. (1987). Probabilistic thinking and the fight against subjectivity. In L. Krüger, G. Gigerenzer & M. S. Morgan (Eds.), Ideas in the sciences (The probabilistic revolution, Vol. 2, pp. 11-33). Cambridge, MA: MIT PressGigerenzer, G. (1993). The Superego, the Ego, and the Id in statistical reasoning. In G. Keren & C. Lewis (Eds.), A handbook for data analysis in the behavioral sciences: Methodological issues (pp. 311-339). Hillsdale, NJ: ErlbaumGigerenzer, G. , Murray, D. J. (1987). Cognition as intuitive statistics . Hillsdale, NJ: ErlbaumHaagen, K. , Seifert, H.-G. (1979). Methoden der Statistik für Psychologen . Stuttgart: KohlhammerHager, W. (2004). Testplanung zur Prüfung psychologischer Hypothesen. Die Ableitung von Vorhersagen und die Kontrolle der Determinanten des statistischen Tests . Göttingen: HogrefeHerrmann, T. , Tack, W. H. (Hrsg.) (1994). Methodologische Grundlagen der Psychologie (Enzyklopädie der Psychologie Themenbereich B, Methodologie und Methoden, Band 1). Göttingen: HogrefeHubbard, R. (2004). Alphabet soup. Blurring the distinctions between p’s and α’s in psychological research. Theory & Psychology, 14 , 295– 327Huberty, C. J. (1987). On statistical testing. Educational Researcher, 16 , 8 4– 9Huberty, C. J. (1993). Historical origins of statistical testing practices: The treatment of Fisher versus Neyman-Pearson views in textbooks. Journal of Experimental Education, 61 , 317– 333Kähler, W.-M. (2002). Statistische Datenanalyse (2. Aufl.). Braunschweig: ViewegKirk, R. E. (1995). Experimental design. Procedures for the behavioral sciences (3rd ed.). Pacific Grove, CA: Brooks/ColeKöhler, T. (2004). Statistik für Psychologen, Pädagogen und Mediziner . Stuttgart: KohlhammerKuhn, T. S. (1962/2003). Die Struktur wissenschaftlicher Revolutionen (Sonderausgabe). (H. Vetter, Übers.). Frankfurt am Main: Suhrkamp. (Original erschienen 1962: The structure of scientific revolutions)Kupper, L. L. , Hafner, K. B. (1989). How appropriate are popular sample size formulas?. The American Statistican, 43 , 101– 105Lehmann, G. (2002). Statistik. Eine Einführung . Heidelberg: Spektrum Akademischer VerlagLeonhart, R. (2004). Lehrbuch Statistik. Einstieg und Vertiefung . Bern: HuberLiu, X. , Raudenbush, S. (2004). A note on the noncentrality parameter and effect size estimates for the F test in ANOVA. Journal of Educational and Behavioral Statistics, 29 , 251– 255Marascuilo, L. A. , Levin, J. R. (1988). Multivariate statistics in the social sciences. A researcher’s guide . Monterey, CA: Brooks/ColeMayo, D. (1983). An objective theory of statistical testing. Synthese, 57 , 297– 340Nachtigall, C. , Wirtz, M. (2002). Wahrscheinlichkeitsrechnung und statistische Inferenz (Statistische Methoden für Psychologen, Teil 2). Weinheim: JuventaNeyman, J. (1937). Outline of a theory of statistical estimation based on the classical theory of probability. Philosophical Transactions of the Royal Society, Series A, 236 , 330– 366Neyman, J. (1942). Basic ideas and some recent results of the theory of testing statistical hypotheses. Journal of the Royal Statistical Society, 105 , 292– 327Neyman, J. (1950). First course in probability and statistics . New York: Holt, Rinehart and WinstonNeyman, J. (1957). “Inductive behavior“ as basic concept of philosophy of science. Revue d‘Institute Internationale de Statistics, 25 , 7– 22Neyman, J. , Pearson, E. S. (1933a). On the problem of the most efficient tests of statistical hypotheses. Philosophical Transactions of the Royal Society, Series A, 231 , 289– 337Neyman, J. , Pearson, E. S. (1933b). The testing of hypotheses in relation to probabilities a priori. Proceedings of the Cambridge Philosophical Society, 29 , 492– 510Popper, K. R. (1935/2002). Logik der Forschung . (Nachdruck der 10. Aufl., Jub.-Ausg.; 1. Aufl. 1935, Wien: Julius Springer). Tübingen: Mohr SiebeckPruzek, R. M. (1997). An introduction to Bayesian inference and its applications. In L. L. Harlow, S. A. Mulaik & J. H. Steiger (Eds.), What if there were no significance tests? (pp. 287-318). Mahwah, NJ: ErlbaumSpielman, S. (1974). The logic of tests of significance. Philosophy of Science, 41 , 211– 225Steyer, R. (1994). Stochastische Modelle. In T. Herrmann & W. Tack (Hrsg.), Enzyklopädie der Psychologie: Themenbereich B Methodologie und Methoden, Serie I Forschungsmethoden der Psychologie, Band 1 Methodologische Grundlagen der Psychologie (S. 649-693). Göttingen: HogrefeStudent, Gosset, W. S. (1908). On the probable error of the mean. Biometrika, 6 , 1– 25Thompson, B. (1994). Planned versus unplanned and orthogonal versus nonorthogonal contrasts: the neoclassical perspective. In B. Thompson (Ed.), Advances in social science methodology (Vol. 3, pp. 3-27). Greenwich, CT: Jai PressWald, A. (1947). Sequential analysis . New York: WileyWestermann, R. (2000). Wissenschaftstheorie und Experimentalmethodik . Göttingen: HogrefeWestermann, R. , Hager, W. (1986). Error probabilities in educational and psychological research. Journal of Educational Statistics, 11 , 117– 146Westmeyer, H. (1973). Kritik der psychologischen Unvernunft. Probleme der Psychologie als Wissenschaft . Stuttgart: KohlhammerWillmes, K. (1987). Beiträge zu Theorie und Anwendung von Permutationstests in der uni- und multivariaten Datenanalyse . (unveröffentlichte Dissertation) Trier: Fachbereich 1 - PsychologieWiner, B. J. (1971). Statistical principles in experimental design (2nd ed.). New York: McGraw-HillZimbardo, P. G. , Gerrig, R. J. (2004). Psychologie (16. Aufl.). München: Pearson Studium. (Orig. erschienen 2002: Psychology and life)Zöfel, P. (2003). Statistik für Psychologen im Klartext . München: Pearson Studium
