Signifikanztests in der Korpuslinguistik

Liebe Linguisten-Community,

wie ist die Verwendung von Signifikanztests bei Korpusanalysen einzuschätzen? Sollte man diese Tests verwenden oder lieber darauf verzichten?
Ein einfaches Beispiel: Angenommen ich untersuche den Sprachgebrauch von Männern und Frauen, habe hierzu zwei unterschiedlich lange Teilkopora und finde dann das Wort lovely in einem Korpus 150 Mal und im anderen nur 50 Mal. Nun kann ich zunächst mal relative Frequenzen vergleichen. Aber sollte man darüber hinaus statistische Assoziationsmaße wie Chi-Square oder log-lokelihood-ratio verwenden, um zu prüfen ob das Ergebnis statistisch signifikant ist?
Ich habe in mehreren Korpusstudien die Anwendung solcher Tests gelesen, kenne aber auch Stellungnahmen dagegen (zum Beispiel sind die auftretenden Wörter nicht normalverteilt).

Vielen Dank für euere Antworten und eventuell für Anregungen zu alternativen Verfahren:)

(18.02.2016, 23:27:28)Coseriana schrieb: Liebe Linguisten-Community,

wie ist die Verwendung von Signifikanztests bei Korpusanalysen einzuschätzen? Sollte man diese Tests verwenden oder lieber darauf verzichten?
Ein einfaches Beispiel: Angenommen ich untersuche den Sprachgebrauch von Männern und Frauen, habe hierzu zwei unterschiedlich lange Teilkopora und finde dann das Wort lovely in einem Korpus 150 Mal und im anderen nur 50 Mal. Nun kann ich zunächst mal relative Frequenzen vergleichen. Aber sollte man darüber hinaus statistische Assoziationsmaße wie Chi-Square oder log-lokelihood-ratio verwenden, um zu prüfen ob das Ergebnis statistisch signifikant ist?
Ich habe in mehreren Korpusstudien die Anwendung solcher Tests gelesen, kenne aber auch Stellungnahmen dagegen (zum Beispiel sind die auftretenden Wörter nicht normalverteilt).

Vielen Dank für euere Antworten und eventuell für Anregungen zu alternativen Verfahren:)

Ob und welchen Signifikanztest Du verwendest, hängt davon ab, welche Hypothese Du untersuchen möchtest. Der Chi Quadrat Test kann ja wie im Beispiel dazu genutzt werden, um zu überprüfen, ob in einer Stichprobe ein Wort häufiger vorkommt als in einer anderen. Die LLR kann ja dazu verwendet werden, um zu überprüfen, ob zwei Wörter häufiger zusammen vorkommen, als es bei Normalverteilung der Fall wäre. Gerade bei solch komplexen Entscheidungen wird man mit relativen Frequenzen nicht sonderlich weit kommen. Zu den Voaraussetzungen der genannten Tests gehört ja ein bestimmter Stichprobenumfang: soweit ich mich erinnere, sind es für den Chi Quadrat Test fünfzig Einheiten und für die LLR fünf. Ab dieser Schwelle sind diese Tests gegenüber Nicht-Normalverteilung relativ robust, d.h. hat einen zu vernachlässigenden Einfluss.
Das wusstest Du wahrscheinlich bereits, aber ab hier kann man sich vielleicht besser daraüber unterhalten, wo das eigentliche Problem liegt.