Sterne, Punkte, Trauben - oder Obstkörbe
mixalhs
- Beiträge: 1750
- Bilder: 0
- Registriert: Mi 7. Sep 2011, 11:29
Fr 12. Okt 2012, 15:18
Bei der Diskussion zum Riesling-Cup sind zahlreiche methodisch-statistische Fragen aufgeworfen worden. Um diese mal unabhängig vom Thema Riesling-Cup zu diskutieren, mache ich mal dieses Forum auf.
Als Input ein paar Thesen (die nicht unbedingt widerspruchsfrei sein müssen):
1 .Durchschnittswerte von Gruppenverkostungen sagen nichts aus, solange man keine Signifikanzniveaus angibt.
2. Wenn man Signifikanznivaus angibt, werden Bewertungsunterschiede von weniger als drei Punkten auf der 100er-Skala in der Regel insignifikant.
3. Statistiken und Signifikanzniveaus sind eine Fiktion, weil unterstellt wird, das mit unterschiedlichen Messinstrumenten (Verkostern), die stochastische Fehler produzieren, eine objektive Größe (die Qualität des Weins) gemessen wird. Wenn die Verkoster unterschiedliche Kriterien dafür haben, was ein guter Wein ist, kann man statistische Tests nicht mehr anwenden.
4. Punktwertungen sind generell abzulehnen.
5. Punktwertungen haben bestenfalls ordinalen Charakter. Daher sind Durchschnittsbildungen unzulässig.
Gerald
Administrator
- Beiträge: 7518
- Bilder: 32
- Registriert: Do 24. Jun 2010, 08:45
- Wohnort: Wien
- Bewertungssystem: Auf Benutzername klicken
Fr 12. Okt 2012, 15:29
Wie schon erwähnt, habe ich mit Punkten (mit denen man dann alle nur erdenklichen Rechenspielereien anstellt, obwohl die Ordinalskala - wie sie für Präferenzen nun mal gilt - das nicht zulässt) seit jeher Bauchweh. Aber wie auch immer, wenn man das schon für notwendig hält, dann sollte man meiner Meinung nach bei Mittelwertbildung mehrerer Verkoster deren Skalen wenigstens irgendwie "normieren". Also z.B. dass man aus allen Bewertungen eines Verkosters Mittelwert und Standardabweichung bildet und die einzelnen Bewertungen darauf bezieht. Wenn man dann Mittelwerte aus solchen normierten Bewertungen bildet, dürfte es meiner Meinung nach zu sinnvolleren Ergebnissen führen. Denn unterschiedliche Bewertungsmaßstäbe werden damit weitgehend beseitigt. Also: Punkte normiert = (Punkte original - Mittelwert) / StandardabweichungDerartige Verfahren werden übrigens meines Wissens bei Panels häufig angewendet (zumindest ist mir ein Profiverkoster bekannt, der das tut ![Zwinkern ;)](./images/smilies/icon_e_wink.gif) ). Grüße, Gerald P.S. Falls jemandem gerade langweilig ist, kann er das ja für die BRC-Ergebnisse nachrechnen. Voraussetzung ist, dass jede Einzelbewertung genau einem Teilnehmer zugeordnet werden kann (ich weiß nicht, ob die aktuelle Auflistung das zulässt).
mixalhs
- Beiträge: 1750
- Bilder: 0
- Registriert: Mi 7. Sep 2011, 11:29
Fr 12. Okt 2012, 15:45
@Gerald Als Ökonom habe ich viel mit solchen Skalen zu tun. Jede ordinale Präferenzordung lässt sich in eine kardinale Ordnung übertragen, die allerdings nicht eindeutig ist. Zur Veranschaulichung mag folgende Analogie dienen. Temperatur kann man auf der Celsius-Skala oder auf der Fahrenheit-Skala messen. Die ordinalen Unterschiede bleiben auf beiden Skalen erhalten. Analog wird bei Weinen mal auf einer 20er-Skala, mal auf einer 100er-Skala gemessen. Es spricht aus meiner Sicht also nichts gegen Punkte. Durch das 100er-System werden die Verkoster auf dieselbe Skala genordet - idealerweise. In in der Realität zeigt sich aber, dass einige Bewerter besonders hoch und andere besonders niedrig bewerten. Damit stellt sich die Frage, ob sie wirklich dieselbe Skala benutzen. Und das kann man m.E. nicht beantworten.
pivu
- Beiträge: 370
- Registriert: Mi 3. Nov 2010, 10:48
- Wohnort: Frankfurt & Wien
Fr 12. Okt 2012, 15:52
Ehrlich gesagt, finde ich es traurig, wenn man Wein- (oder jede andere) Qualität quantifizieren will. Da kommen zum einen persönliche Stimmungen (der gleiche Wein schmeckt in dieser oder jener Umgebung besser oder schlechter), zum anderen zeitliche Entwicklungen (sowohl des Weines wie auch des Trinkers) in kurzen (1. vs. 3. Glas) und längeren (x Jahre) Abständen dazu.
Das ganze empfinde ich wie anderswo schon geschrieben nix anderes als Spielerei, bei der ich aber mitspiele und die auch Spaß macht. Und warum sollen wir die Spielerei nicht um zusätzliche Formeln, Signifikanzen und was weiß ich noch alles weiter anreichern solange es Spaß macht. (Man könnte ja eine Diplomarbeit dafür vergeben.) Dabei sollte es aber bleiben und keine Parker'sche Vermarktung eingeleitet werden.
Ciao Peter
Zuletzt geändert von pivu am Fr 12. Okt 2012, 15:55, insgesamt 1-mal geändert.
Gerald
Administrator
- Beiträge: 7518
- Bilder: 32
- Registriert: Do 24. Jun 2010, 08:45
- Wohnort: Wien
- Bewertungssystem: Auf Benutzername klicken
Fr 12. Okt 2012, 15:55
Hallo Michael, der Vergleich mit Celsius / Fahrenheit hinkt meiner Meinung nach deutlich, da wir in beiden Fällen eine Intervallskala haben (der Abstand zwischen 1 °C bzw. °F ist klar definiert, nämlich eine genau bestimmte Differenz in der mittleren kinetischen Energie der Moleküle). Bei (menschlichen) Bewertungen haben wir aber nur eine Ordinalskala vorliegen, ich kann sagen, ob mir Wein A oder B besser schmeckt, die Differenz ist aber nicht vergleichbar. Der Unterschied zwischen 90 und 91 Punkte ist bestimmt nicht derselbe wie zwischen 99 und 100, oder? Aber genau das wäre die Voraussetzung für Mittelwertbildung & Co. In in der Realität zeigt sich aber, dass einige Bewerter besonders hoch und andere besonders niedrig bewerten.
Genau das könnte man aber mit der oben genannten "Normierung" vermeiden bzw. weitgehend korrigieren. Grüße, Gerald
Gerald
Administrator
- Beiträge: 7518
- Bilder: 32
- Registriert: Do 24. Jun 2010, 08:45
- Wohnort: Wien
- Bewertungssystem: Auf Benutzername klicken
Fr 12. Okt 2012, 15:59
Ehrlich gesagt, finde ich es traurig, wenn man Wein- (oder jede andere) Qualität quantifizieren will.
Peter, ich stimme dir vorbehaltlos zu. Wozu muss man also unbedingt ein Ranking aufstellen, wenn man ohnehin weiß, dass man damit den Weinen niemals gerecht werden kann? Vielleicht nur deshalb, da Rankings in allen Medien so beliebt sind, da sie wenig Arbeit (für den Redakteur) machen und viel Potenzial für hitzige Diskussionen bieten? Nur - muss man als Weinfreund jeden Unfug mitmachen? Grüße, Gerald
mixalhs
- Beiträge: 1750
- Bilder: 0
- Registriert: Mi 7. Sep 2011, 11:29
Fr 12. Okt 2012, 16:01
Gerald hat geschrieben: Also: Punkte normiert = (Punkte original - Mittelwert) / Standardabweichung
Guter Punkt, nur dass dann der durchschnittliche Wein einer Probe dann null Punkte erhält, egal ob man 40 Große Gewächse probiert oder 40 Supermarktweine für unter 5 Euro. Man müsste also die Punkte des Durchschnittsweins der Probe wieder dazurechnen, wenn man etwas sagen möchte, was über die relative Qualität der Probenweine untereinander hinausgeht. Allerdings mach man dabei die Annahme, dass die Verkostergruppe im Durchschnitt die richtige Skala getroffen hat.
mixalhs
- Beiträge: 1750
- Bilder: 0
- Registriert: Mi 7. Sep 2011, 11:29
Fr 12. Okt 2012, 16:21
Zur Quantifizierbarkeit von ordinalen Skalen gilt hier das, was in den Sozialwissenschaften über Likert-Skalen bekannt ist. Dort gilt Antworten auf einer Likert-Skala sind typischerweise ordinal- beziehungsweise rangskaliert, da nicht notwendigerweise angenommen werden kann, dass Testteilnehmer die verschiedenen Antwortmöglichkeiten als äquidistant wahrnehmen. Werden die Antwortmöglichkeiten allerdings symmetrisch formuliert und ggf. auch noch durch eine äquidistante Skala visualisiert, werden sie teilweise auch als Intervallskalen verwendet. In der Fragebogen- und Testpraxis wird aus pragmatischen Gründen (leichte Verfügbarkeit vieler parametrischer Tests) und aus testtheoretischen Gründen (in der Regel höhere Teststärke bei parametrischen Verfahren) das metrische Skalenniveau angenommen. http://de.wikipedia.org/wiki/Likert-Skala
Der Unterschied zwischen den in den Sozialwissenschaften üblichen Likert-Skalen und unseren Bewertungsskalen ist, dass Likert-Skalen meistens nur fünf Zustände kennen (volle Zustimmung, partielle Zustimmung, Indifferenz, partielle Ablehnung, volle Ablehnung), während bei Wertungen nach der 100er-Skala ein breiteres Spektrum möglich ist. Da wir aus unserem Alltag lineare Skalen (Temperatur, Länge, Gewicht) gewohnt sind, fällt es uns relativ leicht, unsere Präferenzen in ein solches lineares System zu übertragen. Natürlich bleiben die von Dir angeführten Probleme (Bedeutet ein Punkt Differenz immer das Gleiche, unabhängig davon, ob wir bei 80 oder bei 99 Punkten "messen"?) erhalten, aber, der Fehler, den man macht, wird umso geringer, je mehr Differenzierung die Skala zulässt.
sociando
- Beiträge: 1688
- Registriert: Do 9. Dez 2010, 23:52
- Wohnort: Brisbane, Australien
- Bewertungssystem: Auf Benutzername klicken
Fr 12. Okt 2012, 16:27
hallo allerseits,
interessante fragen! da viele verkoster eine jeweils ganz andere inhaltliche skala anwenden (obwohl z.b. die äussere die gleiche ist - z.b. das 100 punkte system; siehe bei erdener prälat und mir z.b.) sollte man aus meiner sicht mit normalen mittelwerte (der rohwerte) über verkoster hingweg nicht arbeiten. da müsste man erst normwerte bilden für jeden verkoster einzeln - allerdings wohl eher nicht auf der grundlage der aktuellen verkostung sondern auf der grundlage aller seiner bisher verkosteten weine (gerald, sowas ähnliches hatte ich glaube ich schon mal vorgeschlagen - dass das forum automatisch die jeweiligen punkte eines mitglieds in eine für alle einheitliche "forumsskala" überträgt so dass eine transparente vergleichbarkeit der bepunktung unterschiedlicher mitglieder möglich wird. ...aber so ein schritt ist natürlich sehr schwierig zu machen und zu vermitteln, das ist klar; dafür müsste ja jeder erstmal einen umrechnungsschlüssel erstellen). mit so einer normskala wüsste man aber dann, dass 90p bei verkoster x einer bestimmten punktzahl auf dieser normalskala ausmachen (z.b. forumsskala). mit den punkten auf dieser normskala könnte man dann versuchen, statistisch zu arbeiten, weil persönliche verkostereigenschaften/vorlieben/benotungsstile schon rausgerechnet sind.
aber angesichts der schwierigkeiten, so eine normskala für die ganzen verkoster zu erstellen, bin ich skeptisch dass man in absehbarer zukunft solche statistischen analysen mit weinpunkten über verkoster hinweg fundiert und abgesichert machen kann.
vg aus stockholm, martin
es lebe die freiheit! es lebe der wein! (johann wolfgang von goethe, faust, auerbachs keller)
Gerald
Administrator
- Beiträge: 7518
- Bilder: 32
- Registriert: Do 24. Jun 2010, 08:45
- Wohnort: Wien
- Bewertungssystem: Auf Benutzername klicken
Fr 12. Okt 2012, 16:35
da müsste man erst normwerte bilden für jeden verkoster einzeln - allerdings wohl eher nicht auf der grundlage der aktuellen verkostung sondern auf der grundlage aller seiner bisher verkosteten weine
ja, das haben wir schon mal diskutiert. Allerdings kann man auch nicht die Gesamtheit aller verkosteter Weine jeder Person heranziehen, da manche ja vor allem günstige Weine probieren, andere nur die 1ers aus Bordeaux ![Zwinkern ;)](./images/smilies/icon_e_wink.gif) Ich habe da vorgeschlagen, wiederum einen Bezug zum Preis zu setzen. Ist aber leider nur eine theoretische Überlegung, für eine praktische Umsetzung fehlen uns aussagekräftige Datenmengen. Grüße, Gerald
Zurück zu Bewertungssysteme und Weinbeschreibungen
Wer ist online?
Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste
|
![](./images/nix.gif) |
|