Vad jag saknar i tester.

Jag älskar att läsa genom Runner´s World. Och hoppa över skotesterna. 

Senaste dagarna har jag haft en oväntad fascination för en kanal på Youtube. Under tredje eller fjärde klippet förstod jag varför jag fastnade i det han skapat – objektivitet.

Även om ni inte har ett intresse för film så kan jag rekommendera att ni tar er en titt där, för det är just det jag kommer att prata om i det här inlägget. Inte filmer då, utan jag ska titta lite på tillvägagångssättet och hur man kan applicera detta till löpskotester.

Filmerna på kanalen följer till stor del samma mönster, man djupdyker i en eller flera filmer i syfte att fokusera på en aspekt som filmen gör bra. Exempelvis att man vill analysera hur bra filmer skapar sina antagonister och hur man kan använda sig av sidohistorier för att driva huvudhistorien framåt.
När man har hittat det som ska belysas så tar skaparen in extern fakta, från litteratur, som ska fungera som modell varpå man placerar filmerna. Analysen blir träffsäker och innehållet väldigt informativt och utbildande. Man tillgodoser sig ett språk, ett verktyg, som gör att man på ett konstruktivt sätt kan prata om filmer.
Det blir en underbar guide i filmteorins värld, hur man ska skriva manus, filma scener och så vidare. Kan varmt rekommendera den.

I texten nedan kommer kommer jag att utgå från ett antal begrepp som jag använde mig av under min utbildning och mitt examensarbete.
Begreppen kommer från psykometrin, ett fält inom statistiken där man försöker bedöma psykologiska egenskaper. Nu vet jag att skor inte är psykologiska egenskaper, men jag tror det blir tydligt att begreppen är relevanta även här.

Validitet används för att beskriva relationen mellan det man avser att mäta och det man faktiskt mäter. Om vi ska mäta huruvida en sko är ”Bästa köp”, som vi kommer se längre ner, eller inte så måste vi först definiera vad ett bra köp är.  I anknytning till det här begreppet finner vi även:

  • Konstruktkvaliditet, kan beskrivas som slutmålet – det som bedömningen avser att användas till. I mitt arbete så ifrågasatte vi huruvida ett prov som ska mäta skrivförmåga faktiskt mäter skrivförmåga eller om det även mäter andra faktorer.
  • Kriterievaliditet, kriterierna som använder för bedömningen måste vara relevanta för konstruktet. Man kan inte ha ett kriterium som inte är direkt relaterat till det man avser att mäta.

Det man behöver ha i åtanke är att konstruktet och kriterierna måste gå hand i hand. Helst att man arbetar bakåt, att man konstruerar målet och sen kriterierna utifrån det, för att minimera risken för att bedömningen innehåller annat än det som avser att mätas.

Här är ett exempel på en bedömning som har gjorts i tidningen Runner´s Worlds skotest. Skon i fråga har vunnit pris för ”Bästa köp”.

”En sko med utomordentlig passform och funktion till ett överkomligt pris. Skon är en trotjänare och har mottagit hela fem ”Editor’s Choice” tidigare. Den har legat stabilt i pris (runt 1600 kr) och med tanke på att många modeller nuförtiden kostar runt 1800 kr får du mycket för pengarna när du köper skon, vilket gör att den utnämns till bästa köp. Skon har en mjuk häldämpning som långlöpare älskar och en lite fastare framdel som ger en rask stegavveckling när du skruvar upp tempot. Yttersulan har ett tjockt lager gummi, så skon tål många kilometer, samtidigt som det är gott om mönster och spår, vilket ger en god kontakt med underlaget. ”‘

Vad ser jag i det här? För att en sko ska vinna ”Bästa köp” krävs egentligen bara en sak; att den ligger bra i pris. Vid första läsning av motiveringen tyckte jag mig se fler kriterier än vad som egentligen fanns. Det enda kriteriet som tycks spela någon roll är det fetmarkerade i texten ovan – man ska få mycket sko för pengarna.
Jag förstår att det är ett bra kriterium att ha för kategorin, men kan man specificera vad det är som gör att skon tar hem det? Har man en kvot där man fyller antalet mil där man börjar ana slitage och delar det på kostnaden? Finns det ingen sko på 1800:- som skulle kunna ha en bättre kvot?
Men i motiveringen står det, mellan raderna, att skon inte får vara för dyr heller då priset nämns två gånger. Finns det ingen sko under 1600:- som skulle kunna vara ett bra alternativ?

Det är just hela motiveringen av skon som får mig att reagera. Och det är här som problemen med recensioner och bedömningar gör sig påminda; är det här det enda kriteriet? Kan man ifrågasätta bedömningen? Håller vi med om att detta ska utgöra bästa köpet?

1958 presenterade Stephen Toulmin en argumentationsmodell där argumentets olika delar presenterades.

Påståendet (P), är det viktigaste elementet i argumentationen, något som du vill förmedla och övertyga andra om. ”Skon är det bästa köpet.”
Grund (G), Används som stöd till P, det som ska hjälpa till att övertyga motparten om P och behöver vara lättare att acceptera än P. ”Du får många mil för en överkomlig summa.”
Garant (Ga), Kopplar ihop G och P genom att rättfärdiga G i syfte att påstå P. ”Ett bra köp är något som du får mycket användning av för en överkomlig summa.”
Villkor (V), är invändningar man har mot påståendet. Även dessa kan bygga upp likt påståenden och hela kommunikationen blir en väv av påståenden och motargument.

Och påståendet att det är ett bra köp kan jag hålla med om, även om jag har mina invändningar och frågor mot det. Tittar man på några av de andra påståendena i texten så är inte saker och ting riktigt lika uppenbara, även om de inte används som kriterier för ”Bästa köp” så är de ändå påståenden som backar upp och motiverar skon som prisvinnare.

Anledningen till att jag tycker att tester ofta använder tecken och kriterier som inte riktigt är solklara. Vad betyder siffrorna, hur får vi fram siffrorna på en skala? Vad skiljer 7 från 8? Känner man det? Borde man haft ett annat system? Är totalbetyget medelvärdet av alla delbetyg? Är alla delbetyg lika viktiga? Ska man förmedla det här på något sätt? Vad är syftet med att ha delpoäng? Hur mycket bättre är skon till höger än skon till vänster? SkoTest

Väldigt många frågor där, det är inte helt solklart vad man syftar till att åstadkomma eller förmedla. Kriterierna är inte helt tydliga och resultatet säger mig absolut ingenting.

 

Det här knyter givetvis an till mina tidigare inlägg kring att bara ha en enda sko och barfotalöpning.
När ni läser det så märker ni att jag försöker bryta ner argumenten till en kärna av slag. Det är ju givetvis så att argumentationen är mångfacetterad och att det ofta är fler argument som används än de enkla jag visat. Men om alla argument följer samma modell som Thoulmin visar upp, då kommer dessa att kunna bemötas på liknande sätt.

Jag vill avsluta med att säga att jag inte gillar tester eller bedömningar överhuvudtaget. Efter 5 år på universitet och ett examensarbete i just fallgropar i bedömning så har jag blivit allt mer tveksam inför all sorts bedömning. Bedömning är ett försök att kvantifiera något. Antingen ligger problemet i att det man ska bedöma är svårt att kvantifiera eller så är det

Du tittar på en prestation eller på en produkt, applicerar kriterium och utvärderar huruvida prestationen/produkten klarar kriterierna.Och bara för att klargöra: Jag försöker inte säga att jag har sanningen i den här bloggen. Mitt mål är att bemöta det jag hör när jag jobbar med det här, eller i samtal med butiker och kunder.

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut /  Ändra )

Google+-foto

Du kommenterar med ditt Google+-konto. Logga ut /  Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut /  Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut /  Ändra )

w

Ansluter till %s

Blogga med WordPress.com.

Upp ↑

%d bloggare gillar detta: