Umtalsverð vinna var sett í flest verkefnin. Niðurstaðan var misgóð allt frá fremur glæsilegum verkefnum niður í fremur ósannfærandi verkefni. ´
Þegar ég rita þetta á ég ein fjögur eða fimm verkefni ólesin þar sem skipanaskrár bárust ekki í tíma. Hér byggi ég því á þeim sjö verkefnum sem ég mun skila í næstu kennslustund.
Ég skipti athugsemdum mínum niður eftir köflum verkefnanna.
Inngangur var misvelheppnaður. Flestir gáfu yfirlit sem virtist byggt á fyrirlestrum námskeiðsins. Þetta er í góðu lagi, nema hvað óæskilegt er að textinn beri slíkt greinilega með sér. Hér þurfa því að vera mun sjálfstæðari nálgun að efninu. Þótt það sé að sjálfsögðu í lagi að styðjast við glærur og aðrar umræður í kennslustundum, þarf textinn að bera það glöggt með sér að höfundurinn hafi hugsað sjálfstætt um efnið og komist að eigin niðurstöðum. Þær niðurstöður mega vera þær sömu eða keimlíkar þeim sem bornar eru á borð í fyrirlestrum, en hugsunargangurinn þarf eðlilega að vera höfundarins sjálfs.
Flestir byggðu innganginn á grein sem birtist í Ársriti sálfræðinema fyrir þremur árum. Eitthvað hefur skolast til annað hvort í þeirri grein eða í meðförum verkefnahöfunda. Því voru ýmsar misfellur, staðreyndavillur og misalvarlegur misskilningur um eðli ólíkra úrvinnsluaðferða og marktektarprófa.
Aðfallsgreining gerir t.d. ekki ráð fyrir tveimur eða fleiri samfelldum breytum, heldur er aðeins miðað við að fylgibreytan sé samfelld. Gert er ráð fyrir að frumbreytur séu megindlegar en hins vegar geta þær hæglega verið rofnar.
Sömuleiðis gerir aðfallsgreining ekki ráð fyrir normaldreifingu breyta, heldur er gert ráð fyrir því að villan, dreifingin í kringum aðfallslínuna, sé normallaga. Frumbreytan getur því sem hægast verið skekkt eða á annan hátt vikið stórlega frá normaldreifingu. Krafan um normaldreifða villu hefur ekkert með alhæfingu á þýðið að gera, hallastuðlar og þar með líkan sjálft er óskekkt jafnvel þótt villan sé ekki normaldreifð. Normaldreifð villa leyfir hins vegar hefðbundin marktektarpróf fyrir líkanið í heild sinni sem og einstaka hallastuðla.
Umfjöllun um marktekt var stundum aðfinnsluverð. Oft var gefið til kynna að ef niðurstaðan væri marktæk, væri (a) núlltilgátan röng, (b) væri vitað að meðaltölin væru ólík, (c) ákveðin vissa um að öll meðaltölin væru ekki eins, o.s.frv. Enginn þessara staðhæfinga er rétt, þar sem engin vissa getur fylgt höfnun núlltilgátunnar. Það eina sem við vitum þegar niðurstaða verður marktæk er að þá er okkur stætt á því að hafna núlltilgátunni. Við gætum hins vegar gert það ranglega. Auk þess vitum við sannarlega ekki hversu líkleg eða ólíkleg núlltilgátan er þegar niðurstaðan er marktæk. Það eina sem við vitum með nokkurri vissu er að ef núlltilgátan er rétt, þá eru minna en α (t.d. 5%) líkur á því að fá jafnmikið eða meira frávik frá núlltilgátunni en það sem birtist í úrtakinu.
Kóðun línulega líkansins var yfirleitt ranglega lýst ákveðin fjöldi tvíkostabreyta. Hér hitti ég sjálfan mig fyrir því sama orðalag má finna á glæru 3 í fyrirlestrinum Dreifigreining sem línulegt líkan. Hið rétta er að kóðuðu breyturnar geta verið tvíkosta (staðgengilskóðun), þríkosta (áhrifakóðun) og jafnvel margkosta (samanburðarkóðun).
Í inngangi var yfirleitt lýst þremur aðferðum við kóðun: Staðgengils-, áhrifa- og samanburðarkóðun. Þetta reynist okkur flestum erfitt í orðum þótt stöku nemandi kæmist vel frá því. Sjálfur gríp ég yfirleitt til þess ráðs að taka dæmi og sýna kóðunina á formi töflu. Fyrir flest ykkar, en ekki öll, sýnist mér það nauðsynlegt stílbragð.
Misjafnt var hversu vel efnistök í inngangi hentuðu verkefninu. Stundum var meira um almenna umfjöllun um dreifigreiningu og forsendur hennar heldur en um línulega líkanið og kóðun flokkabreyta. Hér gilda sömu lögmál og í annarri ritun: Gæta þarf þess að efnistök séu þannig að hlutar verksins styðji hvern annan þannig að rauður þráður gangi í gegnum allt verkefnið. Það er erfitt að leiðbeina um þetta almennt. Ég get aðeins vonað að ábendingar ritaðar á verkefnin sjálf reynist gagnleg. Í nokkrum tilvikum var þessi þáttur þó aldeilis í góðu lagi.
Í flestum tilvikum var þessi kafli í góðu lagi. Gæta þarf þess að geta um uppruna gagnanna og lýsa þeim og tilurð þeirra lítillega.
Niðurstöður einkenndust oft af ýmsum misalvarlegum hnökrum í framsetningu.
Dálítið bar á því að ekki væri notaður APA-stíll við framsetningu talnalegra niðurstaðna. Algengasta frávikið var að t-próf væru ekki gefin upp með ´viðeigandi frígráðum.Einnig kom oft fyrir að p-gildi væru rangt gefin upp. Til að taka af öll tvímæli, er rétt að nefna það að marktekt verður aldrei 0,0. Ef SPSS gefur niðurstöður með þremur aukastöfum og marktekt er gefin upp sem 0,000, þá vitum við ekki hver marktektin er nákvæmlega. Það sem við þó vitum er að þrír aukastafir nægja ekki og því hlýtur hún að minnsta kosti að vera p < 0,001. Hún gæti verið miklu lægri en p-gildið er trauðla nákvæmlega 0.
Stundum var misbrestur á því að niðurstöðurnar væru birtar, þ.e. að líkönin væru birt. Það er nóg að birta jöfnuna sjálfa, en ekki er verra að vera með töflu sem sýnir hallastuðla, staðalvillur og jafnvel fleira. Hvor leiðin sem farin er, þá þarf að túlka niðurstöðurnar, þ.e. að gefa glöggt til kynna hvað hallatölurnar þýða og hvernig skuli túlka þær nákvæmlega í þessa tiltekna tilviki.
Oftast var birt einhver tala sem kölluð var staðalvilla. Í einu tilviki var þetta réttilega kallað staðalvilla spágildis. Rétt er að hafa ríkt í huga að þessi tala samsvarar sameiginlegu staðalfráviki dreifigreiningarlíkansins. Svo mátti skilja sem þetta væri á reiki í einhverjum tilvikum.
Margir fjölluðu ítarlega um marktekt einstakra hallastuðla. Rétt er að fara varlega í þetta, samanber umræðu um ólíka tegundir af villutíðni. Einnig er rétt að hafa í huga að líkanið getur verið marktækt í heild sinni þó svo að enginn hallastuðull sé marktækur, en einnig ómarktækt þó svo að einn eða fleiri hallastuðlar séu marktækir. Það getur því ekki verið nein krafa á ykkur um að fara frá heildarlíkaninu yfir í að skoða marktekt einstakra hallastuðla, nema ákveðnar tilgátur hafi verið settar fram í þá veru. Í samanburðarkóðun er þó eðlilegt að skoða marktekt einstakra hallastuðla enda er það einn tilgangur samanburða.
Þegar kom að samanburðarkóðuninni voru ákveðnir erfiðleikar gegnum gangandi. Þar vil ég taka ákveðna sök á mig, því ég tel að ég hafi ekki veitt ykkur nægjanlega skýra leiðsögn og jafnvel reynst sekur um að vera tvísaga. Því vil ég nota tækifærið til að útskýra efnið hér í eitt skipti fyrir öll.
Til að hægt sé að túlka einstaka samanburði þurfa þeir að vera óháðir og fara allir í einu inn í líkanið. Ef áhugi er á því að kanna háða samanburði þarf að fella þá hvern fyrir sig inn í flokk af k-1óháðum samanburðum. Síðan fer hver flokkur fyrir sig inn í líkanið í heilu lagi. Með þessu móti þarf að mynda jafnmörg líkön og háðu samanburðirnir eru margir þar sem hvert líkan felur í sér flokk k-1óháðra samanburða.
Þegar hallatala samanburðarkóðunar er túlkuð, þarf að hafa í huga að hún gefur til kynna breytingu á fylgibreytu þegar frumbreytan hækkar um einn heilan. Ef samanburðurinn er t.d. [1 -1 0 0], þá felur hann í sér breytingu á frumbreytunni um tvo heila. Af þeim sökum þarf að skala hallatöluna upp með því að margfalda hana með tveimur. Með því móti fæst rétt niðurstaða fyrir samanburðinn. Með sama hætti felur samanburðurinn [0,5 0,5 -1 0] í sér breytingu um 1,5 og því þarf að margfalda halltöluna með þeirri tölu. Samanburðurinn [0,333 0,333 0,333 -1]felur í sér breytingu um 1,333 og hallatalan er því hækkuð upp um einn þriðja til að fá rétta niðurstöðu fyrir samanburðinn. Marktekt, t-gildi, frígráður og summur kvaðrata breytast ekki en öryggisbil og áhrifastærðir breytast samsvarandi.
Flestir birtu niðurstöður og marktekt samanburða. Einstaka maður gerði grein fyrir því hvernig summa kvaðrata skiptist á milli samanburða. Með þeim hætti fengust oft verulega sláandi niðurstöður. Rétt er að nefna að summa kvaðrata deilist niður á samanburðina í hlutfall við F-gildi hvers samanburðar (þ.e. t í öðru veldi). Þetta á þó aðeins við um samanburði, því þeir hafa aðeins eina frígráðu og sameiginlega villudreifingu.
Misjafnar leiðir voru farnar til að sannreyna kóðunina. Flestir könnuðu hvort sama F-gildið fengist. Aðrir endurgerðu meðaltölin með ólíkum kóðunum. Af því andaði ákveðnum traustleika auk þess sem það er holl æfing. Enginn reyndi að endurgera meðaltölin með samanburðarkóðun, en á því eru engin tormerki og sérstaklega lærdómsríkt að sjá það gerast. Rétt er að taka fram að háðir samanburðir geta í sumum tilvikum endurgert bæði F-gildi og meðaltöl þó svo að niðurstöður einstakra samanburða sé ekki túlkanlegar (sbr. athugasemdir hér fyrir ofan).
Áhrifastærðir voru sjaldan reiknaðar á fullnægjandi hátt. Oftast var látið nægja að gefa upp skýrða dreifingu, staðalfrávik meðaltala (σt) eða φ′. Ekki er sjálfgefið að birta ætti Cohens d fyrir pöruð meðaltöl þó vel komi það til greina. Sumir birtu hins vegar Cohens d fyrir niðurstöður samanburða og er það vel. Miðað við verkefnislýsingu sýnist mér að það hljóti að vera áskilið.
Margir komust vel frá umræðu en aðrir síður. Um það er erfitt að tjá sig almennt séð en ég vonast til að athugasemdir ritaðar á verkefnin sjálf hjálpi.
Meðal þessara sjö verkefna sem ég hef lesið eru nokkur sannfærandi og jafnvel glæsileg verkefni. Gæði verkefnanna er þó enn óþarflega misjöfn. Ekkert verkefni var gallalaust en við því bjóst ég heldur ekki.
© 2001 Guðmundur B. Arnkelsson