Þátt fyrir að margir samanburðir gefa miklar upplýsingar um mun á meðaltölum þá er vandi fólginn í þessari aðferð. Helsti vandinn er sá að villutíðni eykst. Ástæðan fyrir þessari auknu villutíðni er sú að þegar eitt allsherjar F próf er gert, þar sem a=0,05, þá merkir það að þegar núlltilgáta er rétt þá eru 5% líkur á því að henni sé ranglega hafnað. Þetta er kallað höfnunarmistök (Type 1 error). Hins vegar þegar gerðir eru margir samanburðir sem allir hafa a=0,05 aukast líkurnar á því að allavega 1 höfnunarmistök eigi sér stað. Ef við erum til dæmis með 3 hópa þá eru það k((k-1)/2=3 samanburðir og því allt að 3*0,05=0,15=15% líkur á því að núlltilgátunni sé ranglega hafnað. Þetta má kalla uppsöfnuð höfnunarmistök.

Eins og gefur að skilja getur þetta leitt til mikilla vandkvæða en mismunandi próf bregðast á mismunandi hátt við þessu.

Tukey HSD prófið heldur villutíðninni tiltölulega fastri og kemur þannig í veg fyrir uppsöfnuð höfnunarmistök. Þetta þykir mikill kostur en samhliða því að höfnunarmistökunum er haldið föstum aukast fastheldnimistökin (Type 11 error) og því aukast líkur á því að rangri núlltilgátu sé ekki hafnað.

Þetta getur leitt til þess að afköst (power) Tukey prófsins minnka þegar verið er að athuga mun á meðaltölum.

© 2003 Margrét Aðalheiður Hauksdóttir