検証スレッドイロハx2

1：艦載機廚 ◆lrd9tCHJ6k：2015/08/17(月) 15:34:30 ID:yxdufRNo0: システムの検証や仮説などのためのスレッドです。

検証wiki
http://ja.kancolle.wikia.com/wiki/%E8%89%A6%E3%81%93%E3%82%8C_Wiki
100：びいかめ ◆vZEt6CNhH.：2015/11/14(土) 20:22:05 ID:Lww4Cvmw0: >>77-79
おおむね理解しました。考察について何点か。

> #女神2+紫雲#
> h2<-211
> m2<-289
> n2<-sum(h2)+sum(m2)
> chisq.test(c(h2,m2))
> v2<-sqrt(chisq.test(c(h2,m2))$statistic/n2)
> pwr.chisq.test(w=v2,df=1,N=n2,sig.level=0.05,power=NULL)
命中率50%を帰無仮説とする検定になっているように思います。

> #総合#
> H<-c(h,h2,h3,h4)
> M<-c(m,m2,m3,m4)
> N<-sum(H)+sum(M)
> chisq.test(cbind(H,M))
> #効果量クラメルのV#
> V<-sqrt(chisq.test(cbind(H,M))$statistic/N)
> pwr.chisq.test(w=V,df=6,N=N,sig.level=0.05,power=NULL)
この検定ですと、連撃・非連撃・装備問わず命中率が変わらないという帰無仮説になっています。
この帰無仮説が正しくてもそうでなくても、その原因が連撃・非連撃にあるのか装備にあるのかの区別がつきます。
ですので連撃・非連撃と装備とを区別してそれぞれ別に検定をかけるのがいいと思います。

> #pairwise.prop.test (無補正)#
> pairwise.prop.test(H,H+M,p.adj="none")
>
> #pairwise.prop.test (holm補正)#
> pairwise.prop.test(H,H+M,p.adj="holm")
>
> #pairwise.prop.test (BH補正)#
> pairwise.prop.test(H,H+M,p.adj="BH")
比較対象として例えば20.3非連撃と15.2連撃との比較も含まれています。
このような比較をしても、その結果の原因が連撃・非連撃かの区別がつきません。
ですので多重比較をするとしてもこのような比較は除外することで検定力を上げられるかと思います。

> (2)軽巡フィット砲(上で言う15.2cm砲)装備と、非フィット砲(上で言う3号砲)装備とでは、命中に差が出てくるが、
> これはフィット砲装備による命中上昇効果によるものと解釈できる。二本以上装備するとその差が顕在化する。
> ※上記の①「3号砲×2,非連撃」と「女神×2,非連撃」、「3号砲×2,連撃」、「3号+15.2,非連撃」の組み合わせで有意差なし
> また、「3号砲×2,非連撃」と「15.2×2,非連撃」の組み合わせで有意差ありとなっている点を参照。
ここで有意差なしとしているのは多重検定の結果からかと思います。
しかしこの場合有意差なしとなっていても、実際に差がないのか、実際には差があるのに件数不足で差が検出されなかったかの区別がつきません。
また、15.2にはそれ自体に装備命中がついているため、この検定ですと装備命中によって差が出たのかフィットによって差が出たのかの区別がつきません。

> (3)弾着連撃は非連撃と比べて命中が上昇するが、フィット砲を装備していないと有意な上昇は見込めないと思われる。
> ※上記の②「3号砲×2,連撃」と「女神×2,非連撃」、「3号+15.2,非連撃」、「15.2×2,非連撃」の組み合わせについて有意差なしとなっているが、
> 「3号砲×2,連撃」と「3号+15.2,連撃」、「15.2×2,連撃」にて有意差ありとなっている点を参照。
有意な上昇は見込めないとありますが、あくまで今回の検定で有意差が認められなかったという話であり、実際に差がないかどうかはこの結果からはわからないかと思います。

> (4)弾着連撃の命中上昇効果はフィット砲装備数が増えると上昇すると思われる。
> ※上記の⑤「3号+15.2,連撃」と「15.2×2,連撃」の組み合わせについて有意差ありとなっている点を参照。
今回の検定の場合、有意差とは差があるかどうかを判断するものであり、差の大きさがどの程度あるかを示すものではありません。
101：びいかめ ◆vZEt6CNhH.：2015/11/14(土) 20:41:39 ID:Lww4Cvmw0: >>77-79
以下は今回の検証に限らず検定一般の話も含みます。

有意差ありとなった場合に実際に差があるとは言えますが、有意差なしとなった場合に実際に差がないとは言えません。
実際に差がないのか、件数不足で差を検出できなかっただけなのかの区別がつかないためです。
差がないことを示すためにはAivさんがされているように別途効果量検定をする必要があります。
今回の考察では連撃と非連撃との比較で効果量検定をしていますが、それ以外の比較で効果量検定はしていません。
ですので効果量検定していない比較に対して有意差なしとなっていても、実際に差がないものとして考察するべきではないと思います。

有意差とはあくまで差があるかどうかを判断するものであり、差の大きさを判断するものではありません。
そもそも実際には差があるにもかかわらずその差が小さすぎて検出できない場合もあります。
基本的には件数が多ければ多いほどより小さな差を検出できるようになります。
どの程度の差まで検出できるかを表す指標を効果量といい、クラメルのVなどが効果量として用いられています。
この効果量が異なる場合、有意差があるかどうかの境目となる差の大きさもまた異なることになります。
この効果量を無視して単に有意差のあるなしだけで差の大きさを判断することはできません。
例えば10000件で有意差あり、100件で有意差なしとなっても、100件のほうが実際の差が大きいといったことは実際に起こりえます。

検証スレッド イロハx2