Fleiss kappa，SPSS终于可以实现啦!

缘起

统计分析不仅仅关心差异，根据研究目的，还要关心研究结果之间的一致性。公号前期发布过一致性分析Kappa检验的专题，如：

Kappa一致性与组内相关系数（ICC）应用辨析【推荐】

【Kappa一致性检验】远没那么简单

但缺乏对多个评价者二分类结果一致性评价。要实现多个评价者二分类结果一致性评价，需要进行Fleiss kappa。然而SPSS不能实现，松哥曾经花了将近2个晚上，走了很多弯路终于搞定Fleiss kappa。然而现在SPSS直接就可以实现了，松哥的心里真是那个酸爽。早知道就不折腾了，等等就好了！

这对于很多通过自学统计的人来说，松哥的经历很能引起共鸣。

对于学习统计而言，如果能有个人，在你需要的时候稍微那么一指点，是多么幸福的事情啊！

Fleiss kappa

Fleiss' kappa is a generalisation of Scott's pi statistic, a statistical measure of inter-rater reliability. It is also related to Cohen's kappa statistic. Whereas Scott's pi and Cohen's kappa work for only two raters, Fleiss' kappa works for any number of raters giving categorical ratings (see nominal data), to a fixed number of items. It can be interpreted as expressing the extent to which the observed amount of agreement among raters exceeds what would be expected if all raters made their ratings completely randomly. Agreement can be thought of as follows, if a fixed number of people assign numerical ratings to a number of items then the kappa will give a measure for how consistent the ratings are. 

意思是：

Fleiss kappa和Cohen Kappa都是描述评价者之间的一致性，但传统的Cohen kappa适用于2个评价者，而Fleiss kappa适用于多个评价者，评价结果为分类变量的一致性。

SPSS实现

数据如下，松哥模拟虚构仅做演示：3个专家对某10位受试者打分情况，是分析三位专家评价结果的一致性？

SPSS26.0实现过程如下：

分析-刻度-可靠性分析，弹出下图，将3位专家放入评级，确定即可。

结果呈现：Flsiss kappa=0.464，P=0.011。

Kappa取值的一致性解释：

松哥统计说

貌似SPSS26.0增加了Fleiss kappa算法之后，基本就可以解决近乎所有的一致性评价的方法。

然而，正因为前期松哥花了不少的时间研究Fleiss kappa，发现SPSS实现的Fleiss kappa还是比较简单的，只能实现不同评分者之间的一致性。不能实现同一评分者多次评价结果的一致性，以及不同检验员与标准之间。

不过已经不错了，期待SPSS更加完善吧！