ෆ්ලයිස්ගේ කැපා විශ්ලේෂණය

ෆ්ලයිස්ගේ කැපා (ජොසෆ් එල්. ෆ්ලයිස්ගෙන් පසු නම් කරන ලද)සංඛ්‍යාතිය වූ කලී, යම්කිසි අයිතම ගණනකට හෝ වර්ගීකරණය කරන්නා වූ අයිතමයන්ට ඒකාන්ත ඇගයුම් (categorical ratings) පවරද්දී, යම්කිසි නියත තක්සේරු කරන්නන් (raters)සංඛ්‍යාවක් අතර පවත්නා "එකඟතාවයේ විශ්වසනීයත්වය" (reliability of agreement) තක්සේරු කරන්න වූ සංඛ්‍යානයේ එන මිනුමකි. තක්සේරු කරන්නන් දෙදෙනෙකුගේ එකඟතාවය තක්සේරු කිරීමට ගන්නා කොහෙන්ගේ කැපා සංඛ්‍යාතිය (Cohen's Kappa) වැනි කැපා සංඛ්‍යාතියන්ගෙන්, මෙම ෆ්ලයිස්ගේ කැපා සංඛ්‍යාතිය පැහැදිලි වෙනසක් දක්වයි. අහඹු ලෙස කුමක් බලාපොරොත්තු විය හැක්කේද යන්නට වඩා ඒකාන්ත එකඟතාව කුමන මට්ටමකට අත්තේද යන්න මෙම ෆ්ලයිස් කැපා සංඛ්‍යාතියෙන් දක්වන අතර එය සෑම විටම 1 හා 0 අතර අගයක් ගනී. මෙහිදී, විශේෂත්වය මැනීමේ සාධාරණ මිනුමක් නොමැතිමුත්, ඒ සඳහා යම් නිර්දේශ කීපයක් ඉදිරිපත් කොට තිබේ.

ද්වීමය හෝ ඉතා සුලු පරිමාණ ඇගයුම් සඳහා පමණක් ෆ්ලයිස් කැපා විශ්ලේෂණය භාවිත කල හැක. මෙහි, පිළියෙල කරන ලද ඒකාන්ත ඇගයුම් සඳහා භාවිත කල හැකි අනුවාදයක් දැනට නොපවතී.

හැදින්වීම

ෆ්ලයිස් කැපා යනු, තක්සේරු කරන්නන්ගේ අන්තර් විශ්වාසනීයත්වයහි (inter-rater reliability)සැකිල්ල:Ref ඇගයීම උදෙසා සංඛ්‍යානයේ එනු ලබන මිනුමක් වූ "ස්කොට්ගේ ෆයි අගයෙහි" (Scott's pi)සැකිල්ල:Ref සාධාරණීකරනයකි. එය කොහෙන්ගේ කැපා )සංඛ්‍යාතියටද සම්බන්ධයක් දක්වයි. ස්කොට්ගේ ෆයි අගය සහ කොහෙන්ගේ කැපා )සංඛ්‍යාතිය තක්සේරු කරන්නන් දෙදෙනෙක් සඳහා පමණක් යෙදිය හැකි වූවත්, ෆ්ලයිස්ගේ කැපා )සංඛ්‍යාතිය අයිතම නියත )සංඛ්‍යාවකට, ඒකාන්ත ඇගයුම් ලබා දීමට සමත්ය. මෙය, තක්සේරු කරන්නන්ගේ එකඟතාවයන්හි නිරීක්ෂිත ප්‍රමාණය, තක්සේරු කරන්නන් තම ඇගයුම් මුලුමනින්ම අහඹු ලෙස සිදු කලහොත් බලාපොරොත්තු විය හැකි ප්‍රමාණය, කොපමණ දුරකට ඉක්මවා යයිද යන්න විස්තර කිරීමක් ලෙස පහදා දිය හැක. එකම හා සමාන තක්සේරු කරන්නන් දෙදෙනෙක් යම්කිසි අයිතම රාශියක් අගයන බව කොහෙන්ගේ කැපා සංඛ්‍යාතියෙන් උපකල්පනය කරද්දී, තක්සේරු කරන්නන් නිශ්චිත ප්‍රමාණයක් (උදා: 3ක්) සිටියදී පවා එකිනෙකට වෙනස් අයිතමයන් එකිනෙකට වෙනස් පුද්ගලයින් විසින් තක්සේරූ කරන බව ෆ්ලයිස්ගේ කැපා සංඛ්‍යාතිය විසින් විශේෂයෙන්ම උපකල්පනය කරයි (ෆ්ලයිස්, 1971, පි378). එනම් අයිතම අංක 1 - A, B, C යන තක්සේරු කරන්නන් විසින් තක්සේරු කරද්දී අයිතම අංක 2 - D, E, F යන තක්සෙරු කරන්නන් විසින් තක්සේරු කළ හැක.

එකඟතාව මෙලෙස සිතිය හැක.මිනිසුන් නිශ්චිත සංඛ්‍යාවක් යම් අයිතම සංඛ්‍යාවකට, සංඛ්‍යාත්මක වශයෙන් ඇගයුමක් පවරයි නම් කැපා සංඛ්‍යාතිය විසින් එම ඇගයුම් කොපමණ ස්ථාවරදැයි මිනුමක් සපයයි.කැපා සංඛ්‍යාතිය $\kappa$ පහත ආකාරයට අර්ථ දැක්විය හැක,

(1)

$\kappa =\frac{\overline{P}-\overline{P_e}}{1-\overline{P_e}}$

ඉහත අවස්ථාව ලඟා කර ගැනීමේ එකඟතාවයෙහි ප්‍රමාණය $1-\overline{P_e}$ සාධකය මගින් ලබාදෙන අතර, ඉහත අවස්ථාව සත්‍ය වශයෙන්ම ලඟා කරගත් එකඟතාවයෙහි ප්‍රමාණය $\overline{P}-\overline{P_e}$ මගින් ලබා දේ. තක්සේරු කරන්නන් සම්පූර්නයෙන්ම එකඟතාවයෙහි සිටී නම් $\kappa =1$ වේ . තක්සේරු කරන්නන් අතර කිසිඳු එකඟතාවයක් නොමැති නම් (අවස්ථාවෙන් අපේක්ෂා කරන ආකාරයේ දෙයක් හැර) $\kappa \le 0$ වේ.

ෆ්ලයිස් කැපා සංඛ්‍යාතියේ භාවිතය පිළිබඳ උදාහරණයක් මතු පරිදි වේ: මනෝචිකිත්සකයින් දහ සතර දෙනෙකු රෝගීන් දස දෙනෙකු පරීක්ෂා කරන්නේ යැයි සිතන්න. ඒ ඒ මනෝචිකිත්සකයා විසින් එක් එක් රෝගියාට විය හැකි රෝග විනිශ්චයන් පහක් අතුරින් එකක් ‍තෝරා දේ. මනෝචිකිත්සකයන් අතර එකඟතාවයෙහි ප්‍රමාණයට, අවස්ථාවෙන් අපේක්ෂා කරන එකඟතාවයෙහි මට්ටම දරණ අනුපාතිකය පෙන්වීම සඳහා මෙම න්‍යාසයෙන් (පහත උදාහරණය බලන්න) ෆ්ලයිස්ගේ කැපා සංඛ්‍යාතිය ගණනය කල හැක.

සමීකරණ

විෂයන් N ගණනක්ද, එක් විෂයකට n ඇගයුම් ගණනක්ද, එමන්ම එකිනෙක තුලට ඇගයුම් පවරන ලද කාණ්ඩ k ගණනක්ද සලකන්න. විෂයන්ට i = 1, ... N ලෙස දර්ශක සපයා ඇති අතර කාණ්ඩයන්ට j = 1, ... k ලෙස දර්ශක සපයා ඇත. i වන විෂය j වන කාණ්ඩයට පවරා ඇති, තක්සේරු කරන්නන් සංඛ්‍යාව n_ij විසින් නිරූපණය කෙරේ.

පළමුව p_j එනම් j වැනි කාණ්ඩයට සමානුපාතිකව සියලු පැවරුම් සංඛ්‍යාව, ගණනය කරන්න:

(2)

$p_j=\frac{1}{Nn}\sum _{i=1}^N{n}_{ij},1=\frac{1}{n}\sum _{j=1}^k{n}_{ij}$

දැන්, $P_i$ හෙවත් තක්සේරු කරන්නන් කොපමණ ප්‍රමාණයක් i වැනි විෂයට එකඟදැයි ගණනය කරන්න (ඒ කෙසේද යත්; සිටිය හැකි සියලු තක්සේරු කරන්නන් -- තක්සේරු කරන්නන් යුගල ගණනට සාපේක්ෂව කොපමණ තක්සේරු කරන්නන් -- තක්සේරු කරන්නන් යුගල ගණනක් එකඟතාවයේ සිටින්නේදැයි ගණනය කරන්න):

(3)

$P_i=\frac{1}{n(n-1)}\sum _{j=1}^k{n}_{ij}(n_{ij}-1)$

$=\frac{1}{n(n-1)}\sum _{j=1}^k(n_{ij}^2-n_{ij})$

$=\frac{1}{n(n-1)}[(\sum _{j=1}^k{n}_{ij}^2)-(n)]$

දැන්, $\overline{P}$ එනම් $\kappa$ සඳහා වන සූත්‍රයට අදාළ $P_i$' සහ $\overline{P_e}$ හි මධ්‍යනය ගණනය කරන්න:

(4)

$\overline{P}=\frac{1}{N}\sum _{i=1}^N{P}_i$

$=\frac{1}{Nn(n-1)}(\sum _{i=1}^N\sum _{j=1}^k{n}_{ij}^2-Nn)$

(5)

$\overline{P_e}=\sum _{j=1}^k{p}_j^2$

විසඳූ උදාහරණයක්

විසඳූ උදාහරණය ගණනය කිරීම සඳහා අවශ්‍ය දත්ත වගුව

	1	2	3	4	5	$P_i$
1	0	0	0	0	14	1.000
2	0	2	6	4	2	0.253
3	0	0	3	5	6	0.308
4	0	3	9	2	0	0.440
5	2	2	8	1	1	0.330
6	7	7	0	0	0	0.462
7	3	2	6	3	0	0.242
8	2	5	3	2	2	0.176
9	6	5	2	1	0	0.286
10	0	2	2	3	7	0.286
එකතුව	20	28	39	21	32
$p_j$	0.143	0.200	0.279	0.150	0.229

පහත උදාහරණයේදී තක්සේරු කරුවන් ($n$) දහ සතරක් දෙනා විසින් විෂයන් ($N$) දහයක්, කාණ්ඩ ($k$) පහකට පවරන ලදී. තීරු වලින් කාණ්ඩ ඉදිරිපත් කරන අතර පේළි මගින් විෂයන් ඉදිරිපත් කෙරේ. සෑම කො‍ටුවකම, යම් විශයක් යම් කාණ්ඩයකට අයත් යයි එකඟ වන්නා වූ තක්සේරු කරන්නන් ගණන දක්වා ඇත.

දත්ත

දකුණු පස වගුව බලන්න.

$N$ = 10, $n$ = 14, $k$ = 5

මුලු කො‍ටු ගණන = 140 $P_i$ හි එකතුව = 3.780

ගණනයන්

උදාහරණයක් ලෙස පළමු තීරුව සලකන්න,

$p_1=\frac{0+0+0+0+2+7+3+2+6+0}{140}=0.143$

එලෙසම දෙවන පේළිය සලකමින්,

$P_2=\frac{1}{14(14-1)}(0^2+2^2+6^2+4^2+2^2-14)=0.253$

$\overline{P}$ ගණනයට, $P_i$ හි මුලු එකතුව අවශ්‍ය බැවින්,

$\sum _{i=1}^N{P}_i=1.000+0.253+\cdots +0.286+0.286=3.780$

සම්පූර්ණ ප්‍රස්තරය (sheet) සලකමින්,

$\overline{P}=\frac{1}{(10)}(3.780)=0.378$

${\overline{P}}_e=0.143^2+0.200^2+0.279^2+0.150^2+0.229^2=0.213$

$\kappa =\frac{0.378-0.213}{1-0.213}=0.210$

විවරණය

$\kappa$ අගයන්හි විවරණය සඳහා ලන්ඩිස් සහ කොච් (Landis and Koch) (1977) විසින් පහත වගුව සපයන ලදී. සැකිල්ල:Ref කෙසේ වුවත් මෙම වගුව කිසිදු අයුරකට පොදුවේ පිලිගෙන නොමැත. පුද්ගලික නිගමන මත පාදක කර ගැනීම හැරෙන්නට, මෙය තහවුරු කිරීමට කිසිදු සාධකයක් ඔවුන් ඉදිරිපත් කර නොමැත. විෂයන් හා කාණ්ඩ සංඛ්‍යාව, අගයෙහි විශාලත්වය කෙරෙහි බලපාන හෙයින්,සැකිල්ල:Ref මෙම නිර්දේශ ඇතැම් විට ප්‍රයෝජනවත් වනවාට වඩා අවැඩදායක බව පිලිඹිබු වී ඇත. කාණ්ඩ ගණන අඩු විට කැපා අගය වැඩි වේ. සැකිල්ල:Ref

$\kappa$	Interpretation
< 0	ඉතාමත් සුළු එකඟතාවයකි
0.01 – 0.20	සුළු එකඟතාවයකි
0.21 – 0.40	යම් තරමකට සාමාන්‍ය එකඟතාවයකි
0.41 – 0.60	සාමාන්‍ය (මධ්‍යම) එකඟතාවයකි
0.61 – 0.80	සැලකිය යුතු ප්‍රමාණයක එකඟතාවයකි
0.81 – 1.00	මුළුමනින්ම වාගේ සම්පූර්ණ එකඟතාවයකි

වෙනත්

• Cohen's kappa
• Pearson product-moment correlation coefficient

සටහන්

1. සැකිල්ල:Note Fleiss, J. L. (1971) pp. 378–382
2. සැකිල්ල:Note Scott, W. (1955) pp. 321–325
3. සැකිල්ල:Note Landis, J. R. and Koch, G. G. (1977) pp. 159–174
4. සැකිල්ල:Note Gwet, K. L. (2010, chapter 6) සැකිල්ල:Webarchive
5. සැකිල්ල:Note Sim, J. and Wright, C. C. (2005) pp. 257–268

යොමුව

• Fleiss, J. L. (1971) "Measuring nominal scale agreement among many raters." Psychological Bulletin, Vol. 76, No. 5 pp. 378–382
• Gwet, K. (2001) Statistical Tables for Inter-Rater Agreement. (Gaithersburg : StatAxis Publishing)
• Gwet, K. L. (2010) Handbook of Inter-Rater Reliability (2nd Edition). (Gaithersburg : Advanced Analytics, LLC) ISBN 978-0-9708062-2-2
• Landis, J. R. and Koch, G. G. (1977) "The measurement of observer agreement for categorical data" in Biometrics. Vol. 33, pp. 159–174
• Scott, W. (1955). "Reliability of content analysis: The case of nominal scale coding." Public Opinion Quarterly, Vol. 19, No. 3, pp. 321–325.
• Sim, J. and Wright, C. C. (2005) "The Kappa Statistic in Reliability Studies: Use, Interpretation, and Sample Size Requirements" in Physical Therapy. Vol. 85, No. 3, pp. 257–268

තවදුරටත් කියවීම්

• Fleiss, J. L. and Cohen, J. (1973) "The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability" in Educational and Psychological Measurement, Vol. 33 pp. 613–619
• Fleiss, J. L. (1981) Statistical methods for rates and proportions. 2nd ed. (New York: John Wiley) pp. 38–46
• Gwet, K. L. (2008) "Computing inter-rater reliability and its variance in the presence of high agreement සැකිල්ල:Webarchive", British Journal of Mathematical and Statistical Psychology, Vol. 61, pp29–48

බාහිර සබැඳි

• The Problem with Kappa සැකිල්ල:Webarchive
• Kappa: Pros and Cons contains a good bibliography of articles about the coefficient.
• Online Kappa Calculator සැකිල්ල:Webarchive calculates a variation of Fleiss' kappa.