Title.png

last update 2017.07.26


menu

目 次

1.項目反応理論(IRT)とは
2.ソフトのダウンロード
3.分析してみよう!
 3.1.テストデータとテキスト
     エディタ
 3.2.一次元性の確認
 3.3.項目母数の推定
 3.4.受験者母数の推定
 3.5.項目特性曲線・
     テスト情報量の表示
 3.6.順序付き多値型モデル
 3.7.名義尺度モデル
 3.8.DIFの計算
     EasyDIF
4.計算結果の妥当性

・筆者について


"English page"


TOPへ




4. 計算結果の妥当性
EasyEstimation,BILOG-MG,R間の比較

4.1. はじめに
4.2. 結果 2母数モデルの場合
4.3. 結果 3母数モデルの場合
4.4. 結果 1母数モデルの場合
4.5. Graded Response モデルの場合
4.6. Nominal Response モデルの場合


4.1 はじめに

これまでIRT分析にはScientific Software International社の 「BILOG-MG」が用いられることが多かったと思います。
IRTの初学者にとっての難関の一つが分析ソフトの使いこなしでした。
「EasyEstimation」は,IRT初学者が「使いやすい」ことを目指して作成されました。
また最近では統計ソフト「R言語(以下,R)」も多くの場面で使用されており,Rでも IRT分析を行うことができます。

ここでは,その3者間の比較を行ってみたいと思います。

使用データ

EasyEstimationなどに同封されているSampleData.datを使用します。
項目数20,人数1000です。

各プログラムについて

EasyEstimation Ver.0.6.1を使用。
BILOG-MG 「>CALIB NQPT=31,CYCLES=20,NEWTON=20,NOSPRIOR;」を指定。
R ltm パッケージを使用。「Rで項目反応理論」 を参考にしました。

結果

4.2. 結果 2母数モデルの場合

EasyEstimation BILOG-MG R
項目番号 slope location slope location slope location
item0010.618-0.364 0.616 -0.365 0.619 -0.364
item0020.746-1.293 0.745 -1.297 0.745 -1.294
item0031.082 0.260 1.080 0.262 1.083 0.260
item0041.206 1.223 1.204 1.227 1.206 1.222
item0050.988 1.163 0.986 1.167 0.988 1.162
item0060.750 1.891 0.748 1.899 0.749 1.893
item0070.613-2.151 0.611 -2.158 0.612 -2.154
item0080.657-0.308 0.655 -0.308 0.657 -0.308
item0090.810 1.205 0.808 1.210 0.808 1.206
item0101.105-1.088 1.103 -1.091 1.107 -1.088
item0111.279-0.735 1.277 -0.737 1.282 -0.735
item0121.272-1.624 1.269 -1.629 1.270 -1.625
item0131.018-1.680 1.015 -1.686 1.018 -1.680
item0140.692-0.909 0.691 -0.911 0.692 -0.909
item0150.454-0.827 0.453 -0.829 0.454 -0.827
item0160.618-2.610 0.617 -2.620 0.618 -2.613
item0170.931-0.599 0.929 -0.600 0.932 -0.599
item0181.251-0.395 1.249 -0.396 1.247 -0.396
item0190.904 0.188 0.902 0.189 0.904 0.188
item0201.107-0.269 1.105 -0.269 1.109 -0.269

結果は小数第3位までにしています。
Rの結果については,「slope」(識別力パラメタ)の出力値を1.702で除しています。

実用上は3者間でほとんど差がないといって良いと思います。

4.3. 結果 3母数モデルの場合

EasyEstimation BILOG-MG R
項目番号 slope location asymptote slope location asymptote slope location asymptote
item001 0.736-0.039 0.137 0.735 -0.036 0.137 0.619 -0.362 0.000
item002 0.817-0.999 0.165 0.815 -1.000 0.165 0.744 -1.293 0.000
item003 1.236 0.351 0.051 1.235 0.354 0.051 1.083 0.263 0.000
item004 1.428 1.214 0.021 1.430 1.217 0.021 1.258 1.212 0.003
item005 1.192 1.168 0.030 1.194 1.171 0.030 1.055 1.152 0.007
item006 1.101 1.755 0.039 1.105 1.757 0.039 0.880 1.818 0.015
item007 0.654-1.783 0.200 0.652 -1.789 0.200 0.690 -1.576 0.287
item008 0.836 0.050 0.155 0.836 0.054 0.156 0.771 -0.069 0.104
item009 1.041 1.222 0.046 1.043 1.226 0.046 0.811 1.204 0.000
item010 1.204-0.914 0.127 1.199 -0.915 0.127 1.106 -1.086 0.000
item011 1.443-0.577 0.107 1.439 -0.576 0.108 1.280 -0.731 0.000
item012 1.346-1.481 0.150 1.337 -1.487 0.149 1.263 -1.630 0.000
item013 1.076-1.483 0.169 1.071 -1.487 0.169 1.009 -1.688 0.000
item014 0.750-0.659 0.128 0.748 -0.659 0.128 0.692 -0.908 0.000
item015 0.547-0.265 0.190 0.547 -0.262 0.190 0.454 -0.819 0.003
item016 0.658-2.237 0.209 0.655 -2.246 0.209 0.886 -1.127 0.608
item017 1.007-0.438 0.095 1.003 -0.438 0.094 0.930 -0.596 0.000
item018 1.346-0.297 0.062 1.342 -0.295 0.062 1.248 -0.391 0.000
item019 1.092 0.339 0.079 1.092 0.343 0.080 0.944 0.221 0.017
item020 1.173-0.175 0.056 1.170 -0.173 0.056 1.106 -0.265 0.000

結果は小数第3位までにしています。
Rの結果については,「slope」(識別力パラメタ)の出力値を1.702で除しています。

「EasyEstimation」と「BILOG-MG」では,かなりの近似を示しています。
これに対して「R」では大きな数値のズレが見られるのですが,実は
「Warning message:  In tpm(data) :  Hessian matrix at convergence is not positive definite; unstable solution.」
という警告メッセージが表示されており,繰り返し計算に失敗したようです。

この原因はおそらく「EasyEstimation」や「BILOG-MG」では,asymptoteパラメタの推定にベイズ推定を利用しているのですが,「R」ではそれを行っていないからのように思えます。
(筆者不勉強により,「R」での項目パラメタ推定で,ベイズ推定を利用する方法をまだ調べていません。)

4.4. 結果 1母数モデルの場合

EasyEstimation BILOG-MG R
項目番号 slope location slope location slope location
item0010.857-0.299 0.858 -0.298 0.858 -0.301
item0020.857-1.194 0.858 -1.194 0.858 -1.195
item0030.857 0.287 0.858 0.288 0.858 0.285
item0040.857 1.444 0.858 1.446 0.858 1.440
item0050.857 1.253 0.858 1.256 0.858 1.250
item0060.857 1.748 0.858 1.752 0.858 1.745
item0070.857-1.736 0.858 -1.737 0.858 -1.736
item0080.857-0.264 0.858 -0.262 0.858 -0.265
item0090.857 1.168 0.858 1.170 0.858 1.165
item0100.857-1.237 0.858 -1.237 0.858 -1.238
item0110.857-0.889 0.858 -0.888 0.858 -0.890
item0120.857-1.957 0.858 -1.958 0.858 -1.957
item0130.857-1.838 0.858 -1.839 0.858 -1.838
item0140.857-0.803 0.858 -0.802 0.858 -0.804
item0150.857-0.539 0.858 -0.538 0.858 -0.540
item0160.857-2.110 0.858 -2.111 0.858 -2.110
item0170.857-0.630 0.858 -0.629 0.858 -0.631
item0180.857-0.478 0.858 -0.477 0.858 -0.479
item0190.857 0.190 0.858 0.192 0.858 0.188
item0200.857-0.311 0.858 -0.310 0.858 -0.312

結果は小数第3位までにしています。
Rの結果については,「slope」(識別力パラメタ)の出力値を1.702で除しています。

実用上は3者間でほとんど差がないといって良い数値になっています。

4.5. Graded Response モデルの場合

ここでは,多値型モデルのGraded Response Modelを取り扱うことができるEasyEstGRMについて見ていきます。比較するソフトは,Scientific Software International社の「PARSCALE」および「R」です。

使用データ

EasyEstGRMに同封されているSampleData.datを使用します。
項目数10,人数1000です。

各プログラムについて

EasyEstGRM Ver.0.1.0を使用。
PARSCALE 「>CALIB GRA,LOGISTIC,SCALE=1.7,CYCLES=(200,1,1,1,1,1);」を指定。
R ltm パッケージを使用。

結果

EasyEstGRM
項目番号 slope step1 step2 step3 step4
item0010.660-4.144 -2.737 -1.468 -0.067
item0020.958-2.305 -1.557 -0.832 0.136
item0031.395-1.938 -1.114 -0.422 0.327
item0041.487-1.460 -0.755 -0.065 0.774
item0051.852-1.039 -0.341 0.339 1.035
item0060.830-1.178 -0.163 0.751 1.756
item0071.192-0.419 0.424 1.125 1.942
item0081.423 0.005 0.793 1.528 2.186
item0091.495 0.368 1.385 2.043 2.710
item0101.611 0.748 1.570 2.547 3.252

PARSCALE
項目番号 slope step1 step2 step3 step4
item0010.662 -4.151 -2.745 -1.477 -0.078
item0020.960 -2.314 -1.567 -0.843 0.124
item0031.398 -1.948 -1.124 -0.432 0.316
item0041.491 -1.470 -0.765 -0.075 0.762
item0051.860 -1.049 -0.351 0.327 1.021
item0060.832 -1.188 -0.173 0.739 1.743
item0071.195 -0.429 0.413 1.113 1.928
item0081.428 -0.006 0.780 1.514 2.171
item0091.500 0.357 1.371 2.029 2.695
item0101.617 0.736 1.556 2.532 3.236

R
項目番号 slope step1 step2 step3 step4
item0010.659 -4.109 -2.697 -1.423 -0.016
item0020.951 -2.272 -1.518 -0.787 0.189
item0031.388 -1.901 -1.070 -0.372 0.383
item0041.483 -1.420 -0.708 -0.011 0.830
item0051.810 -1.000 -0.289 0.397 1.096
item0060.824 -1.136 -0.112 0.808 1.818
item0071.181 -0.370 0.479 1.184 2.004
item0081.401 0.058 0.852 1.590 2.252
item0091.488 0.424 1.440 2.097 2.767
item0101.616 0.803 1.621 2.594 3.298

結果は小数第3位までにしています。
Rの結果については,「slope」(識別力パラメタ)の出力値を1.702で除しています。

実用上は3者間でほとんど差がないといって良い数値になっています。 特に「EasyEstGRM」と「PARSCALE」の差はどのパラメタでも0.02以内となっています。


4.6. Nominal Response モデルの場合

ここでは,Nominal Response モデル(名義反応モデル)を取り扱うことができるEasyNominalについて見ていきます。比較するソフトは,Scientific Software International社の「MULTILOG」です。

使用データ

EasyNominalに同封されているSampledata.datを使用します。
項目数10,人数5000です。

各プログラムについて

EasyNominal Ver.0.1.1を使用。
MULTILOG θの事前分布を31点に指定(EasyNominalと同一に)。

結果

EasyNominal
項目番号 パラメタ カテゴリ1 カテゴリ2 カテゴリ3 カテゴリ4 カテゴリ5
item001A 0.12 1.14 -0.49 -0.32 -0.45
C-0.91 1.99 -1.07 -1.10 1.09
item002A 0.27-0.31 1.05 -0.54 -0.47
C 0.30 0.54 0.83 -0.11 -1.56
item003A 0.20 0.66 -0.55 -0.31
C 0.22 0.48 -0.90 0.20
item004A-1.35 1.18 0.35 -1.63 1.45
C-2.27 1.92 -0.01 -1.51 1.87
item005A-0.55-0.19 0.20 0.54
C-0.02 0.71 0.81 -1.51
item006A-0.42 0.97 0.27 -0.82 0.00
C 0.09 0.75 0.42 -0.81 -0.46
item007A-0.75 0.09 -0.10 1.08 -0.33
C-1.39 0.61 -0.50 1.48 -0.20
item008A 0.64-0.75 -0.48 0.76 -0.18
C-1.74-1.33 0.07 2.27 0.72
item009A 0.20 0.72 -1.02 0.10
C 0.25 0.62 -0.66 -0.21
item010A-0.62-0.16 -0.31 0.69 0.41
C-0.21-0.29 0.21 -1.18 1.46

MULTILOG
項目番号 パラメタ カテゴリ1 カテゴリ2 カテゴリ3 カテゴリ4 カテゴリ5
item001A 0.12 1.14 -0.49 -0.32 -0.45
C-0.91 1.99 -1.07 -1.10 1.09
item002A 0.27-0.31 1.05 -0.54 -0.47
C 0.30 0.54 0.83 -0.11 -1.56
item003A 0.20 0.66 -0.55 -0.31
C 0.22 0.48 -0.90 0.20
item004A-1.36 1.20 0.36 -1.67 1.47
C-2.28 1.94 0.00 -1.55 1.89
item005A-0.55-0.19 0.20 0.54
C-0.02 0.71 0.81 -1.51
item006A-0.42 0.97 0.27 -0.82 0.00
C 0.09 0.75 0.42 -0.81 -0.46
item007A-0.75 0.09 -0.10 1.08 -0.33
C-1.39 0.61 -0.50 1.48 -0.20
item008A 0.64-0.75 -0.48 0.76 -0.18
C-1.74-1.33 0.07 2.27 0.72
item009A 0.20 0.72 -1.02 0.10
C 0.25 0.62 -0.66 -0.21
item010A-0.62-0.16 -0.31 0.69 0.41
C-0.21-0.29 0.21 -1.18 1.46


結果は小数第2位までにしています。

item004以外の数値は同じになっており,item004においても,0.04以内の差に収まっています。