menu
|
|
４． 計算結果の妥当性
EasyEstimation，BILOG-MG，R間の比較
４．１ はじめに
これまでIRT分析にはScientific Software International社の
「BILOG-MG」が用いられることが多かったと思います。
IRTの初学者にとっての難関の一つが分析ソフトの使いこなしでした。
「EasyEstimation」は，IRT初学者が「使いやすい」ことを目指して作成されました。
また最近では統計ソフト「R言語（以下，R）」も多くの場面で使用されており，Rでも
IRT分析を行うことができます。
ここでは，その3者間の比較を行ってみたいと思います。
使用データ
EasyEstimationなどに同封されているSampleData.datを使用します。
項目数20，人数1000です。
各プログラムについて
| EasyEstimation |
Ver.0.6.1を使用。 |
| BILOG-MG |
「>CALIB NQPT=31,CYCLES=20,NEWTON=20,NOSPRIOR;」を指定。 |
| R |
ltm パッケージを使用。「Rで項目反応理論」
を参考にしました。 |
結果
４．２． 結果 2母数モデルの場合
|
EasyEstimation |
|
BILOG-MG |
|
R |
| 項目番号 |
slope | location | |
slope | location | |
slope | location |
| item001 | 0.618 | -0.364 | | 0.616 | -0.365 | | 0.619 | -0.364 |
| item002 | 0.746 | -1.293 | | 0.745 | -1.297 | | 0.745 | -1.294 |
| item003 | 1.082 | 0.260 | | 1.080 | 0.262 | | 1.083 | 0.260 |
| item004 | 1.206 | 1.223 | | 1.204 | 1.227 | | 1.206 | 1.222 |
| item005 | 0.988 | 1.163 | | 0.986 | 1.167 | | 0.988 | 1.162 |
| item006 | 0.750 | 1.891 | | 0.748 | 1.899 | | 0.749 | 1.893 |
| item007 | 0.613 | -2.151 | | 0.611 | -2.158 | | 0.612 | -2.154 |
| item008 | 0.657 | -0.308 | | 0.655 | -0.308 | | 0.657 | -0.308 |
| item009 | 0.810 | 1.205 | | 0.808 | 1.210 | | 0.808 | 1.206 |
| item010 | 1.105 | -1.088 | | 1.103 | -1.091 | | 1.107 | -1.088 |
| item011 | 1.279 | -0.735 | | 1.277 | -0.737 | | 1.282 | -0.735 |
| item012 | 1.272 | -1.624 | | 1.269 | -1.629 | | 1.270 | -1.625 |
| item013 | 1.018 | -1.680 | | 1.015 | -1.686 | | 1.018 | -1.680 |
| item014 | 0.692 | -0.909 | | 0.691 | -0.911 | | 0.692 | -0.909 |
| item015 | 0.454 | -0.827 | | 0.453 | -0.829 | | 0.454 | -0.827 |
| item016 | 0.618 | -2.610 | | 0.617 | -2.620 | | 0.618 | -2.613 |
| item017 | 0.931 | -0.599 | | 0.929 | -0.600 | | 0.932 | -0.599 |
| item018 | 1.251 | -0.395 | | 1.249 | -0.396 | | 1.247 | -0.396 |
| item019 | 0.904 | 0.188 | | 0.902 | 0.189 | | 0.904 | 0.188 |
| item020 | 1.107 | -0.269 | | 1.105 | -0.269 | | 1.109 | -0.269 |
結果は小数第3位までにしています。
Rの結果については，「slope」（識別力パラメタ）の出力値を1.702で除しています。
実用上は3者間でほとんど差がないといって良いと思います。
４．３． 結果 3母数モデルの場合
|
EasyEstimation |
|
BILOG-MG |
|
R |
| 項目番号 |
slope | location | asymptote | |
slope | location | asymptote | |
slope | location | asymptote |
| item001 | 0.736 | -0.039 | 0.137 | | 0.735 | -0.036 | 0.137 | | 0.619 | -0.362 | 0.000 |
| item002 | 0.817 | -0.999 | 0.165 | | 0.815 | -1.000 | 0.165 | | 0.744 | -1.293 | 0.000 |
| item003 | 1.236 | 0.351 | 0.051 | | 1.235 | 0.354 | 0.051 | | 1.083 | 0.263 | 0.000 |
| item004 | 1.428 | 1.214 | 0.021 | | 1.430 | 1.217 | 0.021 | | 1.258 | 1.212 | 0.003 |
| item005 | 1.192 | 1.168 | 0.030 | | 1.194 | 1.171 | 0.030 | | 1.055 | 1.152 | 0.007 |
| item006 | 1.101 | 1.755 | 0.039 | | 1.105 | 1.757 | 0.039 | | 0.880 | 1.818 | 0.015 |
| item007 | 0.654 | -1.783 | 0.200 | | 0.652 | -1.789 | 0.200 | | 0.690 | -1.576 | 0.287 |
| item008 | 0.836 | 0.050 | 0.155 | | 0.836 | 0.054 | 0.156 | | 0.771 | -0.069 | 0.104 |
| item009 | 1.041 | 1.222 | 0.046 | | 1.043 | 1.226 | 0.046 | | 0.811 | 1.204 | 0.000 |
| item010 | 1.204 | -0.914 | 0.127 | | 1.199 | -0.915 | 0.127 | | 1.106 | -1.086 | 0.000 |
| item011 | 1.443 | -0.577 | 0.107 | | 1.439 | -0.576 | 0.108 | | 1.280 | -0.731 | 0.000 |
| item012 | 1.346 | -1.481 | 0.150 | | 1.337 | -1.487 | 0.149 | | 1.263 | -1.630 | 0.000 |
| item013 | 1.076 | -1.483 | 0.169 | | 1.071 | -1.487 | 0.169 | | 1.009 | -1.688 | 0.000 |
| item014 | 0.750 | -0.659 | 0.128 | | 0.748 | -0.659 | 0.128 | | 0.692 | -0.908 | 0.000 |
| item015 | 0.547 | -0.265 | 0.190 | | 0.547 | -0.262 | 0.190 | | 0.454 | -0.819 | 0.003 |
| item016 | 0.658 | -2.237 | 0.209 | | 0.655 | -2.246 | 0.209 | | 0.886 | -1.127 | 0.608 |
| item017 | 1.007 | -0.438 | 0.095 | | 1.003 | -0.438 | 0.094 | | 0.930 | -0.596 | 0.000 |
| item018 | 1.346 | -0.297 | 0.062 | | 1.342 | -0.295 | 0.062 | | 1.248 | -0.391 | 0.000 |
| item019 | 1.092 | 0.339 | 0.079 | | 1.092 | 0.343 | 0.080 | | 0.944 | 0.221 | 0.017 |
| item020 | 1.173 | -0.175 | 0.056 | | 1.170 | -0.173 | 0.056 | | 1.106 | -0.265 | 0.000 |
結果は小数第3位までにしています。
Rの結果については，「slope」（識別力パラメタ）の出力値を1.702で除しています。
「EasyEstimation」と「BILOG-MG」では，かなりの近似を示しています。
これに対して「R」では大きな数値のズレが見られるのですが，実は
「Warning message:
In tpm(data) :
Hessian matrix at convergence is not positive definite; unstable solution.」
という警告メッセージが表示されており，繰り返し計算に失敗したようです。
この原因はおそらく「EasyEstimation」や「BILOG-MG」では，asymptoteパラメタの推定にベイズ推定を利用しているのですが，「R」ではそれを行っていないからのように思えます。
（筆者不勉強により，「R」での項目パラメタ推定で，ベイズ推定を利用する方法をまだ調べていません。）
４．４． 結果 1母数モデルの場合
|
EasyEstimation |
|
BILOG-MG |
|
R |
| 項目番号 |
slope | location | |
slope | location | |
slope | location |
| item001 | 0.857 | -0.299 | | 0.858 | -0.298 | | 0.858 | -0.301 |
| item002 | 0.857 | -1.194 | | 0.858 | -1.194 | | 0.858 | -1.195 |
| item003 | 0.857 | 0.287 | | 0.858 | 0.288 | | 0.858 | 0.285 |
| item004 | 0.857 | 1.444 | | 0.858 | 1.446 | | 0.858 | 1.440 |
| item005 | 0.857 | 1.253 | | 0.858 | 1.256 | | 0.858 | 1.250 |
| item006 | 0.857 | 1.748 | | 0.858 | 1.752 | | 0.858 | 1.745 |
| item007 | 0.857 | -1.736 | | 0.858 | -1.737 | | 0.858 | -1.736 |
| item008 | 0.857 | -0.264 | | 0.858 | -0.262 | | 0.858 | -0.265 |
| item009 | 0.857 | 1.168 | | 0.858 | 1.170 | | 0.858 | 1.165 |
| item010 | 0.857 | -1.237 | | 0.858 | -1.237 | | 0.858 | -1.238 |
| item011 | 0.857 | -0.889 | | 0.858 | -0.888 | | 0.858 | -0.890 |
| item012 | 0.857 | -1.957 | | 0.858 | -1.958 | | 0.858 | -1.957 |
| item013 | 0.857 | -1.838 | | 0.858 | -1.839 | | 0.858 | -1.838 |
| item014 | 0.857 | -0.803 | | 0.858 | -0.802 | | 0.858 | -0.804 |
| item015 | 0.857 | -0.539 | | 0.858 | -0.538 | | 0.858 | -0.540 |
| item016 | 0.857 | -2.110 | | 0.858 | -2.111 | | 0.858 | -2.110 |
| item017 | 0.857 | -0.630 | | 0.858 | -0.629 | | 0.858 | -0.631 |
| item018 | 0.857 | -0.478 | | 0.858 | -0.477 | | 0.858 | -0.479 |
| item019 | 0.857 | 0.190 | | 0.858 | 0.192 | | 0.858 | 0.188 |
| item020 | 0.857 | -0.311 | | 0.858 | -0.310 | | 0.858 | -0.312 |
結果は小数第3位までにしています。
Rの結果については，「slope」（識別力パラメタ）の出力値を1.702で除しています。
実用上は3者間でほとんど差がないといって良い数値になっています。
４．５． Graded Response モデルの場合
ここでは，多値型モデルのGraded Response Modelを取り扱うことができるEasyEstGRMについて見ていきます。比較するソフトは，Scientific Software International社の「PARSCALE」および「R」です。
使用データ
EasyEstGRMに同封されているSampleData.datを使用します。
項目数10，人数1000です。
各プログラムについて
| EasyEstGRM |
Ver.0.1.0を使用。 |
| PARSCALE |
「>CALIB GRA,LOGISTIC,SCALE=1.7,CYCLES=(200,1,1,1,1,1);」を指定。 |
| R |
ltm パッケージを使用。 |
結果
|
EasyEstGRM |
| 項目番号 |
slope |
step1 |
step2 |
step3 |
step4 |
| item001 | 0.660 | -4.144 | -2.737 | -1.468 | -0.067 |
| item002 | 0.958 | -2.305 | -1.557 | -0.832 | 0.136 |
| item003 | 1.395 | -1.938 | -1.114 | -0.422 | 0.327 |
| item004 | 1.487 | -1.460 | -0.755 | -0.065 | 0.774 |
| item005 | 1.852 | -1.039 | -0.341 | 0.339 | 1.035 |
| item006 | 0.830 | -1.178 | -0.163 | 0.751 | 1.756 |
| item007 | 1.192 | -0.419 | 0.424 | 1.125 | 1.942 |
| item008 | 1.423 | 0.005 | 0.793 | 1.528 | 2.186 |
| item009 | 1.495 | 0.368 | 1.385 | 2.043 | 2.710 |
| item010 | 1.611 | 0.748 | 1.570 | 2.547 | 3.252 |
|
PARSCALE |
| 項目番号 |
slope |
step1 |
step2 |
step3 |
step4 |
| item001 | 0.662 | -4.151 | -2.745 | -1.477 | -0.078 |
| item002 | 0.960 | -2.314 | -1.567 | -0.843 | 0.124 |
| item003 | 1.398 | -1.948 | -1.124 | -0.432 | 0.316 |
| item004 | 1.491 | -1.470 | -0.765 | -0.075 | 0.762 |
| item005 | 1.860 | -1.049 | -0.351 | 0.327 | 1.021 |
| item006 | 0.832 | -1.188 | -0.173 | 0.739 | 1.743 |
| item007 | 1.195 | -0.429 | 0.413 | 1.113 | 1.928 |
| item008 | 1.428 | -0.006 | 0.780 | 1.514 | 2.171 |
| item009 | 1.500 | 0.357 | 1.371 | 2.029 | 2.695 |
| item010 | 1.617 | 0.736 | 1.556 | 2.532 | 3.236 |
|
R |
| 項目番号 |
slope |
step1 |
step2 |
step3 |
step4 |
| item001 | 0.659 | -4.109 | -2.697 | -1.423 | -0.016 |
| item002 | 0.951 | -2.272 | -1.518 | -0.787 | 0.189 |
| item003 | 1.388 | -1.901 | -1.070 | -0.372 | 0.383 |
| item004 | 1.483 | -1.420 | -0.708 | -0.011 | 0.830 |
| item005 | 1.810 | -1.000 | -0.289 | 0.397 | 1.096 |
| item006 | 0.824 | -1.136 | -0.112 | 0.808 | 1.818 |
| item007 | 1.181 | -0.370 | 0.479 | 1.184 | 2.004 |
| item008 | 1.401 | 0.058 | 0.852 | 1.590 | 2.252 |
| item009 | 1.488 | 0.424 | 1.440 | 2.097 | 2.767 |
| item010 | 1.616 | 0.803 | 1.621 | 2.594 | 3.298 |
結果は小数第3位までにしています。
Rの結果については，「slope」（識別力パラメタ）の出力値を1.702で除しています。
実用上は3者間でほとんど差がないといって良い数値になっています。
特に「EasyEstGRM」と「PARSCALE」の差はどのパラメタでも0.02以内となっています。
４．６． Nominal Response モデルの場合
ここでは，Nominal Response モデル（名義反応モデル）を取り扱うことができるEasyNominalについて見ていきます。比較するソフトは，Scientific Software International社の「MULTILOG」です。
使用データ
EasyNominalに同封されているSampledata.datを使用します。
項目数10，人数5000です。
各プログラムについて
| EasyNominal |
Ver.0.1.1を使用。 |
| MULTILOG |
θの事前分布を31点に指定（EasyNominalと同一に）。 |
結果
|
EasyNominal |
| 項目番号 |
パラメタ |
カテゴリ1 |
カテゴリ2 |
カテゴリ3 |
カテゴリ4 |
カテゴリ5 |
| item001 | A | 0.12 | 1.14 | -0.49 | -0.32 | -0.45 |
| C | -0.91 | 1.99 | -1.07 | -1.10 | 1.09 |
| item002 | A | 0.27 | -0.31 | 1.05 | -0.54 | -0.47 |
| C | 0.30 | 0.54 | 0.83 | -0.11 | -1.56 |
| item003 | A | 0.20 | 0.66 | -0.55 | -0.31 | |
| C | 0.22 | 0.48 | -0.90 | 0.20 | |
| item004 | A | -1.35 | 1.18 | 0.35 | -1.63 | 1.45 |
| C | -2.27 | 1.92 | -0.01 | -1.51 | 1.87 |
| item005 | A | -0.55 | -0.19 | 0.20 | 0.54 | |
| C | -0.02 | 0.71 | 0.81 | -1.51 | |
| item006 | A | -0.42 | 0.97 | 0.27 | -0.82 | 0.00 |
| C | 0.09 | 0.75 | 0.42 | -0.81 | -0.46 |
| item007 | A | -0.75 | 0.09 | -0.10 | 1.08 | -0.33 |
| C | -1.39 | 0.61 | -0.50 | 1.48 | -0.20 |
| item008 | A | 0.64 | -0.75 | -0.48 | 0.76 | -0.18 |
| C | -1.74 | -1.33 | 0.07 | 2.27 | 0.72 |
| item009 | A | 0.20 | 0.72 | -1.02 | 0.10 | |
| C | 0.25 | 0.62 | -0.66 | -0.21 | |
| item010 | A | -0.62 | -0.16 | -0.31 | 0.69 | 0.41 |
| C | -0.21 | -0.29 | 0.21 | -1.18 | 1.46 |
|
MULTILOG |
| 項目番号 |
パラメタ |
カテゴリ1 |
カテゴリ2 |
カテゴリ3 |
カテゴリ4 |
カテゴリ5 |
| item001 | A | 0.12 | 1.14 | -0.49 | -0.32 | -0.45 |
| C | -0.91 | 1.99 | -1.07 | -1.10 | 1.09 |
| item002 | A | 0.27 | -0.31 | 1.05 | -0.54 | -0.47 |
| C | 0.30 | 0.54 | 0.83 | -0.11 | -1.56 |
| item003 | A | 0.20 | 0.66 | -0.55 | -0.31 | |
| C | 0.22 | 0.48 | -0.90 | 0.20 | |
| item004 | A | -1.36 | 1.20 | 0.36 | -1.67 | 1.47 |
| C | -2.28 | 1.94 | 0.00 | -1.55 | 1.89 |
| item005 | A | -0.55 | -0.19 | 0.20 | 0.54 | |
| C | -0.02 | 0.71 | 0.81 | -1.51 | |
| item006 | A | -0.42 | 0.97 | 0.27 | -0.82 | 0.00 |
| C | 0.09 | 0.75 | 0.42 | -0.81 | -0.46 |
| item007 | A | -0.75 | 0.09 | -0.10 | 1.08 | -0.33 |
| C | -1.39 | 0.61 | -0.50 | 1.48 | -0.20 |
| item008 | A | 0.64 | -0.75 | -0.48 | 0.76 | -0.18 |
| C | -1.74 | -1.33 | 0.07 | 2.27 | 0.72 |
| item009 | A | 0.20 | 0.72 | -1.02 | 0.10 | |
| C | 0.25 | 0.62 | -0.66 | -0.21 | |
| item010 | A | -0.62 | -0.16 | -0.31 | 0.69 | 0.41 |
| C | -0.21 | -0.29 | 0.21 | -1.18 | 1.46 |
結果は小数第2位までにしています。
item004以外の数値は同じになっており，item004においても，0.04以内の差に収まっています。
|
