Performance of Hosmer-Lemeshow Goodness of Fit Test for Logistic Regression

Abstract

ABSTRACT

The fact that Hosmer-Lemeshow test is based on formation of groups for variables values poses a number of questions. One of these is how many groups should be formed? Will a different number of groups change the final result? Another question is to what extent the power of the test is affected by factors such as sample size and population distribution characteristics? And is Hosmer-Lemeshow test statistic is a good estimator to assess the model goodness of fit? The data of this research came from simulated empirical data set generated from theoretical populations with specific characteristics. The research will be based on analytical and simulation approach using RStudio package. The analytical approach is composed of: Conduction of Hosmer-Lemeshow test, formation of groups, etc. While the simulation approach is entirely based on the ideas of data generation based on specified circumstances, sample selections steps, iterations steps, and so on. The results showed that Hosmer-Lemeshow test is highly dependent on the cut off points that make up the groups and there’s no theory to guide the choice of that number of groups. It is also revealed that the test performance is not affected by the sample size and population distribution factors, while the final test result is not as well affected by any change in number of groups. Moreover, the research indicates that Hosmer-Lemeshow statistic is biased and less efficient and Hosmer-Lemeshow test is consistent test. The results also concluded that the power of the test increases with the increase in both the sample size and the variance value, and accordingly its performance in case of the incorrect model and through its interaction with the control factors, is relatively better compared to its performance in the case of the correct model. Whereas, it’s use as a criterion to detect lack of fit is better than using it as a criterion to detect goodness of fit.

المستخلص حقيقة اعتماد اختبار هوسمر- ليمشو علي تشكيل المجموعات لقيم المتغيرات طرح عدد من التساؤلات.احدي هذه التساؤلات كم عدد المجموعات التي يجب تشكيلها؟ هل سيؤدي عدد مختلف من المجموعات الي تغيير النتيجة النهائية؟ تساؤل اخر هو ما مدي تأثر قوة الاختبار بعوامل مثل حجم العينة وخصائص توزيع المجتمع؟ وهل إحصاءة اختبار هوسمر-ليمشو مقدر جيد لتقيم جودة ملائمة نموذج الانحدار اللوجستي؟. بيانات هذا البحث جاءت من محاكاة مجموعة بيانات تجريبية تم توليدها من مجتمعات نظرية بخصائص محددة. أعتمد البحث علي طريقة تحليلية ومحاكاة باستخدام حزمة أر استديو،حيث أن الطريقة التحليلية هي تهيئة ادارة اختبار هوسمر- ليمشو من تشكيل للمجموعات وغيره،في حين أن طريقة المحاكاة تعتمد كليا علي مفاهيم توليد بيانات معتمدة علي حالات محددة،خطوات اختيارات العينة،خطوات التكرارات وهكذا دواليت. أظهرت النتائج أن إختبار هوسمر-ليمشو يعتمد بدرجة كبيرة على نقاط القطع التي تشكل المجموعات ولا توجد نظرية لارشاد اختيار ذلك العدد من المجموعات.كما أن أداء الإختبار لم يتأثر بعوامل حجم العينة وتوزيع المجتمع وأن نتيجة الاختبار النهائية لم تتأثر بتغيير عدد المجموعات. كما أظهرت النتائج أن إحصائية هوسمر- ليمشو متحيزة وأقل كفاءة وأن اختبار هوسمر- ليمشو اختبار متسق. خلصت النتائج ايضا الي أن قوة الإختبار تزداد مع زيادة كل من حجم العينة وقيمة التباين, ووفقا لذلك فلأأاان أداءه في حالة عدم صحة النموذج ومن خلال تفاعله مع عوامل السيطرة أفضل مقارنة بأداءه في حالة النموذج الصحيح, حيث أن استخدامه كمعيار لقياس نقص الملاءمة أفضل من استخدامه كمعيار لقياس جودة الملاءمة.