Ridge Regression and the Multicollinearity Problem

Abstract

Abstract

This research primarily aims at evaluating the performance

of the ridge regression estimators as remedial techniques to

the multicollinearity problem. The study is based on Monte

Carlo experiments in which the performance of ridge estimators

is investigated under different levels of multicollinearity,

.population variance & sample size

A new method suggested by the author and based on

using a variable biasing constant with values proportional to

the variances of the estimates of the regression coefficients led

to great improvement in the performance of the ridge estimate.

This weighted estimator resulted not only in increased precision

of the regression estimate compared to the unweighted

estimate, but also worked as a controlling factor to the mean

squares of the regression estimates when these explode at

.large values of biasing constants

The thesis also reviews in detail the performance of the

weighted & unweighted ridge regression estimators under

varying levels of sample size, population variance & degree of

linear correlation. It also examined the effect of linear

6

correlation under different levels of variance & sample size on

.the ordinary regression estimates

A value of the biasing constant of 0.1 appeared to be a

dividing line for the mean square of the ridge regression

estimates as it explodes greatly after it if weighing is not used.

Hence the author recommended that weighted estimates

should be used for biasing factor greater than 0.1 as well as

when the independent variables differ greatly in their

.variances

مستخلص

يهدف هذاا البحثا أسباس اًباا لتقميميما أداءا مقسدراتا إنحسدارا التسلا كعل جا لمشسكلةا التشستراكا الخطس يا .ا لوتسستند

الدراسها عل ىا تجسباربا محباكسباةا نيتسما فميهسباا التحسر يا عسنا أداءا مقسدراتا التسلا تحستا مسستاونيباتا مختلفسها لدرجسة

التشتراكا الخط ي،ا تببانينا المجتمعا لوحجما العمينة.

أدتا طرنيقها جدنيدها إقترحتهباا البباحثها تقاوما عل ىا إستخداما ثبابتا تحميزا متغميرا نيتنباسبا طردني اًباا معا تببانينا مقسسدرات

النحدارا إل ىا تحسنا كبميرا ف يا أداءا مقدراتا التل.ا هذاا المقدرا المرجسحا أدىا لميسسا فقسطا لزنيسبادها فس يا دقسةا مقسدر

النحدرا مقبارنةا ببالمقدرا غميرا المرجحا لولكنها أنيض اًباا عملا كعباملا تحكما لمتاوسطباتا مربعباتا مقدراتا النحدار

عندمباا تتضخما هذها عندا ثاوابتا تحميزا كبميرة.

لوتستعرضا الرسبالها أنيض اًباا بتفصميلا أداءا مقدراتا إنحداا التلا المرجحها لوالغميرا مرجحها عندا مستاونيباتا متغميسرة

لحجما العمينه،ا تببانينا المجتمعا لودرجةا الرتبباطا الخط ي.ا لوتدرسا أنيض اًباا أثرا الرتبباطا الخطس يا تحستا مسستاونيبات

مختلفها ا للتببانينا لوا حجما العمينها عل ىا مقدراتا النحدارا العبادنيه.

منا نباحميها أخرى،ا تبمينا أنا ثبابتا إنحدارا بمقدارا 1.0ا ا نيمثلا حد اًاا فباصس اًلا لمتاوسسطا مربعسباتا مقسدراتا إنحسدار

التلا حميثا نيتضخما بدرجةا لفتسها بعسدها إذاا لسما نيسستخدما الترجميسح.ا لهسذاا ألوصستا البباحثسةا بإسستخداما المقسدرات

المرجحها عندا إستخداما ثبابتا ترجميحا نيزنيدا عنا 1.0ا ا لوعندمباا تتفبالوتا المتغميراتا المستقلةا ف يا تببانينباتهبا.