HC 7: Regressie: assumpties en complexe modellen

Een regressiemodel is pas betrouwbaar als aan een aantal voorwaarden is voldaan, en het basismodel is lang niet altijd genoeg. Dit laatste inhoudelijke college behandelt de belangrijkste assumpties (multicollineariteit, lineariteit, uitschieters en de verdeling van de residuen) en drie uitbreidingen van het model: hogere-ordetermen voor gebogen verbanden, dummyvariabelen voor categorische voorspellers en interactietermen voor effecten die van een andere variabele afhangen. Op het tentamen vallen deze onder de geavanceerde regressievragen, vaak met een regressievergelijking die je moet invullen.

Waarom assumpties?

Schending van de assumpties tast drie eigenschappen van de schattingen aan (in het college samengevat als ZEB):

Zuiverheid van de coëfficiënten: zitten de b's gemiddeld op de echte waarde?
Efficiëntie: zo klein mogelijke residuen en standaardfouten.
Betrouwbaarheid van de generalisatie van steekproef naar populatie.

Bij schending kun je de toets aanpassen of een correctie inbouwen, een andere toets kiezen, of de resultaten voorzichtiger interpreteren.

Assumptie 1: multicollineariteit

Multicollineariteit is een te sterke samenhang tussen onafhankelijke variabelen. Ze verklaren dan grotendeels dezelfde variantie in Y en dragen ieder afzonderlijk weinig unieks bij. Voorbeeld: de ijsverkoop op het strand met temperatuur en aantal strandbezoekers als voorspellers; die twee hangen sterk samen. Gevolg: de standaardfouten van de coëfficiënten worden opgeblazen, waardoor variabelen ten onrechte niet significant lijken.

Diagnose met twee maten, gebaseerd op de $R^{2}$ van een hulpregressie waarin je één onafhankelijke variabele voorspelt uit de andere:

Tolerance = 1 - R_{j}^{2} V I F = \frac{1}{Tolerance}

Probleem als de tolerance kleiner is dan 0,40.
Probleem als de VIF (variance inflation factor) groter is dan 2,5.
$V I F$ geeft aan met welke factor de standaardfout wordt opgeblazen.

Voorbeeld uit het practicum. Aantal posts en aantal vrienden correleren 0,937. Tolerance 0,122 (kleiner dan 0,40), VIF 8,22 (groter dan 2,5): ontoelaatbare multicollineariteit. Daardoor leek het aantal vrienden geen effect te hebben (t = 0,75). Remedie: een van beide variabelen verwijderen of ze combineren in een index.

Assumptie 2: lineariteit

Het model veronderstelt een rechte lijn tussen elke X en Y. Is het verband gebogen, dan zijn de schattingen niet zuiver en de standaardfouten minder efficiënt. Controle: een scatterplot, eventueel met een lineaire en een kwadratische fit line. Remedie: een hogere-ordeterm toevoegen (zie verderop). In het practicum vlakte de relatie tussen posts en likes af bij hoge waarden: een aanwijzing voor een curvilineair verband.

Assumptie 3: uitschieters en invloedrijke waarnemingen

Een uitschieter (outlier) is een waarneming waarvan de werkelijke Y ver van de voorspelde Y ligt: een groot residu. Je standaardiseert het residu door het te delen door de standaardfout: $54, 673/17, 107 = 3, 20$ . Meer dan 3 standaardfouten van de lijn geldt als uitschieter.
Volgens de normale verdeling ligt ongeveer 99,7% binnen 3 standaardfouten, dus 0,3% erbuiten. In het practicum lagen 7 van de 961 waarnemingen (0,73%) erbuiten: iets meer dan verwacht, maar dicht bij de grens en geen reden tot zorg.
Een invloedrijke waarneming (influential case) trekt de regressielijn sterk naar zich toe. Het voorbeeld uit Field: het aantal kroegen en het aantal doden in Londense wijken, waar één wijk de hele lijn bepaalt. Gevolg: onzuivere coëfficiënten en inefficiënte residuen. Remedie: de waarneming nader bekijken, transformeren of uit de analyse laten.

In SPSS vraag je onder Save de standardized residuals op en onder Statistics de casewise diagnostics.

Assumptie 4: de verdeling van de residuen

Deze worden in vervolgcursussen verder uitgewerkt, maar je moet ze kennen:

De residuen liggen rond de regressielijn en zijn normaal verdeeld (controle: histogram of P-P plot van de residuen).
Homoscedasticiteit: voor alle waarden van X is de variantie van de residuen ongeveer gelijk. Zie je een patroon, bijvoorbeeld een trechter die breder wordt, dan is er heteroscedasticiteit.

Controleer ook de verdeling van de variabelen zelf: gemiddelde, mediaan en modus dicht bij elkaar, een histogram met normaalcurve, en skewness en kurtosis. Formele normaliteitstoetsen (Shapiro-Wilk, Kolmogorov-Smirnov) en QQ-plots komen in vervolgcursussen.

Hogere-ordemodellen: kwadratische termen

Een gebogen verband modelleer je met een kwadratische term:

Y = β_{0} + β_{1} X + β_{2} X^{2} + ε

$β_{2} > 0$ : dalparabool (eerst dalen, dan stijgen; U-vorm).
$β_{2} < 0$ : bergparabool (eerst stijgen, dan afvlakken en dalen).
Beoordeel de meerwaarde met de t-toets op $β_{2}$ en de stijging van de adjusted $R^{2}$ .
Laat de lagere-ordeterm ( $X$ ) in het model staan, ook als die niet significant is.

Voorbeeld uit het college. $salaris = - 62114 + 3813 \cdot leeftijd - 37 \cdot leeftijd^{2}$ . Iemand van 40: $- 62114 + 3813 \times 40 - 37 \times 1600 = 31206$ euro. Omdat $β_{2}$ negatief is, stijgt het salaris met de leeftijd maar vlakt de stijging af.

Dummyvariabelen

Een categorische variabele met $c$ categorieën neem je op als $c - 1$ dummy's: variabelen met waarde 1 (behoort tot de categorie) of 0 (niet). De weggelaten categorie is de referentiecategorie. Neem je alle $c$ dummy's op, dan zijn ze perfect collineair en kan het model niet geschat worden.

Voorbeeld uit het college. Profiel met drie categorieën: alfa, bèta en gamma. Met alfa als referentie:

salaris = 15, 333 + 23, 778 \cdot D_{b \overset{e}{ˋ} ta} + 9, 381 \cdot D_{gamma}

(salaris in duizenden euro's). Alfa: beide dummy's 0, dus 15,333. Bèta: $15, 333 + 23, 778 = 39, 111$ . Gamma: $15, 333 + 9, 381 = 24, 714$ .

Het intercept is het gemiddelde van de referentiecategorie.
Elke dummycoëfficiënt is het verschil tussen die categorie en de referentiecategorie.
De t-toets op een dummy toetst of die categorie significant van de referentie verschilt, niet of de categorieën onderling verschillen.

In het volledige model met leeftijd en opleiding erbij verdienen bèta's gemiddeld 18.777 euro meer dan alfa's bij gelijke leeftijd en opleiding, en is er geen significant verschil tussen alfa en gamma. Een model met alleen dummy's heet een dummymodel; het is in feite een ANOVA in regressievorm.

Voorbeeld uit het practicum. TV kijken (minuten) met burgerlijke staat, referentie ongehuwd: constante 128,447, gescheiden +74,394. Een gescheiden persoon kijkt volgens het model $128, 447 + 74, 394 = 202, 8$ minuten. Wissel je de referentiecategorie (gescheiden), dan verandert het model niet, alleen de vergelijkingen: gehuwden kijken dan 52,6 en ongehuwden 44,9 minuten minder. Met opleiding erbij: gescheiden persoon met 5 jaar opleiding $299, 742 - 17, 332 \times 5 = 213$ minuten.

In SPSS maak je dummy's via Transform, Recode into Different Variables.

Interactietermen

Een interactie (moderatie) betekent dat het effect van $X_{1}$ op Y afhangt van de waarde van een andere variabele $X_{2}$ . Je voegt het product van beide toe:

Y = β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} \cdot X_{2}) + ε

Het effect van $X_{1}$ is dan niet meer één getal, maar

effect van X_{1} = β_{1} + β_{3} \cdot X_{2}

Daardoor verandert de interpretatie van de hoofdeffecten: $β_{1}$ is nu het effect van $X_{1}$ als $X_{2} = 0$ .

Voorbeeld uit het college. $salaris = 88159 - 1770 \cdot leeftijd - 7649 \cdot opleiding + 207 \cdot leeftijd \cdot opleiding$ . Het effect van een jaar leeftijd is $- 1770 + 207 \cdot opleiding$ :

Opleiding (jaren)	Effect van één jaar leeftijd op salaris
10	300 euro
12	714 euro
14	1128 euro
16	1542 euro
20	2370 euro

Hoe hoger de opleiding, hoe sterker het salaris met de leeftijd stijgt: opleiding versterkt het effect van leeftijd. Bij 0 jaar opleiding is het effect $- 1770$ , maar die waarde komt in de praktijk niet voor.

Voorbeeld uit het practicum (Concours). $punten = 48, 12 - 0, 334 \cdot cursusuren + 0, 169 \cdot aanleg + 0, 027 \cdot cursusuren \cdot aanleg$ . De interactieterm is significant ( $t = 3, 877$ ) en de adjusted $R^{2}$ stijgt van 0,353 naar 0,373. Effect van een cursusuur: $- 0, 334 + 0, 027 \cdot aanleg$ . Bij aanleg 10 is dat $- 0, 064$ , bij aanleg 30 $+ 0, 476$ . Cursussen helpen dus vooral wie al aanleg heeft.

De interactieterm maak je in SPSS met Transform, Compute Variable.

Modellen bouwen: less is more

Er is niet per se één "beste" model; welk model je kiest hangt af van wat je wilt toetsen.
Vergelijk modellen op bruikbaarheid (F), verklaringskracht (adjusted $R^{2}$ ) en de toegevoegde waarde van variabelen of termen.
Let op de verhouding tussen het aantal variabelen en het aantal waarnemingen.
Maak modellen niet complexer dan nodig.

Voor het tentamen

Multicollineariteit: tolerance $= 1 - R^{2}$ onder 0,40 of VIF $= 1/$ tolerance boven 2,5 is een probleem; blaast standaardfouten op.
Uitschieter: gestandaardiseerd residu groter dan 3 (absoluut); ongeveer 0,3% verwacht.
Homoscedasticiteit: gelijke spreiding van de residuen voor alle X.
Kwadratisch model: $β_{2} < 0$ bergparabool, $β_{2} > 0$ dalparabool; vul $X$ en $X^{2}$ in.
Dummy's: $c - 1$ stuks; intercept = referentiecategorie; coëfficiënt = verschil met de referentie.
Interactie: effect van $X_{1}$ is $β_{1} + β_{3} X_{2}$ ; $β_{1}$ geldt alleen bij $X_{2} = 0$ .

Andere hoofdstukken van Kwantitatieve Methoden 1

Test jezelf met oefenvragen