Kovaryans, Korelasyon ve Regresyon Analizi

Bu yazıda En Küçük Kareler (EKK) yöntemi 15 gözlemli genişletilmiş bir örnek üzerinden uygulamalı olarak incelenmektedir. Devamında k sayıda değişken içeren çoklu regresyon modellerinin matris gösterimi, varyans-kovaryans yapısı ve istatistiksel hipotez testleri ele alınmakta; son bölümde ise bu analizlerin Stata üzerindeki uygulama ve teşhis (predict, residual, sktest) komutları sunulmaktadır.

1. Kovaryans (Cov) Kavramı ve Matematiksel Altyapısı

$$Cov(X,Y) = \frac{\sum_{i=1}^{n} (X_i - \bar{X})(Y_i - \bar{Y})}{n-1}$$

$X_i$: $X$ değişkeninin gözlem değerleri
$Y_i$: $Y$ değişkeninin gözlem değerleri
$\bar{X}$: $X$ değişkeninin aritmetik ortalaması
$\bar{Y}$: $Y$ değişkeninin aritmetik ortalaması

Kovaryans, iki farklı değişkenin kendi ortalamalarından aynı anda ve aynı yöne doğru sapıp sapmadıklarını ölçen istatistiksel bir araçtır. En basit tanımıyla, değişkenlerin birlikte ($co$) değişme ($variance$) durumunu ifade eder.

1.1 Kovaryansın Kısıtları

Kovaryansın kendine ait standart bir ölçü birimi yoktur; doğrudan analize dahil edilen değişkenlerin birimlerine (TL, kg, adet vb.) göre şekillenir. Ayrıca hesaplanan değer için tanımlanmış bir alt veya üst sınır bulunmaz. Bu durum, ilişkinin gücü veya şiddeti hakkında yorum yapmayı imkansız kılar. Kovaryanstaki bu birim karmaşasından kurtulmak ve katsayıyı standartlaştırılabilir hale getirmek amacıyla korelasyon analizi geliştirilmiştir.

2. Korelasyon Kavramı ve Matematiksel Altyapısı

$$r = \frac{\sum_{i=1}^{n} (X_i - \bar{X})(Y_i - \bar{Y})}{\sqrt{\sum_{i=1}^{n} (X_i - \bar{X})^2 \sum_{i=1}^{n} (Y_i - \bar{Y})^2}}$$

Formülün anatomisi incelendiğinde iki temel yapı öne çıkar:

Pay (Üst Kısım): $X$ ve $Y$ değişkenleri, kendi ortalamalarından aynı anda mı uzaklaşıyorlar? Eğer her ikisi de ortalamasının üstüne çıkıyorsa (veya ikisi de altına iniyorsa) bu kısım pozitif çıkar. Biri çıkarken diğeri düşüyorsa negatif çıkar. Aslında bu kısım doğrudan kovaryansın payıdır.
Payda (Alt Kısım): Bu kısım bir standartlaştırıcıdır. Sonucun ölçüm birimlerinden (TL, kg, adet, litre) tamamen bağımsız olmasını ve katsayının matematiksel olarak her zaman $-1$ ile $+1$ arasında kalmasını garanti altına alır. İşlemsel olarak $X$ ve $Y$ değişkenlerinin standart sapmalarının çarpımına denktir.

Bu anatomik yapı göz önüne alındığında, korelasyon katsayısı kovaryans üzerinden şu şekilde sadeleştirilebilir:

$$r = \frac{Cov(X,Y)}{S_X S_Y}$$

Korelasyon Katsayısının Anlamlılık Sınaması

Hesaplanan korelasyon katsayısının örnekleme özgü tesadüfi bir değer olup olmadığını test etmek için istatistiksel anlamlılık sınaması yapılmalıdır. Hipotezler şu şekilde kurulur:

$H_0$: İki değişken arasında istatistiksel olarak anlamlı bir bağ yoktur ($r = 0$).
$H_1$: İki değişken arasında gerçek ve anlamlı bir bağ vardır ($r \neq 0$).

Bunun için kullanılan test istatistiği:

$$t = \frac{r \sqrt{n-2}}{\sqrt{1-r^2}}$$

Normallik Varsayımı Uyarısı:
Pearson korelasyon katsayısının güvenilirliği serilerin normal dağılım göstermesine bağlıdır. Eğer değişkenler normal dağılım koşulunu sağlamıyorsa (veya sıralı kategorik veri formundaysa), parametrik olmayan Spearman Sıra Korelasyon Katsayısı kullanılmalıdır.

Korelasyon analizi, iki değişken arasındaki doğrusal ilişkinin hem yönünü (artıyor mu, azalıyor mu) hem de gücünü (ilişki ne kadar sıkı) standart bir formda ölçmek için kullanılan temel bir istatistiksel yöntemdir.

Korelasyon katsayısı ($r$) her zaman $-1$ ile $+1$ arasında bir değer alır:

+1: Mükemmel pozitif doğrusal ilişki (Biri artarken diğeri de aynı oranda artar).
-1: Mükemmel negatif doğrusal ilişki (Biri artarken diğeri aynı oranda azalır).
0: Değişkenler arasında doğrusal bir ilişkinin olmadığını (birlikte hareket etmediklerini) gösterir.

Korelasyon katsayısı görsel olarak Şekil 1'deki gibi yorumlanabilir.

Şekil 1: Korelasyonun Şekilsel Gösterimi

2.1 Korelasyonda Nedensellik Yanılgısı (Örnek Olay)

Korelasyon, değişkenler arasında tamamen simetrik bir ilişki kurar. Yani $X$ ile $Y$ arasındaki korelasyon değeri neyse, $Y$ ile $X$ arasındaki korelasyon değeri de birebir aynıdır. Analiz sürecinde değişkenler arasında bağımlı veya bağımsız (biri diğerini etkiliyor/neden oluyor) şeklinde bir ayrım yapılmaz.

Bir dondurma dükkanı işlettiğinizi düşünün. Hava sıcaklığı arttıkça dondurma satışlarınızın da arttığını, hava soğuduğunda ise satışların düştüğünü fark ediyorsunuz. Burada hava sıcaklığı ile satışlarınız arasında pozitif yönlü güçlü bir "ilişki" vardır ve birlikte hareket ederler. Ancak sadece bu yüksek korelasyona bakarak, "Dondurma satışı arttığı için hava ısındı" diyemezsiniz.

Daha tehlikeli bir yanılgı şudur: Hava sıcaklıkları arttığında denizlerdeki boğulma vakaları da artmaktadır. Veriler incelendiğinde dondurma satışları ile boğulma vakaları arasında pozitif bir korelasyon görülür. Korelasyona hatalı bir nedensellik anlamı yüklenmesi, "Dondurma satışları boğulma vakalarını artırıyor" gibi absürt ve bilim dışı yorumlara neden olabilir.

3. Regresyon Analizi: Nedenselliği Modellemek

Regresyon analizi, bir değişkenin (bağımlı değişken) ortalama değerini, bilinen veya sabit kabul edilen diğer değişkenlere (bağımsız değişkenler) dayanarak tahmin etmek ve aralarındaki nedensel ($causal$) ilişkiyi matematiksel olarak modellemek için kullanılır.

Korelasyondan en büyük ve hayati farkı şudur: Regresyonda değişkenler arasında yönü belli olan, asimetrik bir nedensellik kurgusu vardır. Değişkenlerden biri açıklayan (etkileyen/sebep), diğeri ise açıklanan (etkilenen/sonuç) konumundadır.

Dondurma örneğimize geri dönelim. Bir işletmeci olarak artık sadece "Hava ısınınca satış artıyor" (Korelasyon) demek bize yetmiyor. Şunu kesin olarak bilmek istiyoruz: "Hava sıcaklığı 1 derece artarsa, ben tahminen kaç adet fazla dondurma satarım?" veya "Yarın hava 30 derece olacaksa, dükkan ne kadar ciro yapar?"

İşte burada bir tahmin denklemi kurmamız zorunludur:

$$\text{Satışlar} = (\text{Sabit Başlangıç Satışı}) + (\text{Sıcaklığın Etkisi}) \times (\text{Hava Derecesi}) + \text{Hata Payı}$$

3.1 Basit Doğrusal Regresyon Denkleminin Anatomisi

$$Y_i = \beta_0 + \beta_1 X_i + \varepsilon_i$$

$Y_i$ (Bağımlı / Açıklanan / İçsel / Sonuç Değişkeni): Modelde açıklanmaya çalışılan, değerinin diğer faktörlere bağlı olarak değiştiği varsayılan rassal ($stokastik$) değişkendir. Dondurma örneğimizdeki Satış Miktarıdır. Merak ettiğimiz ve modellemeye çalıştığımız hedeftir.
$X_i$ (Bağımsız / Açıklayıcı / Dışsal / Regresör): Bağımlı değişkendeki değişimi açıklamak için kullanılan ve dışarıdan veri olarak kabul edilen değişkendir. Dondurma örneğimizdeki Hava Sıcaklığıdır. Satışları etkilediğini teorik olarak savunduğumuz faktördür.
$\beta_0$ (Sabit Terim / Kesen - Intercept): Bağımsız değişkenlerin ($X$) değeri sıfır olduğunda, bağımlı değişkenin ($Y$) alması beklenen matematiksel ortalama değerdir. İktisadi olarak, hava sıcaklığı 0 derece olsa bile dükkanın sadece açık olması veya marka bilinirliği sayesinde satılacak teorik minimum dondurma miktarıdır.
$\beta_1$ (Eğim Katsayısı / Regresyon Katsayısı): Bağımsız değişkendeki ($X$) bir birimlik değişimin, bağımlı değişkenin ($Y$) ortalamasında yarattığı marjinal değişimdir. Havanın her 1 derece ısınması durumunda satışların kaç adet artacağını gösteren spesifik sayıdır. Bu sayı 5 ise, sıcaklıktaki her 1 derecelik artış, 5 dondurma daha satılması demektir.
$\varepsilon_i$ (Hata Terimi / Kalıntı - Residual / Artık): Bağımlı değişkeni etkileyen ancak veri seti kısıtları nedeniyle modele dahil edilemeyen (gözlenemeyen) tüm diğer küçük faktörlerin toplam etkisini ve ölçüm hatalarını temsil eden rassal değişkendir. Modelin açıklayamadığı "karanlık" kısımdır. Satışları sadece hava sıcaklığı etkilemez; o günkü yağmur, ekonomik kriz, müşterinin ruh hali gibi formülde olmayan binlerce ufak etken vardır.

3.2 EKK - Ortalamadan Sapmalar Yöntemi (Gübre ve Ürün Örneği)

Gözlem (i)	Ürün (Y)	Gübre (Xi)	y=Yi−Yˉ	x=Xi−Xˉ	x⋅y	x2
1	6	4	0.4	0.4	0.16	0.16
2	5	3	-0.6	-0.6	0.36	0.36
3	4	2	-1.6	-1.6	2.56	2.56
4	5	4	-0.6	0.4	-0.24	0.16
5	8	5	2.4	1.4	3.36	1.96
TOPLAM	28	18	0	0	6.2	5.2
Ortalama	5.6	3.6

Tahmin Edilen Regresyon Denklemi: $\hat{Y}_i = \hat{\beta}_0 + \hat{\beta}_1 X_i$

Eğim Katsayısı Hesaplama:

$$\hat{\beta}_1 = \frac{\sum (x \cdot y)}{\sum x^2} = \frac{6.2}{5.2} = \mathbf{1.19}$$

Sabit Terim Hesaplama:

$$\hat{\beta}_0 = \bar{Y} - \hat{\beta}_1 \bar{X} = 5.6 - (1.19 \times 3.6) = \mathbf{1.316}$$

Nihai Tahmin Modeli:

$$\hat{Y}_i = 1.316 + 1.19 X_i$$

Bu modele göre; 1. Gözlem ($X=4$) için sistemin ürettiği teorik ürün tahmini: $1.316 + (1.19 \times 4) = 6.076$'dır. Gerçekte 6 birim ürün elde edildiği için bu gözleme ait hata terimi (Artık / Residual): $\hat{\varepsilon}_1 = 6 - 6.076 = \mathbf{-0.076}$ olarak hesaplanır.

3.3 Basit Doğrusal Regresyonun Matris Formunda Gösterimi

Yukarıdaki sistemin cebirsel matris formülasyonu $Y = X\hat{\beta} + \hat{\varepsilon}$ şeklindedir:

$$\begin{bmatrix} 6 \ 5 \ 4 \ 5 \ 8 \end{bmatrix} = \begin{bmatrix} 1 & 4 \ 1 & 3 \ 1 & 2 \ 1 & 4 \ 1 & 5 \end{bmatrix} \begin{bmatrix} \hat{\beta}_0 \ \hat{\beta}_1 \end{bmatrix} + \begin{bmatrix} \hat{\varepsilon}_1 \ \hat{\varepsilon}_2 \ \hat{\varepsilon}_3 \ \hat{\varepsilon}_4 \ \hat{\varepsilon}_5 \end{bmatrix}$$

Matris çözümüyle katsayılar vektörü şu şekilde elde edilir:

$$\hat{\beta} = (X'X)^{-1} X'Y$$

3.4 Katsayı Standart Hataları ve İstatistiksel Çıkarım

Sabit Terim Varyansı:

$$Var(\hat{\beta}0) = \left[ \frac{\sum X_i^2}{n \sum x_i^2} \right] \times S{\hat{\varepsilon}}^2$$

Eğim Varyansı:

$$Var(\hat{\beta}1) = \left[ \frac{1}{\sum x_i^2} \right] \times S{\hat{\varepsilon}}^2$$

Hata Terimi Varyansı (MSE):

$$S_{\hat{\varepsilon}}^2 = \frac{\sum \hat{\varepsilon}_i^2}{n-k} \quad (k=2)$$

3.5 Regresyon Analizinin Görsel Analizi

Regreyson analizinde eğim katsayısı, sabit terim gibi kavramlar Şekil 2 üzerinden daha kolay anlaşılabilir.

Şekil 2: Regresyon Analizi Görsel Açıklama

3.6 Genişletilmiş EKK Tahmini (Sıcaklık ve Dondurma Firması Kar Örneği)

Önceki yazılarımızda konseptini verdiğimiz dondurma satışı örneğini 15 gözlemli geniş bir veri setiyle, ortalamadan sapmalar yöntemi kullanarak yeniden modelleyelim.

Gözlem (i)	Sıcaklık (X)	Kar (Y)	x=X−Xˉ	y=Y−Yˉ	x⋅y	x2
1	20	210	-7.33	-78.67	576.65	53.729
2	22	230	-5.33	-58.67	312.71	28.409
3	23	235	-4.33	-53.67	232.39	18.749
4	24	250	-3.33	-38.67	128.77	11.089
5	25	260	-2.33	-28.67	66.801	5.4289
6	25	255	-2.33	-33.67	78.451	5.4289
7	26	275	-1.33	-13.67	18.181	1.7689
8	27	280	-0.33	-8.67	2.8611	0.1089
9	28	295	0.67	6.33	4.2411	0.4489
10	29	310	1.67	21.33	35.621	2.7889
11	30	320	2.67	31.33	83.651	7.1289
12	31	325	3.67	36.33	133.33	13.469
13	32	345	4.67	56.33	263.06	21.809
14	33	360	5.67	71.33	404.44	32.149
15	35	380	7.67	91.33	700.50	58.829
TOPLAM	410	4330	0.05*	-0.05*	3041.7	261.33
Ortalama	27.33	288.67

*Yuvarlama farkından ötürü sıfıra yakındır.

Eğim Katsayısı:

$$\hat{\beta}_1 = \frac{3041.7}{261.33} = \mathbf{11.64}$$

Sabit Terim:

$$\hat{\beta}_0 = 288.67 - (11.64 \times 27.33) = \mathbf{-29.45}$$

Kar Tahmin Denklemi:

$$\hat{Y}_i = -29.45 + 11.64 X_i$$

Yorum: Hava sıcaklığındaki her 1 derecelik artış, işletmenin karını ortalama 11.64 birim artırmaktadır. İlk gözlem ($X=20$) için modelin ürettiği kar tahmini: $-29.45 + (11.64 \times 20) = 203.35$ birimdir. Gerçekte 210 birim kar elde edildiği için modelin bu gözlemdeki ıskalama payı (hata terimi) yaklaşık $+6.65$ birimdir.

3.7 Çoklu Doğrusal Regresyon Modeli: Matris Çözümlemesi

Gerçek hayattaki ekonomik ilişkiler nadiren sadece iki değişken (bir bağımlı, bir bağımsız) ile açıklanabilir. Satışları sadece hava sıcaklığı değil; fiyat, reklam harcamaları, rakip sayısı gibi $k$ adet farklı bağımsız değişken aynı anda etkiler. Bu durumda matris cebiri devreye girer.

Genel Model:

$$Y = X\hat{\beta} + \hat{\varepsilon}$$

$$\mathbf{Y}{(n \times 1)} = \begin{bmatrix} Y_1 \ Y_2 \ \vdots \ Y_n \end{bmatrix}, \quad \mathbf{\hat{\beta}}{(k \times 1)} = \begin{bmatrix} \hat{\beta}_0 \ \hat{\beta}_1 \ \vdots \ \hat{\beta}k \end{bmatrix}, \quad \mathbf{\hat{\varepsilon}}{(n \times 1)} = \begin{bmatrix} \hat{\varepsilon}_1 \ \hat{\varepsilon}_2 \ \vdots \ \hat{\varepsilon}_n \end{bmatrix}$$

$$\mathbf{X}{(n \times k)} = \begin{bmatrix} 1 & X{1,1} & X_{2,1} & \cdots & X_{k,1} \ 1 & X_{1,2} & X_{2,2} & \cdots & X_{k,2} \ \vdots & \vdots & \vdots & \ddots & \vdots \ 1 & X_{1,n} & X_{2,n} & \cdots & X_{k,n} \end{bmatrix}$$

EKK Katsayı Tahmin Edicisi:

$$\hat{\beta} = (X'X)^{-1} X'Y$$

3.8 Varyans-Kovaryans Matrisi ve Anlamlılık Testleri

Katsayıların standart hataları, Varyans-Kovaryans matrisinin ana köşegenindeki ($diagonal$) elemanların karekökünün alınmasıyla elde edilir.

$$Var\text{-}Cov(\hat{\beta}) = S_{\hat{\varepsilon}}^2 (X'X)^{-1}$$

Hata Terimleri Varyansı (MSE):

$$S_{\hat{\varepsilon}}^2 = \frac{\hat{\varepsilon}'\hat{\varepsilon}}{n-k}$$

t-istatistiği (Bireysel Anlamlılık):

$$t = \frac{\hat{\beta}_i - \beta^*}{\sqrt{Var(\hat{\beta}_i)}}$$

R-Kare (Belirtme Katsayısı):

$$R^2 = 1 - \frac{\hat{\varepsilon}'\hat{\varepsilon}}{y'y}$$

F-İstatistiği (Modelin Genel Anlamlılığı):

$$F = \frac{(\hat{y}'\hat{y}) / (k-1)}{(\hat{\varepsilon}'\hat{\varepsilon}) / (n-k)}$$

3.9 Stata ile Basit Doğrusal Regresyon Tahmin Uygulamaları

Uygulamalı ekonometride saatlerce süren matris işlemlerini Stata yazılımı saniyeler içinde gerçekleştirir. Aşağıda en sık kullanılan regresyon ve teşhis komutları listelenmiştir.

Stata Komutu	İşlev ve Açıklama
`regress Y X` \ (veya kısaca: `reg Y X`)	Temel Regresyon: $Y$ bağımlı değişkenini, $X$ bağımsız değişkeni üzerine regrese eder. EKK katsayılarını, standart hataları, $R^2$ ve $F$ istatistiklerini tablo halinde sunar.
`predict Y_tahmin`	Otomatik Tahmin Değerleri: Regresyon analizi çalıştırıldıktan hemen sonra kullanıldığında, yazılan isimde (`Y_tahmin`) yeni bir değişken yaratır ve modelin öngördüğü $\hat{Y}$ değerlerini bu değişkene atar.
`gen Y_manuel = _b[_cons] + _b[X]*X`	Manuel Tahmin: `reg` tablosundaki sabit ve eğim katsayılarını kullanarak $\hat{Y}$ değerlerini oluşturur. (örneğin `corr Y_tahmin Y_manuel` komutu sonucu tam 1.000 vermelidir).
`predict hatalar, residual`	Artıkları (Hataları) Kaydetme: Son koşulan regresyon modelindeki hata terimlerini ($\hat{\varepsilon} = Y - \hat{Y}$) hesaplar ve "hatalar" adıyla veri setine yeni bir sütun olarak ekler.
`sum hatalar` \ `sktest hatalar`	Hata Teşhisi: `sum` komutu ile hataların ortalamasının istatistiksel olarak sıfıra çok yakın olup olmadığı kontrol edilir. `sktest` (Skewness/Kurtosis) ile hataların normal dağılıp dağılmadığı sınanır.
`twoway (scatter Y X) (lfit Y X)`	Görselleştirme: Veri noktalarını saçılım grafiği ($scatter$) olarak çizer ve tam ortalarından geçen EKK regresyon uyum doğrusunu ($linear\ fit$) yerleştirir.