Regresyon Analizi: Model, OLS ve Sonuçların Yorumlanması

Doğrusal regresyon modelinin temel bileşenleri

Doğrusal regresyon modelinde bağımlı değişken Y, açıklanmak veya tahmin edilmek istenen sonuçtur. Bağımsız değişkenler X, Y ile ilişkili olduğu düşünülen açıklayıcı değişkenlerdir. En basit modelde bir bağımsız değişken bulunur: Y = β0 + β1X + ε. Burada β0 sabit terimi, β1 X’in eğimini ve ε hata terimini gösterir. Sabit terim, X’in sıfır olduğu durumda modelin beklediği Y düzeyidir; eğim ise X bir birim değiştiğinde Y’nin modelde beklenen ortalama değişimini ifade eder. Gerçek verilerde noktaların aynı doğru üzerinde bulunmamasının nedeni hata terimidir. Hata, ölçüm hatalarını ve modele alınmamış fakat Y’yi etkileyebilecek faktörleri temsil eder; bir hesaplama yanlışı anlamına gelmez.

Örnek olarak Y’nin sınav puanı, X’in çalışma saati olduğunu düşünelim. Tahmin edilen doğru Ŷ = 50 + 4X ise model, çalışma saati sıfır olan bir öğrenci için 50 puanlık bir başlangıç düzeyi ve her ek çalışma saati için ortalama 4 puanlık artış öngörür. Bir öğrencinin gerçek puanı 66, modelin tahmini 62 ise artık değer e = Y - Ŷ = 4 olur; gözlem doğrunun üzerinde olduğu için model bu öğrencinin puanını düşük tahmin etmiştir. Gerçek puan tahminden düşükse artık değer negatiftir. Her gözlem için bu dikey fark hesaplanır ve doğru, veri noktalarının genel düzenini mümkün olduğunca iyi temsil edecek şekilde belirlenir.

Modelin doğrusal olması, ilişkinin her X düzeyinde aynı eğimle temsil edildiği anlamına gelir. Bu, gerçek ilişkinin mutlaka kusursuz bir doğru olduğu iddiası değildir; doğru modelin verideki sistematik ilişkiyi yeterince yakalayan bir yaklaşım olması beklenir. Doğrusal olmayan ve genelleştirilmiş modeller ayrı bir konu olarak ele alınır.

OLS yöntemi ve regresyon katsayılarının yorumlanması

OLS, yani sıradan en küçük kareler yöntemi, regresyon doğrusunu gözlenen Y değerleri ile tahmin edilen Ŷ değerleri arasındaki artıkların kareleri toplamını en aza indirerek seçer. Her gözlem için artık e_i = y_i - ŷ_i olarak yazılır. Kare alma, pozitif ve negatif artıkların birbirini yok etmesini önler ve büyük hatalara daha fazla ağırlık verir. Böylece OLS, veri noktalarına olan dikey uzaklıkların kareli toplamını en küçük yapan sabit terim ve eğim katsayılarını bulur. Elde edilen doğru, örneklem için en iyi uyum doğrusu olarak adlandırılır.

Basit regresyonda eğim katsayısı b1, X’teki bir birimlik artışla Y’nin tahmin edilen ortalamasında beklenen değişimi gösterir. Örneğin tahmin edilen model Ŷ = 40 + 3,5X ise X bir birim arttığında Y’nin model tahmini ortalama 3,5 birim artar. Katsayı negatif olsaydı ilişki ters yönde yorumlanırdı. Sabit terim 40, X’in sıfır olduğu noktadaki tahmini Y değeridir; ancak X = 0 veride anlamlı veya gözlenen bir durum değilse sabit terimi gerçek hayata doğrudan taşımak doğru olmayabilir. Çoklu regresyonda bir katsayı, diğer modeldeki bağımsız değişkenler sabit tutulduğunda ilgili X’teki bir birimlik değişimin Y tahminine katkısını ifade eder.

OLS doğrusu örneklem ortalamalarının temsil ettiği noktadan geçer. Katsayıların tahmini, yalnızca ilişkinin yönünü değil, ölçü birimleriyle ifade edilen değişim miktarını da verir. Tahmin edilen bir Y değeri kesin sonuç değildir; gözlemden gözleme değişen hata payı ve katsayı tahminindeki belirsizlik nedeniyle bir tahmin aralığı söz konusu olabilir. Ayrıca ortalama Y düzeyini tahmin etmek için kullanılan güven aralığı, tek bir yeni gözlemi tahmin eden aralıktan genellikle daha dardır.

Basit ve çoklu doğrusal regresyon arasındaki fark

Basit doğrusal regresyon, yalnızca bir bağımsız değişken kullanır ve Y = β0 + β1X + ε biçimindedir. Çoklu doğrusal regresyonda ise birden fazla bağımsız değişken bulunur: Y = β0 + β1X1 + β2X2 + ... + βkXk + ε. Böylece sonuç değişkeni tek bir açıklayıcı yerine birden fazla faktörle birlikte modellenir. Örneğin otomobil yakıt verimliliğini yalnızca ağırlıkla açıklayan model basit regresyondur; ağırlığa ek olarak motor özellikleri gibi değişkenleri de kullanan model çoklu regresyondur. Çoklu modelde her katsayı, diğer bağımsız değişkenlerin modeldeki değerleri sabitken ilgili değişkenin katkısını anlatır. Bu yaklaşım daha fazla bilgiyi hesaba katabilir; ancak bağımsız değişkenlerin birbiriyle yüksek ilişkili olması katsayıların yorumunu ve tahmin kesinliğini zorlaştırabilir.

Model uyumunun ve tahmin başarısının değerlendirilmesi

Model uyumu, regresyon doğrusunun gözlenen verilerdeki değişimi ne ölçüde açıkladığını gösterir. R-kare, Y’deki toplam değişkenliğin modeldeki bağımsız değişkenlerle açıklanan bölümünü özetler. R-kare yükseldikçe modelin örneklem içindeki açıklama gücü artabilir; ancak yüksek R-kare tek başına modelin doğru kurulduğunu veya gelecekte iyi tahmin yapacağını kanıtlamaz. Özellikle modele gereksiz değişkenler eklemek uyumu artırabilirken yorum değerini artırmayabilir.

Tahmin başarısı artıkların büyüklüğüyle de değerlendirilir. Artıkların kareleri toplamı ve hataların tahmini varyansı, gözlenen değerlerin doğru çevresinde ne kadar dağıldığını gösterir. Hata dağılımı daraldıkça tahminler daha kesin olma eğilimindedir; geniş dağılım ise aynı X değeri için Y’nin daha fazla değiştiğini ve tek bir tahminin daha belirsiz olduğunu gösterir. Bir modelin veriye uyumu değerlendirilirken artıkların sistematik bir örüntü gösterip göstermediği, hata ölçüleri ve tahmin yapılacak X değerinin eldeki verilerin aralığında bulunup bulunmadığı birlikte düşünülmelidir. Verinin merkezinden veya gözlenen aralığından uzak tahminlerde aralıklar genişler ve güven azalır.

Katsayıların istatistiksel anlamlılığının değerlendirilmesi

Bir katsayının istatistiksel anlamlılığı, gözlenen ilişkinin örnekleme belirsizliği ve hata büyüklüğü dikkate alındığında sıfırdan ayırt edilip edilemediğini sınar. Genellikle sıfır hipotezi ilgili katsayının βj = 0 olmasıdır. Katsayının standart hatası, tahminin örneklemden örnekleme ne kadar değişebileceğini ölçer. Katsayı, standart hatasına göre büyükse test istatistiği büyür; hata varyansı yüksek olduğunda ise aynı katsayı daha az kesin hale gelir.

Basit biçimde test istatistiği t = bj / SE(bj) olarak ifade edilir. p-değeri, sıfır hipotezi doğru kabul edildiğinde gözlenen kadar veya daha uç bir test sonucunun elde edilme olasılığını özetler. Önceden seçilen anlamlılık düzeyine göre küçük bir p-değeri, katsayının sıfır olduğu varsayımıyla verinin daha az uyumlu olduğunu gösterir. Güven aralığı da aynı belirsizliği aralık biçiminde sunar: aralık sıfırı içermiyorsa katsayı ilgili güven düzeyinde sıfırdan ayrışıyor olabilir. Bununla birlikte istatistiksel anlamlılık, etkinin pratik olarak büyük veya önemli olduğu anlamına gelmez; katsayının büyüklüğü, birimi ve güven aralığının genişliği ayrıca incelenmelidir.

Temel regresyon varsayımları ve ihlal sonuçları

Doğrusal regresyonda yorumların güvenilirliği bazı varsayımlara bağlıdır. İlişkinin uygun biçimde doğrusal olması, bağımsız değişkenlerin ölçüm hatası taşımaması ve hata teriminin ortalamasının sıfır olması temel koşullardandır. Hataların sabit varyansa sahip olması homoskedastisite olarak adlandırılır. Örneğin gelir yükseldikçe satın alma miktarlarının regresyon doğrusu çevresindeki saçılımı da büyüyorsa hata varyansı sabit değildir; bu durum heteroskedastisite olarak adlandırılır. Böyle bir yapı, özellikle standart hataların ve dolayısıyla anlamlılık değerlendirmelerinin güvenilirliğini bozabilir.

Hata terimlerinin birbirinden bağımsız olması da önemlidir. Farklı gözlemlere ait hata terimleri birbiriyle ilişkiliyse otokorelasyon ortaya çıkar; bu durum özellikle zaman içinde sıralanmış gözlemlerde görülebilir ve standart hata hesaplarını yanıltabilir. Hataların normal dağılması, küçük örneklemlerde test ve güven aralığı sonuçlarının dayandığı önemli bir varsayımdır. Ayrıca bağımsız değişkenlerin birbirleriyle aşırı ilişkili olmaması beklenir; aksi durumda çoklu bağlantı, tek tek katsayıların belirsizliğini artırabilir. Varsayımlar ihlal edildiğinde tahminler daha az kaliteli olabilir, standart hatalar hatalı hesaplanabilir veya katsayılar yanlı hale gelebilir; bu nedenle yalnızca katsayı ve R-kareye bakmak yeterli değildir. İleri tanı ve düzeltme yöntemleri, regresyon varsayımı ihlallerinin ayrı bir inceleme alanıdır. Zaman sıralı verilerdeki regresyon ve otokorelasyon konusu için zaman serileri açıklamasına bakılabilir.

Regresyon sonucu ile nedensellik arasındaki fark

Regresyonda anlamlı bir katsayı, iki değişken arasında model tarafından yakalanan istatistiksel bir ilişki olduğunu gösterir; tek başına bir değişkenin diğerine neden olduğunu kanıtlamaz. Eksik değişkenler, ters yönlü ilişki veya ölçüm sorunları gözlenen bağlantının başka bir açıklaması olabilir. Nedensel etki tahmini ve ekonometrik nedensellik yöntemleri bu soruyu yanıtlamak için ayrı tasarım ve yöntemler gerektirir.