Analisis Regresi Linear Ganda

• Analisis regresi linear ganda bertujuan mencari hubungan antara satu variable terikat Y dengan k variable bebas X₁, X₂, …, dan X_k, dengan variable Y dan X_j berskala interval.

• Hubungan yang terjadi (dalam bentuk model) selanjutnya digunakan untuk memprediksi nilai variable terikat Y berdasarkan nilai-nilai variable bebas X.

1. Model Regresi Linear Ganda

• Hubungan antara variabel Y dan k buah variabel X pada populasi

Y_i = β₀ + β₁X_i1 + β₂X_i2 + ... + β_kX_ik + ε_i 

untuk setiap pasangan (X_i, Y_i) dengan:

Y_i = nilai ke-i variabel terikat Y

β₀ = suku tetap/konstanta;

β_j = koefisien regresi X_j 

j = 1, 2, 3, ..., k dengan k ≥ 2;

ε_i = galat random pada model regresi untuk populasi.

• Parameter regresi sebanyak 𝑘 + 1 yang selanjutnya akan diduga menggunakan data sampel.

• Misal estimator untuk suku tetap β₀ adalah b₀, estimator koefisien regresi β_j adalah b_j, estiamtor ε_i adalah ε_i, maka model regresi linear ganda untuk sampel:

Y_i = b₀ + b₁X_i1 + b₂X_i2 + ... + b_kX_ik + e_i  untuk k ≥ 2

• Selanjutnya, persamaan garis regresi yang digunakan untuk memprediksi nilai variabel Y jika nilai-nilai variabel X (X₁, X₂, ..., X_k) diketahui menjadi Persamaan Regresi Linear Ganda penduga yaitu sebagai berikut:

Ŷ = b₀ + b₁X₁ + b₂X₂ + ... + b_kX_k untuk k ≥ 2

dengan Ŷ adalah nilai prediktif untuk Y.

2. Syarat-Syarat Regresi Linear Ganda

➢ Hubungan variable X_j dan Y linear dan berarti

➢ Varibel-variable bebas saling independen

➢ Tidak ada variable bebas yang relevan yang dikeluarkan dan tidak ada variable bebas yang irelevan yang dimasukan

➢ Tidak ada korelasi antara residu-residu

➢ Tidak ada korelasi variable bebas dan residu

➢ Residu berdistribusi normal dengan rerata 0 dan variansi 𝜎²

3. Persamaan Regresi Linear Ganda

Persamaannya adalah Ŷ = b₀ + b₁X₁ + b₂X₂ + ... + b_kX_k 

untuk menentukan koefisiennya, minimumkan jumlah kuadrat residu

untuk meminimumkannya, diperlukan sistem persamaan linear untuk menentukan koefisiennya.

selesaikan SPL ini dan diperoleh koefisiennya.
contoh:

Diberikan data penjualan eskrim pada 10 kali observasi dengan data suhu udara dan kelembapannya.

dengan X₁ adalah kelebihan suhu udara dari 25°C, X₂ adalah kelebihan kelembapan udara dari 50%, dan Y adalah penjualan eskrim dalam kilogram.

Buat tabel bantu

X1	X2	Y	X1X2	X1Y	X2Y	X12	X22	Y2
4	9	6	36	24	54	16	81	36
7	9	10	63	70	90	49	81	100
5	5	8	25	40	40	25	25	64
3	10	4	30	12	40	9	100	16
8	6	12	48	96	72	64	36	144
4	8	5	32	20	40	16	64	25
7	7	11	49	77	77	49	49	121
10	9	15	90	150	135	100	81	225
5	10	7	50	35	70	25	100	49
4	4	6	16	24	24	16	16	36
57	77	84	439	548	642	369	633	816

terbentuk SPL

10b₀ + 57b₁ + 77b₂ = 84 (i)

57b₀ + 369b₁ + 439b₂ = 548 (ii)

77b₀ + 439b₁ + 633b₂ = 642 (iii)

selesaikan SPL dan diperoleh:

b₀ = 0,406017; b₁ = 1,569441; b₂ = −0,12361

jadi, persamaan regresinya adalah

Ŷ = 0,4 + 1,57X₁ − 0,12X₂

Persamaan regresi di atas menunjukkan bahwa nilai variabel terikat Y (penjualan eskrim dalam kilogram) diharapkan akan berubah 1,569441 bila X₁ (kelebihan suhu udara dari 25°C) berubah (searah) 1 unit jika X₂ (kelebihan kelembapan udara dari 50%) tetap, dan nilai variabel terikat 𝑌 diharapkan akan berubah (berlawanan) 0,12361 bila X₂ berubah 1 unit jika X₁ tetap.

4. Pendekatan Matriks

Bentuk matriks

Y = Xβ + ε

dengan

keterangan

Y: vektor berukuran n × 1, variabel terikat

X: matriks berukuran n × (k + 1), variabel bebas

β: vektor berukuran (k + 1) × 1, koefisien regresi

ε: vektor berukuran n × 1, galat random

untuk menentukan koefisiennya, minimumkan jumlah kuadrat residu

= (Yᵀ − βᵀXᵀ)(Y − Xβ)

= YᵀY − YᵀXβ − βᵀXᵀY + βᵀXᵀXβ

= YᵀY − 2YᵀXβ + βᵀXᵀXβ

agar D minimum, 𝜕𝐷/𝜕𝛽 = 0

−2XᵀY + 2XᵀXβ = 0

2XᵀXβ = 2XᵀY

sehingga estimator untuk β adalah

b = (XᵀX)⁻¹XᵀY

sehingga estimator untuk Y adalah

Ŷ = Xb = X(XᵀX)⁻¹XᵀY

dalam bentuk sistem persamaan linear XᵀXb = XᵀY

SPL pada contoh diatas dapat dituliskan dalam matriks:

5. Jumlah Kuadrat

A. Jumlah Kuadrat Total

dalam bentuk matriks

JKT = yᵀy − (∑Y)²/n

B. Jumlah Kuadrat Regresi

dalam bentuk matriks

JKR = bᵀXᵀY − (∑Y)²/n

C. Jumlah Kuadrat Galat
JKG = JKT − JKR

dalam bentuk matriks

JKG = yᵀy − bᵀXᵀY

6. Kesalahan Baku Taksiran

Kesalahan baku taksiran adalah besarnya penyimpangan nilai 𝑌 sebenarnya dengan nilai 𝑌 prediktif. Kesalahan baku taksiran regresi linear ganda dinyatakan dengan s_y.12…k yang dirumuskan dengan

dengan

𝑛: banyak pasangan data

𝑘: banyak variabel bebas

7. Uji Keberartian Regresi Linear Ganda

➢ Uji keberartian regresi linear ganda merupakan perluasan dari uji keberartian regresi linear sederhana.

1. Variabel-variable bebas yang ada dalam model secara serempak berarti terhadap variable terikat atau tidak

2. Penambahan satu (sekelompok) variable bebas dalam model setelah variable bebas lainnya yang ada dalam model berarti atau tidak terhadap variable terikat

➢ Statistik Uji

RKR = JKR/k

RKG = JKG/(n − k − 1)

F = RKR/RKG

➢ Daerah Kritis

DK = {F | F > F_{α; k; n – k – 1}}

dengan F_{α; k; n – k – 1} adalah nilai dari tabel F untuk taraf signifikansi 𝛼 dan derajat kebebasan k dan n − k − 1.

Contoh:

Diberikan data penjualan eskrim pada 10 kali observasi dengan data suhu udara dan kelembapannya.

dengan X₁ adalah kelebihan suhu udara dari 25°C, X₂ adalah kelebihan kelembapan udara dari 50%, dan Y adalah penjualan eskrim dalam kilogram.

Ingat kembali bahwa b₀ = 0,406017; b₁ = 1,569441; b₂ = −0,12361. Dengan taraf signifikansi 5%, ujilah apakah hubungan X₁ dan X₂ dengan Y berarti.

1. Hipotesis Statistik

H₀: Hubungan X₁ dan X₂ dengan Y tidak berarti

H₁: Hubungan X₁ dan X₂ dengan Y berarti

2. Taraf Signifikansi

α = 5% = 0,05

3. Statistik Uji

➢ Jumlah kuadrat total

dengan derajat kebebasan n − 1 = 10 − 1 = 9
➢ Jumlah kuadrat regresi

dengan derajat kebebasan k = 2

➢ Jumlah kuadrat galat

JKG = JKT − JKR = 110,4 − 109,1987 = 1,201312

dengan derajat kebebasan n − k − 1 = 10 − 2 − 1 = 7

➢ Rerata kuadrat regresi

RKR = JKR/dbR = (109,1987)/2 = 54,59934

➢ Rerata kuadrat galat

RKG = JKG/dbG = (1,201312)/7 = 0,171616

➢ F hitung

F = RKR/RKG = (54,59934)/(0,171616) = 318,1484

berikut tabel rangkuman

SV	JK	db	RK	F
Regresi	109,1987	2	54,59934	318,1484
Galat	1,201312	7	0,171616
Total	110,4	9

4. Daerah Kritis dan Keputusan Uji

DK = DK = {F | F > F_{α; k; n – k – 1}} = {F | F > F_{0,05; 2; 7}} = 4,73741

F = 318,1484 > 4,73741 sehingga F ∈ DK, akibatnya H₀ ditolak dan H₁ diterima.

5. Kesimpulan

Hubungan X₁ dan X₂ dengan Y berarti.