ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 17.03.2024
Просмотров: 14
Скачиваний: 0
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
1. Оценка уравнения регрессии.
Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор s получается из выражения: s = (XTX)-1XTY
К матрице с переменными Xj добавляем единичный столбец:
| 1 | 35 | 61 |
| 1 | 38 | 60 |
| 1 | 40 | 63 |
| 1 | 42 | 40 |
| 1 | 45 | 71 |
| 1 | 51 | 75 |
| 1 | 55 | 93 |
| 1 | 75 | 50 |
| 1 | 82 | 63 |
| 1 | 87 | 94 |
Матрица Y
| 35 |
| 36 |
| 40 |
| 40 |
| 42 |
| 45 |
| 46 |
| 50 |
| 55 |
| 70 |
Матрица XT
| 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 35 | 38 | 40 | 42 | 45 | 51 | 55 | 75 | 82 | 87 |
| 61 | 60 | 63 | 40 | 71 | 75 | 93 | 50 | 63 | 94 |
Умножаем матрицы, (XTX)
В матрице, (XTX) число 10, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы XT и 1-го столбца матрицы X
Умножаем матрицы, (XTY)
Находим обратную матрицу (X
TX)-1
=
Вектор оценок коэффициентов регрессии равен
= =
Уравнение регрессии (оценка уравнения регрессии)
Y = 10.7099 + 0.4617X1 + 0.1462X2
Интерпретация коэффициентов регрессии. Константа оценивает агрегированное влияние прочих (кроме учтенных в модели хi) факторов на результат Y и означает, что Y при отсутствии xi составила бы 10.7099. Коэффициент b1 указывает, что с увеличением x1 на 1, Y увеличивается на 0.4617. Коэффициент b2 указывает, что с увеличением x2 на 1, Y увеличивается на 0.1462.
2. Матрица парных коэффициентов корреляции R.
Число наблюдений n = 10. Число независимых переменных в модели равно 2, а число регрессоров с учетом единичного вектора равно числу неизвестных коэффициентов. С учетом признака Y, размерность матрицы становится равным 4. Матрица, независимых переменных Х имеет размерность (10 х 4).
Матрица A, составленная из Y и X
| 1 | 35 | 35 | 61 |
| 1 | 36 | 38 | 60 |
| 1 | 40 | 40 | 63 |
| 1 | 40 | 42 | 40 |
| 1 | 42 | 45 | 71 |
| 1 | 45 | 51 | 75 |
| 1 | 46 | 55 | 93 |
| 1 | 50 | 75 | 50 |
| 1 | 55 | 82 | 63 |
| 1 | 70 | 87 | 94 |
Транспонированная матрица.
| 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 35 | 36 | 40 | 40 | 42 | 45 | 46 | 50 | 55 | 70 |
| 35 | 38 | 40 | 42 | 45 | 51 | 55 | 75 | 82 | 87 |
| 61 | 60 | 63 | 40 | 71 | 75 | 93 | 50 | 63 | 94 |
Матрица XTX.
| 10 | 459 | 550 | 670 |
| 459 | 22051 | 26938 | 31595 |
| 550 | 26938 | 33602 | 37844 |
| 670 | 31595 | 37844 | 47510 |
Полученная матрица имеет следующее соответствие:
| ∑n | ∑y | ∑x1 | ∑x2 |
| ∑y | ∑y2 | ∑x1 y | ∑x2 y |
| ∑x1 | ∑yx1 | ∑x1 2 | ∑x2 x1 |
| ∑x2 | ∑yx2 | ∑x1 x2 | ∑x2 2 |
Найдем парные коэффициенты корреляции.
Значения парного коэффициента корреляции свидетельствует о весьма сильной линейной связи между x1 и y.
Значения парного коэффициента корреляции свидетельствует о умеренной линейной связи между x2 и y.
Значения парного коэффициента корреляции свидетельствует о не сильной линейной связи между x2 и x1.
| Признаки x и y | ∑xi | | ∑yi | | ∑xi*yi | |
| Для y и x1 | 550 | 55 | 459 | 45.9 | 26938 | 2693.8 |
| Для y и x2 | 670 | 67 | 459 | 45.9 | 31595 | 3159.5 |
| Для x1 и x2 | 670 | 67 | 550 | 55 | 37844 | 3784.4 |
Дисперсии и среднеквадратические отклонения.
| Признаки x и y | | | | |
| Для y и x1 | 335.2 | 98.29 | 18.308 | 9.914 |
| Для y и x2 | 262 | 98.29 | 16.186 | 9.914 |
| Для x1 и x2 | 262 | 335.2 | 16.186 | 18.308 |
Матрица парных коэффициентов корреляции R:
| - | y | x1 | x2 |
| y | 1 | 0.9327 | 0.5247 |
| x1 | 0.9327 | 1 | 0.3354 |
| x2 | 0.5247 | 0.3354 | 1 |
Частные коэффициенты корреляции.
Коэффициент частной корреляции отличается от простого коэффициента линейной парной корреляции тем, что он измеряет парную корреляцию соответствующих признаков (y и xi) при условии, что влияние на них остальных факторов (xj) устранено.
На основании частных коэффициентов можно сделать вывод об обоснованности включения переменных в регрессионную модель. Если значение коэффициента мало или он незначим, то это означает, что связь между данным фактором и результативной переменной либо очень слаба, либо вовсе отсутствует, поэтому фактор можно исключить из модели.
Частные коэффициенты корреляции вычисляются по формуле:
где Rij - алгебраическое дополнение элемента rij матрицы R.
=
Теснота связи весьма сильная.
=
Теснота связи умеренная.
=
Теснота связи умеренная.
При сравнении коэффициентов парной и частной корреляции видно, что из-за влияния межфакторной зависимости между xi происходит завышение оценки тесноты связи между переменными.
Анализ мультиколлинеарности.
1. Анализ мультиколлинеарности на основе матрицы коэффициентов корреляции.
Если в матрице есть межфакторный коэффициент корреляции rxjxi>0.7, то в данной модели множественной регрессии существует мультиколлинеарность.
В нашем случае все парные коэффициенты корреляции |r|<0.7, что говорит об отсутствии мультиколлинеарности факторов.
2. Ридж-регрессия.
Наиболее детальным показателем наличия проблем, связанных с мультиколлинеарностью, является коэффициент увеличения дисперсии
, определяемый для каждой переменной как:
где Rj2 коэффициент множественной детерминации в регрессии Xj на прочие X.
О мультиколлинеарности будет свидетельствовать VIF от 4 и выше хотя бы для одного j.
По данному критерию мультиколлинеарность отсутствует.
3. Критерием плохой обсуловленности является высокая величина отношения λmax/λmin максимального и минимального собственных чисел матрицы XTX — называемого показателем обусловленности. Это соотношение также позволяет судить о степени серьезности проблем мультиколлинеарности: показатель обусловленности в пределах от 10 до 100 свидетельствует об умеренной коллинеарности, свыше 1000 — об очень серьезной коллинеарности.
Модель регрессии в стандартном масштабе.
Модель регрессии в стандартном масштабе предполагает, что все значения исследуемых признаков переводятся в стандарты (стандартизованные значения) по формулам:
где хji - значение переменной хji в i-ом наблюдении.
Таким образом, начало отсчета каждой стандартизованной переменной совмещается с ее средним значением, а в качестве единицы изменения принимается ее среднее квадратическое отклонение S.
Если связь между переменными в естественном масштабе линейная, то изменение начала отсчета и единицы измерения этого свойства не нарушат, так что и стандартизованные переменные будут связаны линейным соотношением:
ty = ∑βjtxj
Для оценки β-коэффициентов применим МНК. При этом система нормальных уравнений будет иметь вид:
rx1y=β1+rx1x2•β2 + ... + rx1xm•βm
rx2y=rx2x1•β1 + β2 + ... + rx2xm•βm
...
rxmy=rxmx1•β1 + rxmx2•β2 + ... + βm
Для наших данных (берем из матрицы парных коэффициентов корреляции):
0.933 = β1 + 0.335β2
0.525 = 0.335β1 + β2
Данную систему линейных уравнений решаем методом Гаусса: β1 = 0.853; β2 = 0.239;
Искомое уравнение в стандартизованном масштабе: ty=β1tx1+β2tx2
Расчет β-коэффициентов можно выполнить и по формулам:
=
=
Стандартизированная форма уравнения регрессии имеет вид:
ty = 0.853x1 + 0.239x2
Найденные из данной системы β–коэффициенты позволяют определить значения коэффициентов в регрессии в естественном масштабе по формулам:
3. Анализ параметров уравнения регрессии
