Вернемся теперь к определению выборочной ковариации и отметим некоторые ее свойства.
Пусть
— некоторая постоянная, а
— переменные, принимающие в
— м наблюдении значения
,
(n — количество наблюдений). Тогда
можно рассматривать как переменную, значения которой в
— м наблюдении
равно
, и
так что
Далее, очевидно, что
и что
так что
Наконец,
так что
На основе этих свойств, в частности, находим, что
(постоянная не обладает изменчивостью),
(при изменений единицы измерения переменной в
раз, во столько же раз изменяется и величина стандартного отклонения этой переменной),
(сдвиг начала отсчета не влияет на изменчивость переменной).
Наконец,
т. е.
(дисперсия суммы двух переменных отличается от суммы дисперсий этих переменных на величину, равную удвоенному значению ковариации между этими переменными).
Что касается выборочного коэффициента корреляции
,то если изменяются начало отсчета и единица измерения, скажем, переменной
, так что вместо значений
мы получаем значения
переменной
, то тогда
Иными словами, выборочный коэффициент корреляции
, инвариантен относительно выбора единиц измерения и начала отсчета переменных
и
.
В то же время, этого нельзя сказать об оценке
коэффициента
в модели наблюдений
. Действительно, если, скажем, мы переходим к новой единице измерения переменной
, так что вместо значений
наблюдаются значения переменной
, то тогда оценка
коэффициента
в модели наблюдений
равна
Таким образом, изменяя единицу измерения переменной
(или переменной
), мы можем получать существенно различные значения
, от сколь угодно малых до сколь угодно больших. (Желательно выбирать единицы измерения таким образом, чтобы сравниваемые переменные имели одинаковый порядок.) Близость значений
к нулю всегда должна интерпретироваться с оглядкой на используемые единицы измерения переменных
и
.
Отметим, в этой связи, полезное представление
в виде
Действительно,
откуда и вытекает указанное представление. Из этого представления получаем, в частности, что при Var (x) = Var (y) имеет место равенство
,и тогда выраженность линейной связи между
и
непосредственно отражается в близости значения
к
или
.
Рассмотрим теперь коэффициент корреляции
между переменными
и
, где
, а
и
— оценки наименьших квадратов параметров
и
гипотетической линейной связи между переменными
и
. Замечая, что
(т.к.
по определению), находим:
Но ранее мы уже получили (при выводе разложения для
) соотношение
которое, с учетом соотношения
, приводит к равенству
левая часть которого есть не что иное как
Следовательно,
так что
Последнее соотношение показывает, что коэффициент детерминации равен квадрату коэффициента корреляции между переменными
и
, так что при достаточно сильно выраженной линейной связи между переменными
и
, что соответствует значению
, близкому к
, оказывается близким к
и коэффициент корреляции между переменными
и
.
По причинам, которые будут ясны из дальнейшего рассмотрения,
называют множественным коэффициентом корреляции(multiple-R, множественный-R).
Отметим также, что переменная
измеряется в тех же единицах, что и переменная
, и при изменении масштаба измерения переменной
значение
не изменяется. Отсюда вытекает, что коэффициент детерминации R2 инвариантен относительно изменения масштаба и начала отсчета переменных
и
.
Заметим, наконец, что
(здесь sign(z)=-1 для z0)
Поскольку же
то
и
так что
и мы можем установить значение R2 еще до построения модели линейной связи.
Замечание
Если
, то
и
; если
, то
и
Свойства главных компонент
