Кореляція

У статистиці кореля́ція (англ. correlation) або зале́жність (англ. dependence) — це будь-який статистичний взаємозв'язок, причинний чи ні, між двома випадковими змінними або двовимірними даними. Хоч у найширшому сенсі «кореляція» й може вказувати на будь-який тип пов'язаності, у статистиці вона зазвичай означає ступінь, до якого пара змінних пов'язані лінійно. До добре відомих прикладів залежних явищ належать кореляція між зростом батьків та їхніх нащадків, а також кореляція між ціною товару та кількістю, яку споживачі готові придбати, як це зображують на так званій кривій попиту.

Декілька наборів точок (x, y), з коефіцієнтами кореляції Пірсона x та y для кожного набору. Кореляція відображає зашумленість і напрямок лінійного взаємозв'язку (верхній ряд), але ані нахил цього взаємозв'язку (середній), ані багато аспектів нелінійних взаємозв'язків (нижній). Примітка: фігура в центрі має нахил 0, але в цьому випадку коефіцієнт кореляції невизначений, оскільки дисперсія Y дорівнює нулеві.

Кореляції корисні, бо вони можуть вказувати на передбачальний зв'язок, який можливо використовувати на практиці. Наприклад, енергогенерувальна компанія може виробляти менше електроенергії в день з помірною погодою на основі кореляції між попитом на електроенергію та погодою. У цьому прикладі існує причинно-наслідковий зв'язок, оскільки екстремальна погода змушує людей використовувати більше електроенергії для опалення чи кондиціювання. Проте в загальному випадку, щоби зробити висновок про наявність причинно-наслідкового зв'язку, наявності кореляції недостатньо (тобто, кореляція не означає спричинювання).

Формально випадкові змінні залежні, якщо вони не задовольняють математичній властивості ймовірнісної незалежності. Неформальною мовою кореляція є синонімом залежності. Проте при використанні в технічному сенсі кореляція означає будь-яку з декількох конкретних типів математичних операцій між випробуваними змінними та їхніми відповідними математичними сподіваннями. По суті, кореляція — це міра того, як дві чи більше змінні пов'язані одна з одною. Існує декілька коефіцієнтів кореляції, часто позначуваних через $\rho$ або $r$, які вимірюють ступінь кореляції. Найпоширеніший з них — коефіцієнт кореляції Пірсона, чутливий лише до лінійного взаємозв'язку між двома змінними (який може мати місце, навіть якщо одна змінна є нелінійною функцією іншої). Інші коефіцієнти кореляції — наприклад, рангову кореляцію Спірмена, — було розроблено для більшої робастності, ніж в пірсонового, тобто більшої чутливості до нелінійних взаємозв'язків. Для вимірювання взаємозалежності двох змінних також можливо застосовувати взаємну інформацію.

Коефіцієнт кореляції моменту добутку Пірсона

Приклади діаграм розсіювання різних наборів даних з різними коефіцієнтами кореляції.

Найбільш загальновідомою мірою залежності між двома величинами є коефіцієнт кореляції моменту добутку Пірсона (англ. Pearson product-moment correlation coefficient, PPMCC), або «коефіцієнт кореляції Пірсона» (англ. Pearson's correlation coefficient), який зазвичай називають просто «коефіцієнт кореляції» (англ. the correlation coefficient). Його отримують взяттям відношення коваріації двох розгляданих змінних нашого чисельного набору даних, унормованої квадратним коренем їхніх дисперсій. Математично, коваріацію цих двох змінних просто ділять на добуток їхніх стандартних відхилень. Карл Пірсон розробив цей коефіцієнт на основі подібної, але дещо відмінної ідеї Френсіса Гальтона.

Коефіцієнт кореляції Пірсона намагається встановити лінію, яка найкраще допасовується до набору даних із двох змінних, по суті викладаючи очікувані значення, а отриманий коефіцієнт кореляції Пірсона вказує, наскільки далеким від очікуваних значень є фактичний набір даних. Залежно від знаку нашого коефіцієнта кореляції Пірсона ми можемо отримати як від'ємну, так і додатну кореляцію, якщо якийсь зв'язок між змінними нашого набору даних існує.^{[джерело?]}

Генеральний коефіцієнт кореляції (англ. population correlation coefficient) $\rho _{X,Y}$ між двома випадковими змінними $X$ та $Y$ з математичними сподіваннями $\mu _{X}$ та $\mu _{Y}$ та стандартними відхиленнями $\sigma _{X}$ та $\sigma _{Y}$ визначають як

$$\rho _{X,Y}=\operatorname {corr} (X,Y)={\operatorname {cov} (X,Y) \over \sigma _{X}\sigma _{Y}}={\operatorname {E} [(X-\mu _{X})(Y-\mu _{Y})] \over \sigma _{X}\sigma _{Y}},\quad {\text{if}}\ \sigma _{X}\sigma _{Y}>0.$$

де $\operatorname {E}$ — оператор математичного сподівання, $\operatorname {cov}$ означає коваріацію, а $\operatorname {corr}$ — широко вживане альтернативне позначення коефіцієнту кореляції. Кореляція Пірсона визначається лише в тому випадку, якщо обидва стандартні відхилення є скінченними й додатними. Альтернативною формулою чисто в термінах моментів є

$$\rho _{X,Y}={\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y) \over {\sqrt {\operatorname {E} (X^{2})-\operatorname {E} (X)^{2}}}\cdot {\sqrt {\operatorname {E} (Y^{2})-\operatorname {E} (Y)^{2}}}}$$

Кореляція та незалежність

Наслідком нерівності Коші — Буняковського є те, що модуль коефіцієнта кореляції Пірсона не перевищує 1. Таким чином, значення коефіцієнта кореляції лежать у проміжку з −1 по +1. Коефіцієнт кореляції дорівнює +1 у випадку ідеального прямого (висхідного) лінійного взаємозв'язку (кореляції), −1 у випадку ідеального зворотного (спадного) лінійного взаємозв'язку (антикореля́ція, англ. anti-correlation), і деякому значенню в інтервалі $(-1,1)$ у всіх інших випадках, показуючи ступінь лінійної залежності між змінними. У міру його наближення до нуля взаємозв'язок послаблюється (ближче до некорельованих). Що ближчий цей коефіцієнт до −1 чи 1, то сильніша кореляція між змінними.

Якщо змінні незалежні, то коефіцієнт кореляції Пірсона дорівнює 0, але зворотне не істинне, оскільки коефіцієнт кореляції виявляє лише лінійні залежності між двома змінними. Простіше кажучи, якщо дві випадкові змінні $X$ та $Y$ незалежні, то вони некорельовані, але якщо дві випадкові змінні некорельовані, то вони можуть бути, а можуть і не бути незалежними.

$${\begin{aligned}X,Y{\text{ незалежні }}\quad &\Rightarrow \quad \rho _{X,Y}=0\quad (X,Y{\text{ некорельовані }})\\\rho _{X,Y}=0\quad (X,Y{\text{ некорельовані }})\quad &\nRightarrow \quad X,Y{\text{ незалежні }}\end{aligned}}$$

Наприклад, припустімо, що випадкова змінна $X$ симетрично розподілена навколо нуля, а $Y=X^{2}$. Тоді $Y$ цілком визначено через $X$, тож $X$ та $Y$ цілком залежні, але їхня кореляція дорівнює нулеві: вони некорельовані. Проте в особливому випадку, коли $X$ та $Y$ спільно нормальні, некорельованість рівнозначна незалежності.

Незважаючи на те, що некорельованість даних не обов'язково означає незалежність, можливо пересвідчуватися, що випадкові змінні незалежні, якщо їхня взаємна інформація дорівнює 0.

Ви́бірковий коефіцієнт кореляції

За заданого ряду з $n$ вимірів пари $(X_{i},Y_{i})$, пронумерованих за $i=1,\ldots ,n$, для оцінювання генеральної кореляції Пірсона $\rho _{X,Y}$ між $X$ та $Y$ можливо використовувати ви́бірковий коефіцієнт кореляції (англ. sample correlation coefficient). Цей вибірковий коефіцієнт кореляції визначають як

$r_{xy}\quad {\overset {\underset {\mathrm {def} }{}}{=}}\quad {\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{(n-1)s_{x}s_{y}}}={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sqrt {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}\sum \limits _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}},$

де ${\overline {x}}$ та ${\overline {y}}$ — вибіркові середні значення $X$ та $Y$, а $s_{x}$ та $s_{y}$ — скориговані вибіркові стандартні відхилення $X$ та $Y$.

Еквівалентними виразами для $r_{xy}$ є

${\begin{aligned}r_{xy}&={\frac {\sum x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{ns'_{x}s'_{y}}}\\[5pt]&={\frac {n\sum x_{i}y_{i}-\sum x_{i}\sum y_{i}}{{\sqrt {n\sum x_{i}^{2}-(\sum x_{i})^{2}}}~{\sqrt {n\sum y_{i}^{2}-(\sum y_{i})^{2}}}}}.\end{aligned}}$

де $s'_{x}$ та $s'_{y}$ — нескориговані вибіркові стандартні відхилення $X$ та $Y$.

Якщо $x$ та $y$ — результати вимірювань, що містять похибку вимірювання, то реалістичні межі коефіцієнта кореляції становлять не від −1 до +1, а менший проміжок. Для випадку лінійної моделі з єдиною незалежною змінною коефіцієнтом детермінації (R-квадрат) є квадрат $r_{xy}$, коефіцієнту кореляції Пірсона.

Приклад

Розгляньмо спільний розподіл імовірності X та Y, наведений у таблиці нижче.

$\mathrm {P} (X=x,Y=y)$

y x	−1	0	1
0	0	1/3	0
1	1/3	0	1/3

Відособлені розподіли для цього спільного розподілу:

$\mathrm {P} (X=x)={\begin{cases}{\frac {1}{3}}&\quad {\text{для }}x=0\\{\frac {2}{3}}&\quad {\text{для }}x=1\end{cases}}$

$\mathrm {P} (Y=y)={\begin{cases}{\frac {1}{3}}&\quad {\text{для }}y=-1\\{\frac {1}{3}}&\quad {\text{для }}y=0\\{\frac {1}{3}}&\quad {\text{для }}y=1\end{cases}}$

Це дає наступні математичні сподівання та дисперсії:

$\mu _{X}={\frac {2}{3}}$

$\mu _{Y}=0$

$\sigma _{X}^{2}={\frac {2}{9}}$

$\sigma _{Y}^{2}={\frac {2}{3}}$

Отже,

${\begin{aligned}\rho _{X,Y}&={\frac {1}{\sigma _{X}\sigma _{Y}}}\mathrm {E} [(X-\mu _{X})(Y-\mu _{Y})]\\[5pt]&={\frac {1}{\sigma _{X}\sigma _{Y}}}\sum _{x,y}{(x-\mu _{X})(y-\mu _{Y})\mathrm {P} (X=x,Y=y)}\\[5pt]&=\left(1-{\frac {2}{3}}\right)(-1-0){\frac {1}{3}}+\left(0-{\frac {2}{3}}\right)(0-0){\frac {1}{3}}+\left(1-{\frac {2}{3}}\right)(1-0){\frac {1}{3}}=0.\end{aligned}}$

Коефіцієнти рангової кореляції

Коефіцієнти рангової кореляції, як-от коефіцієнт рангової кореляції Спірмена та коефіцієнт рангової кореляції Кендалла (τ), вимірюють, до якої міри в разі збільшення однієї змінної інша змінна схильна збільшуватися, не вимагаючи, щоби це збільшення було подано лінійною залежністю. Якщо за збільшення однієї змінної інша зменшується, то коефіцієнти рангової кореляції будуть від'ємними. Ці коефіцієнти рангової кореляції часто розглядають як альтернативи коефіцієнту Пірсона, яку використовують або для зменшення кількості обчислень, або для того, щоби зробити коефіцієнт менш чутливим до не нормальності в розподілах. Проте ця точка зору має мало математичних підстав, оскільки коефіцієнти рангової кореляції вимірюють інший тип зв'язку, ніж коефіцієнт кореляції Пірсона, і їх найкраще розглядати як показники іншого типу зв'язку, а не як альтернативну міру генерального коефіцієнту кореляції.

Щоби унаочнити природу рангової кореляції та її відмінність від лінійної кореляції, розгляньмо наступні чотири пари чисел $(x,y)$:

(0, 1), (10, 100), (101, 500), (102, 2000).

В міру просування від кожної пари до наступної $x$ збільшується, й те саме робить $y$. Цей взаємозв'язок ідеальний, у тому сенсі, що збільшення в $x$ завжди супроводжується збільшенням в $y$. Це означає, що ми маємо ідеальну рангову кореляцію, й обидва коефіцієнти кореляції Спірмена та Кендалла дорівнюють 1, тоді як у цьому прикладі коефіцієнт кореляції Пірсона дорівнює 0,7544, вказуючи на те, що точки далеко не лежать на одній прямій. Так само, якщо $y$ завжди зменшується, коли $x$ збільшується, коефіцієнти рангової кореляції становитимуть −1, тоді як коефіцієнт кореляції Пірсона може бути або не бути близьким до −1, залежно від того, наскільки близько до прямої лінії розташовані ці точки. Хоча в граничних випадках ідеальної рангової кореляції ці два коефіцієнти рівні (чи то обидва +1, чи обидва −1), зазвичай це не так, і тому значення цих двох коефіцієнтів неможливо порівнювати змістовно. Наприклад, для трьох пар (1, 1) (2, 3) (3, 2) коефіцієнт Спірмена дорівнює 1/2, а коефіцієнт Кендалла дорівнює 1/3.

Інші міри залежності між випадковими змінними

Інформації, яку надає коефіцієнт кореляції, недостатньо для визначення структури залежності між випадковими змінними. Коефіцієнт кореляції повністю визначає структуру залежності лише в дуже окремих випадках, наприклад, коли розподіл є багатовимірним нормальним розподілом (див. рисунок вище). У випадку еліптичних розподілів він характеризує (гіпер-)еліпси рівної густини, проте він не повністю характеризує структуру залежності (наприклад, ступені вільності багатовимірного t-розподілу визначають рівень хвостової залежності).

Для подолання того недоліку кореляції Пірсона, що вона може бути нульовою для залежних змінних, було запропоновано кореляцію по віддалі (англ. distance correlation), нульова кореляція по віддалі означає незалежність.

Рандомізований коефіцієнт залежності (РКЗ, англ. Randomized Dependence Coefficient, RDC) — це обчислювально ефективна міра залежності між багатовимірними випадковими змінними на основі копул. РКЗ інваріантний щодо нелінійного масштабування випадкових змінних, здатний виявляти широкий спектр моделей функціональних асоціацій, і набуває нульового значення при незалежності.

Для двох бінарних змінних відношення шансів вимірює їхню залежність і набуває діапазону невід'ємних чисел, потенційно нескінченних:$[0,+\infty ]$. Схожі статистики, як-от Y Юла та Q Юла, унормовують його до подібного на кореляцію проміжку $[-1,1]$. Відношення шансів узагальнено логістичною моделлю для моделювання випадків, коли залежні змінні є дискретними, й може бути одна або декілька незалежних змінних.

Кореляційне відношення, взаємна інформація на основі ентропії, повна кореляція, двоїста повна кореляція та поліхорна кореляція також здатні виявляти загальніші залежності, як і розгляд копули між ними, тоді як коефіцієнт детермінації узагальнює коефіцієнт кореляції до множинної регресії.

Чутливість до розподілу даних

Ступінь залежності між змінними X та Y не залежить від масштабу, в якому виражено ці змінні. Тобто, якщо ми аналізуємо взаємозв'язок між X та Y, перетворення X на a + bX й Y на c + dY, де a, b, c та d є сталими (b та d додатні), на більшість мір кореляції не впливає. Це стосується деяких кореляційних статистик, а також їхніх генеральних аналогів. Деякі кореляційні статистики, як-от коефіцієнт рангової кореляції, також інваріантні щодо монотонних перетворень відособлених розподілів X та/або Y.

Коефіцієнти кореляції Пірсона/Спірмена між X та Y, відображені, коли діапазони двох змінних не обмежено, та коли діапазон X обмежено інтервалом (0,1).

Більшість мір кореляції чутливі до способу вибирання X та Y. Залежності, як правило, сильніші, якщо розглядати їх на ширшому діапазоні значень. Таким чином, якщо ми розглянемо коефіцієнт кореляції між зростом батьків та їхніх синів над усіма дорослими чоловіками, та порівняємо його з тим же коефіцієнтом кореляції, розрахованим, коли вибрано батьків зростом від 165 см до 170 см, то в останньому випадку кореляція буде слабшою. Було розроблено кілька методик, які намагаються виправляти обмеження діапазону в одній або обох змінних, і які зазвичай використовують в метааналізі; найпоширенішими є рівняння Торндайка другого та третього випадків.

Деякі використовувані міри кореляції можуть бути невизначеними для певних спільних розподілів X та Y. Наприклад, коефіцієнт кореляції Пірсона визначено в термінах моментів, і, отже, буде не визначено, якщо не визначено моменти. Завжди визначено міри залежності, які ґрунтуються на квантилях. Статистики на основі вибірки, призначені оцінювати генеральні міри залежності, можуть мати або не мати бажаних статистичних властивостей, наприклад бути незміщеними та асимптотично слушними, залежно від просторової структури сукупності, з якої було вибрано дані.

Чутливість до розподілу даних можливо використовувати як перевагу. Наприклад, масштабну кореляцію розроблено так, щоби використовувати чутливість до діапазону задля вихоплювання кореляції між швидкими складовими часових рядів. Шляхом контрольованого зменшення діапазону значення кореляції на довгому часовому масштабі відфільтровуються, й виявляються лише кореляції на коротких часових масштабах.

Кореляційні матриці

Кореляційна матриця $n$ випадкових змінних $X_{1},\ldots ,X_{n}$ — це матриця $n\times n$, чиїм елементом $(i,j)$ є

$c_{ij}:=\operatorname {corr} (X_{i},X_{j})={\frac {\operatorname {cov} (X_{i},X_{j})}{\sigma _{X_{i}}\sigma _{X_{j}}}},\quad {\text{if}}\ \sigma _{X_{i}}\sigma _{X_{j}}>0.$

Таким чином, всі її діагональні елементи однаково одиничні. Якщо всі використовувані міри кореляції є коефіцієнтами кореляції Пірсона, то кореляційна матриця така же, як і коваріаційна матриця стандартизованих випадкових змінних $X_{i}/\sigma (X_{i})$ для $i=1,\dots ,n$. Це стосується як генеральної кореляційної матриці (у цьому випадку $\sigma$ — генеральне стандартне відхилення), так і ви́біркової кореляційної матриці (у цьому випадку $\sigma$ позначує вибіркове стандартне відхилення). Отже, кожна з них обов'язково є додатно напіввизначеною матрицею. Більше того, кореляційна матриця строго додатно визначена, якщо жодна змінна не може мати всі свої значення точно породженими як лінійна функція значень інших.

Кореляційна матриця симетрична, оскільки кореляція між $X_{i}$ та $X_{j}$ це те саме, що й кореляція між $X_{j}$ та $X_{i}$.

Кореляційна матриця з'являється, наприклад, в одній формулі для коефіцієнта множинної детермінації, міри допасованості у множинній регресії.

У статистичному моделюванні кореляційні матриці, що подають зв'язки між змінними, категоризують до різних кореляційних структур, які розрізнюють за такими чинниками як кількість параметрів, необхідних для їхнього оцінювання. Наприклад, у взаємозамінній кореляційній матриці всі пари змінних змодельовано як такі, що мають однакову кореляцію, так що все недіагональні елементи матриці дорівнюють один одному. З іншого боку, авторегресійну матрицю часто використовують, коли змінні подають часовий ряд, оскільки кореляції, ймовірно, будуть більшими, коли вимірювання ближчі в часі. До інших прикладів належать незалежні, неструктуровані, M-залежні матриці, та матриці Тепліца.

В розвідувальному аналізі даних іконографія кореляцій полягає в заміні кореляційної матриці діаграмою, де «визначні» кореляції подають суцільною лінією (додатна кореляція), або пунктирною лінією (від'ємна кореляція).

Найближча чинна кореляційна матриця

У деяких застосуваннях (наприклад, побудові моделей даних з лише частково спостережуваних даних) потрібно знаходити «найближчу» кореляційну матрицю до «приблизної» кореляційної матриці (наприклад, матриці, якій зазвичай бракує напіввизначеної додатності через те, яким чином її було обчислено).

2002 року Хаєм формалізував поняття близькості за допомогою норми Фробеніуса та запропонував метод обчислення найближчої кореляційної матриці за допомогою проєкційного алгоритму Дикстри, втілення якого доступне як інтерактивний вебППІ.

Це викликало інтерес до даного предмета, з отриманими в наступні роки новими теоретичними (наприклад, обчислення найближчої кореляційної матриці з факторною структурою) та чисельними (наприклад, використання методу Ньютона для обчислення найближчої кореляційної матриці) результатами.

Некорельованість і незалежність стохастичних процесів

Аналогічно для двох стохастичних процесів $\left\{X_{t}\right\}_{t\in {\mathcal {T}}}$ та $\left\{Y_{t}\right\}_{t\in {\mathcal {T}}}$: Якщо вони незалежні, то вони некорельовані.^:с. 151 Протилежне цьому твердженню може бути неправильним. Навіть якщо дві змінні не корельовані, вони можуть не бути незалежними одна від одної.

Поширені непорозуміння

Корельованість та причинність

Поширений вислів «корелювання не означає спричинювання» означає, що кореляцію неможливо використовувати саму по собі для висновування причинно-наслідкового зв'язку між змінними. Цей вислів не слід сприймати так, що кореляції не можуть вказувати на потенційне існування причинно-наслідкових зв'язків. Проте причини, що лежать в основі кореляції, якщо вони й існують, можуть бути непрямими або невідомими, а високі кореляції також перекриваються з відношеннями тотожності (тавтології), де процесу спричинювання не існує. Отже, кореляція між двома змінними не є достатньою умовою для встановлення причинно-наслідкового зв'язку (в будь-якому з напрямків).

Кореляція між віком та зростом у дітей є досить причиннісно прозорою, але кореляція між настроєм і здоров'ям у людей — не настільки. Чи поліпшення настрою призводить до покращення здоров'я, чи гарне здоров'я призводить до гарного настрою, чи обидва? Чи якийсь інший чинник лежить в основі обох? Іншими словами, кореляцію можна вважати свідченням можливого причинно-наслідкового зв'язку, але вона не може вказувати, яким може бути причинний зв'язок, якщо він взагалі існує.

Прості лінійні кореляції

Квартет Анскомбе: чотири набори даних з однаковою кореляцією 0,816

Коефіцієнт кореляції Пірсона показує силу лінійного взаємозв'язку між двома змінними, але його значення, як правило, характеризує їхній взаємозв'язок не повністю. Зокрема, якщо умовне середнє $Y$ за заданого $X$, позначуване через $\operatorname {E} (Y\mid X)$, не лінійне за $X$, то коефіцієнт кореляції не повністю визначатиме вигляд $\operatorname {E} (Y\mid X)$.

На сусідньому зображенні показано діаграми розсіювання квартету Анскомбе, набору з чотирьох різних пар змінних, створеного Френсісом Анскомбе. Чотири змінні $y$ мають однакове середнє значення (7,5), дисперсію (4,12), кореляцію (0,816) та лінію регресії (${\textstyle y=3+0.5x}$). Проте, як видно на цих графіках, розподіл змінних дуже різний. Перші (вгорі ліворуч) видаються розподіленими нормально й відповідають тому, що можна було би очікувати, розглядаючи дві змінні, які корелюють, й дотримуються припущення нормальності. Другі (вгорі праворуч) розподілено не нормально, і хоча й можливо спостерігати очевидний взаємозв'язок між цими двома змінними, він не є лінійним. У цьому випадку коефіцієнт кореляції Пірсона не вказує, що існує точна функційна залежність: лише ступінь, до якого цей взаємозв'язок можливо наблизити лінійним співвідношенням. У третьому випадку (внизу ліворуч) лінійна залежність є ідеальною, за винятком одного викиду, який чинить достатній вплив, щоби знизити коефіцієнт кореляції з 1 до 0,816. Нарешті, четвертий приклад (унизу праворуч) показує інший приклад, коли одного викиду достатньо для отримання високого коефіцієнта кореляції, навіть якщо взаємозв'язок між двома змінними не є лінійним.

Ці приклади показують, що коефіцієнт кореляції як зведена статистика не здатен замінити візуальне дослідження даних. Іноді кажуть, що ці приклади демонструють, що кореляція Пірсона передбачає, що дані мають нормальний розподіл, але це правильно лише частково. Кореляцію Пірсона можливо точно розрахувати для будь-якого розподілу, який має скінченну коваріаційну матрицю, що включає більшість розподілів, які зустрічаються на практиці. Проте, достатньою статистикою коефіцієнт кореляції Пірсона (взятий разом із вибірковим середнім значенням та дисперсією) є лише в тому випадку, якщо дані взято з багатовимірного нормального розподілу. В результаті, коефіцієнт кореляції Пірсона повністю характеризує зв'язок між змінними тоді й лише тоді, коли дані вибирають із багатовимірного нормального розподілу.

Двовимірний нормальний розподіл

Якщо пара $\ (X,Y)\$ випадкових змінних слідує двовимірному нормальному розподілу, то умовне середнє $\operatorname {\boldsymbol {\mathcal {E}}} (X\mid Y)$ є лінійною функцією від $Y$, а умовне середнє $\operatorname {\boldsymbol {\mathcal {E}}} (Y\mid X)$ є лінійною функцією від $\ X~.$ Коефіцієнт кореляції $\ \rho _{X,Y}\$ між $\ X\$ та $\ Y\ ,$ й відособлені середні значення та дисперсії $\ X\$ та $\ Y\$ визначають цю лінійну залежність:

$\operatorname {\boldsymbol {\mathcal {E}}} (Y\mid X)=\operatorname {\boldsymbol {\mathcal {E}}} (Y)+\rho _{X,Y}\cdot \sigma _{Y}\cdot {\frac {\ X-\operatorname {\boldsymbol {\mathcal {E}}} (X)\ }{\sigma _{X}}}\ ,$

де $\operatorname {\boldsymbol {\mathcal {E}}} (X)$ та $\operatorname {\boldsymbol {\mathcal {E}}} (Y)$ — математичні сподівання $\ X\$ та $\ Y\$ відповідно, а $\ \sigma _{X}\$ та $\ \sigma _{Y}\$ — стандартні відхилення $\ X\$ та $\ Y\$ відповідно.

Емпірична кореляція $r$ — це оцінка коефіцієнта кореляції $\ \rho ~.$ Оцінку розподілу для $\ \rho \$ задають через

$$\pi (\rho \mid r)={\frac {\ \Gamma (N)\ }{\ {\sqrt {2\pi \ }}\cdot \Gamma (N-{\tfrac {\ 1\ }{2}})\ }}\cdot {\bigl (}1-r^{2}{\bigr )}^{\frac {\ N\ -2\ }{2}}\cdot {\bigl (}1-\rho ^{2}{\bigr )}^{\frac {\ N-3\ }{2}}\cdot {\bigl (}1-r\rho {\bigr )}^{-N+{\frac {\ 3\ }{2}}}\cdot F_{\mathsf {Hyp}}\left(\ {\tfrac {\ 3\ }{2}},-{\tfrac {\ 1\ }{2}};N-{\tfrac {\ 1\ }{2}};{\frac {\ 1+r\rho \ }{2}}\ \right)\$$

де $\ F_{\mathsf {Hyp}}\$ — гауссова гіпергеометрична функція.

Ця густина є одночасно баєсовою апостеріорною густиною, й точною оптимальною густиною довірчого розподілу.

Див. також

• Автокореляція
• Взаємна кореляція
• Відношення квадрантових кількостей
• Внутрішньокласова кореляція
• Генетична кореляція
• Залежність середнього значення
• Екологічна кореляція
• Іконографія кореляцій
• Ілюзорна кореляція
• Канонічна кореляція
• Коваріація
• Коваріація та кореляція
• Коефіцієнт детермінації
• Коефіцієнт конкордації
• Коінтеграція
• Кореляційна функція
• Кореляційний розрив
• Кофенетична кореляція
• Лямбда Гудмана і Крускала
• Міжкласова кореляція
• Множинна кореляція
• Непояснена частка дисперсії
• Підіймання (добування даних)
• Проблема змінності ареальних одиниць
• Помилкова кореляція
• Слабка незалежність
• Статистичне кореляційне відношення
• Точково-бісеріальний коефіцієнт кореляції

Література

• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
• Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — Москва : Наука, 1988. — 446 с.(рос.)
• Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)
• Cohen, J.; Cohen P.; West, S.G. & Aiken, L.S. (2002). Applied multiple regression/correlation analysis for the behavioral sciences (англ.) (вид. 3rd). Psychology Press. ISBN 978-0-8058-2223-6.
• Hazewinkel, Michiel, ред. (2001), (in statistics) Correlation (in statistics), Математична енциклопедія, Springer, ISBN 978-1-55608-010-4 (англ.)
• Oestreicher, J. & D. R. (26 лютого 2015). Plague of Equals: A science thriller of international disease, politics and drug discovery (англ.). California: Omega Cat Press. с. 408. ISBN 978-0963175540.

Посилання

• Сторінка MathWorld про коефіцієнт/и (взаємної) кореляції вибірки [Архівовано 31 серпня 2019 у Wayback Machine.] (англ.)
• Обчислення значущості між двома кореляціями [Архівовано 3 січня 2022 у Wayback Machine.] для порівняння двох значень кореляції.
• Інструментарій MATLAB для обчислювання коефіцієнтів зваженої кореляції. Архів оригіналу за 24 квітня 2021.
• Доведення того, що вибіркова двовимірна кореляція має межі плюс та мінус 1 [Архівовано 17 жовтня 2016 у Wayback Machine.] (англ.)
• Інтерактивна Flash-симуляція кореляції двох нормально розподілених змінних [Архівовано 17 травня 2021 у Wayback Machine.] від Юги Пуранена.
• Кореляційний аналіз. Біомедична статистика (англ.)
• R-Psychologist Correlation [Архівовано 17 серпня 2020 у Wayback Machine.]: унаочнення кореляції між двома числовими змінними