Перегляд вихідного коду сторінки Метод головних компонент

{{Машинне навчання}}
'''Ме́тод головни́х компоне́нт''' (МГК, {{lang-en|principal component analysis, PCA}})&nbsp;— метод [[факторний аналіз|факторного аналізу]] в [[статистика|статистиці]], який використовує [[ортогональне перетворення]] множини спостережень з можливо пов'язаними змінними (сутностями, кожна з яких набуває різних числових значень) у множину змінних без лінійної [[Кореляція і залежність|кореляції]], які називаються '''головними компонентами'''.

Метод головних компонент&nbsp;— один з основних способів зменшити [[Розмірність простору|розмірність]] даних, втративши найменшу кількість [[Інформація|інформації]]. Винайдений [[Карл Пірсон|Карлом Пірсоном]] у [[1901 у науці|1901 році]] та доповнений і розширений [[Гарольд Готелінґ|Гарольдом Готелінґом]] в [[1933]]. Застосовується в багатьох галузях, зокрема, в [[Економетрія|економетриці]], [[Біоінформатика|біоінформатиці]], [[Обробка зображень|обробці зображень]], для [[Стиснення даних|стиснення даних]], у [[Суспільні науки|суспільних науках]].

Обчислення головних компонент може бути зведене до обчислення [[Сингулярний розклад матриці|сингулярного розкладу]] матриці даних або до обчислення [[Власні вектори та власні числа|власних векторів]] і [[Власні вектори та власні числа|власних чисел]] [[Коваріаційна матриця|коваріаційної матриці]] початкових даних. Іноді метод головних компонент називають ''перетворенням Кархунена&nbsp;— Лоева''<ref>Фактично, метод є емпіричною реалізацією {{нп|Теорема Карунена — Лоэва|теореми Кархунена&nbsp;— Лоева|ru|Теорема Карунена — Лоэва}}, згідно з якою будь-який [[випадковий процес]] може бути поданий у вигляді нескінченного [[Ряд (математика)|ряду]] {{нп|Ортогональные функции|ортогональних функцій|ru|Ортогональные функции}}. У російськомовній науковій літературі поширене також написання «''перетворення Карунена&nbsp;— Лоева''», що відповідає англійському прочитанню фінського прізвища</ref> або ''перетворенням Хотеллінга'' ({{lang-en|Hotelling transform}}).

== Загальна характеристика ==
[[Файл:A method of main is a component.svg|right|thumb|500px|Схема математичних перетворень. На малюнку позначення: X&nbsp;— [[матриця (математика)|матриця]] вихідних даних розмірністю n×m (n&nbsp;— число об'єктів спостереження, m&nbsp;— число елементарних аналітичних ознак); Z&nbsp;— матриця центрованих і нормованих значень ознак; R&nbsp;— матриця парних кореляцій. Λ&nbsp;— діагональна матриця власних (характеристичних) чисел. A&nbsp;— матриця факторного відображення, її елементи a<sub>rj</sub>&nbsp;— вагові коефіцієнти. Спочатку A має розмірність m*m&nbsp;— за кількістю елементарних ознак Xj, потім в аналізі залишається r найвагоміших компонент, r ≤ m. Обчислюють матрицю A за відомими даними матриці власних чисел Λ і нормованими власними векторами V за формулою A = VΛ<sup>1/2</sup>. F&nbsp;— матриця значень головних компонент розмірністю r×n.]]
Метод головних компонент&nbsp;— один з найпоширеніших методів [[факторний аналіз|факторного аналізу]].<ref>{{Cite journal| author = Abdi H., Williams L.J. | authorlink=|year = 2010 | title = Principal component analysis. | journal = Wiley Interdisciplinary Reviews: Computational Statistics, | volume = 2 | pages = 433–459}}</ref>

Серед інших подібних методів, що дозволяють узагальнювати значення елементарних ознак, МГК виділяється простою логічною конструкцією, і, разом з тим, на його прикладі стають зрозумілими загальна ідея й цілі чисельних методів факторного аналізу.

Метод головних компонент дає можливість за m&nbsp;— числом початкових ознак виділити r головних компонент, або узагальнених ознак. Простір головних компонент ортогональний. Математична модель методу головних компонент базується на логічному припущенні, що значення множини взаємозалежних ознак породжують деякий загальний результат.

Розв'язування задачі методом головних компонент зводиться до поетапного перетворення матриці початкових даних X.

== Формальна постановка задачі ==
Задача аналізу головних компонент має щонайменше чотири базових версії:

* [[Апроксимація|апроксимувати]] дані [[Афінний простір|лінійними многовидами]] меншої розмірності;
* знайти підпростори меншої розмірності, в [[Проекції|ортогональній проекції]] на які розкид даних (тобто [[Стандартне відхилення|середньоквадратичне відхилення]] від середнього значення) максимальний;
* знайти підпростори меншої розмірності, в ортогональній проекції на які середньоквадратична відстань між точками максимальна;
* для даної багатовимірної випадкової величини побудувати таке ортогональне перетворення координат, внаслідок якого [[Кореляція і залежність|кореляції]] між окремими координатами перетворяться в нуль.

Перші три версії оперують скінченними множинами даних. Вони еквівалентні і не використовують жодної гіпотези про статистичне породження даних. Четверта версія оперує [[Випадкова величина|випадковими величинами]]. Скінченні множини з'являються тут як вибірки з даного розподілу, а розв'язання трьох перших завдань&nbsp;— як наближення до розкладу за {{нп|Теорема Карунена — Лоэва|теоремою Кархунена — Лоева|ru|Теорема Карунена — Лоэва}} (''«істинного перетворення Кархунена&nbsp;— Лоева»''). При цьому виникає додаткове і не цілком тривіальне питання про точність цього наближення.

=== Апроксимація даних лінійними многовидами ===
[[Файл:PearsonFig.jpg|міні|Ілюстрація до знаменитої роботи Пірсона (1901): дані точки <math>P_i</math> на площині, <math>p_i</math>&nbsp;— відстань від <math>P_i</math> до прямої <math>AB</math>. Шукається пряма <math>AB</math>, що мінімізує суму <math>\sum_i p_i^2</math>]]
Метод головних компонент починався з задачі найкращої апроксимації скінченної множини точок прямими і площинами ([[Карл Пірсон|Пірсон]], 1901). Дано скінченну множину [[Векторний простір|векторів]] <math>x_1, x_2, \dots, x_m \in\mathbb{R}^n </math>для кожного <math>k = 0,1, \dots, n-1 </math> серед всіх <math>k</math>-вимірних [[Афінний простір|лінійних многовидів]] у <math>\mathbb{R}^n </math> знайти таке <math>L_k \subset \mathbb{R}^n </math>, що сума квадратів відхилень <math>x_i</math> від <math>L_k</math> мінімальна:

: <math>\sum_{i=1}^m \operatorname{dist}^2(x_i, L_k) \to \min</math>,

де <math>\operatorname{dist}(x_i, L_k) </math>&nbsp;— евклідова відстань від точки до лінійного многовиду. Кожен <math>k </math>-вимірний лінійний многовид в <math>\mathbb{R}^n  </math> може бути заданий як множина лінійних комбінацій <math>L_k = \{ a_0 +\beta_1 a_1 + \dots + \beta_k a_k | \beta_i \in \mathbb{R} \} </math>, де параметри <math>\beta_i </math> пробігають дійсну пряму <math>\mathbb{R}</math>, <math>a_0 \in \mathbb{R}^n</math> а <math>\left\{a_1, \dots , a_k \right\} \subset \mathbb{R}^n</math>&nbsp;— ортонормований набір векторів

: <math>\operatorname{dist}^2(x_i, L_k) = \Vert x_i - a_0 - \sum_{j=1}^k a_j (a_j, x_i - a_0) \Vert ^2</math>,

де <math>\Vert \cdot \Vert  </math> евклідова норма, <math>\left(a_j, x_i\right) </math>&nbsp;— евклідів скалярний добуток, або в координатній формі:

: <math>\operatorname{dist}^2(x_i, L_k) = \sum_{l=1}^n \left(x_{il} - a_{0l}- \sum_{j=1}^k a_{jl} \sum_{q=1}^n a_{jq}(x_{iq} - a_{0q}) \right)^2 </math>.

Розв'язок задачі апроксимації для <math>k = 0,1, \dots , n-1 </math> дається набором вкладених лінійних многовидів <math>L_0 \subset L_1 \subset \dots L_{n-1} </math>, <math>L_k = \{ a_0 +\beta_1 a_1 +...+ \beta_k a_k | \beta_i \in \mathbb{R} \} </math>. Ці лінійні многовиди визначаються ортонормованим набором векторів <math>\left\{a_1,..., a_{n-1} \right\} </math> (векторами головних компонент) та вектором <math>a_0 </math>. Вектор <math>a_0 </math> шукається як розв'язок задачі мінімізації для <math>L_0 </math>:

: <math>a_0 = \underset{a_0\in\mathbb{R}^n}{\operatorname{argmin}} \left(\sum_{i=1}^m \operatorname{dist}^2(x_i, L_0)\right)</math>,

тобто

: <math>a_0 = \underset{a_0\in\mathbb{R}^n}{\operatorname{argmin}} \left (\sum_{i=1}^m \Vert x_i - a_0\Vert ^2\right) </math>.

Це&nbsp;— [[Вибіркове середнє|вибіркове середнє]]: <math>a_0 = \frac{1}{m} \sum_{i=1}^m x_i = \overline{X}</math>.

[[Моріс Рене Фреше|Фреше]] в [[1948 у науці|1948 році]] звернув увагу, що варіаційне визначення середнього (як точки, що мінімізує суму квадратів відстаней до точок даних) дуже зручно для побудови статистики в довільному [[Метричний простір|метричному просторі]], і побудував узагальнення класичної статистики для загальних просторів (узагальнений [[Метод найменших квадратів|метод найменших квадратів]]).

Вектори головних компонент можуть бути знайдені як розв'язки однотипних задач [[Оптимізація (математика)|оптимізації]]:

# Централізуються дані (відніманням середнього): <math>x_i := x_i - \overline{X}</math>. Тепер <math>\sum_{i=1}^m x_i =0 </math>;
# Відшукується перша головна компонента як розв'язок задачі:
#: <math>a_1 = \underset{\Vert a_1 \Vert =1}{\operatorname{argmin}} \left( \sum_{i=1}^m \Vert x_i - a_1 (a_1,x_i)\Vert ^2\right)</math>.
#: якщо розв'язок не єдиний, то вибирається один з них.
# З даних віднімається проекція на першу головну компоненту:
#: <math>x_i := x_i - a_1 \left(a_1,x_i\right) </math>;
# Відшукується друга головна компонента як розв'язок задачі:
#: <math>a_2 = \underset{\Vert a_2 \Vert =1}{\operatorname{argmin}} \left( \sum_{i=1}^m \Vert x_i - a_2 (a_2,x_i)\Vert ^2\right) </math>.
#: Якщо розв'язок не єдиний, то вибирається один з них.

Далі процес триває, тобто на кроці <math>2k-1</math> віднімається проекція на <math>(k-1)</math>-у головну компоненту (до цього моменту проекції на попередні <math>(k-2)</math> головні компоненти вже відняті):

:: <math>x_i := x_i - a_{k-1} \left(a_{k-1},x_i\right) </math>;

і на кроці <math>2k</math> визначається <math>k</math>-а головна компонента як розв'язок задачі:

:: <math>a_k = \underset{\Vert a_k \Vert =1}{\operatorname{argmin}} \left( \sum_{i=1}^m \Vert x_i - a_k (a_k,x_i)\Vert ^2\right) </math> (якщо розв'язок не єдиний, то вибирається один з них).

На кожному підготовчому кроці <math>(2k-1)</math> віднімається проекція на попередню головну компоненту. Знайдені вектори <math>\left\{a_1,..., a_{ n -1} \right\}</math> ортонормовані просто внаслідок розв'язування описаної задачі оптимізації, однак, щоб не дати похибкам обчислення порушити взаємну ортогональність векторів головних компонент, можна включати <math>a_k \bot \{a_1,..., a_{k -1} \} </math> в умови задачі оптимізації.

Неєдиність у визначенні <math>a_k</math> крім тривіальної довільності у виборі знака (<math>a_k</math> і <math>-a_k</math> розв'язують ту саму задачу) може бути більш істотною і походити, наприклад, з умов симетрії даних. Остання головна компонента <math>a_n</math>&nbsp;— одиничний вектор, ортогональний всім попереднім <math>a_k</math>.

=== Пошук ортогональних проекцій з найбільшим розсіянням ===
<!--[[Файл:FirstPrincipalComponent.jpg|міні|Перша головна компонента максимізує вибіркову дисперсію проекції даних]]-->
Нехай нам дано центрований набір векторів даних <math>x_i\in\mathbb{R}^n \; (i=1,...,m)</math> ([[Середнє арифметичне|середнє арифметичне]] значення <math>x_i </math> дорівнює нулю). Завдання&nbsp;— знайти таке [[Ортогональне перетворення|ортогональне перетворення]] в нову [[Декартова система координат|систему координат]], для якого б виконувались такі умови:

* [[Вибіркові дисперсії|Вибіркова дисперсія]] даних уздовж першої координати максимальна (цю координату називають першою ''головною компонентою'');
* Вибіркова дисперсія даних уздовж другої координати максимальна за умови ортогональності першій координаті (друга головна компонента);
* …
* Вибіркова дисперсія даних уздовж значень <math>k</math>-ої координати максимальна за умови ортогональності першим <math>k-1</math> координатами;
* …

[[Вибіркові дисперсії|Вибіркова дисперсія]] даних уздовж напрямку, заданого нормованим вектором <math>a_k</math>, це

: <math>S^2_m \left[ (X, a_k) \right ] =  \frac{1}{m} \sum\limits_{i=1}^m (a_k,x_i)^2 = \frac{1}{m} \sum\limits_{i=1}^m \left(\sum\limits_{j=1}^n x_{ij}a_{kj} \right)^2 </math>

(оскільки дані центровані, вибіркова дисперсія тут збігається із середнім квадратом ухилення від нуля).

Розв'язок задачі про найкращу апроксимацію дає ту ж множину головних компонент <math>\left\{a_i\right\}</math>, що й пошук ортогональних проекцій з найбільшим розсіянням, з дуже простої причини: <math>\Vert x_i - a_k (a_k,x_i)\Vert ^2 = \Vert x_i\Vert ^2 - (a_k,x_i)^2, </math> і перший доданок не залежить від <math>a_k</math>.

=== Пошук ортогональних проекцій з найбільшою середньоквадратичною відстанню між точками ===
Ще одне еквівалентне формулювання випливає з очевидної тотожності, правильної для будь-яких <math>m</math> векторів <math>x_i</math>:

: <math>\frac{1}{m(m-1)}\sum_{i,j=1}^m (x_i-x_j)^2 =\frac{2m^2}{m(m-1)}\left[\frac{1}{m}\sum_{i=1}^m x_i^2 - \left(\frac{1}{m}\sum_{i}^m x_i \right)^2\right].</math>

У лівій частині цієї тотожності стоїть середньоквадратична відстань між точками, а в квадратних дужках праворуч&nbsp;— вибіркова дисперсія. Таким чином, у методі головних компонент шукаються підпростори, в проекції на які середньоквадратична відстань між точками максимальна (або, що те ж саме, її спотворення внаслідок проекції мінімальне)<ref name="Зиновьев">''Зінов'єв А. Ю.'', [http://pca.narod.ru/ZINANN.htm Візуалізація багатовимірних даних], Красноярськ, Вид. КГТУ, 2000.</ref>. Таке переформулювання дозволяє будувати узагальнення зі зважуванням різних парних відстаней (а не тільки точок).

=== Анулювання кореляцій між координатами ===
Для заданої <math>n</math>-вимірної випадкової величини <math>X</math> знайти такий ортонормований базис, <math>\left\{a_1,..., a_n \right\}</math>, в якому [[Коваріація|коефіцієнт коваріації]] між різними координатами дорівнює нулю. Після перетворення до цього базису

: <math>\operatorname{cov}(X_i,X_j)=0</math> для <math>i \neq j </math>.

Тут <math>\operatorname{cov}(X_i,X_j)= \operatorname{E}[(X_i-\operatorname{E}[X_i])(X_j-\operatorname{E}[X_j])] </math>&nbsp;— коефіцієнт коваріації, де <math>\operatorname{E} </math>&nbsp;— [[Математичне сподівання|математичне сподівання]].

== Діагоналізація коваріаційної матриці ==
Всі задачі про головні компоненти приводять до задачі діагоналізації коваріаційної матриці або вибіркової коваріаційної матриці. Емпірична або вибіркова коваріаційна матриця, це

: <math>C = [c_{ij}],\ c_{ij} = \frac{1}{m-1} \sum_{l=1}^m (x_{li}-\overline{X_{i}})(x_{lj}-\overline{X_{j}}).</math>

[[Коваріаційна матриця]] багатовимірної випадкової величини <math>X</math>, це

: <math>\Sigma = [\sigma_{ij}],\ \sigma_{ij} = \operatorname{cov}(X_i,X_j)=\operatorname{E}[(X_i-\operatorname{E}[X_i])(X_j-\operatorname{E}[X_j])].</math>

Вектори головних компонент для задач про найкращу апроксимацію і про пошук ортогональних проекцій з найбільшим розсіянням&nbsp;— це ортонормований набір <math>\left\{a_1,..., a_n \right\}</math> власних векторів емпіричної коваріаційної матриці <math>C</math>, розташованих у порядку спадання власних значень <math>\lambda: \lambda_1 \ge \lambda_2 \ge ... \ge \lambda_n \ge 0. </math> Ці вектори слугують оцінкою для власних векторів коваріаційної матриці <math>\operatorname{cov}(X_i,X_j) </math>. У базисі власних векторів коваріаційної матриці вона, природно, діагональна, і в цьому базисі коефіцієнт коваріації між різними координатами дорівнює нулю.

Якщо спектр коваріаційної матриці вироджений, то вибирають довільний ортонормований базис власних векторів. Він існує завжди, а власні числа коваріаційної матриці завжди дійсні і невід'ємні.

== Сингулярний розклад матриці даних ==

=== Ідея сингулярного розкладу ===
Математичний зміст методу головних компонент&nbsp;— це ''спектральне розкладання'' коваріаційної матриці <math>C </math>, тобто подання простору даних у вигляді суми взаємно ортогональних власних підпросторів <math>C </math>, а самої матриці <math>C </math>&nbsp;— у вигляді лінійної комбінації ортогональних проекторів на ці підпростори з коефіцієнтами <math>\lambda_i </math>. Якщо <math>\operatorname{X}=\left\{x_1,..., x_m \right\}^T</math>&nbsp;— матриця, складена з векторів-рядків (розмірності <math>n</math>) центрованих даних, то <math>C =\frac{1}{m-1} \operatorname{X}^T\operatorname{X}</math> і задача про спектральний розклад коваріаційної матриці <math>C</math> перетворюється на задачу про сингулярний розклад матриці даних <math>\operatorname{X}</math>.

Число <math>\sigma \geq 0 </math> називається сингулярним числом матриці <math>\operatorname{X}</math> тоді і тільки тоді, коли існують '''правий і лівий сингулярні вектори''': такі <math>m</math>-вимірний вектор-рядок <math>b_{\sigma}</math> і <math>n</math>-вимірний вектор-стовпець <math>a_{\sigma}</math> (обидва одиничної довжини), що виконуються дві рівності:

: <math>\operatorname{X} a_{\sigma} = \sigma b_{\sigma}^T ;\, \, b_{\sigma} \operatorname{X}= \sigma a_{\sigma}^T.</math>

Нехай <math>p= \operatorname{rang} \operatorname{X} \leq \min\{n,m\}</math>&nbsp;— [[Ранг (лінійна алгебра)|ранг матриці]] даних. Сингулярний розклад матриці даних <math>\operatorname{X}</math>&nbsp;— це її подання у вигляді

: <math>\operatorname{X}= \sum_{l=1}^p \sigma_l b_l^T a_l^T ; \;\operatorname{X}^T= \sum_{l=1}^p \sigma_l a_l b_l \; \left(x_{ij}=\sum_{l=1}^p \sigma_l b_{li}a_{lj}\right),</math>

де <math>\sigma_l > 0</math>&nbsp;— сингулярне число, <math>a_l=(a_{lj}), \, j=1,... n</math>&nbsp;— відповідний правий сингулярний вектор-стовпець, а <math>b_l=(b_{li}), \, i=1,... m</math>&nbsp;— відповідний лівий сингулярний вектор-рядок (<math>l=1,...p</math>). Праві сингулярні вектори-стовпці <math>a_l</math>, що беруть участь у цьому розкладі, є векторами головних компонент і власними векторами емпіричної коваріаційної матриці
<math>C =\frac{1}{m-1}\operatorname{X} ^T \operatorname{X} </math>, що відповідають додатним власним числам <math>\lambda_l=\frac{1}{m-1}\sigma_l^2 > 0 </math>.

Хоча формально завдання сингулярного розкладу матриці даних і спектрального розкладу коваріаційної матриці збігаються, алгоритми обчислення сингулярного розкладу безпосередньо, без обчислення коваріаційної матриці і її спектра, більш ефективні і стійкі<ref>''Bau III, D., Trefethen, L. N.'', [https://books.google.com/books?id=bj-Lu6zjWbEC&pg=PA136&dq=isbn:9780898713619&sig=BmAatL8LDJZZRhfJIFVRHLQNJw0#PPP1,M1 Numerical linear algebra], Philadelphia: Society for Industrial and Applied Mathematics, 1997. (Lecture 31) ISBN 978-0-89871-361-9</ref>.

Теорія сингулярного розкладання була створена [[Джеймс Джозеф Сильвестр|Джеймсом Джозефом Сильвестром]] у [[1889 у науці|1889 році]] і викладена в усіх докладних посібниках з теорії матриць<ref>''[[Гантмахер Фелікс Рувимович|Гантмахер Ф. Р.]]'', Теория матриц.&nbsp;— М: Наука, 1966.&nbsp;— 576 с.</ref>.

=== Простий ітераційний алгоритм сингулярного розкладання ===
Основна процедура&nbsp;— пошук найкращого наближення довільної <math>m \times n</math> матриці <math>X=(x_{ij})</math> матрицею виду <math>b \otimes a = (b_i a_j)</math> (де <math>b</math>&nbsp;— <math>m</math>-вимірний вектор, а <math>a</math>&nbsp;— <math>n</math>-вимірний вектор) методом найменших квадратів:

: <math>F(b, a) = \frac{1}{2}\sum_{i=1}^m \sum_{j=1}^n (x_{ij} - b_i a_j )^2 \to \min</math>

Розв'язок цієї задачі дається послідовними ітераціями за явними формулами. При фіксованому векторі <math>a=(a_j) </math> значення <math>b=(b_i) </math>, що надають мінімум формі <math>F(b, a) </math>однозначно і явно визначаються з рівностей <math>\partial F/ \partial b_i = 0</math> :

: <math>\frac{\partial F}{\partial b_i} = - \sum_{j=1}^n (x_{ij} - b_i a_j )a_j = 0; \;\; b_i = \frac{\sum_{j=1}^n x_{ij}  a_j}{\sum_{j=1}^n a_j^2 }\, . </math>

Аналогічно, при фіксованому векторі <math>b =(b_ i) </math> визначаються значення <math>a=(a_j) </math>:

: <math>a_j = \frac{\sum_{i=1}^m b_i x_{ij} }{\sum_{i =1}^m b_i ^2 }\, . </math>

Як початкове наближення вектора <math>a</math> береться випадковий вектор одиничної довжини, обчислюємо вектор <math>b</math>, далі для цього вектора <math>b</math> обчислюємо вектор <math>a</math> і&nbsp;т.&nbsp;д. Кожен крок зменшує значення <math>F(b, a) </math>. Як критерій зупинки використовується малість відносного зменшення значення функціоналу <math>F(b, a) </math>, що мінімізується, за крок ітерації (<math>\Delta F / F </math>) або малість самого значення <math>F</math>.

Внаслідок цього для матриці <math>X=(x_{ij})</math> отримується найкраще наближення матрицею <math>P_1</math> виду <math>b^1 \otimes a^1 = (b_i^1  a_j^1)</math> (тут верхнім індексом позначено номер наближення). Далі, з матриці <math>X</math> віднімається отримана матриця <math>P_1</math>, і для отриманої матриці ухилень <math>X_1=X-P_1</math> знову шукається найкраще наближення <math>P_2</math> цього ж виду і&nbsp;т.&nbsp;д., поки, наприклад, норма <math>X_k</math> не стане достатньо малою. В результаті отримали ітераційну процедуру розкладання матриці <math>X</math> у вигляді суми матриць рангу 1, тобто <math>X=P_1+P_2+... +P_q  \;  (P_l = b^l \otimes a^l) </math> . Приймаємо <math>\sigma_l = \|a^l\| \|b^l\|</math> і нормуємо вектори <math>a^l \, , \, b^l</math>: <math>a^l:= a^l/ \| a^l\|; \, \, b^l:= b^l/ \| b^l\|.</math> В результаті отримано апроксимацію сингулярних чисел <math>\sigma_l </math> і сингулярних векторів (правих&nbsp;— <math>a^l</math> і лівих&nbsp;— <math>b^l</math>).

До переваг цього алгоритму відноситься його виняткова простота і можливість майже без змін перенести його на дані з прогалинами<ref>''Россиев А. А.'',: [http://pca.narod.ru/DisRos.htm Ітераційне моделювання неповних даних за допомогою багатовидів малої розмірності], Вид-во СО РАН, 2005.</ref>, а також зважені дані.

Існують різні модифікації базового алгоритму, що поліпшують точність і стійкість. Наприклад, вектори головних компонент <math>a^l</math> при різних <math>l</math> повинні бути ортогональні «за побудовою», однак за великого числа ітерацій (велика розмірність, багато компонент) малі відхилення від ортогональності накопичуються і може знадобитися спеціальна корекція <math>a^l</math> на кожному кроці, що забезпечує його ортогональність раніше знайденим головним компонентам.

Для квадратних симетричних додатно визначених матриць описаний алгоритм перетворюється на метод прямих ітерацій для пошуку власних векторів (див. статтю [[Власні вектори та власні числа]]).

=== Сингулярне розкладання тензорів і тензорний метод головних компонент ===
Часто вектор даних має додаткову структуру прямокутної таблиці (наприклад, плоске зображення) або навіть багатовимірної таблиці&nbsp;— тобто [[Тензор|тензора]]: <math>x_{i_{1}i_{2}...i_{q}}</math>, <math>1 \leq i_{j} \leq n_j</math>. У цьому випадку також ефективно застосовувати сингулярне розкладання. Визначення, основні формули та алгоритми переносяться практично без змін: замість матриці даних маємо <math>q+1</math>-індексну величину <math>\operatorname{X}=(x_{i_{0}i_{1}i_{2}...i_{q}})</math>, де перший індекс <math>i_{0}</math>-номер точки (тензора) даних.

Основна процедура&nbsp;— пошук найкращого наближення тензора <math>x_{i_{0}i_{1}i_{2}...i_{q}}</math> тензором виду <math>a^0_{i_{0}} a^1_{i_{1}}a^2_{i_{2}}...a^q_{i_{q}}</math> (де <math>a^0=(a^0_{i_{0}})</math>&nbsp;— <math>m</math>-вимірний вектор (<math>m</math>&nbsp;— кількість точок даних), <math>a^l=(a^l_{i_{l}})</math>&nbsp;— вектор розмірності <math>n_l</math> при <math>l>0</math>) методом найменших квадратів:

: <math>F= \frac{1}{2}\sum_{i_{0}=1}^m \sum_{i_{1}=1}^{n_1}...\sum_{i_{q}=1}^{n_q} (x_{i_{0}i_{1}...i_{q}} - a^0_{i_{0}} a^1_{i_{1}}...a^q_{i_{q}})^2 \to \min</math>

Розв'язок цієї задачі отримується послідовними ітераціями за явними формулами. Якщо задано всі вектори-співмножники крім одного <math>a^k_{i_{k}}</math>, то він визначається явно з достатніх умов мінімуму.

: <math>a^k_{i_{k}}= \frac{\sum_{i_{0}=1}^m
\sum_{i_{1}=1}^{n_1}...\sum_{i_{k-1}=1}^{n_{k-1}}\sum_{i_{k+1}=1}^{n_{k+1}}...\sum_{i_{q}=1}^{n_{q}}
x_{i_{0}i_{1}...i_{k-1}i_{k}i_{k+1}...i_{q}} a^0_{i_{0}}
a^{k-1}_{i_{k-1}}a^{k+1}_{i_{k+1}}...a^q_{i_{q}}}{\prod_{j\neq k}
\|a^j\|^2 }\, . </math>

Як початкове наближення векторів <math>a^l=(a^l_{i_{l}})</math> (<math>l>0</math>) беруться випадкові вектори одиничної довжини, обчислимо вектор <math>a^0</math>далі для цього вектора <math>a^0</math> і даних векторів <math>a^2 , a^3, ...</math> обчислюється вектор <math>a^1</math> і так далі (циклічно перебираючи індекси). Кожен крок зменшує значення <math>F(b, a)</math>. Алгоритм, очевидно, збігається. Як критерій зупинки використовується малість відносного зменшення значення функціоналу <math>F</math>, що мінімізується, за цикл або малість самого значення <math>F</math>. Далі, від тензора <math>\operatorname {X}</math> віднімається отримане наближення <math>a^0_{i_{0}} a^1_{i_{1}}a^2_{i_{2}}...a^q_{i_{q}}</math> і для залишку знову шукається найкраще наближення цього ж вигляду і&nbsp;т.&nbsp;д., поки, наприклад, норма чергового залишку не стане достатньо малою.

Це багатокомпонентне сингулярне розкладання (тензорний метод головних компонент) успішно застосовується при обробці зображень, відеосигналів, і, ширше, будь-яких даних, що мають табличну або тензорну структуру.

== Матриця перетворення до головних компонентів ==
Матриця <math>A</math> перетворення даних до головних компонент складається з векторів головних компонент, розташованих у порядку спадання власних значень:

: <math>A=\left \{a_1,...,a_n \right \}^T</math> (<math>{\,}^T</math> означає транспонування), причому

: <math>A A^T=1.</math>

Тобто, матриця <math>A</math> є [[Ортогональна матриця|ортогональною]].

Велика частина варіації даних буде зосереджена в перших координатах, що дозволяє перейти до простору меншої розмірності.

== Залишкова дисперсія ==
Нехай дані центровані, <math>\overline{ X}=0</math>. При заміні векторів даних <math>x_i</math> їх проекцією на перші <math>k</math> головних компонент <math>x_i \mapsto \sum_{j=1}^k a_j (a_j, x_i) </math> вноситься середній квадрат помилки в розрахунку на один вектор даних:

: <math>\frac{1}{m} \sum_{i=1}^m \left\Vert x_i - \sum_{j=1}^k a_j (a_j, x_i) \right \Vert ^2=\sum_{l=k+1}^n \lambda_l, </math>

де <math>\lambda_1 \ge \lambda_2 \ge ... \ge \lambda_n \ge 0</math>&nbsp;— власні значення емпіричної коваріаційної матриці <math>C</math>, розташовані в порядку спадання, з урахуванням кратності.

Ця величина називається ''залишковою дисперсією''. Величина

: <math>\frac{1}{m} \sum_{i=1}^m \left\Vert \sum_{j=1}^k a_j (a_j, x_i) \right \Vert ^2=
\frac{1}{m} \sum_{i=1}^m  \sum_{j=1}^k (a_j, x_i)^2=\sum_{l=1}^k \lambda_l </math>

називається ''поясненою дисперсією''. Їх сума дорівнює вибірковій дисперсії. Відповідний квадрат відносної помилки&nbsp;— це відношення залишкової дисперсії до вибіркової дисперсії (тобто ''частка непоясненої дисперсії''):

: <math>\delta^2_k=\frac{\lambda_{k+1}+\lambda_{k+2}+...+\lambda_{n}}{\lambda_{1}+\lambda_{2}+...+\lambda_{n}}.</math>

За відносною помилкою <math>\delta_k</math> оцінюється придатність методу головних компонент з проеціюванням на перші <math>k</math> компонент.

'''Зауваження''': в більшості обчислювальних алгоритмів власні числа <math>\lambda_i</math> з відповідними власними векторами головними компонентами <math>a_i</math> обчислюються в порядку «від великих <math>\lambda_i</math>&nbsp;— до менших». Для обчислення <math>\delta_k</math> достатньо обчислити перші <math>k</math> власних чисел і слід емпіричної коваріаційної матриці <math>C</math>, <math>\operatorname{tr} C</math> (суму діагональних елементів <math>C</math>, тобто дисперсій за осями). Тоді

: <math>\delta^2_k=\frac{1}{\operatorname{tr} C}\left(\operatorname{tr} C -\sum_{i=1}^k \lambda_{i}\right).</math>

== Відбір головних компонент за правилом Кайзера ==
Цільовий підхід до оцінки числа головних компонент з необхідною часткою поясненої дисперсії формально застосовується завжди, однак неявно він припускає, що немає поділу на «сигнал» і «шум», і будь-яка наперед задана точність має сенс. Тому часто більш продуктивна інша [[евристика]], яка ґрунтується на гіпотезі про наявність «сигналу» (порівняно мала розмірність, відносно велика амплітуда) і «шуму» (велика розмірність, відносно мала амплітуда). З цієї точки зору метод головних компонент працює як фільтр: сигнал міститься, в основному, в проекції на перші головні компоненти, а в інших компонентах пропорція шуму значно вища.

Питання: як оцінити число необхідних головних компонент, якщо відношення «сигнал/шум» заздалегідь не відоме?

Найпростіший і найстаріший метод відбору головних компонент дає '''правило Кайзера''' ({{lang-en|Kaiser's rule}}): значущі ті головні компоненти, для яких

: <math>\lambda_i > \frac{1}{n} \operatorname{tr} C ,</math>

тобто <math>\lambda_i </math> перевищує середнє значення <math>\lambda </math> (середню вибіркову дисперсію координат вектора даних). Правило Кайзера добре працює в простих випадках, коли є декілька головних компонент з <math>\lambda_i </math>, які значно перевищують середнє значення, а інші власні числа, менші за нього. У більш складних випадках воно може давати занадто багато значущих головних компонент. Якщо дані нормовані на одиничну вибіркову дисперсію за осями, то правило Кайзера набуває особливо простого вигляду: значущі тільки ті головні компоненти, для яких <math>\lambda_i > 1</math>.

== Оцінка числа головних компонент за правилом зламаної тростини ==
[[Файл:5DFig.png|міні|Приклад: оцінка числа головних компонент за правилом зламаної тростини в розмірності 5.]]
Одним з найбільш популярних евристичних підходів до оцінки числа необхідних головних компонент є '''правило зламаної тростини''' ({{lang-en|Broken stick model}})<ref>''Cangelosi R. '', ''Goriely A.'', [http://www.biology-direct.com/content/2/1/2 Component retention in principal component analysis with application to cDNA microarray data], Biology Direct 2007, 2:2. [http://pca.narod.ru/ А також на сайті PCA].</ref>. Набір нормованих на одиничну суму власних чисел (<math>\lambda_i / \operatorname{tr} C</math>, <math>i=1,...n</math>) порівнюється з розподілом довжин уламків тростини одиничної довжини, зламаної в <math>n-1</math>-й випадково вибраній точці (точки зламу вибираються незалежно і рівномірно розподілені вздовж тростини). Нехай <math>L_i</math> (<math>i=1,...n</math>)&nbsp;— довжини отриманих шматків тростини, занумеровані в порядку зменшення довжини<math>L_1 \geq L_2 \geq... L_n</math>. Нескладно знайти [[Математичне сподівання|математичне сподівання]] <math>L_i</math>:

: <math>l_i=\operatorname{E}(L_i)=\frac{1}{n}\sum_{j=i}^{n} \frac{1}{j}.</math>

За правилом зламаної тростини <math>k</math>-й власний вектор (у порядку зменшення власних чисел <math>\lambda_i</math>) зберігається в списку головних компонент, якщо

: <math>\frac{\lambda_1}{\operatorname{tr} C}>l_1 \; and \; \frac{\lambda_2}{\operatorname{tr} C}>l_2  \; and \; ... \frac{\lambda_k}{\operatorname{tr} C}>l_k .</math>

На рисунку наведено приклад для 5-вимірного випадку:

: <math>l_1</math>=(1+1/2+1/3+1/4+1/5)/5; <math>l_2</math>=(1/2+1/3+1/4+1/5)/5; <math>l_3</math>=(1/3+1/4+1/5)/5; <math>l_4</math>=(1/4+1/5)/5; <math>l_5</math>=(1/5)/5.

Для прикладу вибрано

: <math>\frac{\lambda_1}{\operatorname{tr} C}</math>=0.5; <math>\frac{\lambda_2}{\operatorname{tr} C}</math>=0.3; <math>\frac{\lambda_3}{\operatorname{tr} C}</math>=0.1; <math>\frac{\lambda_4}{\operatorname{tr} C}</math>=0.06; <math>\frac{\lambda_5}{\operatorname{tr} C}</math>=0.04.

За правилом зламаної тростини в цьому прикладі слід залишати 2 головні компоненти:

: <math>\frac{\lambda_1}{\operatorname{tr} C}>l_1 \;; \; \frac{\lambda_2}{\operatorname{tr} C}>l_2 \;; \;\frac{\lambda_3}{\operatorname{tr} C}<l_3\;.</math>

За оцінками користувачів, правило зламаної тростини має тенденцію занижувати кількість значущих головних компонент.

== Нормування ==

=== Нормування після зведення до головних компонент ===
''Після'' проеціювання на перші <math>k</math> головних компонент з <math>\lambda_1 \ge \lambda_2 \ge ... \ge \lambda_k > 0</math> зручно провести нормування на одиничну (вибіркову) дисперсію за осями. Дисперсія вздовж <math>i</math>-ї головної компоненти дорівнює
<math>\lambda_i > 0 \; (1 \le i \le k</math>), тому для нормування треба поділити відповідну координату на <math>\sqrt{ \lambda_i}</math>. Це перетворення не є ортогональним і не зберігає скалярного добутку. Коваріаційна матриця проекції даних після нормування стає одиничною, проекції на будь-які два ортогональні напрямки стають незалежними величинами, а будь-який ортонормований базис стає базисом головних компонент (нагадаємо, що нормування змінює відношення ортогональності векторів). Відображення простору початкових даних на перші <math>k</math> головних компонент разом з нормуванням задається матрицею

: <math>K=\left \{\frac{a_1}{\sqrt{ \lambda_1}},\frac{a_2}{\sqrt{ \lambda_2}},...,\frac{a_k}{\sqrt{ \lambda_k}} \right \}^T</math>.

Саме це перетворення найчастіше називається перетворенням Кархунена&nbsp;— Лоева. Тут <math>a_i</math>&nbsp;— вектори-стовпці, а верхній індекс <math>T</math> означає транспонування.

=== Нормування до обчислення головних компонент ===
'''Попередження''': не слід плутати нормування, що проводиться після перетворення до головних компонент, з нормуванням і «знерозмірюванням» при ''передобробці даних'', що проводиться до обчислення головних компонент. Попереднє нормування потрібне для обґрунтованого вибору метрики, в якій буде обчислюватися найкраща апроксимація даних, або будуть шукатися напрямки найбільшого розкиду (що еквівалентно). Наприклад, якщо дані являють собою просторові вектори з «метрів, літрів і кілограмів», то при використанні стандартної евклідової відстані різниця на 1 метр за першою координатою робитиме такий самий внесок, що й різниця на 1 літр за другою, або на 1&nbsp;кг за третьою. Зазвичай системи одиниць, в яких подані початкові дані, недостатньо точно відображають наші уявлення про природні масштаби за осями, і проводиться «знерозмірювання»: кожна координата ділиться на певний масштаб, який визначається даними, цілями їх обробки і процесами вимірювання і збору даних.

Є три істотно різних стандартних підходи до такого нормування: на ''одиничну дисперсію'' за осями (масштаби за осями дорівнюють середнім квадратичним ухиленням&nbsp;— після цього перетворення коваріаційна матриця збігається з матрицею [[Кореляція і залежність|коефіцієнтів кореляції]]), на ''рівну точність вимірювання'' (масштаб за віссю пропорційний точності вимірювання даної величини) і на ''рівні вимоги'' в задачі (масштаб за віссю визначається необхідною точністю прогнозу даної величини або допустимим її спотворенням&nbsp;— рівнем толерантності). На вибір передобробки впливають змістовна постановка задачі, а також умови збору даних (наприклад, якщо колекція даних принципово не завершена і дані будуть ще надходити, то нераціонально вибирати нормування строго на одиничну дисперсію, навіть якщо це відповідає змісту завдання, оскільки це передбачає ренормалізацію всіх даних після отримання нової порції; розумніше вибрати певний масштаб, що грубо оцінює стандартне відхилення, і далі його не змінювати).

Попереднє нормування на одиничну дисперсію за осями руйнується поворотом системи координат, якщо осі не є головними компонентами, і нормування при передобробці даних не замінює нормування після зведення до головних компонент.

== Механічна аналогія і метод головних компонент для зважених даних ==
Якщо зіставити кожному вектору даних одиничну масу, то емпірична коваріаційна матриця
<math>C</math> збіжиться з [[Момент інерції|тензором інерції]] цієї системи точкових мас (поділеним на повну масу <math>m</math>), а задача про головні компоненти&nbsp;— із задачею зведення тензора інерції до головних осей. Можна використовувати додаткову свободу у виборі значень мас для врахування важливості точок даних або надійності їхніх значень (важливим даними або даними з більш надійних джерел приписуються великі маси). Якщо '''вектору даних <math>x_l</math> надається маса <math>w_l</math>,''' то замість емпіричної коваріаційної матриці <math>C</math> отримаємо

: <math>C^w = [c^w_{ij}],\ c^w_{ij} = \frac{1}{\sum_{l} w_l} \sum_{l=1}^m w_l(x_{li}-\overline{X_{i}})(x_{lj}-\overline{X_{j}}).</math>

Всі подальші операції зі зведення до головних компонент виконуються так само, як і в основній версії методу: шукається ортонормований власний базис <math>C^w</math>, впорядковується за спаданням власних значень, оцінюється середньозважена помилка апроксимації даних першими <math>k</math> компонентами (за сумами власних чисел <math>C^w</math>), проводиться нормування і так далі.

Більш загальний спосіб зважування дає '''максимізація зваженої суми попарних відстаней'''<ref>''Koren Y., Carmel L.,'' Robust linear dimensionality reduction, IEEE Transactions on Visualisation and Computer Graphics, 10 (4) (2004), 459—470. [http://pca.narod.ru/ А також на сайті PCA]</ref> між проекціями. Для кожних двох точок даних, <math>x_l , \ x_q</math> вводиться вага <math>d_{lq}</math>; <math>d_{lq}=d_{ql}</math> і <math>d_{l}=\sum_{q=1}^m d_{lq}</math>. Замість емпіричної коваріаційної матриці <math>C</math> використовується

: <math>C^d = [c^d_{ij}],\ c^d_{ij} =\sum_{l=1}^m d_l (x_{li}-\overline{X_{i}})(x_{lj}-\overline{X_{j}})  -\sum_{l \neq q, \ l,q=1}^m d_{lq}(x_{li} - \overline{X_{i}})(x_{qj}- \overline{X_{j}}).</math>

При <math>d_{lq}>0</math> симетрична матриця <math>C^d</math> додатно визначена, оскільки додатна квадратична форма:

: <math>\sum_{ij} c^d_{ij}a_i a_j = \frac{1}{2}\sum_{lq}d_{lq}\left(\sum_ia_i(x_{li}-x_{qi})\right)^2.</math>

Далі шукаємо ортонормований власний базис <math>C^d</math>, впорядковуємо його за спаданням власних значень, оцінюємо середню помилку апроксимації даних першими <math>k</math> компонентами і&nbsp;т.&nbsp;д.&nbsp;— так само, як і в основному алгоритмі.

Цей спосіб застосовується за наявності класів: для <math>x_l , \ x_q</math> з різних класів вага <math>d_{lq}</math> вага вибирається більшою, ніж для точок одного класу. Як наслідок, у проекції на зважені головні компоненти різні класи «розсуваються» на більшу відстань.

Інше застосування&nbsp;— зниження впливу великих ухилень, так званих [[Викид (статистика)|викидів]] (en.:outlier), які можуть спотворювати картину через використання середньоквадратичної відстані: якщо вибрати <math>d_{lq}=1/ \| x_l -x_q \|</math>, то вплив великих ухилень буде зменшено. Таким чином, описана модифікація методу головних компонент є більш [[Робастність у статистиці|робастною]], ніж класична.

== Спеціальна термінологія ==
В статистиці при використанні методу головних компонент використовують кілька спеціальних термінів.

* ''Матриця даних''&nbsp;— <math>\mathbf{X}=\{x_1,... x_m\}^T</math>; кожен рядок&nbsp;— вектор ''передоброблених'' даних (''центрованих'' і правильно ''нормованих''), число рядків&nbsp;— <math>m</math> (кількість векторів даних), число стовпців&nbsp;— <math>n</math> (розмірність простору даних);
* ''Матриця навантажень'' ({{lang-en|loadings}})&nbsp;— <math>\mathbf{P}=\{a_1,... a_k\}</math>; кожен стовпець&nbsp;— вектор головних компонент, число рядків&nbsp;— <math>n</math> (розмірність простору даних), число стовпців&nbsp;— <math>k</math> (кількість векторів головних компонент, вибраних для проеціювання);
* ''Матриця рахунків'' ({{lang-en|scores}})&nbsp;— <math>\mathbf{T}=[t_{ij}]; \; t_{ij}=(x_i,a_j)</math>; кожен рядок&nbsp;— проекція вектора даних на <math>k</math> головних компонент; число рядків&nbsp;— <math>m</math> (кількість векторів даних), число стовпців&nbsp;— <math>k</math> (кількість векторів головних компонент, вибраних для проеціювання);
* ''Матриця <math>Z</math>-рахунків'' ({{lang-en|<math>Z</math>-scores}})&nbsp;— <math>\mathbf{Z}=[z_{ij}]; \; z_{ij}=\frac{(x_i,a_j)}{\sqrt{ \lambda_j}}</math>; кожен рядок&nbsp;— проекція вектора даних на <math>k</math> головних компонент, нормована на одиничну вибіркову дисперсію; число рядків&nbsp;— <math>m</math> (кількість векторів даних), число стовпців&nbsp;— <math>k</math> (кількість векторів головних компонент, вибраних для проектування);
* ''Матриця помилок'' (або ''залишків'') ({{lang-en|errors}} або {{Lang-en2|residuals}})&nbsp;— <math>\mathbf{E}=\mathbf{X}-\mathbf{T}\mathbf{P}^T</math>.
* Основна формула: <math>\mathbf{X}=\mathbf{T}\mathbf{P}^T+\mathbf{E}</math>.

== Межі застосування та обмеження ефективності методу ==
<!--[[Файл:BranchingPrincipalComponents.gif|міні| Побудова розгалужених головних компонент методом топологічних граматик. Хрестики&nbsp;— точки даних, червоне дерево з жовтими вузлами&nbsp;— апроксимувальний дендрит<ref name="TopGram">Опис методу можна знайти в статті: ''Gorban A. N. , Sumner N. R., and Zinovyev A. Y.'', Topological grammars for data approximation, Applied Mathematics Letters, Volume 20, Issue 4 (2007), 382—386; або ''Gorban A. N. , Sumner N. R., and Zinovyev A. Y.'', [http://pca.narod.ru/contentsgkwz.htm Beyond The Concept of Manifolds: Principal Trees, Metro Maps, and Elastic Cubic Complexes] In: Gorban A. N. et al (Eds.), LNCSE 58, Springer, 2007 ISBN 978-3-540-73749-0; [[arxiv:0801.0176|а також в arXiv]]</ref>.]]-->
Метод головних компонент застосовний завжди. Розповсюджене твердження про те, що він застосовний тільки до [[Нормальний розподіл|нормально розподілених]] даних (або для розподілів близьких до нормальних) хибне: у початковому формулюванні Пірсона ставиться задача про ''наближення'' скінченної множини даних та відсутня навіть гіпотеза про їх статистичне породження, не кажучи вже про розподіл.

Однак метод не завжди ефективно знижує розмірність за заданих обмежень на точність <math>\delta_k</math>. Прямі і площини не завжди забезпечують гарну апроксимацію. Наприклад, дані можуть з хорошою точністю дотримуватися якоїсь кривої, а ця крива може бути складно розташована у просторі даних. У цьому випадку метод головних компонент для прийнятної точності зажадає декількох компонент (замість однієї), або взагалі не дасть зниження розмірності за прийнятної точності. Для роботи з такими «кривими» головними компонентами винайдено метод головних многовидів<ref>З цієї роботи почалося вивчення головних багатовидів. Дисертація ''T. Хасти'': ''Hastie T.'', [http://www.dtic.mil/docs/citations/ADA148833 Principal Curves and Surfaces], Ph.D Dissertation, Stanford Linear Accelerator Center, Stanford University, Stanford, California, US, November 1984. [http://pca.narod.ru/HastieThesis.htm А також на сайті PCA]</ref> і різні версії нелінійного методу головних компонент<ref>''Scholz M., Fraunholz M., Selbig J.'', [http://pca.narod.ru/contentsgkwz.htm Nonlinear Principal Component Analysis: Neural Network Models and Applications], In: Gorban A. N. et al (Eds.), LNCSE 58, Springer, 2007 ISBN 978-3-540-73749-0</ref><ref>''Yin H.'' [http://pca.narod.ru/contentsgkwz.htm Learning Nonlinear Principal Manifolds by Self-Organising Maps], In: Gorban A. N. et al (Eds.), LNCSE 58, Springer, 2007 ISBN 978-3-540-73749-0</ref>. Найбільше неприємностей можуть спричинити дані складної топології. Для їх апроксимації також винайдено різні методи, наприклад [[Самоорганізаційна Карта Кохонена|самоорганізаційні карти Кохонена]], [[нейронний газ]]<ref>''Martinetz, T. M., Berkovich, S. G., and Schulten K. J.'', [http://pca.narod.ru/MartinesShultenNeuralGas1993.pdf Neural-gas network for vector quantization and its application to time-series prediction.] IEEE Transactions on Neural Networks, 4 (1993) #4, 558—569. На сайті [http://pca.narod.ru/ PCA]</ref> або топологічні граматики<ref name="TopGram">Опис методу можна знайти в статті: ''Gorban A. N. , Sumner N. R., and Zinovyev A. Y.'', Topological grammars for data approximation, Applied Mathematics Letters, Volume 20, Issue 4 (2007), 382—386; або ''Gorban A. N. , Sumner N. R., and Zinovyev A. Y.'', [http://pca.narod.ru/contentsgkwz.htm Beyond The Concept of Manifolds: Principal Trees, Metro Maps, and Elastic Cubic Complexes] In: Gorban A. N. et al (Eds.), LNCSE 58, Springer, 2007 ISBN 978-3-540-73749-0; [[arxiv:0801.0176|а також в arXiv]]</ref>. Якщо дані статистично породжені з розподілом, що дуже відрізняється від нормального, то для апроксимації розподілу корисно перейти від головних компонент до ''незалежних компонент''<ref>''Hyvdrinen A, Karhunen J., and Oja E.'', Independent Component Analysis, A Volume in the Wiley Series on and Adaptive Learning Systems for Signal Processing, Communications, and Control.&nbsp;— John Wiley & Sons, Inc., 2001.&nbsp;— XVI+481 pp. ISBN 0-471-40540-X</ref>, які вже не ортогональні у початковому скалярному добутку. Нарешті, для ізотропного розподілу (навіть нормального) замість еліпсоїда розсіювання отримуємо кулю, і зменшити розмірність методами апроксимації неможливо.

== Приклади використання ==

=== Візуалізація даних ===
Візуалізація даних&nbsp;— подання в наочній формі даних експерименту або результатів теоретичного дослідження.

Першим вибором у візуалізації множини даних є ортогональне проеціювання на площину перших двох головних компонент (або 3-вимірний простір перших трьох головних компонент). Площина проеціювання є, по суті, плоским двовимірним «екраном», розташованим таким чином, щоб забезпечити «картинку» даних з найменшими спотвореннями. Така проекція буде оптимальною (серед усіх ортогональних проекцій на різні двовимірні екрани) в трьох аспектах:

:# Мінімальна сума квадратів відстаней від точок даних до проекцій на площину перших головних компонент, тобто екран розташований максимально близько по відношенню до хмари точок.
:# Мінімальна сума спотворень квадратів відстаней між усіма парами точок з хмари даних після проеціювання точок на площину.
:# Мінімальна сума спотворень квадратів відстаней між усіма точками даних і їх «центром тяжіння».

Візуалізація даних є одним з найбільш широко використовуваних застосувань методу головних компонент та його нелінійних узагальнень<ref name="Зиновьев">''Зінов'єв А. Ю.'', [http://pca.narod.ru/ZINANN.htm Візуалізація багатовимірних даних], Красноярськ, Вид. КГТУ, 2000.</ref>.

=== Стиснення зображень і відео ===
Для зменшення просторової надмірності пікселів під час кодування зображень і відео використовується лінійне перетворення блоків пікселів. Подальші квантування отриманих коефіцієнтів і кодування без втрат дозволяють отримати значні коефіцієнти стиснення. Використання перетворення PCA як лінійне перетворення є для деяких типів даних оптимальним з точки зору розміру отриманих даних за однакового спотворення<ref>''Rao, K., Yip P.'' (eds.), The Transform and Data Compression Handbook, CRC Press, Baton Rouge, 2001.</ref>. На даний момент цей метод активно не використовується, в основному через велику обчислювальну складність. Також стиснення даних можна досягти відкидаючи останні коефіцієнти перетворення.

=== Придушення шуму на фотографіях ===
Основна суть методу<ref>''Muresan D. D., Parks T. W.'', [http://pca.narod.ru/MuresanParksAdaptivePCA2003.pdf Adaptive Principal Components and Image Denoising], in: Image Processing, 2003, Proceedings 2003 IEEE International Conference on Image Processing (ICIP), 14-17 Sept. 2003, V. 1, pp. I-101-104. На сайті [http://pca.narod.ru/ PCA]</ref>&nbsp;— при видаленні шуму з блоку пікселів подати окіл цього блоку у вигляді набору точок у багатовимірному просторі, застосувати до нього PCA і залишити тільки перші компоненти перетворення. При цьому передбачається, що в перших компонентах міститься основна корисна інформація, решта ж компонент містять непотрібний шум. Застосувавши зворотне перетворення після редукції базису головних компонент, отримаємо зображення без шуму.

=== Індексація відео ===
Основна ідея&nbsp;— подати за допомогою PCA кожен кадр відео кількома значеннями, які в подальшому будуть використовуватися при побудові бази даних та запитів до неї. Настільки істотна редукція даних дозволяє значно збільшити швидкість роботи і стійкість до ряду спотворень у відео.

=== Біоінформатика ===
[[Файл:Streptomyces_coelicolor_sc.gif|міні|'''Рис. А.''' Проекція ДНК-блукання на перші 2 головні компоненти для [[Геном|геному]] [[бактерії]] {{нп|Streptomyces coelicolor}}]]
[[Файл:Streptomyces_coelicolor_sc_anim.gif|міні|'''Рис. Б.''' Проекція ДНК-блукання на перші 3 головні компоненти для геному бактерії Streptomyces coelicolor. Обертання застосовується для візуалізації тривимірної конфігурації]]
Метод головних компонент інтенсивно використовується в [[Біоінформатика|біоінформатиці]] для скорочення розмірності опису, виділення значущої інформації, візуалізації даних тощо. Один з поширених варіантів використання&nbsp;— аналіз відповідностей<ref>{{lang-en|[http://www.statsoft.com/textbook/stcoran.html Correspondence Analysis]}}</ref><ref>''Benzécri, J.-P.'', L Analyse des Données. Volume II. L Analyse des Correspondences, Dunod, Paris, France, 1973.</ref><ref>''Tekaia F.'', [http://www.pasteur.fr/~tekaia/caongenomes.html Use of Correspondence Analysis in Genome Exploration] {{Webarchive|url=https://web.archive.org/web/20070812111041/http://www.pasteur.fr/~tekaia/caongenomes.html |date=12 серпень 2007 }}.</ref>. На ілюстраціях (рис. А, Б) ''генетичний текст''<ref>См. статтю [[Трансляція (біологія)|Трансляція]]</ref> поданий як множина точок у 64-вимірному просторі частот триплетів. Кожна точка відповідає фрагменту [[Дезоксирибонуклеїнова кислота|ДНК]] у ковзному вікні завдовжки 300 [[Нуклеотиди|нуклеотидів]] (ДНК-блукання). Цей фрагмент розбивається на триплети, що не перекриваються, починаючи з першої позиції. Відносні частоти цих триплетів у фрагменті і складають 64-вимірний вектор. На рис. А наведено проекцію на перші 2 головні компоненти для геному [[бактерії]] {{нп|Streptomyces coelicolor}}. На рис. Б наведено проекцію на перші 3 головні компоненти. Відтінками червоного і коричневого виділено фрагменти кодувальних послідовностей у прямому ланцюгу ДНК, а відтінками зеленого виділено фрагменти кодувальних послідовностей у зворотному ланцюгу ДНК. Чорним позначено фрагменти, що належать некодувальній частині. Аналіз методом головних компонент більшості відомих бактеріальних [[Геном|геномів]] представлений на спеціалізованому сайті<ref>''Zinovyev A.'', [http://www.ihes.fr/~zinovyev/7clusters/index.htm Сluster structures in genomic word frequency distributions]; а також в [http://arxiv.org/abs/q-bio/0504013 arXiv: PCA and K-Means decipher genome].</ref>.

=== Хемометрика ===
Метод головних компонент&nbsp;— один з основних методів в [[Хемометрика|хемометриці]]. Дозволяє розділити матрицю вихідних даних X на дві частини: «змістовну» і «шум».

=== Психодіагностика ===
[[Психодіагностика]] є однією з найбільш розроблених галузей застосування методу головних компонент<ref>Дюк Ст. А., Комп'ютерна психодіагностика, С-Пб., 1994; окремі розділи див. на сайті [http://psyfactor.org/lib/dyuk1.htm «Псі-фактор»]</ref>. Стратегія використання ґрунтується на гіпотезі про ''автоінформативність'' експериментальних даних, яка передбачає, що діагностичну модель можна створити шляхом апроксимації геометричної структури множини об'єктів у просторі початкових ознак. Хорошу лінійну діагностичну модель вдається побудувати, коли значна частина початкових ознак є внутрішньо збалансованою. Якщо ця внутрішня узгодженість відображає шуканий ''психологічний конструкт'', то параметри лінійної діагностичної моделі (ваги ознак) дає метод головних компонент.

=== Економетрика ===
Метод головних компонент&nbsp;— один з ключових інструментів [[Економетрія|економетрики]], він застосовується для наочного подання даних, забезпечення лаконізму моделей, спрощення підрахунку та інтерпретації, стиснення обсягів збереженої інформації. Метод забезпечує максимальну інформативність та мінімальне спотворення геометричної структури початкових даних.

=== Соціологія ===
В [[Соціологія|соціології]] метод необхідний для вирішення перших двох основних завдань<ref>''Гуц А. К., Фролова Ю. В.'', Математичні методи в соціології, Серія: Синергетика: від минулого до майбутнього.&nbsp;— Видавництво «УРСС», 2007.&nbsp;— 216 с.</ref>:

# аналіз даних (опис результатів опитувань або інших досліджень, представлених у вигляді масивів числових даних);
# опис соціальних явищ (побудова моделей явищ, у тому числі і математичних моделей).

=== Політологія ===
У [[Політологія|політології]] метод головних компонент був основним інструментом проекту «Політичний атлас сучасності»<ref>Політичний атлас сучасності: Досвід багатовимірного статистичного аналізу політичних систем сучасних держав.&nbsp;— М: Изд-во «МДІМВ-Університет», 2007.&nbsp;— 272 с.</ref> для лінійного і нелінійного аналізу рейтингів 192 країн світу з п'яти спеціально розроблених інтегральних індексів (рівня життя, міжнародного впливу, загроз, державності і демократії). Для картографії результатів цього аналізу розроблено спеціальну [[Геоінформаційна система|геоінформаційну систему]], що об'єднує географічний простір з простором ознак. Також створено карти даних політичного атласу, що використовують як підкладку двовимірні головні многовиди у 5-вимірному просторі країн. Відмінність карти даних від географічної карти полягає в тому, що на географічній карті поруч виявляються об'єкти, які мають подібні географічні координати, в той час як на карті даних поруч виявляються об'єкти (країни) зі схожими ознаками (індексами).

=== Скорочення розмірності динамічних моделей ===
[[Прокляття розмірності]] ускладнює моделювання складних систем. Скорочення розмірності моделі&nbsp;— необхідна умова успіху моделювання. Для досягнення цієї мети створена розгалужена математична технологія. Метод головних компонент також використовується в цих завданнях (часто під назвою ''істинне'' або ''власне ортогональне розкладання''&nbsp;— {{lang-en|proper orthogonal decomposition (POD)}}). Наприклад, під час опису динаміки [[Турбулентна течія|турбулентності]] динамічні змінні&nbsp;— поле швидкостей&nbsp;— належать нескінченновимірному простору (або, якщо подавати поле його значеннями на досить дрібній сітці,&nbsp;— скінченновимірного простору великої розмірності). Можна набрати велику колекцію миттєвих значень полів і застосувати до цієї множини багатовимірних «векторів даних» метод головних компонент. Ці головні компоненти називаються також ''емпіричними [[Власні вектори та власні числа|власними векторами]]''. У деяких випадках (''структурна турбулентність'') метод дає вражаюче скорочення розмірності<ref>''Berkooz G, Holmes Ph., and. Lumley J. L'', [http://pca.narod.ru/ProOrthDecHydroAnnurev1993.pdf The proper orthogonal decomposition in the analysis of turbulent flows,] Annu. Rev. Fluid Mech. 25 (1993), 539—575. Перша публікація для аналізу турбулентності&nbsp;— ''Lumley, J. L.'', The structure of inhomogeneous turbulence. In Atmospheric Turbulence and Wave Propagation, ed. A. M. Yaglom, V. I. Tatarski, pp. 166—178. Moscow: Nauka, 1967. (Атмосферна турбулентність і поширення радіохвиль. Праці Міжнародного колоквіуму. Москва, 15-22 червня 1965&nbsp;р. Під ред. А.&nbsp;М.&nbsp;Яглома і в. І. Татарського. М.: Наука, 1967, 374 с. з іл. і карт. (АН СРСР. Междувед. геофиз. ком. Ін-т фізики атмосфери). Цікаво, що автори цих робіт зводять історію свого підходу до робіт {{нп|Дамодар Дхармананд Косамбі|Косамбі|ru|Косамби, Дамодар Дхармананд}} (1943), {{нп|Мішель Лоев|Лоэва|ru|Лоэв, Мишель}} (1945), {{нп|Кархунен, Кари|Кархунена||Kari Karhunen}} (1946), {{нп|Пугачов Володимир Семенович|Пугачова|ru|Пугачёв, Владимир Семёнович}}]] (1953) та {{нп|Обухов Олександр Михайлович|Обухова|ru|Обухов, Александр Михайлович}} (1954), не звернувши увагу на роботи Пірсона і 40 років попередньої історії методу.</ref> Інші галузі застосування цієї техніки скорочення динамічних моделей надзвичайно різноманітні&nbsp;— від теоретичних основ [[Хімічна технологія|хімічної технології]] до [[Океанографія|океанології]] і [[Кліматологія|кліматології]].

=== Сенсорна оцінка харчових продуктів ===
Своє застосування метод головних компонент знайшов при проведенні сенсорної (органолептичної) оцінки властивостей харчових продуктів<ref>{{Стаття|автор=Harry T. Lawless, Hildegarde Heymann|isbn=9781441964878, 9781441964885|doi=10.1007/978-1-4419-6488-5_18}}</ref>. Метод головних компонент дозволяє проводити класифікацію харчових продуктів у тих випадках, коли для характеристики їхніх властивостей використовується одночасно велика кількість дескрипторів, наприклад при оцінці властивостей вина,<ref>{{Стаття|doi=10.1016/j.microc.2009.12.007}}</ref> мармеладу,<ref>{{Стаття|автор=Nataliya V Zhilinskaya,  Varuzhan A Sarkisyan, Valentina M Vorobieva, Irina S Vorobieva, Alla A Kochetkova, Elena A Smirnova, Irina V Glazkova}}</ref> екструдованих харчових продуктів,<ref>{{Стаття|doi=10.1016/j.jfoodeng.2013.08.007}}</ref> сиру<ref>{{Стаття|doi=10.1016/j.ifset.2013.10.003}}</ref> та інших.

== Альтернативи та узагальнення ==
Метод головних компонент&nbsp;— найпоширеніший підхід до [[Зниження розмірності|зниження розмірності]], однак існують й інші методи, зокрема, {{нп|Аналіз незалежних компонент|метод незалежних компонент||Independent component analysis}}, [[Багатовимірне шкалювання|багатовимірне шкалювання]], а також численні нелінійні узагальнення: метод головних кривих і многовидів, {{нп|Пружна карта|метод пружних карт|ru|Упругая карта}}, {{нп|пошук найкращої проекції||ru|Поиск наилучшей проекции}} ({{lang-en|Projection Pursuit}}), [[Штучна нейронна мережа|нейромережеві]] методи «{{нп|Нейромережеве стиснення даних|вузького горла|ru|Нейросетевое сжатие данных}}», [[Самоорганізаційна Карта Кохонена|самоорганізаційні карти Кохонена]].

== Примітки ==
{{примітки}}

== Див. також ==
* {{нп|SSA (метод)||ru|SSA (метод)}}

== Література ==
; Класичні роботи
* ''Pearson K.'', On lines and planes of closest fit to systems of points in space, Philosophical Magazine, (1901) 2, 559—572; [http://pca.narod.ru/ а также на сайте PCA].
* ''Sylvester J.J.'', On the reduction of a bilinear quantic of the nth order to the form of a sum of n products by a double orthogonal substitution, Messenger of Mathematics, 19 (1889), 42—46; [http://pca.narod.ru/ а также на сайте PCA].
* ''Frećhet M. '' Les élements aléatoires de nature quelconque dans un espace distancié. Ann. Inst. H. Poincaré, 10 (1948), 215—310.
; Основні керівництва
* ''Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д.'' Прикладная статистика. Классификация и снижение размерности.— М.: Финансы и статистика, 1989.— 607 с.
* ''Jolliffe I.T.'' [https://www.springer.com/statistics/statistical+theory+and+methods/book/978-0-387-95442-4 Principal Component Analysis], Series: [https://www.springer.com/series/692 Springer Series in Statistics], 2nd ed., Springer, NY, 2002, XXIX, 487 p.&nbsp;28 illus. ISBN 978-0-387-95442-4
; Сучасні огляди
* ''Gorban A. N., Kegl B., Wunsch D., Zinovyev A. Y.'' (Eds.), [https://www.springer.com/west/home/math/cse?SGWID=4-10045-22-173750210-0 Principal Manifolds for Data Visualisation and Dimension Reduction], [https://www.springer.com/west/home/math/cse?SGWID=4-10045-69-173622682-0 Series: Lecture Notes in Computational Science and Engineering] 58, Springer, Berlin&nbsp;— Heidelberg&nbsp;— New York, 2007, XXIV, 340 p.&nbsp;82 illus. ISBN 978-3-540-73749-0 (а также [http://pca.narod.ru/ онлайн]).
; Навчальне програмне забезпечення
* Java-аплет «Метод головних компонент і самоорганізаційні карти» (E. M. Mirkes, [http://www.math.le.ac.uk/people/ag153/homepage/PCA_SOM/PCA_SOM.html Principal Component Analysis and Self-Organizing Maps: applet]. University of Leicester, 2011). Вільно поширювана програма з моделями методу головних компонент, [[Самоорганізаційна Карта Кохонена|самоорганізаційних карт]] (SOM) і зростаючих самоорганіаційних карт (Growing Self-Organized Maps, GSOM). Дано опис алгоритмів (англ.), наведено керівництва і деякі публікації. Використовується для виконання невеликих студентських дослідницьких робіт з порівняння різних алгоритмів апроксимації даних.

== Посилання ==
* [http://math-info.hse.ru/Rmd/hsequantling/2015-16/lecture3.html Курс «Анализ лингвистических данных: квантитативные методы и визуализация»]{{ref-ru}}
* [http://www.eng.umd.edu/~jzsimon/biol708L/ref/ShlensPCATutorial.pdf A tutorial on Principal Components Analysis], Jonathon Shlens, 22, 2009; Version 3.01.{{ref-en}}
* [http://pca.narod.ru Нелинейный метод главных компонент] (сайт-бібліотека){{ref-ru}}
* [https://web.archive.org/web/20090528101113/http://www.chemometrics.ru/materials/textbooks/pca.htm Онлайн руководство «Метод Главных Компонент (PCA)»] c прикладами, виконаними в робочій книзі Excel, Олексій Померанцев.{{ref-ru}}
{{Портал|Математика}}
{{Статистика|state=collapsed}}
[[Категорія:Розклади матриць]]
[[Категорія:Зниження розмірності]]