Перегляд вихідного коду сторінки Колаборативна фільтрація

[[Файл:Collaborative filtering.gif|600px|thumb|
На даній анімації показаний приклад прогнозування оцінки користувача за допомогою колаборативної фільтрації. У даній системі користувачі залишають оцінки різних предметів (наприклад відео, книжок, ігор). Після цього система прогнозує оцінки користувача для предметів, які він ще не оцінив. Прогнози будуються на основі оцінок користувачів, які мають однакові оцінки з поточним користувачем для інших предметів. В даному випадку система зробила прогноз про те, що поточному користувачеві відео, яке оцінили інші користувачі, не сподобається. ]]
'''Колаборативна фільтрація, спільна фільтрація ('''{{lang-en|collaborative filtering}}''')'''&nbsp;(КФ)&nbsp;— метод, який використовується деякими [[рекомендаційна система|рекомендаційними системами]]. Колаборативна фільтрація має два значення: вузьке і більш загальне. В цілому, колаборативна фільтрація&nbsp;— процес фільтрації інформації або зразків за допомогою методів за участю співробітництва між декількома агентами, точками зору, джерелами даних і&nbsp;т.&nbsp;д. Застосування колаборативної фільтрації, як правило, пов'язане з дуже великими наборами даних. Колаборативні методи фільтрації були застосовані до різних видів даних, зокрема до таких як [[зондування]] та [[моніторинг]] даних, які виникають при розвідці корисних копалин на великих площах; до фінансових даних, таких як установи фінансових послуг, які об'єднують багато фінансових джерел; або в [[електронна комерція|електронній торгівлі]] та [[веб-застосунок|веб-додатках]], що зосереджуються на даних користувача, і&nbsp;т.&nbsp;д. Решта цієї дискусії зосереджена на колаборативній фільтрації даних, призначених для користувача, хоча деякі з методів та підходів можуть застосовуватися так само і у багатьох інших випадках.

У більш новому, вужчому значенні '''колаборативна фільтрація'''&nbsp;— це один з методів побудови [[прогноз]]у в [[рекомендаційна система|рекомендаційних системах]], який використовує відомі уподобання (оцінки) групи користувачів для [[прогноз]]ування невідомих уподобань іншого користувача.{{sfn|A Survey of Collaborative Filtering Techniques|2009|p=1}} Основне припущення колаборативної фільтрації полягає в наступному: ті, хто однаково оцінювали будь-які предмети в минулому, схильні давати схожі оцінки інших предметів і в майбутньому. {{sfn | A Survey of Collaborative Filtering Techniques | 2009 | p = 1}} Наприклад, за допомогою колаборативної фільтрації музичний додаток здатний прогнозувати, яка музика сподобається користувачеві, маючи неповний список його уподобань (симпатій та антипатій).<ref>{{Cite web |url=http://www.redbeemedia.com/insights/integrated-approach-tv-vod-recommendations |title=An integrated approach to TV Recommendations by {{Не перекладено{{!}}TV Genius{{!}}{{!}}en{{!}}TV Genius}} |accessdate=15 квітень 2015 |archiveurl=https://web.archive.org/web/20120606225352/http://www.redbeemedia.com/insights/integrated-approach-tv-vod-recommendations |archivedate=6 червень 2012 |deadurl=yes }}</ref> Прогнози складаються індивідуально для кожного користувача, хоча інформація, що використовується, зібрана від багатьох учасників. Це відрізняє колаборативну фільтрацію від більш [[Середнє арифметичне | простого підходу]], дає усереднену оцінку для кожного об'єкта інтересу, наприклад того, що базується на кількості поданих за нього голосів.
Дослідження в даній області активно ведуться і в наш час, що зокрема обумовлюється наявністю невирішених проблем у методі колаборатівної фільтрації.

== Опис ==
У століття [[Інформаційний вибух|інформаційного вибуху]] такі методи створення персоналізованих рекомендацій, як колаборативна фільтрація, дуже корисні, оскільки кількість об'єктів навіть в одній категорії (такій, як фільми, музика, книги, новини, веб-сайти) стала настільки великою, що окрема людина не здатна переглянути їх всі, щоб вибрати відповідні.

Системи колаборативної фільтрації зазвичай застосовують двоступеневу схему {{sfn | A Survey of Collaborative Filtering Techniques | 2009 | p = 1}}:
# Знаходять тих, хто поділяє оціночні судження «активного» (прогнозованого) користувача.
# Використовують оцінки людей,що мислять подібно, знайдених на першому кроці, для обчислення прогнозу.

[[Алгоритм]], описаний вище, побудований відносно користувачів системи.

Існує і альтернативний алгоритм, винайдений [[Amazon]] {{sfn | Amazon | 2003 | c = 1}}, побудований відносно предметів (продуктів) у системі. Цей алгоритм включає в собі наступні кроки:
# Будуємо [[матриця|матрицю]], яка визначає відносини між парами предметів, для знаходження подібних предметів.
# Використовуючи побудовану матрицю і інформацію про користувача, будуємо прогнози його оцінок.

Для прикладу можна подивитися сімейство алгоритмів {{Не перекладено|Slope One|Slope One|ru|Slope_One}}

Також існує інша форма колаборативної фільтрації, що ґрунтується на прихованому спостереженні звичайної поведінки користувача (на протилежність явній, яка збирає оцінки). У цих системах ви спостерігаєте, як вчинив даний користувач, і як вчинили інші (яку музику вони слухали, які відео подивилися, які композиції придбали), і використовуєте отримані дані, щоб передбачити поведінку користувача в майбутньому, або передбачити, як користувач бажав би вчинити за наявності певної можливості. Ці передбачення повинні бути складені згідно з [[Бізнес-логіка | бізнес-логікою]], бо марно пропонувати споживачеві придбати музичний файл, який у нього вже є.

== Типи колаборативної фільтрації ==
{{Якорь|Виды}}
[[Файл:Коллабаритивна.svg|міні|праворуч|600пкс|Типи колаборативної фільтрації]]
=== Заснований на пам'яті ===
Цей підхід використовує дані про рейтинг користувача для розрахунку схожості між користувачами або предметами. Він використовується для вироблення рекомендацій. Це був початковий підхід, що використовувався в багатьох торгових системах. Він ефективний і простий у реалізації. Типовими прикладами такого підходу є CF і засновані на виробі/користувачеві топ-N рекомендації. Наприклад, у підходах, заснованих на користувачеві, вартість оцінки, яку користувач ''u'' дає виробу «i» розрахована як [[Агрегація|сукупність]] схожих оцінок виробу іншими користувачами<!-- an aggregation of some similar users' rating of the item -->:
: <math>r_{u,i} = \operatorname{aggr}_{u^\prime \in U} r_{u^\prime, i}</math>
де «U» позначає сукупність ''N'' «найкращих» користувачів, які найбільш близькі до користувача ''u'', що оцінює виріб «i». Деякі приклади функцій [[агрегація|агрегації]]:
: <math>r_{u,i} = \frac{1}{N}\sum\limits_{u^\prime \in U}r_{u^\prime, i}</math>
: <math>r_{u,i} = k\sum\limits_{u^\prime \in U}\operatorname{simil}(u,u^\prime)r_{u^\prime, i}</math>
: <math>r_{u,i} = \bar{r_u} +  k\sum\limits_{u^\prime \in U}\operatorname{simil}(u,u^\prime)(r_{u^\prime, i}-\bar{r_{u^\prime}} )</math>
де k - нормуючий множник, визначається як <math>k =1/\sum_{u^\prime \in U}|\operatorname{simil}(u,u^\prime)| </math> і <math>\bar{r_u}</math> є середня оцінка користувача ü для всіх виробів, оцінених і.

=== Заснований на сусідстві ===
Алгоритм, заснований на сусідстві, обчислює подібність двох користувачів або виробів, виробляє прогноз для користувача, приймаючи [[середнє зважене]] всіх оцінок. Обчислення схожості між виробами або користувачами є важливою частиною цього підходу. Багаторазові заходи, такі як [[Коефіцієнт кореляції Пірсона|кореляції Пірсона]] і схожість, заснована на [[Скалярний добуток|скалярному добутку]], використовується для цього.

Схожість двох користувачів X, Y через кореляцію Пірсона визначається як
: <math> \operatorname{simil}(x,y) = \frac{\sum\limits_{i \in I_{xy}}(r_{x,i}-\bar{r_x})(r_{y,i}-\bar{r_y})}{\sqrt{\sum\limits_{i \in I_{xy}}(r_{x,i}-\bar{r_x})^2\sum\limits_{i \in I_{xy}}(r_{y,i}-\bar{r_y})^2}} </math>
де Ixy - це набір елементів, оцінених як користувачем х, так і користувачем у .

Підхід, заснований на скалярному добутку визначає скалярний добуток між двома користувачами х і у, як:
: <math>\operatorname{simil}(x,y) = \cos(\vec x,\vec y) = \frac{\vec x \cdot \vec y}{||\vec x|| \times ||\vec y||} = \frac{\sum\limits_{i \in I_{xy}}r_{x,i}r_{y,i}}{\sqrt{\sum\limits_{i \in I_{x}}r_{x,i}^2}\sqrt{\sum\limits_{i \in I_{y}}r_{y,i}^2}}</math>
Заснований на користувачеві алгоритм топ-Н рекомендації використовує засновану на подібності векторну модель для визначення K&nbsp;— більшості подібних користувачів до активного користувача. Після того, як знайдені найбільш схожі користувачі, їх відповідні матриці агрегуються для визначення рекомендованого набору елементів. Популярний метод, знаходження схожих користувачів&nbsp;— {{нп|Locality-sensitive hashing|||Locality-sensitive hashing}}, який реалізує механізм [[Пошук найближчого сусіда|пошуку найближчих сусідів]] у лінійному часі.

Переваги цього підходу включають в себе: очікуваність результатів, що є важливим аспектом рекомендаційних систем; просте створення і використання; просте полегшення нових даних; добра масштабованість зі співавторами рейтингових пунктів.

Є також кілька недоліків при такому підході. Його продуктивність знижується, коли дані становляться розрідженими, що трапляється часто з виробами, пов'язаними з мережею. Це ускладнює масштабованість такого підходу і створює проблеми з великими наборами даних. Хоча він може ефективно обробляти нових користувачів, тому що спирається на структури даних, додавання нових елементів стає більш складним, що, як правило, спирається уявленням про конкретну складову векторного простору. Додавання нових елементів вимагає включення нового пункту і повторного включення всіх елементів у структурі.

=== Заснований на моделі ===

Даний підхід надає рекомендації, вимірюючи параметри статистичних моделей для оцінок користувачів, побудованих за допомогою таких методів як, [[Баєсова мережа | метод баєсовских мереж]], [[Кластерний аналіз | кластеризації]], [[Латентно-семантичний аналіз | латентно-семантичної моделі ]], такі як [[Сингулярний розклад матриці| сингулярний розклад]], {{Не перекладено|Імовірнісний латентно-семантичний аналіз |імовірнісний латентно-семантичний аналіз|ru|Вероятностный латентно-семантический анализ}}, {{Не перекладено|Прихований розподіл Дирихле | прихований розподіл Дирихле|ru|Скрытое распределение Дирихле}} і [[Марковський процес вирішування|марковський процес вирішування на основі моделей]]. {{Sfn | A Survey of Collaborative Filtering Techniques | 2009 | p = 3}} Моделі розробляються з використанням інтелектуального аналізу даних, алгоритмів машинного навчання, щоб знайти закономірності на основі навчальних даних. Число параметрів в моделі може бути зменшено в залежності від типу за допомогою [[Метод головних компонент | методу головних компонент]].

Цей підхід є більш комплексним і дає більш точні прогнози, оскільки допомагає розкрити [[латентність|латентні фактори]], що пояснюють спостережувані оцінки. {{Sfn | Масштабована і точна колаборативна фільтрація | 2009}}

Даний підхід має ряд переваг. Він обробляє розріджені матриці краще, ніж підхід заснований на сусідстві, що в свою чергу допомагає з масштабністю великих наборів даних.

Недоліки цього підходу полягають в «дорогому» створенні моделі {{sfn | A Survey of Collaborative Filtering Techniques | 2009 | p = 3-4}}. Необхідний компроміс між точністю і розміром моделі, тому що можна втратити корисну інформацію у зв'язку із скороченням моделей.

=== Гібридний підхід ===

Даний підхід об'єднує в собі підхід заснований на сусідстві і заснований на моделі. Гібридний підхід є найпоширенішим при розробці рекомендаційних систем для комерційних сайтів, так як він допомагає подолати обмеження початкового оригінального підходу (заснованого на сусідстві) і поліпшити якість прогнозів. Цей підхід також дозволяє подолати проблему розрідженості даних {{Перехід | # Розрідженість даних}} і втрати інформації. Однак даний підхід складний і дорогий у реалізації та застосуванні. {{Sfn | Проблеми в рекомендаційних системах | 2010 | c = 6}}

== Проблеми ==
{{Якір | Проблеми}}

{{Якір | Розрідженість даних}}

=== Розрідженість даних ===
Як правило, більшість комерційних рекомендаційних систем заснована на великій кількості даних (товарів), в той час як більшість користувачів не ставить оцінки товарам. В результаті цього матриця «предмет-користувач» виходить дуже великою і розрідженою, що представляє проблеми при обчисленні рекомендацій. Ця проблема особливо гостра для нових, щойно створених систем. {{Sfn | Проблеми в рекомендаційних системах | 2010 | c = 7}} Також розрідженість даних підсилює проблему [[Завантаження операційної системи | холодного старту]].

=== Масштабованість ===
Зі збільшенням кількості користувачів в системі, з'являється проблема масштабованості. Наприклад, маючи 10 мільйонів покупців <math>O(M)</math> і мільйон предметів <math>O(N)</math>, алгоритм колаборативної фільтрації зі складністю рівній <math>O(MN)</math> вже занадто складний для розрахунків. Також, багато систем повинні моментально реагувати на онлайн запити від всіх користувачів, незалежно від історії їх покупок і оцінок, що вимагає ще більшої масштабованості.

=== Проблема холодного старту ===
Нові предмети або користувачі представляють велику проблему для рекомендаційних систем. Частково проблему допомагає вирішити підхід, заснований на аналізі вмісту, так як він покладається не на оцінки, а на [[атрибут]]и, що допомагає включати нові предмети в рекомендації для користувачів. Однак проблему з наданням рекомендації для нового користувача вирішити складніше. {{Sfn | Проблеми в рекомендаційних системах | 2010 | c = 7}}

=== Синонімія ===
[[Синонім|Синонімією]] називається тенденція схожих і однакових предметів мати різні імена. Більшість рекомендаційних систем не здатні виявити ці приховані зв'язки і тому відносяться до цих предметів як до різних. Наприклад, «фільми для дітей» та «дитячий фільм» відносяться до одного жанру, але система сприймає їх як різні. {{Sfn | A Survey of Collaborative Filtering Techniques | 2009 | p = 3}}

=== Шахрайство ===
У рекомендаційних системах, де кожен може ставити оцінки, люди можуть давати позитивні оцінки своїм предметам і погані своїм конкурентам. Також, рекомендаційні системи стали сильно впливати на продажі та прибуток, з тих пір як отримали широке застосування в комерційних сайтах. Це призводить до того, що недобросовісні постачальники намагаються шахрайським чином піднімати рейтинг своїх продуктів і знижувати рейтинг свої конкурентів. {{Sfn | Проблеми в рекомендаційних системах | 2010 | c = 7}}

=== Різноманітність ===
Колаборативна фільтрація спочатку визнана збільшити різноманітність, щоб дозволяти відкривати користувачам нові продукти з незліченної множини. Однак деякі алгоритми, зокрема основні на продажах і рейтингах, створюють дуже складні умови для просування нових і маловідомих продуктів, так як їх заміщають популярні продукти, які давно перебувають на ринку. Це в свою чергу тільки збільшує ефект «багаті стають ще багатшими» і приводить до меншої різноманітності. {{sfn|Проблема різноманітності|2009|p=23}}

=== Білі ворони ===
До «білих ворон» відносяться користувачі, чия думка постійно не збігається з більшістю інших. Через унікальність смаку їм неможливо щось рекомендувати. Однак, такі люди мають проблеми з отриманням рекомендацій і в реальному житті, тому пошуки вирішення даної проблеми в даний час не ведуться. {{Sfn | A Survey of Collaborative Filtering Techniques | 2009 | p = 3}}

== Застосування в соціальних мережах ==
{{Якір | Застосування}}
Колаборативна фільтрація широко використовується в комерційних сервісах і соціальних мережах. Перший сценарій використання&nbsp;— це створення рекомендації щодо цікавої і популярної інформації на основі врахування «голосів» спільноти. Такі сервіси, як [[Reddit]], [[Digg]] або [[DiCASTA]]&nbsp;— це типові приклади систем, що використовують алгоритми колаборативної фільтрації.

Інша сфера використання полягає у створенні персоналізованих рекомендацій для користувача, на основі його попередньої активності і даних про переваги інших, схожих з ним користувачів. Даний спосіб реалізації можна знайти на таких сайтах, як [[YouTube]], [[Last.fm]] і [[Amazon]] {{sfn | Amazon | 2003 | c = 1}}, а також в таких [[Location-based service|геосоціальних сервісах]], як {{Не перекладено|Gvidi|Gvidi|ru|Gvidi}} і [[Foursquare]].

== Див. також ==
* {{не перекладено|треба=Холодний запуск|є=Cold start}}
* {{не перекладено|треба=Колаборативний пошуковий рушій|є=Collaborative search engine}}
* {{не перекладено|треба=Колаборативна модель|є=Collaborative model}}
* [[Репутаційна система]]
* [[Метод k найближчих сусідів]]
* [[Соціальний граф]]
* [[Колективний розум]]

== Примітки ==
{{примітки|2}}

== Література ==

* {{Стаття
 | автор       = Fleder D., Hosanagar K.
 | назва       = Blockbuster Culture's Next Rise or Fall: The Impact of Recommender Systems on Sales Diversity
 | посилання   = http://papers.ssrn.com/sol3/papers.cfm?abstract_id=955984
 | видання     = Management Science, Vol. 55, No. 5, May 2009, pp. 697-712
 | рік         = 2009
 | сторінки    = 1 - 49
 | формат      = журнал
 | мова        = en
 | ref         = Проблема різноманіття
}}

* {{Стаття
 | автор       = Xiaoyuan Su and Taghi M. Khoshgoftaar
 | назва       = A Survey of Collaborative Filtering Techniques
 | посилання   = http://downloads.hindawi.com/journals/aai/2009/421425.pdf A Survey of Collaborative Filtering Techniques
 | видання     = Hindawi Publishing Corporation, Advances in Artificial Intelligence archive, USA 
 | рік         = 2009
 | сторінки    = 1 - 19
 | формат      = журнал
 | мова        = en
 | ref         = A Survey of Collaborative Filtering Techniques
}}

* {{Стаття
 | автор       = Yehuda Koren
 | назва       = Factor in the Neighbors: Scalable and Accurate Collaborative Filtering
 | посилання   = http://research.yahoo.com/pub/2435
 | видання     = Yahoo! Research, Haifa
 | рік         = 2009
 | сторінки    = 1 - 11
 | формат      = журнал
 | мова        = en
 | ref         = Швидка і точна колаборативна фільтрація
}}

* {{Стаття
 | автор       = Linden G., Smith B., and York J.
 | назва       = Item-to-Item Collaborative Filtering
 | посилання   = http://www.cs.umd.edu/~samir/498/Amazon-Recommendations.pdf
 | видання     = IEEE Internet Computing, Los Alamitos, CA USA
 | рік         = 2003
 | сторінки    = 76 - 80
 | формат      = журнал
 | мова        = en
 | ref         = Amazon
}}

* {{Стаття
 | автор       = Sarwar B., Karypis G., Konstan J., and Riedl J.
 | назва       = Item-Based Collaborative Filtering Recommendation Algorithms
 | посилання   =  http://www.ra.ethz.ch/cdstore/www10/papers/pdf/p519.pdf
 | видання     = University of Minnesota, Minneapolis
 | рік         = 2001
 | сторінки    = 285 - 295
 | формат      = Материалы конф. / WWW10, Hong Kong, May 1-5, 2001
 | мова        = en
}}

* {{Стаття
 | автор       = Melville P.,Mooney R., Nagarajan R.
 | назва       = Content-Boosted Collaborative Filtering for Improved Recommendations
 | посилання   = http://www.aaai.org/Papers/AAAI/2002/AAAI02-029.pdf
 | видання     = University of Texas, USA
 | рік         = 2002
 | сторінки    = 187-192
 | мова        = en
 | ref         = Рекомендаційні системи на основі колаборативної фільтрації
}}

* {{Стаття
 | автор       = Zan Huang, Xin Li, Hsinchun Chen
 | назва       = Link Prediction Approach to Collaborative Filtering
 | посилання   = http://www.personal.psu.edu/~huz2/Zan/papers/link.jcdl05.pdf
 | видання     = University of Arizona, USA
 | рік         = 2005
 | формат      = Материалы конф. / JCDL’05, Denver, Colorado, USA, June 7–11, 2005
 | мова        = en
}}

* {{Стаття
 | автор       = Понизовкин Д.М.
 | назва       = Построение оптимального графа связей в системах коллаборативной фильтрации
 | посилання   = ftp://ftp.botik.ru/rented/psta/www/read/psta2011_4_107-114.pdf
 | видання     = «Программные системы: теория и приложения» 
 | рік         = 2011
 | номер       = 4(8)
 | сторінки    = 107-114
 | issn        = 2079-3316
 | формат      = журнал
 | мова        = ru
}}

* {{книга
 |автор          = Sammut C., Webb J. (Eds.)
 |заголовок      = Encyclopedia of Machine Learning
 |посилання      = http://www.prem-melville.com/publications/recommender-systems-eml2010.pdf
 |місце          = NY, USA
 |видавництво    = IBM T. J.Watson Research Center
 |рік            = 2010
 |том            = 1
 |сторінки       = 829-838
 |сторінок       = 1031
 |isbn           = 978-0-387-30768-8
 |ref            = Проблеми у рекомендаційних системах
}}

[[Категорія:Пошукові системи]]
[[Категорія:Колективний інтелект]]