基于社会计算的个性化推荐系统

摘? 要 互联网技术的迅猛发展把我们带进了信息爆炸的时代，海量信息的同时呈现，用户很难从中发现自己感兴趣的部分，另一方面也使得大量少人问津的信息成为网络中的”暗信号”无法被一般用户获取。个性化推荐系统通过建立用户与信息产品之间的二元关系，利用已有的选择过程或相似性关系挖掘每个用户潜在感兴趣的对象，进而进行个性化推荐，其本质就是信息过滤。个性化推荐系统不仅在社会经济中具有重要的应用价值，而且也是一个非常值得研究的科学问题，事实上，它是目前解决信息过载问题最有效的工具。本文是基于基于用户信息的短文本处理技术、基于短文本分类技术和基于协同过滤推荐算法，研发一种以用户兴趣为参照的个性化信息推荐系统，让信息针对用户传播，从而满足用户在更短的访问时间内获取高价值的消息. 本人负责推荐模块。个性推荐必须能够基于用户之前的口味和喜好提供相关的精确的推荐，而且这种口味和喜欢的收集必须尽量少的需要用户的劳动。推荐的结果必须能够实时计算，这样才能够在用户离开网站之前获得推荐的内容，并且及时的对推荐结果作出反馈。实时性也是推荐系统与通常的数据挖掘技术显著不同的一个特点。推荐模块,就是实时的从内容集筛选出目标用户可能会感兴趣的内容推荐给用户。因此，除了推荐系统本身，为了实现推荐，还需要一个可供推荐的内容集。 关键字：个性化推荐；推荐模块；协同过滤推荐算法；实时性 目? 录摘? 要??? 1第一章 绪论??? 51.1项目的目的和意义??? 51.2市场预测??? 6第二章 行为记录模块研究开发内容和相关技术介绍??? 72.1搭建爬虫和搜索引擎开发环境??? 72.1.1 网络爬虫的编制??? 72.1.2 搜索引擎概述??? 72.1.3 解析网页和索引入库??? 82.2开发lucene文本搜索引擎??? 82.2.1 Lucene技术??? 92.2.2 Lucene分词原理??? 92.2.3 基于Lucene的IKAnalyzer分词器??? 102.2.4 几种中文分词器的比较??? 122.3 系统整体框架及实现??? 132.3.1 为文档建立索引??? 132.3.2 搜索目标文档??? 142.3.3 倒排和高亮显示??? 142.4 行为记录模块??? 15第三章 个性化推荐系统模型分析模块技术介绍??? 173.1模型分析模块开发内容??? 173.2短文本分词分类技术??? 183.2.1 关于短文本特性的定性分析??? 183.2.2短文本分词分类技术介绍??? 193.3用户模型??? 203.3.1基于评价的表示??? 203.3.2基于内容的表示??? 203.3.3基于知识模型的表示??? 213.4推荐信息??? 22第四章 推荐模块研究开发内容和相关技术介绍??? 244.1推荐模块??? 244.2协同过滤算法??? 244.3基于内容的推荐算法??? 25第五章 系统设计??? 265.1系统设计??? 265.2数据库设计??? 27第六章 系统编码??? 286.1 数据采集部分??? 286.2 Lucene索引建立??? 306.3 Lucene搜索??? 31第七章 系统测试??? 347.1白盒测试法??? 347.2黑盒测试法??? 34第八章 系统使用、维护与评估??? 388.1系统使用:??? 388.2系统维护??? 398.2.1爬虫采集参数配置??? 398.2.2采集数据??? 398.2.3索引生成??? 39结语??? 40参考文献??? 41致??? 谢??? 42 模型分析模块开发内容 通常而言，个性化推荐系统可以分成三个主要的模块：1、输入模块；2、推荐模块；3、输出模块。 （一）输入模块 个性化推荐系统输入模块的主要功能是收集和更新用户信息，输入模块中的输入来源按照时间顺序来划分，可以分成用户当前的行为和用户使用系统之后的访问操作。输入来源还可以按照个人输入和群体输入两种，个人输入就是用户使用系统的历史记录，而群体输入则是指用户所属群体类型的类似的系统操作。输入模块主要的目的是收集用户的兴趣、爱好，从而更好的像用户推荐信息和产品。个性化推荐系统的输入方式多种多样，除了传统的“填表”形式的用户输入之外，用户在使用系统的历史记录也可以被视为用户对系统的输入。下面以电子商务个性化推荐系统为例，简单的分析个性化推荐系统的用户输入方式。 1、用户注册：用户在注册使用系统时，系统会对用户进行简单的分类，需要用户提交一些用户的年龄、职业等基本信息以及用户的兴趣爱好等。这种信息输入时个性化推荐系统最早使用的用户信息收集手段。 2、用户浏览：用户在使用系统时，系统可以对用户使用系统的路径进行分析，从而收集用户的兴趣、爱好，例如，假如用户近段时间总是频繁的进入婴儿奶粉专区，那么系统可以初步判断出，用户可能会对婴幼儿的用品会比较感兴趣，因而系统可以向用户推荐婴幼儿保护品等产品。 3、用户搜索：个性化推荐系统一般都有信息/产品的搜索模块，系统可以根据用户的搜索来判断用户的兴趣、爱好，从而在下次用户使用系统时，像用户推荐类似的信息和产品。 4、用户评分：用户在获得信息/产品之后 （二）推荐模块 推荐模块是个性化推荐系统的核心，它在个性化推荐系统的作用相当于人体的大脑，推荐模块根据系统的用户输入模块得到的用户输入信息，利用推荐算法取得用户的兴趣、爱好，并根据用户的兴趣、爱好将用户可能感兴趣的信息/产品推荐给用户。采用高效、准确的推荐算法有利于提高个性化推荐系统的效率和准确性，由于篇幅原因，本文将在第三章详细的讨论个性化推荐系统常用的推荐算法。 （三）输出模块 个性化推荐系统通过推荐模块得到用户可能感兴趣的信息/产品列表之后，系统应该利用某种方式将这种信息表现给用户，个性化推荐系统常用的几种表现形式有：1、在用户登录时的欢迎页面中显示推荐列表；2、采用电子邮件通知用户；3、采用短信的方式通知用户。 Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:普通表格; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:""; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:10.5pt; mso-bidi-font-size:11.0pt; font-family:"Calibri","sans-serif"; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-bidi-font-family:"Times New Roman"; mso-bidi-theme-font:minor-bidi; mso-font-kerning:1.0pt;} Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:普通表格; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:""; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:10.5pt; mso-bidi-font-size:11.0pt; font-family:"Calibri","sans-serif"; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-bidi-font-family:"Times New Roman"; mso-bidi-theme-font:minor-bidi; mso-font-kerning:1.0pt;}