Sphinx在电子商务网站中的应用

1、第一部分-分析与思路：实际项目的特点是：1.数据量大2.商品分类多3.每个商品可以处于多个分类下4.平均每个商品拥有2个以上的属性要求可以做到：1.按照商品名称搜索2.按照商品属性筛选3.按照分类筛选4.按照价格分组筛选5.按照价格、时间排序MySQL基本数据结构： HYPERLINK /wp-content/uploads/2011/10/%E6%9C%AA%E5%91%BD%E5%90%8D.jpg 说明:product是基本产品表，id为产品编号，name是待搜索字段product_index为产品属性表，index_id是属性编号，product_id为product表的id。如果编号

2、为100的产品，有5个 不同属性，在product_index表中就会记录product_id为100，index_id不相同的五条记录。product_show的结构与product_index类似，记录的是产品于分类的联系，如果同一个产品同属5个不同的分类，在表中就会存在五条记录。数据结构不复杂，但是实际应用中，使用Mysql的查询实现的搜索和检索，效率是比较低的。最消耗性能的地方是产品列表的索引导航，这是类似淘宝网产品列表的”按XXX浏览”： SQL的实现不多说。在Sphinx有个非常棒的特性：MVA(多值属性），MVA类似Mysql的set类型的字段，但是存放值不受预设的限制，使用MV

3、A建立Sphinx的属性，用来存放每个产品的index_id和category_id，很方便就能实现筛选功能。第二部分-索引结构配置：Sphinx配置文件贴出主要部分，其他的手册上说的很清楚了（手册非常重要： HYPERLINK /uploads/pdf/sphinx_doc_zhcn_0.9.pdf t _blank /uploads/pdf/sphinx_doc_zhcn_0.9.pdf）。 HYPERLINK /wp-content/uploads/2011/10/%E6%9C%AA%E5%91%BD%E5%90%8D1.jpg 上面是source部分，项目的编码是UTF-8，所以首先得

4、执行：“SET NAMES utf8”。product里面的price是以保留两位小数的形式存放的，在sql_query里面，将它乘以100换成整数，避免浮点精度带来的不必要的小数位。关键的两条“sql_attr_multi”，配置了属性和分类的MVA，“from query”后面紧接着SQL，表示来自查询，product_id放第一个字段，后面跟着值字段，这样Sphinx内部才会进行处理。建立索引后,结构可以看成下图所示: HYPERLINK /wp-content/uploads/2011/10/index.gif 第三部分-查询：Sphinx自带的PHP的API进行查询。示例1：编号为1

5、,2,3,4,5的5个分类下的产品列表：$Sphinx-SetFilter(category_id,array(1,2,3,4,5);$Sphinx-Query(”,*);示例2：属性编号为1,2,3,4,5的下的产品列表(属性的交集)$Sphinx-SetFilter(index_id,array(1);$Sphinx-SetFilter(index_id,array(2);$Sphinx-SetFilter(index_id,array(3);$Sphinx-SetFilter(index_id,array(4);$Sphinx-SetFilter(index_id,array(5);$S

6、phinx-Query(”,*);示例3：属性编号为1,2,3,4,5的下的产品列表(属性的交集)的价格分组,并且升序排列$Sphinx-SetFilter(index_id,array(1);$Sphinx-SetFilter(index_id,array(2);$Sphinx-SetFilter(index_id,array(3);$Sphinx-SetFilter(index_id,array(4);$Sphinx-SetFilter(index_id,array(5);$Sphinx-SetGroupBy(price,SPH_GROUPBY_ATTR,group asc);$Sphin

7、x-Query(”,*);示例4：属性编号为1,2,3,4,5的下的产品列表(属性的交集),分类编号是7,8,9$Sphinx-SetFilter(category_id,array(7,8,9);$Sphinx-SetFilter(index_id,array(1);$Sphinx-SetFilter(index_id,array(2);$Sphinx-SetFilter(index_id,array(3);$Sphinx-SetFilter(index_id,array(4);$Sphinx-SetFilter(index_id,array(5);$Sphinx-SetGroupBy(pr

8、ice,SPH_GROUPBY_ATTR,group asc);$Sphinx-Query(”,*);Sphinx的查询使用还是很方便的,需要注意的是,Filter传递的待筛选参数必须是数组;关于MVA的使用,如果数组有多个成员:$Sphinx-SetFilter(category_id,array(7,8,9);表示索引中的category_id满足数组中的任意一个值就会筛选出来.$Sphinx-SetFilter(index_id,array(7);$Sphinx-SetFilter(index_id,array(8);$Sphinx-SetFilter(index_id,array(9)

9、;表示索引中的index_id包含7,8,9三个值才会被筛选出.MVA也可以用来进行Group操作:$Sphinx-SetGroupBy( index_value_id, SPH_GROUPBY_ATTR );可以很方便的得出当前条件下的,各种属性(样式,品牌)的数量.第四部分-即时更新方案：使用了Sphinx代替了Mysql进行查询后,最大的问题还在于数据的更新问题:我们在后台进行了产品的编辑,删除,添加操作,都需要尽快的反应到用户端.架构图: HYPERLINK /wp-content/uploads/2011/10/index-update.gif 说明:(1).在Mysql中建立一个增

10、量表,凡是产品更新操作(添加,修改,删除),都会将相关ID更新到到增量表;表结构很简单,只记录ID.(2).修改Sphinx的配置文件sql_query=SELECT id,name,price*100ASprice,0ASin_update FROM shop_productsql_attr_uint=in_update增加了一个字段in_update,用来标记主索引的这条记录,是否在增量表中.(3).产品的更新操作时,除了更新增量表,同时也利用Sphinx API的UpdateAttributes方法,将主索引中的相关记录的in_update属性设置成”1$this-Sphinx-Upda

11、teAttributes($index,array(in_update),array($id=1);代码中的$id指的是商品编号.更新完了属性后,发出增量索引更新通知,可以是写队列,写文件等方式.(4).在查询时,增加过滤器.$Sphinx-SetFilter(in_update,array(0);这样,就不会使用到主索引中的处于增量索引中的doc,以免搜索到错误的编辑前的数据.(5).守护进程接到增量索引更新通知,重建增量索引.(6).每天某时段更新主索引,清空增量表,清空增量索引思路就是这样,下面的增量索引更新脚本是我用在测试环境的,生产环境的比较复杂,供参考.#!/bin/bashCHE

12、CK_FILE_PATH=/xxx/sphinx-check.txtSPHINX_COMMAND=”/opt/sphinx/bin/indexer config /opt/sphinx/etc/product.conf product_update_index rotate”whiletruedoNOW_TIME=date+%Y-%m-%d %H:%M:%Sif-f$CHECK_FILE_PATH;then WORD_NUM=cat $CHECK_FILE_PATH|wc-wif$WORD_NUM-gt0;then echo”bulid $NOW_TIME” $SPHINX_COMMAND $

13、CHECK_FILE_PATHelse echo”skip $NOW_TIME” fielseecho”nofile $NOW_TIME”fisleep30done后台操作时,简单的用写文件的方式通知索引更新脚本,索引更新完成后,将文件重置.第五部分-优化总结：这几篇blog,没想过写成手把手的教程,只是想把思路写出来,和大家交流,所以流水账了代码都是些关键片段,不负责它正常运行!基础方面的请到Sphinx官方站查看文档,非常详细!谈几点优化方面的建议:1.Sphinx自带PHP API和使用C写的PHP扩展相比,速度快了不少,应该是网络通讯方面的问题.觉得这应该是不正常的,但是问题我还没找到

14、.也有可能是个别问题.2.一个页面要是有多个Sphinx查询请求,请使用AddQuery方法,尽量收集,一次发送,一个接收.3.AddQuery添加Query的条数有限制,应该是32条这样,我以前提到过.4.做好cache!附录资料：不需要的可以自行删除b2c电子商务网站概要设计整体结构b2c电子商务系统主要是一个由多个相互关联的网页组成有机整体的网站，这些网页的组成部分可以分为两大类：素材和功能模块导航栏。用于指向网站特定内容的链接的集合。买商品，客户管理。用户通过链接跳转到感兴趣的内容网页。商品分类信息栏属于导航信息栏普通信息，公司或者网站介绍，b2c商品交易协议的声明，网站使用的方法。内

15、容为静态，并且时效性不好内容更新缓慢，静态文件的方式存放即时信息，包括网站新闻，商品折扣信息，系统广播。其特点是内容更新快，信息量大，需要在系统运行时动态发布。商品信息所含数据的主要组成部分，他的特点是商品种类繁多，不同的商品有不同的属性和技术指标。顾客管理及安全认证，b2c电子商务的商品交易需要建立在交易双方彼此信任的基础上，这就需要对购买商品的顾客进行管理，并在交易时进行交易管理。包括顾客注册，顾客信息管理，顾客登录验证，交易过程顾客身份的确认。商品交易。包括顾客选购商品，（购物车），订单生成和确认，货款支付和商品交付。附加功能，商品和其他信息的搜索，更好的展示商品。系统目标功能分析1：后

16、台管理方面；a商品订单管理：主要实现商品分类管理，添加与修改商品，管理订单，投诉订单，反馈信息，商品留言管理b管理网站用户：实现用户管理，后台管理员管理等c新闻公告管理：实现新闻添加，修改删除等功能d网站常规设置：网站设置，首页广告，大类广告，小类广告，友情链接，修改注册协议等e网站信息设置：汇款方式，送货方式，定购方式，售后服务等2：前台应用方面：a用户管理：实现用户注册，验证码登陆，资料修改b用户定购，实现在线定购，在线支付，购物车，查看订单，订单投诉，信息反馈c商品展示：实现二级分类展示，首页精品推荐，新品发布，销售排行，分类模糊搜索】d网站信息：汇款方式，送货方式，定购方式 售后服务e

17、首页功能：最新新闻，友情链接数据库需求分析用户的需求具体体现在各种信息的提供、保存、更新和查询方面，这就要求数据库结构能够满足各种信息的输出和输入。收集基本数据、数据结构及数据处理的流程，组成一份详尽的数据字典，为后面的具体设计打下基础。通过上述系统功能的分析，针对一般的B2C销售系统，总结出如下的需求信息：用户分一般用户和注册用户。一般用户只能注册后下订单，注册用户可直接下订单。注册用户登入后可以维护自己的个人信息，并且在向网站发出订单时会自动填写自己联系信息。一种商品有多种信号和款式，即一个大类包括多个小类。一个小类只能属于一个大类。通过上述系统功能分析和需求总结，设计如下的数据项和数据结

18、构：管理员信息，包括数据项：账号，姓名，密码。注册用户（会员），包括数据项，用户ID，用户名，密码等。商品大类，包括数据项：商品类型编号，商品名称。商品小类，包括数据项：小类编号，小类名称，对应大类名称。订单，包括数据项：订单编号，订单号码，用户姓名，购买时间等。投诉，包括数据项：投诉编号，订单号码，用户姓名，投诉时间。系统，包括数据项：系统编号，系统开发人员的姓名，系统类型等。新闻，包括数据项：新闻编号，新闻标题，新闻内容等。数据库概念模型设计在上面数据需求信息分析的基础上，就可以设计出能够满足用户需求的各种实体，以及他们之间的关系，为后面的具体数据表设计打下基础。这些实体包含各种具体信息，

19、通过相互之间的作用形成数据间的流动。由此得出实体关系模型（E-R）。数据表设计数据库的概率结构设计完毕后现在可以将上面的数据库概念结构转化为某种数据库系统所支持的实际数据模型，也就是数据库的逻辑结构。这里所使用的是Access数据库，销售系统数据库中的各个表的设计结果在下面的一系列表格中给出，每个表格表示在数据库中的一个表。会员信息表字段名称数据类型ID自动编号Username文本Userpass文本Membercode数字Userhome文本Usermail文本Question文本Answer文本Honor文本Realname文本Birthday文本订单表字段名称数据类型Sub_id自动编号Basket_id文本User_name文本Sub_date日期/时间Sub_number文本Sub_check是/否Sub_to文本Sub_mail文本Sub_tel文本Sub_ad