搭建PySpider爬虫服务

搭建PySpider爬虫服务目录一：环境准备2二:部署mariadb三：部署redis四：部署pyspider五：部署完成一：环境准备1.yum更新输入命令：yumupdate-y32.安装开发编译工具输入命令：yuminstallgccgcc-c++-y43.安装依赖库输入命令：yuminstallpython-pippython-develpython-distributelibxm12libxm12-develpython-lxmllibxsltlibxslt-developensslopenssl-devel-y54.升级pip输入命令：pipinstall--upgradepip6二：部署mariadb由于Centso7中MySQL数据库已从默认的程序中列表中移除，我们使用mariadb代替。1.安装mariadbyuminstallmariadb-servermariadb-y72.启动mariadb服务输入命令：systemctlstartmariadb83.设置root密码默认的root用户密码为空，你可以使用以下命令来创建root用户的密码输入命令：mysqladmin-urootpassword"Password“（该步骤也可以跳过，password后的password可以改为任何你希望设置的密码）94.检查是否安装成功输入命令：mysql–uroot–p然后输入您刚才设置的密码（默认：Password

），如果一切正常，您应该可以在命令行看到以MariaDB[(none)]>

或

mysql>

开头的提示了，说明连接成功。此时输入

SHOWDATABASES;

并回车，应该可以看到类似下面这样的输出，说明一切正常。完成后，可以通过快捷键

Ctrl+C

或命令行键入

exit

来退出，进入下一步。如果您未设置密码，直接用

mysql

即可10三：部署redis1.下载安装包输入命令：wgethttp://download.redis.io/redis-stable.tar.gz2.解压安装包：tar-xzvfredis-stable.tar.gz3.移动解压包到/usr/local内：mvredis-stable/usr/local/redis114.编译安装cd/usr/local/redismakemakeinstall5.设置配置文件路径：mkdir-p/etc/rediscp/usr/local/redis/redis.conf/etc/redis/redis.conf6.启动redis：/usr/local/bin/redis-server/etc/redis/redis.conf12四：部署pyspider1.安装依赖pipinstall--upgradechardeteasy_installmysql-connector==2.1.3easy_installredispipinstallJinja2==2.102.安装pyspider:pipinstallpyspider133.配置pyspider首先创建配置目录mkdir/etc/pyspider然后

/etc/pyspider

目录下创建pyspider.conf.json，参考下面的内容。具体配置的说明文档请参考

官方文档示例代码：/etc/pyspider/pyspider.conf.json{"taskdb":"mysql+taskdb://root:Password@:3306/taskdb","projectdb":"mysql+projectdb://root:Password@:3306/projectdb","resultdb":"mysql+resultdb://root:Password@:3306/resultdb","message_queue":"redis://:6379/db","webui":{"username":"root","password":"Password","need-auth":true}}144.启动服务输入命令：pyspider-c/etc/pyspider/pyspider.conf.json如果一切正常，现在访问

http://<您的CVMIP地址>:5000，您应该可以看到pyspiderdashboard的首页了。服务能够正常启动后，我们需要让它能够在后台运行，您可以通过以下命令让服务在后台运行nohuppyspider-c/etc/pyspider/pyspider.conf.json&也可以使用官方推荐的

Supervisor

来启动，这里就不详细介绍了，具体用法可以参考Supervisor的文档1