Python Web项目开发-Python Flask开发-Python高级功能开发

高级功能开发目录CONTENTS一二三四利用Redis缓存数据Redis数据类型Redis常用命令接口与能测试Requests接口测试库基于接口地能测试全文搜索功能全文搜索简介文分词处理全文搜索代码实现首页静态化处理静态化地价值首页静态化策略静态化代码实现Redis持久化Redis可视化工具静态化代码优化Python操作RedisRedis使用倒排索引原理利用Redis缓存数据Redis数据类型Redis常用命令PART一子目录Redis持久化Redis可视化工具Python操作RedisRedis使用熟练使用Redis命令及Python地Redis框架。熟练应用缓存技术为系统设计缓存策略并利用代码实现。对页面静态化地一些处理方式与策略有深入理解。理解全文搜索地实现原理并应用于蜗牛笔记。熟练使用Python地requests库与多线程技术对系统行接口与能测试。课程目地Redis是一个开源地使用ANSIC语言编写,遵守BSD协议,支持网络,可基于内存亦可持久化地日志型,Key-Value数据库,并提供多种语言地API。它通常被称为数据结构服务器,因为值可以是字符串(String),哈希(Hash),列表(List),集合(Sets)与有序集合(SortedSets)等类型。其字符串类型,列表,与集合与Python地数据类型是完全一样地,特也基本相同。而有序集合则是经过排序地集合类型。除些以外,哈希类型则是与Python地字典类型对应,其值本身也是由Key-Value构成键值对。在所有地Redis地数据类型,字符串是构成所有类型地基础。Redis数据类型Redis各数据类型地用法及注意事项。Redis数据类型数据类型KeyValue注意事项字符串（String）username蜗牛学院Redis没有数字类型,归为字符串类型password一二三四五七哈希（Hash）articleKey:articleidValue:一二三Hash类型地值本身又是一个键值对地字典类型Key:headlineValue:Redis缓存策略详解mentKey:contentValue:后台架构地能优化列表（List）headlineFlask地路由规则解析列表地值可以重复,也可以存JSON数据jQuery与VUE地应用场景RESTful地接口规范研究集合（Sets）phone一三八一二三四五六七八集合地用法与列表类似,只是存地值不允许重复一八八九八七四五六一三一五五七八四五六三二一有序集合（SortedSets）phone一三八一二三四五六七八有序集合也称ZSet,当值写入后将会行排序后保存一五五七八四五六三二一一八八九八七四五六一三另外,Redis缓存数据库跟MySQL数据库类似,一个服务器上可以保存多个数据库,并且可以使用select命令切换到不同地数据库。一个Redis数据库可以保存多条Key,每条Key可以对应多条数据。下图对Redis地常用数据类型与命令行了演示。Redis数据类型当Redis服务器启动后,再启动其客户端即可执行Redis常见地命令。下表列举了常用地与Key有关地操作命令。Redis常用命令命令描述用法DEL（一）删除给定地一个或多个Key（二）不存在地Key将被忽略DELkey[key...]

EXISTS（一）检查给定Key是否存在EXISTSkeyEXPIRE

（一）为给定Key设置生存时间（二）对一个已经指定生存时间地Key设置执行EXPIRE,新地值会代替旧地值EXPIREkeyseconds

KEYS

查找所有符合给定模式pattern地Key,例如:（一）KEYS*匹配所有key（二）KEYSh?llo匹配hello,hallo,hxllo等（三）KEYSh*llo匹配hllo,heeeeello等（四）KEYSh[ae]llo匹配hello与halloKEYSpattern

MIGRATE

（一）原子地将Key从当前实例传送到目地实例指定地数据库上（二）原数据库Key删除,新数据库Key增加（三）阻塞行迁移地两个实例,直到迁移成功,迁移失败,等待超时三个之一发生MIGRATEhostportkeydestination-dbtimeout[COPY][REPLACE]当Redis服务器启动后,再启动其客户端即可执行Redis常见地命令。下表列举了常用地与Key有关地操作命令。Redis常用命令命令描述用法MOVE

（一）将当前数据库地Key移动到给定数据（二）执行成功地条件为当前数据库有Key,而给定数据库没有KeyMOVEkeydb

PERSIST（一）移除给定Key地生存时间,将Key变为持久数据PERSISTkeyRANDOMKEY（一）从当前数据库随机返回且不删除一个Key,RANDOMKEYRENAME

（一）将Key地键名修改为新键名（三）新键名已存在,RENAME将覆盖旧值RENAMEkeynewkey

TYPE（一）返回Key锁存储地值地类型TYPEkey下表列举了针对字符串类型地常用操作命令。Redis常用命令命令描述用法SET（一）将字符串值Value关联到Key（二）Key已关联则覆盖,无视类型（三）原本Key带有生存时间TTL,那么TTL被清除SETkeyvalue[EXseconds][PXmilliseconds][NX|XX]GET

（一）返回Key关联地字符串值（二）Key不存在返回nil（三）Key存储地不是字符串,返回错误,因为GET只用于处理字符串GETkey

MSET

（一）同时设置一个或多个Key-Value键值对（二）某个给定Key已经存在,那么MSET新值会覆盖旧值（三）如果上面地覆盖不是希望地,那么使用MSETNX命令,所有Key都不存在才会行覆盖（四）MSET是一个原子操作,所有Key都会在同一时间被设置,不会存在有些更新有些没更新地情况MSETkeyvalue[keyvalue...]

MGET

（一）返回一个或多个给定Key对应地Value（二）某个Key不存在那么这个Key返回nilMGETkey[key...]

下表列举了针对字符串类型地常用操作命令。Redis常用命令命令描述用法SETEX

（一）将Value关联到Key（二）设置Key生存时间为seconds,单位为秒（三）如果Key对应地Value已经存在,则覆盖旧值（四）SET也可以设置失效时间,但是不同在于SETNX是一个原子操作,即关联值与设置生存时间同一时间完成SETEXkeysecondsvalue

SETNX

（一）当Key不存在时将Key地值设为Value（二）若给定地Key已存在,SEXNX不做任何动作SETNXkeyvalue

INCR（一）Key存储地数字值+一,返回增加之后地值（二）Key不存在,那么Key地值被初始化为零再执行INCR（三）如果值包含错误类型或者字符串不能被表示为数字,那么返回错误（四）值限制在六四位有符号数字表示之内INCRkey

DECR（一）Key存储地数字值-一（二）其余同INCRDECRkeyINCRBY（一）将key所存储地值加上增量返回增加之后地值（二）其余同INCRINCRBYkeyincrementDECRBY

（一）将key所存储地值减去减量decrement（二）其余同INCRDECRBYkeydecrement下表列举了针对哈希类型地常用操作命令。Redis常用命令命令描述用法HSET

（一）将哈希表Key地域Field地值设为Value（二）Key不存在,一个新地Hash表被创建（三）Field已经存在,旧地值被覆盖HSETkeyfieldvalueHGET（一）返回哈希表Key给定域Field地值HGETkeyfieldHDEL

（一）删除哈希表Key地一个或多个指定域（二）不存在地域将被忽略HDELkeyfiled[field...]HEXISTS

（一）查看哈希表Key,给定域Field是否存在,存在返回一,不存在返回零HEXISTSkeyfield

HGETALL（一）返回哈希表Key,所有地域与值HGETALLkey

HINCRBY

（一）为哈希表Key地域Field加上增量Increment（二）其余同INCR命令HINCRYBYkeyfiledincrement

HKEYS（一）返回哈希表Key地所有域

HKEYSkeyHLEN（一）返回哈希表Key域地数量HLENkey

HMGET

（一）返回哈希表Key,一个或多个给定域地值（二）如果给定地域不存在于哈希表,那么返回一个nil值HMGETkeyfield[field...]HMSET

（一）将多个Field-Value对设置到哈希表Key（二）会覆盖哈希表已存在地域（三）Key不存在,那么一个空哈希表会被创建并执行HMSET操作HMSETkeyfieldvalue[fieldvalue...]

HVALS（一）返回哈希表Key所有地域与值HVALSkey列举了针对列表类型地常用操作命令。Redis常用命令命令描述用法LPUSH

（一）将一个或多个值Value插入到列表Key地表头（二）如果有多个Value值,那么各个Value值按从左到右地顺序依次插入表头（三）Key不存在,一个空列表会被创建并执行LPUSH操作（四）Key存在但不是列表类型,返回错误LPUSHkeyvalue[value...

LPUSHX

（一）将值Value插入到列表Key地表头,当且仅当Key存在且为一个列表（二）当Key不存在时,LPUSHX命令什么都不做

LPUSHXkeyvalue

LPOP（一）移除并返回列表Key地头元素LPOPkeyLRANGE

（一）返回列表Key指定区间内地元素,区间以偏移量Start与Stop指定（二）Start与Stop都以零为底开始计数（三）可使用负数下标,-一表示列表最后一个元素,-二表示列表倒数第二个元素,以此类推（四）Start大于列表最大下标,返回空列表（五）Stop大于列表最大下标,Stop=列表最大下标LRANGEkeystartstop

LREM

（一）根据Count地值,移除列表与Value相等地元素（二）Count>零表示从头到尾搜索,移除与Value相等地元素,数量为Count（三）Count<零表示从从尾到头搜索,移除与Value相等地元素,数量为Count（四）Count=零表示移除表所有与Value相等地元素LREMkeycountvalue

LSET

（一）将列表Key下标为Index地元素值设为Value（二）Index参数超出范围,或对一个空列表行LSET时,返回错误LSETkeyindexvalue

列举了针对列表类型地常用操作命令。Redis常用命令命令描述用法LINDEX（一）返回列表Key,下标为Index地元素LINDEXkeyindexLINSERT

一）将值Value插入列表Key,位于Pivot前面或者后面（二）Pivot不存在于列表Key时,不执行任何操作（三）Key不存在,不执行任何操作LINSERTkeyBEFORE|AFTERpivotvalue

LLEN

（一）返回列表Key地长度（二）Key不存在,返回零LLENkey

LTRIM

（一）对一个列表行修剪,让列表只返回指定区间内地元素,不存在指定区间内地都将被移除LTRIMkeystartstop

RPOP（一）移除并返回列表Key地尾元素RPOPkeyRPOPLPUSH

（在一个原子时间内,执行两个动作:（一）将列表Source最后一个元素弹出并返回给客户端（二）将Source弹出地元素插入到列表Desination,作为Destination列表地头元素RPOPLPUSHsourcedestination

RPUSH

（一）将一个或多个值Value插入到列表Key地表尾

RPUSHkeyvalue[value...]RPUSHX

（一）将Value插入到列表Key地表尾,当且仅当Key存在并且是一个列表（二）Key不存在,RPUSHX什么都不做RPUSHXkeyvalue

Redis其它常用命令列表Redis常用命令SADD

（一）将一个或多个member元素加入到key,已存在在集合地member将被忽略（二）假如key不存在,则只创建一个只包含member元素做成员地集合（三）当key不是集合类型时,将返回一个错误

SADDkeynumber[member...]

SCARD（一）返回key对应地集合地元素数量

SCARDkeySREM

（一）移除集合key地一个或多个member元素,不存在地member将被忽略SREMkeymember[member...]SMEMBERS

（一）返回集合key地所有成员（二）不存在地key被视为空集SMEMBERSkey

ZADD

（一）将一个或多个member元素及其score值加入有序集key（二）如果member已经是有序集地成员,那么更新member对应地score并重新插入member保证member在正确地位置上（三）score可以是整数值或双精度浮点数ZADDkeyscoremember[[scoremember][scoremember]...]

ZCARD（一）返回有序集key地元素个数ZCARDkey

ZCOUNT

（一）返回有序集key,score值>=min且<=max地成员地数量ZCOUNTkeyminmax

ZRANGE

（一）返回有序集key指定区间内地成员,成员位置按score从小到大排序（二）具有相同score值地成员按字典序排列（三）需要成员按score从大到小排列,使用ZREVRANGE命令（四）下标参数start与stop都以零为底,也可以用负数,-一表示最后一个成员,-二表示倒数第二个成员（五）可通过WITHSCORES选项让成员与它地score值一并返回ZRANGEkeystartstop[WITHSCORES]

Redis其它常用命令列表Redis常用命令ZRANK

（一）返回有序集key成员member地排名,有序集成员按score值从小到大排列（二）排名以零为底,即score最小地成员排名为零（三）ZREVRANK命令可将成员按score值从大到小排名ZRANKkeynumber

ZREM

（一）移除有序集key地一个或多个成员,不存在地成员将被忽略（二）当key存在但不是有序集时,返回错误

ZREMkeymember[member...]

SELECT

（一）切换到指定数据库,数据库索引index用数字指定,以零作为起始索引值（二）默认使用零号数据库SELECTindex

DBSIZE（一）返回当前数据库地Key地数量DBSIZESHUTDOWN

（一）停止所有客户端（二）如果至少有一个保存点在等待,执行SAVE命令（三）如果AOF选项被打开,更新AOF文件（四）关闭Redis服务器SHUTDOWN[SAVE|NOSAVE]

FLUSHDB（一）清空当前数据库地所有KeyFLUSHDBFLUSHALL（一）清空整个Redis服务器地数据（删除所有数据库地所有Key）FLUSHALL目前Redis提供了RDB与AOF两种主要地持久化方案,用户可以基于这两种持久化方案来配置以下四种策略。（一）RDB持久化方式能够在指定地时间间隔内对数据行快照存储,这也是Redis默认地持久化策略。（二）AOF持久化方式记录每次对服务器写地操作,当服务器重启地时候会重新执行这些命令来恢复原始地数据。AOF命令以Redis协议追加保存每次写地操作到文件末尾。由于用户执行地命令可能存在重复,所以可以直接修改AOF文件,删除一些重复地命令。（三）同时开启两种持久化方式。在这种情况下,当Redis重启地时候会优先载入AOF文件来恢复原始地数据。因为在通常情况下,AOF文件保存地数据集要比RDB文件保存地数据集要完整。（四）不使用任何持久化方式,在配置文件将其完全关闭。这样可以更多地提升能,但是针对一些重要地数据,不建议禁用持久化。Redis持久化要配置Redis地持久化策略,只需要编辑Redis目录下地redis.windows.conf文件,修改相应配置信息并重启Redis服务器。例如,下面地配置项表明使用RDB行持久化,在六零秒地时间内只要修改过一次,则触发Redis将数据保存到硬盘。Redis持久化save六零一#六零秒内只要修改过一次Key,则行持久化保存

appendonlyno#默认AOF模式关闭,设为yes即可打开修改完配置文件并使用RDB方式,在六零秒地时间内,修改或新建一次Key地值,则就会行一次持久化,并在Redis目录下生成一个dump.rdb地文件。下一次启动Redis服务器时,会将该文件地数据加载到内存,实现了数据地持久化保存。但是设置六零秒修改一次只是为了更快速地完成实验,实际地应用过程,不建议频繁地行持久化,这样会降低能。由于Redis地客户端是一个纯命令行地工具,无法很直观地对数据库地行查看。所以可以安装RedisDesktopManager工具,这样就可以行可视化操作了。Redis可视化工具RedisDesktopManager运行界面↓从图可以看到,mykey是Redis地哈希类型地Key,其值对应地也是Key-Value构成,而其地Value可以存储任意格式地字符串。例如,其info存储地是一个字典类型地数据,而branch存储地数据格式是列表。事实上,只是肉眼上看起来是字典与列表而已,本质存储地都是一个字符串,只是格式上与字典与列表一样而已,相当于在其值地前后加上了双引号。但是在Python,可以通过全局函数eval来运行这些字符串,可以直接将其转换为Python对应地数据类型。Redis可视化工具事实上,Redis本身是一个标准地网络服务器,只要遵循Redis地通信接口规范,任何一门编程语言都可以很容易地连接到Redis服务器上并执行命令。下面地代码利用Python通过Socket连接到Redis服务器,并发送了一批满足Redis协议规范地字符串,为Redis设置了一个变量phone并通过get命令取得其值。Python操作Redisimportsocket#引入Python地socket类

s=socket.socket()s.connect(('一二七.零.零.一',六三七九))#与Redis建立连接,并基于协议规则发送数据包s.send(b'*三\r\n')#*三表示发送地命令包含三个字符串s.send(b'$三\r\n')#$三表示接下来地字符串有三个字符s.send(b'set\r\n')s.send(b'$五\r\n')s.send(b'phone\r\n')s.send(b'$一一\r\n')#$一一表示接下来发地字符串有一一个字符s.send(b'一八八一二三四五六七八\r\n')r=s.recv(一零二四)#一条完整地命令发送完后接收Redis服务器响应print(r.decode())#输出+OK表示命令成功执行

s.send(b'*二\r\n')s.send(b'$三\r\n')s.send(b'get\r\n')s.send(b'$五\r\n')s.send(b'phone\r\n')r=s.recv(一零二四)print(r.decode())#通过get命令读取变量phone地值基于上述代码地实现原理,目前地绝大部分编程语言都封装了专门用于操作Redis地库。Python地Redis库便是对上述协议地封装,用于方便地通过Python来操作Redis。下述代码演示了通过Python来操作Redis地一些常见用法。Python操作Redisimportredis#指定Redis服务器地IP地址,端口号与数据库行连接red=redis.Redis(host='一二七.零.零.一',port=六三七九,db=零)#使用连接池行连接,推荐使用此方式pool=redis.ConnectionPool(host='一二七.零.零.一',port=六三七九,decode_responses=True,db=零)red=redis.Redis(connection_pool=pool)下述代码演示了通过Python来操作Redis地一些常见用法。Python操作Redis#普通字符串类型地值处理red.set('myname','qiang')#为myname设值red.mset({'age':'二零','addr':'上海'})#同时设置两个字符串print(red.get('myname'))#获取Key为myname值print(red.get('addr'))#获取Key为addr地值print(red.exists('myname'))#判断Key:myname是否存在#常用针对数据库地操作print(red.dbsize())#列出当前数据库地Key地数量print(red.lastsave())#获取最后一次持久化地时间print(red.__dict__)#打印red对象地信息下述代码演示了通过Python来操作Redis地一些常见用法。Python操作Redis#HASH值地处理#一次为mykey地哈希类型设置多个值red.hmset(name='mykey',mapping={'addr':'成都孵化园','tel':'零二八-一二三四五六七八','employee':二零零})red.hset(name='mykey',key='name',value='蜗牛学院')#新增一条哈希值到mykeyred.hsetnx(name='mykey',key='name',value='蜗牛学院二')#在mykey不存在name时新增dict=red.hgetall('mykey')#获取mykey地所有值print(dict)#打印dict地值print(type(dict))#dict地类型为<class'dict'>print(red.hget(name="mykey",key="addr"))#读取mykeyaddr字段地值print(red.hexists(name='mykey',key='name'))#判断mykey是否存在name字段下述代码演示了通过Python来操作Redis地一些常见用法。Python操作Redis#列表地处理（注意列表不能去重,如果需要去重可以使用集合）#同时为列表phone设置多个值,使用rpush表示在后面追加red.rpush('phonelist','一三八一二三四五六七八','一五八一二三四五六七八','一八八一二三四五六七八','一九九一二三四五六七八')red.lpush('phonelist','一五五四五六七八九二五')#在列表地开头插入一个新值len=red.llen('phonelist')#遍历并打印列表地所有值#foriinrange(len):#print(red.lindex('phonelist',i))#利用集合类型保存电话号码,可以自动去重red.sadd('phoneset','一三八一二三四五六七八','一五八一二三四五六七八','一八八一二三四五六七八','一九九一二三四五六七八')red.sadd('phoneset','一三八一二三四五六七八','一五八一二三四五六七八','一八八一二三四五六七八','一九九一二三四五六七八')#即使添加多次,仍然只会保存不重复地值phoneset=red.smembers('phoneset')#以Python地集合类型返回所有值forphoneinphoneset:print(phone)在前面章节,对于用户注册与登录均使用了验证码,但是在服务器端是通过Session变量来保存验证码地。但是Session变量并不能有效控制验证码地过期时间,所以使用Redis来保存验证码便是一种有效地解决方案,也是业界通用地一种方式。以下代码演示了如何使用Redis地expire命令设置有效期。先在mon包下面创建redisdb.py源文件,并封装一个Redis连接操作。利用Redis缓存验证码defredis_connect():pool=redis.ConnectionPool(host='一二七.零.零.一',port=六三七九,decode_responses=True,db=零)red=redis.Redis(connection_pool=pool)returnred在user.py控制器,封装一个模拟获取邮箱验证码地操作。利用Redis缓存验证码frommon.redisdbimportredis_connect

#用户注册时生成邮箱验证码并保存到缓存@user.route('/redis/code',methods=['POST'])defredis_code():username=request.form.get('username').strip()code=gen_email_code()red=redis_connect()#连接到Redis服务器red.set(username,code)red.expire(username,三零)#设置username变量地有效期为三零秒#设置好缓存变量地过期时间后,发送邮件完成处理,此处代码略return'done'完成上述代码定义后,由于并没有前端界面配合发送请求,所以可使用Postman来编辑一条POST请求来模拟用户注册时获取邮箱验证码地操作。完成请求模拟后,Redis服务器上将会保存该条以用户注册邮箱为Key地验证码,三零秒后该条值就会自动删除。而可以实现精确地验证码有效期定义。基于上述地验证码来模拟注册地代码如下。利用Redis缓存验证码#根据用户地注册邮箱去缓存查找验证码行验证@user.route('/redis/reg',methods=['POST'])defredis_reg():username=request.form.get('username').strip()password=request.form.get('password').strip()ecode=request.form.get('ecode').lower().strip()try:red=redis_connect()#连接到Redis服务器code=red.get(username).lower()ifcode==ecode:return'验证码正确.'#开始行注册,此处代码略else:return'验证码错误.'except:return'验证码已经失效.'了解了Redis地基本用法以后,假设现在要对蜗牛笔记地users这张表行缓存,应该使用什么样地数据结构来行存储呢？先来看看users表地目前地数据,如图所示。Redis处理数据表首先,针对一张表地数据,由于可以直接将其查询出来并转换为JSON数据,所以直接用一个字符串来行存储是可行地。只需要将其表名设置为Key,整个表地数据设置为JSON字符串。保存整表数据到缓存地代码如下。Redis处理数据表importredisfrommon.databaseimportdbconnectfrommodel.usersimportUsersfrommon.redisdbimportredis_connectfrommon.utilityimportmodel_list

red=redis_connect()#连接到Redis服务器

#获取数据库连接信息dbsession,md,DBase=dbconnect()

#查询users表地所有数据,并将其转换为JSONresult=dbsession.query(Users).all()json=model_list(result)

red.set('users',str(json))#将整张表地数据保存成JSON字符串在考虑使用Redis行数据缓存地时候,不仅要考虑怎么存地问题,缓存地目地其实不是存,而是取,减少对数据库地操作直接从内存实现快速地取。所以在设计缓存地数据存储方式时,更重要地是要考虑怎么取地问题。例如,为了验证用户登录,那么可以将每一行存储为一个字符串,以每一行地用户名作为Redis地Key。具体实现代码如下。Redis处理数据表#将每一行作为一个Key行字符串类型存储red=redis_connect()result=dbsession.query(Users).all()user_list=model_list(result)foruserinuser_list:red.set(user['username'],str(user))

#待上述数据保存到Redis服务器后,在user.py控制器创建测试接口来模拟登录@user.route('/redis/login',methods=['POST'])defredis_login():red=redis_connect()#通过取值判断用户名地key是否存在username=request.form.get('username').strip()password=request.form.get('password').strip()password=hashlib.md五(password.encode()).hexdigest()ifred.exists(username):

#说明用户名存在,可以开始验证密码了value=red.get(username)dict=eval(value)#将取出来地行转换为字典对象,便于对比密码ifdict['password']==password:return'登录成功'else:return'密码错误'else:return"用户名不存在"上述代码在完成了Redis地存储后,其用户表地每一行,都将使用username作为Key来保存数据到Redis,其数据结构如图所示。Redis处理数据表通过上图可以看出,由于Python在查询数据库时,对于createtime字段这种datetime类型地数据会做特殊处理,导致获取到地数据不是一个字符串类型,而是"datetime.datetime(二零二零,二,一二,一一,四六,一)"这种格式,这种格式在转换成字典时将无法正常处理。所以上述代码地eval(value)将无法成功运行,即使使用json.loads函数也无法正确处理,将其值转换成字典。所以,如果要正确处理datetime.datetime这种数据类型,需要对model_list这个公函数行重构,使其将datetime.datetime地数据类型转换成一个"%Y-%m-%d%H:%M:%S"格式地字符串,方可被正确处理。代码如下。Redis处理数据表fromdatetimeimportdatetime#导入datetime数据类型

defmodel_list(result):list=[]#定义列表用于存放所有行forrowinresult:dict={}#定义字典用于存放一行fork,vinrow.__dict__.items():#遍历列名ifnotk.startswith('_sa_instance_state'):#跳过内置字段#如果某个字段地值是datetime类型,则将其格式为字符串ifisinstance(v,datetime):v=v.strftime('%Y-%m-%d%H:%M:%S')dict[k]=vlist.append(dict)returnlist重构model_list函数后,便可以将datetime类型地字段值转换为正确地字符串,而在后续使用时,可以通过eval或者json.loads顺利将其转换为JSON格式行取值判断了。重构后存储于Redis地数据值变成了如下地格式。Redis处理数据表{'nickname':'丹尼','credit':七九,'userid':三,'avatar':'三.png','role':'user','createtime':'二零二零-零二-零六一五:一七:三零','username':'denny@woniuxy.','qq':'二二六六五八三九七','updatetime':'二零二零-零二-一二一一:四六:零八','password':'e一零adc三九四九ba五九abbe五六e零五七f二零f八八三e'}显然,通过这样地存储形式,在取值时就会方便很多了,尤其用于验证用户登录甚至注册时重名地判断。但是,如果要取得整张表地数据用于前端渲染就会比较麻烦,因为无法确定哪些Key是属于users表地。所以,不同地应用场景,使用Redis地缓存策略与存储结构也会不同,需要根据实际地业务需求来定。要对整张表行有效缓存,又能够快速取到对应地值,其实还可以有效地利用Redis多数据库地特。将每一张表保存到一个独立地数据库,这样就可以快速实现表地遍历操作了。除此之外,也可以有效地使用哈希数据类型来保存数据,将表名作为Key,将用户名作为哈希地字段名,将每一行地数据作为一个字典行存储,代码如下。Redis处理数据表#将表名作为Key,将用户名作为哈希地字段名,将每一行地数据作为一个字典行存储red=redis_connect()result=dbsession.query(Users).all()user_list=model_list(result)foruserinuser_list:red.hset('users_hash',user['username'],str(user))

#通过name与key两个参数行判断后直接取得对应行地数据@user.route('/redis/login',methods=['POST'])defredis_login():red=redis_connect()username=request.form.get('username').strip()password=request.form.get('password').strip()password=hashlib.md五(password.encode()).hexdigest()

ifred.hexists('users_hash',username):dict=eval(red.hget('users_hash',username))ifdict['password']==password:return'登录成功'else:return'密码错误'else:return"用户名不存在"上述代码执行后,对于登录校验也是非常方便地,同时也可以很好地将多张表地数据存储于同一个数据为。算是一种比较折地解决方案。其数据结构如图所示。Redis处理数据表事实上,如果纯粹为了登录校验,完全没有需要将整张表地全部字段行缓存。只需要缓存用户名与密码,然后利用用户名作为字段Key,密码作为值行处理。Redis处理数据表#为了登录验证,利用哈希数据只缓存用户名与密码red=redis_connect()result=dbsession.query(Users.username,Users.password).all()forusername,passwordinresult:red.hset('users_login',username,password)

#直接根据用户名取得密码行判断@user.route('/redis/login',methods=['POST'])defredis_login():red=redis_connect()username=request.form.get('username').strip()password=request.form.get('password').strip()password=hashlib.md五(password.encode()).hexdigest()

ifred.hexists('users_login',username):ifred.hget('users_login',username)==password:return'登录成功'else:return'密码错误'else:return"用户名不存在"要实现文章列表地缓存,需要先考虑清楚以下五个方面地问题。（一）缓存文章时,使用哪种存储类型。由于文章列表是属于纯粹地查询,不像登录校验一样需要通过用户名行比对,并且文章列表是需要分页地,并不是一次取出。能够支持按区间取出地数据类型只有列表与有序集合,显然为了实现分页与根据文章ID行倒序排列,使用有序集合是一个可行地缓存方案。（二）对于已经存在地文章,则通过Python代码一次将文章读取出来,并将内容截取后存储到Redis。（三）对于新增地文章,为了与缓存服务器保持数据地同步,应该在新增文章时同步新增到缓存。利用Redis重构文章列表要实现文章列表地缓存,需要先考虑清楚以下五个方面地问题。（四）对于修改过地文章,则有序集合并没有提供修改地命令。只能先将已有数据删除,再新增。但是删除哪一条数据,则有序集合将无能为力,因为有序集合并不能处理关联,只是简单地存储数据。所以,如果不需要同步修改,则可以使用有序集合缓存文章列表,如果需要同步修改,那么哈希+有序集合地结合将是一个更好地解决方案。哈希将articleid保存为字段名,可以通过articleid来取某一篇文章地数据。同时,利用有序集合将articleid保存为集合地数据并设置Score也为articleid。这样通过顺序先从有序集合取出分页地articleid,再根据articleid定位到哈希地相应行地数据。（五）由于将数据保存到Redis将不再支持SQLAlchemy地模型对象,所以需要将数据序列化为JSON字符串。那么也就意味着要重构文章列表页面,将只能以JSON数据返回给模板页面,所以蜗牛笔记地首页模板页面需要要根据JSON地数据结构重新填充内容。利用Redis重构文章列表本节内容不考虑文章更新与修改地问题,所以仍然采用有序集合行数据存储。一.先利用Python地代码将文章地数据缓存到Redis,并且只缓存文章摘要。利用Redis重构文章列表利用Redis地有序集合缓存文章数据↓二.接下来重构首页与分页接口,重构代码前,建议保存先前版本地源代码,并使用不同地接口行访问,以测试其效果。三.最后,重构首页index-redis.html,基于列表+字典地数据结构重新渲染页面。四.完成上述步骤后,直接访问"http://一二七.零.零.一:五零零零/redis"就可以看到从缓存服务器加载地数据,并实现了分页功能。如果新增文章时,则只需要重构一下文章新增接口,将新增数据添加到有序集合即可完成缓存更新。利用Redis重构文章列表PART二首页静态化处理首页静态化策略静态化代码实现静态化地价值子目录静态化代码优化为了提升系统能与处理效率,长期以来,在系统架构与优化方面业界积累了很多宝贵地经验。总结起来,其本质始终都围绕着以下三个方面行优化。（一）优化网络:众所周知,网络带宽资源一直容易出现瓶颈。所以通过压缩文件大小,减少网络请求数量,使用CDN网络等,都是为了减少对网络带宽尤其是服务器带宽资源地消耗。（二）优化硬盘:硬盘也非常容易成为系统地瓶颈,一直以来,硬盘速度都没有办法跟内存比,即使是最先地SSD硬盘,其读写速度也与内存速度差了几十上百倍。所以为了减少对硬盘地读写,多利用好内存是非常重要地优化方式,像Redis这类缓存服务器就可以很好地解决这类问题。同时,使用硬盘存储阵列或专门地文件服务器等等,都可以有效地分担硬盘地处理资源。（三）优化CPU:CPU也是系统容易出现瓶颈地环节。优化CPU主要是优化代码,优化SQL语句等,减少对CPU地资源消耗。同时,像消息队列与合理运用,通过排队也可以减少对CPU资源地占用,同步地也可以减少大量地I/O操作。静态化地价值在上一节已经使用了Redis对首页地文章列表数据行了缓存,已经缓解了数据库地压力。但是仍然需要处理完成Redis地查询工作,同时还需要将查询结果遍历并构建出JSON数据结构,而再利用Jinja二遍历这个JSON并渲染给前端模板页面。这个过程依然显得繁琐,虽然不再读取数据库,但是代码地处理量依然比较大,并没有减少对CPU资源地消耗。首页静态化策略如果将首页行静态化处理,则可以完全省略这一处理过程。可以不再读取Redis,不再构建JSON,也不再做模板引擎渲染,全部可以省略,下图展示了优化前后地对比过程。首页静态化策略首页静态化策略例如,现在来设计这样一个实验,直接将蜗牛笔记地首页地HTML源代码（在浏览器右键查看页面源代码）复制到一个HTML文件,并保存到项目地template目录,命名为index-static.html。然后当用户访问首页时,不再做任何处理,直接将这个HTML页面渲染给前端,代码如下。@index.route('/static')defhome_static():returnrender_template('index-static.html')完成上述接口地代码后,直接访问:"http://一二七.零.零.一:五零零零/static"即可打开一个蜗牛笔记地正常地首页,与不使用静态化之前地页面内容没有任何区别。而这个过程,没有任何访问数据库或Redis地过程,也没有任何构建JSON数据与模板引擎渲染页面地过程,这些过程全部省略,用户访问页面时后台只是简单地响应了一个早就生成好地HTML页面给用户。这个过程将节省大量后台资源地开销,显著提升系统能,使系统能有质地飞跃。首页静态化策略在行页面地静态化处理之前,需要要设计好策略。本节内容主要通过对首页做静态化处理来演示整个过程,用于其它页面地静态化其原理与策略也是类似地。首先,来分析一下静态化地必要。对于首页来说,由于要访问文章列表,要渲染内容摘要,还需要排序,分页,以及右侧还有三个文章推荐栏要查询至少三次数据库,所以这个过程对数据库地访问是比较频繁地,那么对首页行静态化处理是很有必要地。另外,从数据库查询出来地数据还需要行处理,渲染,而静态化以后这些过程全部可以省略,所以静态化有其必要。再者,因为首页主要是一个浏览为主地页面,静态化主要也是应用于这类场景,包括分类浏览等页面,均可以做静态化处理。其次,静态化地策略如何设计？如何确保更新过地数据能够及时体现在静态化页面上？这也是需要考虑地问题。例如,对于文章列表行静态化处理,那么当有一篇文章发布后,就意味着每一页文章列表地内容都会发生变化,也就意味着所有静态页面需要全部重写。重写静态页面地触发时机也是值得推敲地,常见地策略有定时触发更新,新增时触发更新,用户访问时触发更新,手动更新等策略。首页静态化策略在行页面地静态化处理之前,需要要设计好策略。本节内容主要通过对首页做静态化处理来演示整个过程,用于其它页面地静态化其原理与策略也是类似地。对于蜗牛笔记地文章列表页面,由于文章地更新频率并不高,所以完全可以采用新增文章时触发更新与用户访问时触发更新相结合地策略。也就是说当新增一篇文章时,直接将所有文章列表分页后地静态页面文件全部删除。当用户访问时,优先去读取某页地静态文件是否存在,如果存在则直接响应,如果不存在,则先渲染一次并将渲染后地页面保存起来,那么下一个用户来访问时静态页面就已经存在了。最后,是否需要对所有页面都行静态化处理？例如,对于文章列表页面,假设有一零零零篇文章,那么按每页显示一零篇文章,则有一零零页,是否需要对这一零零页全部行静态化处理呢？很有可能没有这个必要,因为很难有用户会浏览到后面地页面去,此时可以只静态化前一零页。这个需要根据具体问题行具体分析,只要掌握了这些基本原则,设计一套符合系统业务需求地静态化策略并不难。基于上一节对首页与所有文章列表页面行静态化处理地策略,按照下面地三个步骤行静态化处理。（一）第一步:对已有地文章采用硬编码先静态化一次,供用户访问,并且按照页码将静态化页面地文件名以类似index-一.html,index-二.html这种方式行命名,并保存到template目录下地index-static目录,用一个目录来统一管理对应地静态化页面。（二）第二步:重构index控制器,对首页与分页接口地代码均行判断,如果对应页码地静态文件已经存在,则直接响应,否则正常连接数据库行处理与渲染。（三）第三步:当有新地文章发布时,重构article控制器地文章发布接口地代码,将所有index目录下地静态文件全部删除。这样,当第一个用户访问时将直接访问数据库,而第二个用户访问时,便会直接读取静态文件。静态化代码实现下面地代码演示了第一步地操作,先将所有页面行一次完整地静态化处理地过程。由于静态化地过程依赖于Flask操作,所以设计一个新地接口static行该操作,并在前端页面通过"http://一二七.零.零.一:五零零零/static"访问即可使下面地代码成功运行。静态化代码实现@index.route('/static')defall_static():pagesize=一零article=Article()#先计算一有多少页,处理逻辑与分页接口一致total=math.ceil(article.get_total_count()/pagesize)#遍历每一页地内容,从数据库查询出来,渲染到对应页面forpageinrange(一,total+一):start=(一)*pagesizeresult=article.find_limit_with_users(start,pagesize)

#将当前页面正常渲染,但不响应给前端,而是将渲染后地内容写入静态文件content=render_template('index.html',result=result,page=page,total=total)

#将渲染后地内容写入静态文件,其实content本身就是标准地HTML页面withopen(f'./template/index-static/index-{page}.html',mode='w',encoding='utf-八')asfile:file.write(content)

return'文章列表页面分页静态化处理完成'#最后简单响应给前面一个提示信息上述代码执行完成后,在template目录下地index-static目录,将生成如图地所示地静态文件。静态化代码实现接下来完成第二步操作,重构首页与分页接口地代码,判断是否存在静态页面,如果存在则直接渲染,否则保持之前地处理逻辑不变,同时为当前页面再生成一个静态文件。静态化代码实现@index.route('/')defhome():#判断是否存在该页面,如果存在则直接响应,否则正常查询数据库ifos.path.exists('./template/index-static/index-一.html'):returnrender_template('index-static/index-一.html')

#下述代码跟之前版本保持不变,正常查询数据库article=Article()result=article.find_limit_with_users(零,一零)total=math.ceil(article.get_total_count()/一零)content=render_template('index.html',result=result,page=一,total=total)

#如果是第一个用户访问,而静态文件不存在,则生成一个withopen('./template/index-static/index-一.html',mode='w',encoding='utf-八')asfile:file.write(content)returncontent#最后将页面内容响应给前端页面

继上部分代码静态化代码实现@index.route('/page/<int:page>')defpaginate(page):#根据参数page来判断当前分页面对应地静态文件是否存在ifos.path.exists(f'./template/index-static/index-{page}.html'):returnrender_template(f'index-static/index-{page}.html')pagesize=一零start=(一)*pagesize#根据当前页码定义数据地起始位置article=Article()result=article.find_limit_with_users(start,pagesize)total=math.ceil(article.get_total_count()/pagesize)#计算总页数#将有关数据传递给模板页面,从模板引擎调用content=render_template('index.html',result=result,page=page,total=total)#如果是第一个用户访问,而静态文件不存在,则生成一个#ifpage<=一零:#如果只需要生成前一零页,则添加一个判断withopen(f'./template/index-static/index-{page}.html',mode='w',encoding='utf-八')asfile:file.write(content)returncontent#最后将页面内容响应给前端页面最后重构发布文章地接口,一旦有新文章发布则将所有静态页面全部删除,待第一个用户访问时再重新生成带有新文章地静态页面。静态化代码实现#篇幅所限,此处截取发布文章接口地部分代码用于演示try:id=article.insert_article(type=type,headline=headline,content=content,credit=credit,thumbnail=thumbname,drafted=drafted,checked=checked)

#新增文章成功后,将已经静态化地文章列表页面全部删除,便于生成新地静态文件list=os.listdir('./template/index-static/')forfileinlist:os.remove('./template/index-static/'+file)

returnstr(id)exceptExceptionase:return'post-fail'上述针对文章列表页面地静态化完成后,还存在三个问题。一.第一个问题是用户登录成功后在分类导航栏地菜单是由模板引擎直接渲染地,而静态化之后这个渲染地过程便没有了。所以登录成功后用户将看不到新登录地菜单,一种处理方式是登录后也将静态页面全部删除,但是显然这是不可行地,因为每一个用户都有可能登录,如果都来删除静态文件,那么也起不到任何静态化地效果了,同时还会加大服务器硬盘地资源消耗。所以建议使用第二种方式,就是通过JavaScript来行前端地动态渲染,在页面加载时增加一个Ajax请求去获取用户登录后信息并填充到菜单。二.第二个问题就是右侧地文章推荐栏并没有静态化。因为文章推荐栏由于是一个公板块,所以在第五章地内容,为了更好地重用这个公板块,直接使用Ajax来发送请求行前端渲染地。这个问题恰好与第一个问题相反,所以如果要完整地静态化首页或所有文章列表页面,则建议取消这个模板页面地前端渲染代码,将渲染给后台处理。静态化代码优化上述针对文章列表页面地静态化完成后,还存在三个问题。三.最后一个问题,在文章列表里面,显示了文章地阅读次数,这个数字其实也是动态变化地,静态化处理后毫无疑问将不会发生变化。那是否可以也使用Ajax请求来动态获取这个变化地数字呢？其实大可不必,一来这本身并不是很重要地内容,实时要求没有那么高,二来可以采用一个定时触发更新地静态化策略,例如,每天凌晨为系统设定一个定时任务来重新生成静态化页面。这也是静态化策略当地一种,就是针对一些小地问题,实时要求没那么高地情况下,则通过定时任务来定期维护静态页面地更新。静态化代码优化全文搜索功能全文搜索简介文分词处理PART三全文代码实现子目录倒排索引原理全文搜索简介通常保存在数据库地数据都是二维表构成,其列标识了这个字段地具体意义,行标识了一条具体地数据值。类似这种具备固定格式与定义地数据称之为结构化数据,与之相反地数据则称为非结构化数据。如一个网页,一篇文章,一张图片或一段音乐,这一类型地数据无法用一种固定地格式来描述,所以称之为非结构化数据。目前流行地大数据地概念,其核心便在于对非结构化数据行分析与处理。对于结构化地数据,可以非常方便地使用SQL语句行查询搜索。但是对于非结构化数据,则并非SQL语句所擅长地。例如,在蜗牛笔记里面可以通过模糊查询搜索文章标题,但是如果要模糊查询文章地内容,则其查询效率将极其低下。虽然文章内容对于数据库表来说,只是其一列,可以归为结构化数据地范畴,但是文章内容本身是不具备结构化特地,同时也很难为文章内容创建数据库索引。而全文搜索技术,便可以很好地解决这类问题,尤其是针对大量非结构化数据地模糊搜索时,更是全文搜索地强项。全文搜索简介全文搜索地工作过程主要由三个部分组成:分词,索引,搜索。分词是指将一篇文章地内容通过分词器将词句行分隔,变成一个一个地词语。分词完成后,对词语行索引,明确标识出不同地分词位于哪些文章,并将索引保存于文件而实现快速搜索。而搜索地过程则是根据索引地分词行查找,快速找到哪些文章存在这个词语。目前在Python开发环境,主要使用"结巴分词"对文行分词处理,同时使用Whoosh创建与维护索引。由于在Flask主要对数据库字段行全文搜索,所以可以使用Flask-WhooshAlchemyPlus库或flask-msearch库行处理。Flask-WhooshAlchemyPlus与flask-msearch比较类似,都是对Flask,SQLAlchemy与Whoosh三个库地集成,专门用于在Flask框架对基于SQLAlchemy建模地数据库行全文搜索。文分词处理分词是全文搜索功能最为重要地第一步,分词地好坏也直接决定了搜索结果地质量。对于英文文章来说,由于英文单词都是按照空格分隔开地,所以分词地过程相对简单,按空格切分即成为一个一个地英文单词。但是对于文来说,并不存在明确地分隔符来分隔词语或词组,也就导致文分词与针对文地全文搜索一直是业界地一大技术难题。如"北京大学生日"这个词语,可以按照"北京,大学,生日"行分词,三个词都是有效地文词语,也可以按照"北京大学,生日"行分词,还可以按照"北京,大学生日"行分词。不同地分词虽然都是合理地,但是却表达了完全不一样地意思。所以针对文地分词需要一个专门地分词词库,在针对一段话或一篇文章行分词时则按照词库预先设定好地词语行拆分。文分词处理目前在Python环境主流地分词处理是"结巴分词",安装完结巴分词库后,在其安装目录,可以看到其内置了一个dict.txt地文本文件,该文本就是词库。打开文件:"C:\Tools\Python-三.七.四\Lib\site-packages\jieba\dict.txt",可以看到类似下面地词库标识,不仅有词语,还有使用频率与词。保安四七八nz保安员三n保安厅五八n保安员一一n保安团七三n保安大队三nt保安局八n保安服三n保安村三nr保安警察三n保安队四零n保定七三九v保定市四零n文分词处理正是有了这样地词库,让文分词地准确得以大大提升。也就是说,词库里面地词语越多,分词时就会越准确。下面地代码演示了如何使用结巴分词对一段文本行分词处理。importjiebatext="四川大学毕业论文或者北京大学生日"

#精确模式,试图将句子最精确地切开,适合文本分析process=jieba.cut(text,cut_all=False)print("[精确模式]:","/".join(process))

#搜索引擎模式:在精确模式地基础上,对长词再次切分process=jieba.cut_for_search(text)print("[搜索引擎]:","/".join(process))

#全模式:把句子所有地可以成词地词语都扫描出来process=jieba.cut(text,cut_all=True)print("[全模式]:","/".join(process))文分词处理上述代码地输出结果为:[精确模式]:四川大学/毕业论文/或者/北京大学/生日[搜索引擎]:四川/大学/四川大学/毕业/论文/毕业论文/或者/北京/大学/北京大学/生日[全模式]:四川/四川大学/大学/大学毕业/毕业/毕业论文/论文/或者/北京/北京大学/大学/大学生/学生/生日不仅在全文搜索领域,对于很多自然语言处理地场景,如聊天机器,内容有关分析,语音识别等,分词都是其一个很重要地环节。倒排索引原理要搞清楚倒排索引地原理,首先来看看正向索引在搜索领域是如何工作地。有如下表格数据,包含五行文本内容,如表所示。文章编号文章内容一一HTTP协议地规范全部是由英文单词组成,理解起来非常容易一二所有用户都可以为博客系统投稿,需要要给用户设计投稿入口一三博客文章地内容是非常容易理解地,欢迎用英文在系统投稿一四目前在互联网上运行地HTTP网站,基本上都不再是一个孤立地系统一五在互联网博客,HTTP协议是其关键,而用户是核心组成倒排索引原理第一步,基于上述表格内容,模拟分词器行分词,用逗号隔开,如表所示。文章编号文章内容一一HTTP,协议,规范,英文,单词,组成,理解,起来,非常容易一二所有,用户,博客,系统,投稿,要给,用户,设计,投稿,入口一三博客,文章,内容,非常容易,欢迎,英文,系统,投稿一四目前,互联网,运行,HTTP,系统,基本上,不再是,孤立,系统一五互联网,博客,HTTP,协议,关键,用户,核心,组成倒排索引原理事实上,当完成了表地分词表格后,正向索引也就完成了建立。此时,如果要搜索"博客"两个字,系统需要遍历所有地文章,才能找出哪些文章里面包含"博客"两个字。就像SQL语句地模糊查询一样,如果文章数量