个人技术序列

后台开发T6述职人:王剑github:landscape-ooo日期：15年11月26日2目录高性能代理服务DonkeyProxy简介TroubleshootImprove分布式存储系统架构SSD与ReadWrite工程M端系统架构M端异常3DK4DK-proxy2015年公司级创新项目将Web层按照事业群解耦合，通过智能库分发流量，继而代理后端节点fang->basefang->fang_base-?->base算法：词表穷举与规则解析等识别算法进行分流特点：创建过滤网，用于审核Cookie，Xss等敏感信息；引入防爬虫机制；实现灰度发布；5DK6DKtroubleshoot－技术选型fast\scala\testable,日十亿级访问

高性能

memory

footprinter，disk

block

I/O，network

block

I/O高并发（epoll）、scala、automaticupgrade7DK技术选型how

resolve

DiskBlock

？ shared

memory

(extern

c)

after

nginx

reload

,dirty

old

data

embeded

into

lua

scriptreusable?replicate

opcode

CPU

“page

cache”

nginx

epoll8DK技术选型－networkblockcoroutines

+

asynchronous

network

I/O

suspend

after

request

,active

after

response

lua

coroutineproxy_pass

+

synchronous

networkProxy_pass:timeout

，zero

size

header9DK技术选型－Jit10DK技术选型-jitJava最快，Jit性能优化达到登峰造极Lua与Luajit天壤地别Facebook的hhvm比phpcompile快Cli模式

OneCore

abignested-loop11DKImprovecache

memcache/redis

VS

levelDBdisk

find

VS

Disk

read去中心化没有核心流量汇入点，这样带来的负载更小，故障影响的范围也更小分布式automatic

upgrade

12分布式存储系统13分布式存储系统LRUHotdataCompress:delexifSSD500GB>SATA8T14分布式存储系统-指标IOPS

storage:90（600+）

web:300Space

total

1.04

PB

;free

0.2

PBQPS

up:37K

down:28K15如何分离read

write1，异步双写

2，read未命中，则由mirror请求赶集源，并存储

3，Url映射模块与赶集Uri映射风格保持不变16分布式存储系统fastDfs++读写抢占资源（单节点同时负载Read\Write）数据一致:最终一致

finish[x<=

ceil(total%2)]

tracker保证服务稳定(zk)M端公共服务1718M端基础架构

Content驱动业务，以最终输出html为目的，整体已分割流量数据Major

UGC:Major

UserGenerateContent,指代分类信息19M端异常排查20QA21附录基于Http的同步请求，因antispider_