互联网金融 杨敏强 金山云互联网金融解决方案-v20171123

金山云互联网金融解决方案杨敏强•••北京金山云网络技术有限公司提纲•金山与戸■品家族•金山云应用场景-互联网应用视频应用-深度学习应用•金山有互联网金融彳丁业应用场景2£UJe金山集0简介中国领先的应用软件产品和服务供应商，26年以上历史,2家上市公司（金山软件HK03888,猎豹移动NYSECMCM）3£UJe金山云：国内领先的云计算服务提供商，5年实现跨越式发展4金111私有云计■存旳匸捲五版如捲爲负建场|C美典Bl据库度油敬1®专■长o国掀私有阿略云数据库Redis云癡B5云物理主机鰹傩ipMongoDB&CDN帛：GPU无服务的E)BNATy表^m如GPU物理服务襦0冬专线擬入G)::对等涯歯印S^JK^i&旅fdoop@臍击榷&撤蜡评測島云口播服务器览全幽金山云广告盈云碑揭©漏洞归商厘厩自诳曲高圾安全服葬6短掘舰路国Mb邮庙火壕全业!您金山企独天毋小＞云胜析&深度学习平台(3@超m台存留:证书凝完善的云服务产品家族，帮助企业搭建混合云应用£UJe产品家族5金山公有云用例模型£UJe・应用用户•账号管理员金山呑公有玄-通过控制台对所有账单操作负责（比如创建、释放云服务器）•账号用户账号管理员—••*»———T—ZT■■T.-通过控制台对非账单操作负责（比如修改云服BE务器网络设置）金山。控制台•实例管理员laaS实例PaaS实例账号用户-管理云服务实例,比如在云服务器上部署应用）OpenAPI实例管理员SSH,VNC远程桌面连接MySQLClient-夢应用用户-访问运行在云服务实例上的应用・集成系统集成系统云管理平台JenkinsAnsible-通过API实现云服务实例的操作自动化6完备的计算.存储和网络基础设施，是金山云服务的基石£UJeWWWKSYUNCOM200G+BGP带宽储备100G+长途骨干网带宽总量20T+全网CDN带宽总量5T+城域骨干网带宽总量80000+台服务器19个大型数据中心600+个全球CDN节点数量7丰富的公有云运维经验，确保交付高安全.高可用公有云服务£UJeWWWKSYUNCOM•实时监控•智能定位•自动修复8众多客户已经基于金山云加速业务创新£UJe•石存储解决方条-小米-WPS-医疗云解决方案—北大人民医院-政务云解决方案-北京政毙-混泰解决方案小米樂CCTV.wzr.corn中国中史电棍台的电话邦云和声UriisiQuriid凡客vandB，siv百褪通＜o魂云一^风行网

国广东方■f■'AJ.Z'鑿炽魚!1111匡CINYLwm。撤诊湘奁説北京市经济和常息化委员会首都之窗卷！絶幣與winsan运廳賁港K徊般唇单宿州而人民政府中关村管委会l^lnacomatfism

織忸土怒时点CJ諸吉.林省大见政府北京市文化局-当当网-新网银行9提纲•金山与戸■品家族•金山云应用场景-互联网应用视频应用-深度学习应用,金山有互联网金融彳丁业应用场景互联网应用典型逻辑架构£UJe体验好速度快高可用高安全智能化企业内网服务11互联网应用上云部署架构弹性IP应用>1公I弹性IP署人员第三方公网服务终端子网：data普通子网：webYUM源企业内网服务£UJeWWWKSYUNCOM'KtC'互联网应用金山云陸制台互联冈昌公I^Kiat北京6区)VPC(豐嚅|VPC:demo会LU无Wi^VW.IMCd=HTTP负载均衡器Redis旨KRDS&KMR集群日志务析=□=111深度学习服务坐对象存储KS3晶金山云CDN©国V高防IP云监控云告警云至内网NATVPN云平台管甌部署人员12计算:搭建高稳定.高可用,高安全的计算环境£UJe•服务器类型-云服务器-云物理机专属有-GPU云服务器-GPU物理服务器・存储类型-本地硬盘-云硬盘5=RNHfl債谓白BE工・Sfi+O计骨竈■>**囲:I+«■**!I®FHL)?wC3-uG'lff■人w円际嗦留”Q9Q■幽□5ASKCeSrK)1EJBE1KKVW；3S2«&jiC«^uWIbUb1«J■HtFKSA皿HflHG一pradK#N«Hrcxutau■miEOA1RRGM,prad.wpfpraiHwc-m..1HSNE*▼■orDWitfflu□H8"HA«RKhp«<L*wF<nd-vp<--m..£tt£Mft*,.□Miibh-M■©IDSItfflUBH+"HAJWHGHfpCwpmd-^pc-m..ASKH■瑋"tO*4^Ustrt*nrflJHAi#«Hpython-vpcIk_MASKHV#-tO*4^Ustrt*nrflJHAMMh，gdmt£C_UX_M由fM*□w^-jn(Dl•0SH4>ww*韻MGHFfKjWfMHC_ALl_5&□dtt*-mOagroxoaizSEI的EOA冲GigpradjvpraiHwc-m..E#*O«iuirv0O4roxitsiz■HtEOAJWtGwprad.-pcpraHpc-m..AKMR*♦■©rositauBfl屮H.UHA!•«HpralJWpmd-^c-m.ASKH■Jkv-通过冗灾组、可用区、数据中心实现云服务器高可用13网络：创建安全.互联互通的网络环境£UJe・实现不同类型服务器的统一组网・完备的网络隔离和安全访问朿峪・通过EIP和NAT实现互联网互访・通过专线和VPN整合自有数据中心14KRDS:基于MySQL的关系数据库服务•高可用MySQL实例・完善的监控信息•自动备份数据.详尽的操作日志15缓存数据库Redis:实现对常用数据的快速访问£UJe・通过控制台即时开通、部署、配置和扩容Redis服务-支持Redis集群模式和单主从齢-通过白名单或VPC策略对服务访问进行安全控制・缓存服务监控告警16对象存储KS3:存储和操作大容量图像.视频等文件£UJe提交：控制台、命令行、API管理:图片处理，访问控制tanQomef^aINRS*MiAimaKflA1SU0Hmzttij>3HG3IK2I'c|an9o<TMii*madto(hotttagi*photo*AW5SrtA-h/antoiawuclwSonwi.9»«.2M7-l^W.«ja4»37.PMpsHL7-W-WMtU3i拗gMD-W^L&JLSpiq血顽•加IttMJJSO—2M7"l»Jt_lW22_FW四BL?K>20iaU:iaZLLJXI!krwi_Swt_JtaMO-JMg血顽•加IttMJL9U1KB・流量统计分析:按天、网络线路、地区统计•访问统计分析:每个对象访问次数统计17hopc//<)p>ornBdxn/kscdndptectj^hctp//4pp4om«dxn/hnp^pp<«om*dvn/TW跡Mehttpc//app^omadxn/st«tic/B^mMcU£O=aI运莒商访冋占比苓月整用球l®!：朝3.40MIIB辜月34.14Kbps5笔贯3fl.J4Kb|S•页面加速-静态加速-动态加速—动静混合加速•多媒体文件加速音tK®下载-软件下载CDfl_____窑心四環・3etttstf■lULHCON>«5ZZJ8latglM害2/3I技旅■城客排拧ki3(j«moM<iMdcn60Cikl«l¥Vft-C4mimgjcHTMIMlifEAdMn____it技tMWn：2O17ff10^2061630■S.Q6KIVH蹄KKIVB俾530099.77KtEH内容分发网络(CDN):提高用户访问速度，分析用户访问行为数据£UJeWWWKSYUNCOM__游戏下载OJDOUA____________________________________________________________________________________________________________________1EV2009炳100001:44]I(P30D32t]SOQQ051»!>00006:4DI(112013820!02C10MId蛍011:40Id^iC1320Ia>2D15.D010*21]16.40田勃1心縁農318KMR:实现日志数据分析£UJe•基于Ambari实现集群快速部署和扩容•集成金山云告警服务•利用KRDS实现支撑数据库的高可用应用VPC大麟VPC大数据接入子网E据核心子冋WebserverBlgData窖户端WebserverBigData，户，WebserverFlumeClientAgentFlumeClientAgentFlumeClientAgentFlumeCollectorAgentHadoopClientFlumeCollectorAgentHadoopClientHadoop大数据平台Flume导入的原始日孟/etl/weblog/rawlog/year=2014/month=10/day=10过波車复日志后的歡据/etl/weblog/deduplogs/year=2014/month=10/day=10加入会话信息后的数据/etl/weblog/sessioni2edhgs/year=2014/month=10/day=10导入的CRM系统数据库数据/data/crm过洩兩复曰志/appsAveblog/dedup.pig给日志加入会话信息的Spark程序/apps/weblog/JavaSessionize-1.0-SNAPSHOTjar创建Hive表的脚本/apps/weblog/create-parquet-log-table.hqlOozie工作流脚本/app/oozie-workflows/weblog/processing.xml日志分析翻本/apps/webllog/query_xx3thq1负载均衡器19£UJe云监控和云告警:实时监控云服务实例，并自动发送告警信息•完善的监控指标•可自定义的告警策略•自定义监控仪表盘4=工単云i侦努^9^•H机•粋P自定安胞1天3天«NATCPU邛均负魏【毎衡ttJfiCPU*MongoDBCPUPJWff«烏旳PCPU罕為策IE«EPC■共蛔s11/1411/15111IE11/1711/1&11/1911/20三c£)£LD£阙辑敝据摩牍与BN析C5賦UWffi芯堂全域名曜BIDC资产宣理—■^―5in|(]ISnnini云监枠>云匮务>云主扒>python-web-srvOL曲120提纲•金山与戸■品家族•金山云应用场景-互联网应用,—视频应用-深度学习应用,金山有互联网金融彳丁业应用场景企业视频应用架构£UJeOBS视频生产端KSYMediaEditor短视频编辑SDKKSYLive直播SDK端姗素材播放端KSYMediaPlayer移动端播放SDKKSPlayerWeb端视频播放SDK视频消费端APP/WEB22£UJe直播控制台：灵活配置和监控直播场景.推流.拉流.录制.截屏.转码•安全0£LBcj=计貝鬱源©阿塔瞄63皤關毒牌与BN»棍婀踽顺®■誠Jifi®域名空值）标识。:uSOedeO多退宮盘案工单文档中心I推流信息CNAME0I拉流信息CNAME0舞作M2D09O4A•中梭通过H除ICDNUOifttf名】D腕.rtmpvdoud.krtrnpy/a^omad.cn/(Apps-cdrtcofnNam«)/{SteamName}img^omadxn.up^loud.ks.cdn.cow囂當了。顽cMAppNamW{気•申娅1I应用信息擇作转码模板appOOl截图设置应用名称HLS|g^Sa®W(»)I直播中断起时僧）斷状I握作live20关闭编辑23点播控制台・管理点播姗・配置转码规则・点播数据统计分析:管理点播视频，统计点播数据带宽焼计商啓・上樁流■:564-29KB下遂流■:&83.14KB上擀■下*W2flKB3ITO63KB2Sff97KB1A531KB0006®云点皤应1鹼计报表开岫间：2O17AOm皓商间：2017/11/194fl1710112017101-«20171#1720171020201710232017103620171A29201T1101201711CW2Q1711Q72Q171T1D2Q1711132017111620171124提纲•金山与戸■品家族•金山云应用场景-互联网应用视频应用+-深度学习应用,金山有互联网金融彳丁业应用场景£UJe25£UJe深度学习是高维浮点密集型计算-基于卷积神经网络的深度学习算法进行手写数字识别(以mnist_deep.py为例)-模型参数个数:(5*5*32+32)+(5*5*64+64)+(7*7*64*1024)+好024*10)-大量的训练数据要求大存储，高吞吐-大量矩阵运算ConvConvOutput26采用GPU进行深度学习，大幅度提高模型训练和推理速度DRAMCPUSpythonmnistdeep.py273J匕0V/33s9J5£UJeWWWKSYUNCOMControlALUALUALUALUCacheCPU(28vCPU)GPU(TeslaP40)717秒82秒金山云基于GPU的深度学习laaS£UJe-GPU服务器和标准CPU服务器融合•融合高速内部网络・融合大容量存储面向推理业务金山云安全金山云VPC网络/EIP/NAT/SLBCUDAGPU云实例业务网络20Gb（支持VPC&含存储）高性能集群存储KS3存储28KDL:深度学习PaaS平台，快速实践深度学习技术£UJe模型开发QSIDEma分析-定义深度学习训练模型H务模型训练域名旳-执行模型训公idDC网鄭遍练任务MatbonchATWtt模型服务，3R虞学习平白-利用模型进行推理个人W4消息制fw平如ATM>kdl>■£开发详情tf-envOOl运行中服务嶼notebooM^iatt:120.92.91J17:301S9|*|岫岫Ea3«®fiIs]基本信息IMIS融：tf-«rM)01tt*:爆行中三ftJ・S4间：2017-111417^756或；tensorflowks3bucket挂载信息ks3_buckecmyang-*O01套餐信息•CPUSttfSK多谊音工華皿中心ssh-p30059roo<«>120.9291J17环墳ID.•429»14c-dS2-4012-9b3(>-5c8595e73245SR(r«Vl*XM9nWV?«Wil"时间2017-11-1417:4««主Jk号kscibutMdNdngWtcom―阪本13.0子■■-locM.dlr/mnt/k$3_bucketVmyang-M0129提纲•金山与戸■品家族•金山云应用场景-互联网应用视频应用-深度学习应用金山云互联网金融行业应用场景30|5答I編［区统一控制台（管理员、租户）大数据平台数据库平台运维运营监控告警vt#计费日志审计混合云管理平台金山公有云计算网络存储计划服务目录用户工单系统瀰呈审批智能云资源调度平台计算虚拟化存储虚拟化ServerSAN集中式存储雌利诸网络虚拟化SDNNFV安全增强vFireWall安华且密钥整合的混合云平台£UJe基础架构31利用公有云的弹性实施大数据平台KS3对象存储KECEPC大螭平台KEC关系数据库KECEPC应用1VPC大数据VPC接入子网终端子网核心子网应用2VPC子网ACL消叫列Kafka32£UJe利用深度学习技术提升风控能力•AutoEncoder自编码器算法实现欺诈检测,训练数据-284,807交易数据，%0.17是欺诈，数据非常不平衡一出于隐私考虑，数据经过主成分分析（PrincipalComponentAnalysis,PCA）,难以进行特征抽取•