非结构化数据资产运营跨生态化业务应用

1、非结构化数据资产运营跨生态化业务应用技术创新，变革未来以客户为中心的业务为何需要数字化？ 业务可度量，才可改进。数字化转型具备什么价值？高效、连接和创新。 FINRA金融监管局基于AWS数据湖、AI等多种架构和技 术，实现每天1550亿笔交易体量下的动态实时监管，有力证明了数字化转型的三大价值。Data EngineeringModel SelectionML FrameworkData FrameworkTrained ModelScoringAlgorithmsEGRPython, R, Scala, SQLScala PythonScala, Python, RTestChosen Mo

2、delDataObservation-1 Observation-2Observation-nNotebook Promotion数据湖Amazon EC2Amazon EC2监管模型开发生产环境FINRAAmazon 2020, Amazon Web Services, Inhc. oerritds affiliates. All rigSht3s reserved.Python, R, ScalaData FrameworkScala PythonIterative3信息化转型专线支持的网点、ATM、POS机等客户场景 项目经理思维，架构师思维以金融机构为视角的专业化产品 基于完整需求进行

3、瀑布式开发业务部门定义产品，科技部门实现产品由项目经理、架构师、领域开发人员组成 的开发中心、测试中心和数据中心自建，私有云大数据 MVC/三层开发工具、运维工具实现“人管机器”的技术自动化数字化转型互联网生态及自有App的用户场景 产品思维、数据思维、体验质量思维 以客户体验为核心的生态化产品基于体验点进行敏捷开发业务部门和科技部门共同定义产品包含项目经理、产品经理、全栈开发组成 的两个比萨团队自建+租用，私有云+公有云数据湖 现代化应用DevOps、AIOps 业务自动化使用模式 思维模式 产品形态开发模式 合作模式团队组织 技术平台 数据架构应用架构开发运维管理工具自动化程度数字化转型究

4、竟会带来哪些变化？不仅是数字化渠道、数字化产品、数字化管理，更重要 的是数字化思维模式。4如何启动数字化转型？AWS认为，盘活数据资产是全局性的切入点。IDC预计1，到2025年，全 球数据总量达175ZB。6来源1 https:/files/www-content/our-story/trends/files/data-age-china-regional- idc.pdf来源：JP Morgan盘活数据资产的关键，首先是数据资产的特征洞察。基于这些特征，有效设计业务闭环、 治理模式、组织形态、整体架构和核心技术。历史数据数字网络数据场景应用预测推荐超大数据链接超多数据整理超快信息洞察“超脑

5、”数字化应用盘活数据资产的的目标不是形成一个宽广的“数据沼泽”，而是通过面向生态用户形成以信息洞察为输出，以智能应用为 目标的“数字化产品”。通过实际的业务回报来衡量相关洞察的效果，并通过增加数据维度和计算能力来不断迭代优化。生态一数据生态N数据6数据资产的特征洞察需要对数据进行知识标注。AWS数字资产盘活机器人解决方案包含框架和任务执行 Bot，可以很低的成本对表格，图片，PDF文件，视频，爬虫记录等富文本数据进行知识标注，具备定制化 能力、易用性、资源整合和成本优化等关键价值。运营人员通过REST API指定S3文件夹和要执行 的任务类型，及配置的运行机器的资源类型，如 OCR，s3:/a

6、-media-bucket/images，3 instancesExecution Planner接收到指令后去S3爬取全部 待处理文件的元数据并存放在DynamoDB中，随 后以AWS Batch Job的形式启动相应的机器人执 行相应的任务。机器人将调用预先部署好的模型推理接口，将任 务的结果存放在转移到S3。架构概述7在全球某领先保险集团，借助AWS数字资产盘活机器人解决方案，实现对客户自己的医疗相关数据（含打 印字体、手写字体、中文、英文）的快速知识标注，为下游自动化任务提高理赔效率打下坚实基础。8台湾某领先资管集团，借助AWS数字资产盘活机器人解决方案，实现对市场资讯的快速 知识标注

7、。9将知识标签数据，导入客户自身的个股涨跌预测模型，支持股票分析师等人员预测 股价。10其次，盘活数据资产的架构应该是云原生架构。国内某领先基金公司，基于AWS推荐的挖掘数据资产思路， 结合自身业务特点制定“启动-进阶-推广-模式创新”的路线图和整体架构，前期部署智能投研等关键应用， 逐步走向对内沉淀数据资产、对外能力输出的业务方向。On-PremRDS for OracleDSGEC2数据导入ClientEC2 KettleDSGAgentOracle DBAWS Direct Connect Data Inter-Connection Layer AppInternetEC2 指标/图分析

8、引擎EBS 存储CloudWatchS3AWS SDKKinesis StreamEC2爬虫 Private IPPrivate IPPrivate IP/Public Public/Private IP/Endpoint IP/EndpointNeptuneEC2 推理节点EMR ETLS3 Data Storage LayerApp API网关S3 Consumption LayerGlue数据目录DynamoDBRedshiftQuickSightElasticSearchAI训练及其它服务器S3Security and DevOps LayerSagemakerAthenaData A

9、PI网关EKSLambdaAppSyncCodeComm CodeDeplo ityX-RayCognitoAWSIAMDirectory ServiceCFAWSConfigS3 Analysis and Process LayerEMRMSK携宁SIRM互联网数据服务App政府公开网站土地招牌挂网站行业网站DSG11云原生架构应能有效支撑微服务应用。国内某银行，基于AWS推荐的业务组件与微服务架构实现原则，从 应用场景出发，对银行业务通过领域建模方法论进行解耦，并以微服务实现分布式架构，短期实现沉淀不同 业务场景的业务逻辑、统一灵活编排、易于扩展等价值，并为长期自服务、易上手、组织自治打下

10、良好基础12云原生架构应是敏捷的。AWS的DevOps 自动化测试解决方案，将通过提供测试覆盖率的方式提升尤 其是外包人员的代码质量，加快业务又快又好落地。13第三，挖掘数据资产，需要可解释的人工智能。知识图谱的数学思想源自欧拉的图论，著名的七桥问题是图论的代表性问题。知识图 谱通过挖掘数据的关联关系，将带来可推导、可解释、可复制等关键收益，帮助客户从人教人，逐步走向人教机器、机器教人、机器 教机器的知识赋能体系。东普鲁士柯尼斯堡（今日俄罗斯加里宁格勒）市区跨普 列戈利亚河两岸，河中心有两个小岛。小岛与河的两岸 有七条桥连接。在所有桥都只能走一遍的前提下，如何 才能把这个地方所有的桥都走遍？E

11、dgeVertex14建图关键代码：g.addV().property(id, blue).as(b).addV().property(id, orange).as(o).addV().property(id, red).as(r).addV().property(id, green).as(g).addE(bridge).from(g).to(b).addE(bridge).from(g).to(o).addE(bridge).from(g).to(r).addE(bridge).from(g).to(r).addE(bridge).from(o).to(b).addE(bridge).fr

12、om(o).to(b).addE(bridge).from(o).to(r).addE(bridge).from(o).to(r).iterate()图 游 走 关 键 代 码 ： g.V().sideEffect(outE(bridge).aggregate(b ridges).barrier(). repeat(bothE().or( .not(select(e), .not(filter( .as(x).select(all, e).unfold().where(eq(x).as(e). otherV().until(select(all, e).count(local).as(c).

13、select(bridges).count(local).where(eq(c).hasNext()在投研、投顾、对公、零售、风控等多种业务场景中，存在以智能问答、智能推荐、知识库应用系统为体 现形式的知识图谱多种应用。15为加速知识图谱的落地，AWS重点推出BIG（Business Innovation Graph） Lab解决方案。Sagemaker平台 Neptune图数据库S3存储金融机构数字化转型文化提倡Go_Build 文化思维赋能产品 经理思维架构实践混合云 联邦架构管理优化“自研”模式技能强化AI能力 AWS FSI解决方案试点互联网 创新应用积累数据基石验证DevOpsDat

14、alake知识图谱AI工程积累模型AWS其它方案拉动AWS实现定制化需求 Partner实现通用需求AWS 知识图谱 AI Lab5天的动手实验室，实现从数据采集到智能问答赋能客户自己实现完整过程Lab涉及产品包括：引领 Partner知识图谱产品目标客户：风控部门、营销部门、16内审部门、产品部门、科技部门业务需求：公司关系分析，用户 画像，行情分析，基本面数据分析，上市公告分析，研报信息 流，智能标签，股市情感分析， 交易异常分析技术需求：大容量快速数据采集、方便的模型训练和推理基础环境、完整的知识图谱应用框架中国某银行，参考AWS推荐的知识图谱技术，在获得2018年银保监会一类成果奖后，

15、在智能问答、企业涉 诉风险预警、企业财务智能分析等场景中，有效提升管理能力。17华南：中国某金融机构在2020年6月份，派10支团队参加BIG Lab。其业务场景为：18客户反馈我们是在压力不断加大的大环境下， 带着实 际风险管理的业务问题， 向先进的科技生产 力寻求答案。此次比赛理论知识培训和实践操作 同步开展， 为期一周的比赛紧张刺 激， 激发了大家的潜能， 学习收获 满满！以消费险为核心， 通过关系网络及模型自动 化触达潜力客户， 对保险线上营销能力提升， 及客户保障意识唤醒有较大意义云服务能显著缩短迭代周期、 降低 试错成本， 特别适合于创意密集型 的工作；big-lab这种类似hac

16、kathon的活动形式， 极大 地激发了我们队员的工作激情， 通过和专业 导师以及其它组队员的思想碰撞， 我们在专 业知识、 工作方法等方面都获得了很大提升。面对金融科技转型的背景， 运用知 识图谱对于实际业务会带了很大的 帮助， 特别是在一些关系复杂、 知 识繁重的场景中。授人以渔， 王大师对于学术的热忱也非常 感染大家， 让每个参赛选手都热血满满， 干劲十足的去为了团队目标去努力， 非常 感谢AWS的各位老师们！感谢亚马逊为我们提供了 SageMaker、 Neptune这样高效平台， 依托于这两个平台我们能够高效地 完成数据预处理和建模操作。19某租赁团队的实现成果：基于租赁物管理的智能

17、客户成长档案21设备故障预测对流式的iot数据进行预测，准确率为99.82%， 精度为98.91%，召回率为100%，F-Measure为 99.45%。飞机运营监控名称应用场景算法应用随机森林飞机运营异常预警卷积神经网络线性分类器船舶设备故障预警最短路径搜索关联企业开源工具使用OCR：Tesseract飞机运营报告、财报识别NLP：Jiagu船舶舆情分析爬虫：requests飞机船舶航迹、舆情爬取画图：NetworkX建模：Protege数据清洗：Numpy、Pandas系统设计实验中使用的算法及工具如果出现时长较短的异常，表示该飞机/航 空公司的运营可能遇到困难，进行预警。企业档案及关联图

18、谱20华东：华东某银行等4家金融机构，在2020年6月份，参加BIG Lab上市公司业绩公告自动化提取（知识抽取）大数据舆情风险传导识别21基于图神经网络的隐性集团发现客户信贷逾期风险识别业务场景某金融机构业务场景：上市公司业绩公告自动化提取（知识抽取）22华北：2019年9月份，7家金融机构共派出36人，在北京参加5天的知识图谱BIG Lab，同样获得 丰富的成果。金融机构名称知识图具体业务场景四大行之一租房价格预测某大型全国性商业银行挖掘公司数据的关联信息，进行链式营销和风险传播建模某大型全国性商业银行基于风控的反欺诈用户体验优化某大型全国性商业银行对公贷款关联关系分析某区域性城商行比较基于知识图谱和传统关系型数据库在用户高危行为分析建模的区别某区域性城商行根据直销用银行客户信息、产品信息及客户交易信息进行知识图谱建模，分析客户交易行为，探索客户与产品之间的关系某区域性城商