Apache Doris助力中科软打造保险行业智能风控平台

ApacheDoris助力中科软打造保险行业智能风控平台刘钊毅中科软科技资深数据架构师01智能风控平台02数据架构演进03实践场景04总结与展望01智能风控平台「中科软简介」•公司成立时间：1996.5.30•注册资本：59,360万•国有控股：中科院软件研究所、海淀国有资产投资经营公司•2006年1月23日在深圳新三板上市•2019年9月9日上交所上市，股票代码603927•2023年实现营业收入约65.03亿，实现净利润6.55亿，同比增长2.59%18000+行业应用专业化人才•7000+专注寿险、6000+专注财险、5000+专注公共卫生医疗及政府等行业；•涵盖众多行业的应用软件产品、开发服务、系统集成等；•公司拥有18000+人才，技术人员占比89%，82%+本科以上；•研发能力：与中科院软件所成立“行业信息化联合实验室”、“人工智能实验室”、“区块链实验室”；•在保险软件厂商中综合竞争力排名第一，并保持连续十年排名第一；•国家规划布局高新技术企业，国家鼓励的重点软件企业、软件百强企业。「中科软简介－市场占有率」自2011年起在IT解决方案市场竞争分析中连续数年占据领导者地位数据来源：赛迪顾问2024.08约束层评估层记录事实层环境层「保险行业的知识体系框架－风险管理域」约束层评估层记录事实层环境层8大风险体系信用风险战略风险流动性风险保险风险市场风险集中度风险声誉风险操作风险风险综合评级SARMRA自评估指标556个标准层贴源层可操作管理文件200+规则集50000+客户业务流程-保单业务流程-理赔业务流程-再保业务流程-收付业务流程-财务产品标的渠道组织机构营销风险客户业务分类产品标的物组织过程状态时间期限地域权限控制收/付费控制e.g.承保实务规程e.g.核保规则e.g.网销系统功能菜单e.g.接受保单数据接口动态产品结构动态产品结构标的子险信息表保单基本信息表客户信息表险别代码表保单保额保费表保险标的项目表动态产品结构与蓝图动态产品结构与蓝图数据结构的映射管理需求计划表需求确认表需求验证表需求变更申请需求计划表需求确认表需求验证表需求变更申请需求评审记录用户需求说明书详细需求说明书软件工具组织协同知识成果需求访谈记录「保险欺诈给各国保险行业造成损失估计」赔付金额10-30%赔付金额赔付金额10-30%赔付金额10-40%赔付金额10-20%汽车保险健康保险案件数量的10%左右健康保险农业保险案件数量的10%左右农业保险保险欺诈行为造成的损失是非常惊人的;近年来通过强化组织并不断提升技术含量危害日益加剧；[新保;续保;渠道接入][报案;立案;核赔;追偿][新保;续保;渠道接入][报案;立案;核赔;追偿][报案;立案;核赔;追偿][新保;续保;渠道接入][报案;立案;核赔;追偿][新保;续保;渠道接入][报案;立案;核赔;追偿][报案;立案;核赔;追偿]求结案后稽查CFR 01技术架构演进数据治理数据分析类应用监管类及专业应用数据应用统信报送月结偿二代准备金、精算实时大屏固定报表KPI系统MIS数据治理数据分析类应用监管类及专业应用数据应用统信报送月结偿二代准备金、精算实时大屏固定报表KPI系统MIS清单多维分析移动端智能风控智能风控智能营销客户画像智能营销客户画像智能续保智能续保理赔反欺诈理赔反欺诈客户评级Manager数据挖掘工具包SKLearnAutoML元数据管理数据服务WebServiceWebSocketSandBoxAPIJDBC主数据管理数据质量管理统一调度批量采集实时采集工具采集资源管理参数配置Impala/Presto分布式数据库SQL查询引擎数据模型分布式多维分析引擎SparkManager数据挖掘工具包SKLearnAutoML元数据管理数据服务WebServiceWebSocketSandBoxAPIJDBC主数据管理数据质量管理统一调度批量采集实时采集工具采集资源管理参数配置Impala/Presto分布式数据库SQL查询引擎数据模型分布式多维分析引擎SparkStreaming实时流处理引擎数据架构列式数据库图数据库关联性分析MongDB文档数据库非结构化数据仓库数据安全监管要求行业标准资源管理YARN优化存储协同服务Zookeeper消息队列日志采集分布式计算SparkKafka云管平台（计算、内存、存储、网络资源）[支持AWS、阿里云、华为云等]RDBMS数据服务DataService数据平台数据存储数据操作数据交换数据来源数据治理数据分析类应用监管类及专业应用数据应用统信报送月结偿二代准备金、精算实时大屏固定报表KPI数据治理数据分析类应用监管类及专业应用数据应用统信报送月结偿二代准备金、精算实时大屏固定报表KPI系统资产目录移动端多维分析MIS清单资产地图智能风控智能风控智能营销智能营销客户画像智能续保智能续保理赔反欺诈客户评级数据运营数据运营Manage大数据开发管理平台部署开发调试调度监控数据服务接口管理平台RestfulAPIJDBC/FTP数据订阅算法服务元数据管理外部接入批量采集实时采集工具采集Manage大数据开发管理平台部署开发调试调度监控数据服务接口管理平台RestfulAPIJDBC/FTP数据订阅算法服务元数据管理外部接入批量采集实时采集工具采集资源管理参数配置主数据管理Doris分布式AP数据库SQL查询引擎+数据湖[IceBerg/ExtenalTable/Multi-Catalog]数据质量管理Prometheus时序数据库数据模型图数据库关联性分析实时流处理引擎MongDB文档数据库非结构化ElasticSearch搜索引擎数据仓库数据架构数据安全监管要求协同服务资源管理优化存储增量日志获取消息队列增量捕获ZookeeperYARNHDFSDebeziumKafkaFlinkCDC云管平台（计算、内存、存储、网络资源）[支持AWS、阿里云、华为云等]行业标准RDBMS数据服务DataService数据平台数据存储数据操作数据交换数据来源「大数据技术开发管理平台的建立」l调度流程监控l可视化自定义l集群部署管理l调度流程监控l可视化自定义l集群部署管理l组件服务管理l系统运行监控l消息队列监控l增量数据捕获l多数据源管理l流批一体处理l流式入湖入仓l高性能查询l强兼容mysqll数据API构建lETLjob构建中科软大数据技术开发管理平台）实时数据获取快速开发平台任务管理平台TaskManager实时数据获取快速开发平台任务管理平台TaskManager智能调度平台Scheduler运维监控平台流批一体处理引擎分布式AP数据库组件托管平台03实践场景「技术组件托管能力」「平台快速开发能力-数据库」见即所见的SQL调试界面。「平台快速开发能力-ETL」4、支持对指定Catalog元数据的查询、SQL5、支持对执行模式、集群选择、默认生成、可用Function查询等功能。括开始时间、结束时间、是否成功等信息。「平台快速开发能力-机器学习」1.1.EDA(数据探索性分析)2.特征工程2.特征工程3.模型自动化调优3.模型自动化调优「平台智能调度能力」「平台运维监控能力」4、平台集成了各功能组件的性能指标监控能4、平台集成了各功能组件的性能指标监控能04总结展望「对服务高可用、数据高可靠的保障能力提升」服务高可用服务高可用•默认一个集群，只能有一个Leader，可以有多个Follower和Observer。•Leader和Follower组成一个Paxos选举组，如果Leader宕机，则剩下的Follower会自动选出新的到IsMaster:true。在此基础上，可以添加若干Follower和Observer。数据高