金融大数据风险控制项目详细设计说明书

金融大数据信用风险控制项目详细设计说明书XX科技股份有限公司编制目录一、 金融大数据信用风险控制项目系统软件模块设计 4二、 金融大数据信用风险项目系统接口及函数 61.1 数据生产 61.1.1 数据生产函数 61.2 数据采集 71.2.1 数据采集接口 71.2.2 数据存储函数 81.3 数据分析 81.3.1 数据分析函数 81.4 可视化展示 91.4.1 用户接口 91.4.2 菜单接口 101.4.3 角色接口 111.4.4 消费行为分析接口 111.4.5 业务分析接口 121.4.6 客户分析接口 131.4.7 用户品质分析接口 131.4.8 风险分析接口 14三、 金融大数据风险控制项目系统数据格式 141. 数据格式设计说明 14四、 金融大数据风险控制项目系统数据库表结构 161. 表结构设计图 16

金融大数据信用风险控制项目系统软件模块设计数据采集模块：负责从各类数据源中提取、导入数据，主要产品包括：动态采集SDK、日志提取分析工具、外部数据导入工具、其它数据提取工具等。数据存储模块：负责将预处理后的数据进行存储，主要由可进行横向扩展的Hadoop集群构成，另外辅之以关系数据库作数据中转、元数据存储、供某些软件使用等用途。分析挖掘模块：负责金融数据经建模、挖掘、评估和发布，核心是实现两类数据挖掘的算法和模型：一类是抽象的数学算法及模型，另一类是在此基础上针对金融业务的专业算法和模型。业务应用模模块：负责将分析挖掘结果的可视化展现形式，集成到相应的金融业务系统中。金融大数据信用风险模块设计表序号一级模块二级模块三级模块说明1数据生产金融大数据信用风险数据生产2数据采集/存储使用Flume、Kafka组件将数据存储到HBASE中3数据分析使用MapReduce将HBASE中的数据经过分析处理之后导入到MySQL中4可视化展示系统管理系统状态监控、系统信息查看5权限管理资源管理系统菜单管理、路径管理6角色管理系统使用角色管理、权限管理7用户管理系统登录用户管理8信用风险数据分析行为分析使用图形展示用户消费行为占比情况9业务分析使用图形展示不同类型信用业务占比和数量情况10客户分析使用图形展示不同类型信用客户占比11用户品质分析使用图形展示不同类型用户品质数量12风险分析使用图形展示各种风险类型情况13交易趋势分析分析使用图形展示各种交易趋势的占比情况金融大数据信用风险项目系统接口及函数数据生产数据生产函数函数类duct.test.MockRecords生产类TestMockRecords需求优先级高系统输入或系统外激励系统响应系统调用生产函数,设定相应的输出文件及输出路径根据设定路径，生产相应的数据文件功能需求数据生产例外以及相应处理调用的功能数据生产注释和说明数据采集数据采集接口接口地址/hhrzkg/system/dataCollection用户类系统需求优先级高系统输入或系统外激励系统响应设定flume采集的源文件和数据下沉的位置，将数据采集到kafka集群中Kafka集群出现相应的数据功能需求数据采集例外以及相应处理调用的功能数据采集注释和说明数据存储函数函数类com.hbase.consumer用户类HbaseConsumer需求优先级高系统输入或系统外激励系统响应设置kafka消费主题，使用HBASE消费数据将kafka集群中的待数据存储到HBASE中功能需求数据存储例外以及相应处理调用的功能数据存储注释和说明数据分析数据分析函数函数类com.bigdata.analysis.runner用户类CountDurationRunner需求优先级高系统输入或系统外激励系统响应配置源HBASE、目标MYSQL数据格式，配置清洗策略将HBASE数据经过分析后存储MySQL功能需求数据分析例外以及相应处理调用的功能数据分析注释和说明可视化展示用户接口接口地址/hhrzkg/system/admin用户类系统管理员需求优先级高用户输入或系统外激励系统响应1.用户输入用户名、密码1.比对输入用户是否存在，并返回相应结果。2.新增用户；3.删除用户；4.修改用户。功能需求用户登录系统、用户修改信息、管理员新增和删除用户例外以及相应处理调用的功能系统登录、用户信息修改、新增和删除用户注释和说明菜单接口接口地址/hhrzkg/system/res用户类系统管理员需求优先级高用户输入或系统外激励系统响应1.用户输入菜单名称、菜单地址、上级目录。1.比对输入菜单是否存在，并返回相应结果。2.新增菜单；3.删除菜单；4.比对输入菜单是否存在，不存在即修改菜单。功能需求系统管理员查询、新增、修改、删除菜单例外以及相应处理调用的功能菜单查询、新增、修改、删除注释和说明角色接口接口地址/hhrzkg/system/role用户类系统管理员需求优先级高用户输入或系统外激励系统响应1.用户输入角色名称、角色权限1.显示角色名称、权限等信息2.新增角色；3.删除角色；4.比对输入角色是否存在，不存在即修改角色。功能需求用户授权，系统管理员对角色新增、删除、修改、查询例外以及相应处理调用的功能角色查询、新增、修改、删除注释和说明消费行为分析接口接口地址/hhrzkg/system/act用户类系统用户需求优先级高用户输入或系统外激励系统响应1.1.显示用户消费行为占比情况功能需求图形化展示用户消费行为占比例外以及相应处理调用的功能消费行为分析注释和说明业务分析接口接口地址/hhrzkg/system/enty用户类系统用户需求优先级高用户输入或系统外激励系统响应显示不同类型信用业务占比和数量情况功能需求图形化展示不同类型信用业务占比和数量情况例外以及相应处理调用的功能业务分析注释和说明客户分析接口接口地址/hhrzkg/system/customers用户类系统用户需求优先级高用户输入或系统外激励系统响应显示不同类型信用客户占比功能需求图形化展示显示不同类型信用客户占比例外以及相应处理调用的功能客户分析注释和说明用户品质分析接口接口地址/hhrzkg/system/quility用户类系统用户需求优先级高用户输入或系统外激励系统响应展示不同类型用户品质数量功能需求图形化展示不同类型用户品质数量例外以及相应处理调用的功能用户品质分析注释和说明风险分析接口接口地址/hhrzkg/system/risk用户类系统用户需求优先级高用户输入或系统外激励系统响应显示各种风险类型情况功能需求图形化展示各种风险类型情况例外以及相应处理调用的功能风险分析注释和说明金融大数据风险控制项目系统数据格式数据格式设计说明Text类型。Number类型。这些整数类型拥有额外的选项UNSIGNED。通常，整数可以是负数或正数。如果添加UNSIGNED属性，那么范围将从0开始，而不是某个负数。Date类型。即便DATETIME和TIMESTAMP返回相同的格