大数据核心技术之数据挖掘与机器学习技术探索培训大纲

时间 培训大纲 内容 第一天上午 第一章 机器学习及数据挖掘 基础原理 1) 什么是机器学习？ 2) 什么是数据挖掘？ 3) 什么是大数据？ 4) 典型应用 5) 机器学习基本思想与原理 a) 假设空间 b) 主要流派 (机械学习/示教学习/类别学习/归纳学习) c) 归纳学习(有监督的学习/无监督的学习) 6) 机器学习应用的一般流程 (收集数据/准备数据/分析数据/训练/测试/应用) 7) 大数据下机器学习算法的特点 8)基础知识 a) 常见文本处理流程 (分词、词性标注、实体识别、句法分析、索引) b) 向量空间模型 c) 高维数据降维 c) 相似度计算方法 d) 基本概率统计知识 9) 常用工具 第一天下午 第二章 机器学习及数据挖掘 常用技术 1) 分类方法 a) 特征选择及降维 b) 朴素贝叶斯 c) 决策树 d) 回归分类器 第二天上午 第二章 机器学习及数据挖掘 常用技术 e) 中心向量法 f) KNN g) SVM h) 线性分类器 2) 分类的研究进展及趋势 a) 大数据下的分类算法 b) 情感分析 c) 众包标注 第二天下午 第二章 机器学习及数据挖掘 常用技术 3) 常见聚类算法 a) k-Means b) 层次聚类 c) DBSCAN 4) 聚类的研究进展及趋势 a) 大数据下的聚类算法 b) Science 上最新发表的聚类算法 c) 社交网络中的社区发现 第三天上午 第二章 机器学习及数据挖掘 常用技术 5) 回归算法 a) 线性回归 b) Logistic 回归 c) 岭回归 d) Lasso 回归 6) 回归的研究进展及趋势 a) 树回归 b) 支持向量回归 第三天下午 第二章 机器学习及数据挖掘 常用技术 7) 推荐算法 a) 基于内容的推荐 b) 基于协同的推荐 8) 推荐的研究进展及趋势 c) 社交化推荐 第四天上午 第三章 数据挖掘实战 1 大数据基础应用之 分类问题:垃圾邮件过滤 1) 实验环境 a) 开发语言 b) 软件包 2) 问题定义 a) 目标 b) 可用数据 c) 预期输出 3) 算法分析 a) 贝叶斯方法回顾 b) 理论与应用结合 c) 算法应用过程 4) 数据预处理 a) 获取原始数据 b) 查看数据样本 c) 编写数据过滤程序 d) 获取训练样本与测试样本 5) 特征提取 a) 使用哪些特征？ b) 使用什么类型的特征？ c) 编写特征提取程序 6) 模型训练 a) 一般过程 b) 训练与测试 c) 参数化模型选择 d) 关于 overfitting 模型实验 e) 回顾 第三章 数据挖掘实战 2 大数据基础应用之 回归问题:美国社区犯罪 率预测 1) 实验环境 2) 问题定义 a) 目标 b) 可用数据 c) 预期输出 3) 算法分析 a) 回归方法回顾 b) 理论与应用结合 c) 算法应用过程 4) 数据预处理 a) 获取原始数据 b) 查看数据样本 c) 编写数据过滤程序 d) 获取训练样本与测试样本 5) 模型训练 a) 一般过程 b) 训练与测试 c) 参数化模型选择 d) 关于 overfitting 模型实验 e) 回顾 第四天下午 第三章 数据挖掘实战 3 分布式计算: 大数据基础 设施 1) 分布式环境简介 a) 分布式环境的基石 b) Apache Hadoop 生态环境 2) 分布式计算举例 a) Mapreduce 原理 b) WordCount: 基本案例 c) WordMedian: WordCount 的深化 d) 计算 值：统计学与大数据 e) 分布式 Nave Bayes：从单机小数据到分布式大 数据 第三章 数据挖掘实战 4 大数据应用问题 1) 大数据在实际场景中面临的问题与挑战 2) 大数据系统方案选型 3) 大数据应用常见误区 第五天上午 实践教学 中国科学院计算技术研究所网络数据科学与技术重点实验室 网络数据科学与技术重点实验室致力于面向网络空间的大 规模数据感知与获取、存储与管理、分析与挖掘等方面的基 础理论、关键技术与应用系统的研究工作。研究方向包括网 络数据复杂性与数据计算理论