大数据数据挖掘技术重点基础知识点

大数据数据挖掘技术重点基础知识点一、大数据概述1.大数据定义a.大数据是指规模巨大、类型繁多、价值密度低的数据集合。b.大数据具有4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。c.大数据来源广泛，包括互联网、物联网、社交媒体等。2.大数据挖掘技术a.大数据挖掘是指从大量数据中提取有价值信息的过程。b.大数据挖掘技术包括数据预处理、特征选择、聚类、分类、关联规则挖掘等。c.大数据挖掘技术在各个领域都有广泛应用，如金融、医疗、教育等。3.大数据挖掘工具与平台a.大数据挖掘工具包括Hadoop、Spark、Flink等。b.大数据挖掘平台包括阿里云、腾讯云、华为云等。c.大数据挖掘工具与平台为数据挖掘提供高效、稳定的环境。二、数据挖掘技术1.数据预处理a.数据清洗：去除重复数据、缺失数据、异常数据等。b.数据集成：将来自不同来源的数据整合在一起。c.数据转换：将数据转换为适合挖掘的形式。d.数据归一化：将不同量纲的数据转换为同一量纲。2.特征选择a.特征提取：从原始数据中提取出有用的特征。b.特征选择：从提取出的特征中选择出最有代表性的特征。c.特征重要性评估：评估特征对预测目标的影响程度。d.特征组合：将多个特征组合成新的特征。3.聚类与分类a.聚类：将相似的数据归为一类。b.分类：将数据分为不同的类别。c.聚类算法：Kmeans、层次聚类、DBSCAN等。d.分类算法：决策树、支持向量机、神经网络等。三、关联规则挖掘1.关联规则挖掘概述a.关联规则挖掘是从大量数据中发现有趣的关联关系。b.关联规则挖掘广泛应用于商业智能、推荐系统等领域。c.关联规则挖掘的基本思想是发现频繁项集和关联规则。2.频繁项集挖掘a.频繁项集挖掘是从数据中发现频繁出现的项集。b.频繁项集挖掘算法：Apriori、FPgrowth等。c.频繁项集挖掘步骤：候选项集、计算支持度、频繁项集。3.关联规则挖掘a.关联规则挖掘是从频繁项集中关联规则。b.关联规则挖掘算法：Apriori、FPgrowth等。c.关联规则挖掘步骤：候选项集、计算支持度、频繁项集、关联规则。四、大数据挖掘应用1.金融领域a.风险评估：通过分析历史数据，预测客户信用风险。b.信用评分：根据，评估其信用等级。c.个性化推荐：根据客户喜好，推荐理财产品。2.医疗领域a.疾病预测：根据患者病史，预测疾病发生概率。b.治疗方案推荐：根据患者病情，推荐合适的治疗方案。c.药物研发：通过分析药物数据，发现新的药物靶点。3.教育领域a.学绩预测：根据学生学习情况，预测其成绩。b.课程推荐：根据学生学习兴趣，推荐合适的课程。c.教学资源优化：根据学生学习需求，优化教学资源。五、大数据挖掘挑战与展望1.数据质量a.数据质量对挖掘结果有重要影响。b.提高数据质量是大数据挖掘的关键。c.数据清洗、数据集成等技术有助于提高数据质量。2.模型可解释性a.模型可解释性是大数据挖掘的重要挑战。b.提高模型可解释性有助于提高用户信任度。c.可解释性技术如LIME、SHAP等有助于提高模型可解释性。3.大数据挖掘技术发展趋势a.深度学习在数据挖掘中的应用越来越广泛。b.大数据挖掘算法将更加高效、准确。c.大数据挖掘技术将与其他领域技术融合，产生更多创新应用。[1]，.大数据挖掘技术[M].北京：清华大学出版社，2018.