人工智能与机器学习简介

人工智能

Artificial

Intelligence人工智能是什么人工智能与机器学习的关系人工智能发展历史计算机为什么可以学习机器学习的重要性机器学习的常见种类机器学习常见算法介绍过拟合与欠拟合目录人工智能(AI)、机器学习(ML)和深度学习(DL)之间的联系（右图）人工智能是通过软件或者硬件来模拟人类智能行为的学科。人工智能发展历史第一阶段：推理期1956-1960s:Logic

Reasoning出发点:“数学家真聪明！”渐渐地，研究者们意识到，仅有逻辑推理能力是不够的…第二阶段：知识期（专家系统）1970s-1980s:Knowledge

Engineering出发点:“知识就是力量！”渐渐地，研究者们发现，要专家总结出知识再“教”给系统，太难第三阶段：学习期1990s-now:Machine

Learning出发点:“让计算机自己学！”什么是机器学习？Machine

Learning机器学习，顾名思义，让计算机自己学习。但是计算机是死的，怎么可能像人类一样“学习”呢？在人们的认识中，计算机按照指令工作，遵照这个指令一步步执行下去，有因有果，非常明确。第1步：………..第2步：………..第n步：………..机器学习与人类学习的类比传统人工智能VS

机器学习思维逻辑机器学习为什么很重要？很多问题传统显示编程无法实现求图中的最短路径（Yes）图像识别，照片中的是什么?（No）人类是如何学习识别图像的？定义什么“树”（No）童年时期的经验（Yes）为什么机器学习现在崛起？大数据更强大的硬件更好的算法机器学习宏观框架机器学习(Machine

Learning)基础理论基础算法模型优化算法VC维理论、信息论、bias-variance

tradeoff（过拟合与欠拟合）决策树、人工神经网络、支持向量机、K-Means……梯度下降（gradient

descent）、牛顿法这么多算法模型，该用哪一个呢？？？“No

Free

Lunch”Theorem(没有免费的午餐定理)NFL定理：一个算法A在某些问题上比算法B好，必然存在另一些问题，B比A好。在脱离实际意义情况下，空泛地谈论哪种算法好毫无意义，要谈论算法优劣必须针对具体学习问题。机器学习算法种类监督学习非监督学习半监督学习强化学习Supervised

Learning(监督学习)Have

right

answers

or

labeled(数据被进行标记)Feature

or

attribute(数据维度dimension高，一般指feature数量多)OutcomeUnsupervised

Learning(非监督学习)Do

not

have

right

answers

or

unlabeled(数据没有被进行标记)监督学习VS

非监督学习VS半监督学习1.分类（Classification）属性：监督学习，离散值（Discrete

values

）作用：在多维空间切几刀，将空间分为几个部分代表算法：决策树、人工神经网络监督学习和非监督学习，可以干什么？2.回归（Regression）属性：监督学习，连续值（Continuous

values

）作用：直线、曲线拟合（二维）代表算法：线性回归3.聚类（Clustering）属性：最典型的非监督学习。作用：与分类类似，但是只有输入没有标记，需要计算机自己分出数据属于哪一簇。代表算法：层次聚类、K-Means4.关联分析（Association

analysis

）属性：非监督学习。作用：发现频繁项集。代表算法：Apriori算法经典案例：最著名的是啤酒与尿布的故事。哪个模型更好？？？Under

fitting

VS

Over

fitting(欠拟合与过拟合)

Underfitting:When

a

model

fails

to

capture

important

distinctions

andpatterns

in

the

data,so

it

performs

poorly

even

in

training

data.(对训练样的一般性质尚未学好。)

Overfitting:performs

perfectly

on

training

data

but

fail

to

predict

well

onnew

data.(把训练样本学得“太好”，很可能已经把训练样本本身的一些特点当做的一般性质，这样会导致泛化Generalization能力下降。)例子1.例子2类比：学习课程很少看书学习

理解记忆

死背硬记Occam’s

Razor（奥卡姆剃刀原理）states

that

we

shouldprefer

the

simplest

hypothesis

consistent

with

the

data.更倾选择相对简单的模型。评估方法（Evaluating）怎样合理使用训练数据，来评价训练出来模型的好坏（监督学习）？假设一共有10道题：方法一、老师讲10道题目，讲完后，用这10道题测验学生方法二、老师讲7道题，讲完后，用剩下3道题测量学生记忆并不等于学习理解记忆，举一反三，检测泛化能力Hold-out

validation(留出法)Cross-validatio