化学计量学基础

1、华东理工大学分析测试中心整理课件整理课件1主讲人:杜一平整理课件整理课件2分析化学数据v 实验数据 化学分析：单点数据 仪器分析：多维数据v 数据维数增加v 0维-标量；1维-向量；2维-矩阵；3维-张量；v 样本数量增大v 数据量越来越大趋势，数据库，海量数据，大数据(big data)v 大数据量显然信息量大，但挖掘有用信息难度也大；数据处理方法研究越来越重要：化学计量学v 方法应用不止局限于分析化学学科：相关学科整理课件整理课件3不同产地南丰蜜桔HPLC指纹图谱v 收集江西（18个）、福建（18个）、湖南（18个）和广西（10个）南丰蜜桔样品，经有机溶剂提取后进行HPLC分析v X:46

2、463201000200030004000500060007000010002000300040005000600070008000Retention Time整理课件整理课件4对64个HPLC色谱图进行主成分分析：X = U S VT 特征值：前3个主成分特征值的所占比例，58.0%、11.2%、8.4%，剩余21.4% Scores散点图：样本点分类-0.4-0.20-0.4-0.3-0.2-0.100.10.20.3-0.4-0.3-0.2-0.100.10.20.3PC 1 (58.0%)PC 2 (11.2%)PC 3 (8.4%)-0.25-0.2-0.15-0.1-0.05-0.

3、4-0.3-0.2-0.100.10.20.3-0.4-0.3-0.2-0.100.10.20.3 PC2PC1 PC3江 西 省福 建 省湖 南 省广 西 省整理课件整理课件5光谱数据和定量校正曲线 0.32 0.36 0.40 0.44 0.48 0.52 0.56 0.60 0.64 0.68Absorbance 5000 6000 7000 8000 9000 10000 Wavenumbers (cm-1)Region for WaterCombination Band02460246Reference Value (%)NIR Value (%)Corr. Coeff. = 0.9

4、999RMSEC = 0.070整理课件整理课件6光谱成像数据图图 三维成像光谱数据示意图三维成像光谱数据示意图整理课件整理课件7v 蛋白质各级结构v (a) Primary structure (b) Secondary structurev v Alu-Glu-Val-Thr-Asp-Pro-Gly-v v -Helixv -Sheetv (c) Tertiary structure (d) Quaternary structurev v 图图 肽链在空间卷曲特定的三维空间结构肽链在空间卷曲特定的三维空间结构整理课件整理课件8数据的表达-数字化v 0维-标量：x=2；1维-向量:x=1 3

5、 5 7；v 2维-矩阵:X=；v 3维-张量:Z=X1 X2 X3 05001000150020002500300035004000-2000200400600800100012001400Xxxxmnm2m12n22211n1211m21xxxxxxxxx整理课件整理课件91971年，瑞典化学家Swante. Wold（Umea university）在申请一项基金时，提出了化学计量学（Chemometrics）这个名词。Chem-istry metrics ChemometricsEcono-mics metrics Econometrics化学计量学简介整理课件整理课件10Bruce

6、R. KowalskiUniversity of Washington他们被公认为是化学计量学的他们被公认为是化学计量学的创始人创始人。 美国美国Bruce. R. Kowalski 非常赞赏这一叫非常赞赏这一叫法。后来在法。后来在1974年与年与Swante. Wold合作合作成立了成立了国际化学计量学学会国际化学计量学学会。化学计量学简介整理课件整理课件11 一门运用数学、统计学、计算机科学以及其他相关学科的理论与方法，优化化学量测过程，并从化学量测数据中最大限度地获取有用的化学信息的学科。 化学中的一门分支学科（分析化学） 多学科交叉的新学科化学计量学定义解决问题策略：分析化学利用计算机

7、为手段，利用数学和统计学方法实现数据的解析。整理课件整理课件12v 早期的化学计量学，数理统计方法。v 从七十年代开始，统计学、数学、行为科学、经济计量学等领域研究，分析化学学科的一个独特分支-化学计量学。v 二十世纪七十年代以后，分析仪器、联用分析仪器的发展，数据容量迅速增加。大量的数据的有用信息，需要发掘方法。v 九十年代以后逐渐走向成熟，应用日广。计算机、分析仪器、其他学科发展；需求-生命科学、材料科学、能源等。化学计量学发展整理课件整理课件13化学计量学的典型应用v 传统定性定量分析：多元分辨、多元校正v 仪器量测信号处理：数据处理方法、最优化方法v 模式识别：污染源识别、疾病诊断、中

8、药识别、；v 试验设计：v 分子设计和药物设计：新药发现及结构性能关系(QSAR)研究；v 过程分析：工业过程监测和控制。整理课件整理课件14v化学计量学基本特点化学计量学基本特点 多维数据：向量，矩阵，张量。 多变量 数据来自各种测量：典型的为仪器分析数据。 信息提取方法：利用各种手段 持续发展的科学充分利用量测信息充分利用量测信息整理课件整理课件15采样采样测定测定数据处理数据处理采样理论采样理论实验设计实验设计化学最优化化学最优化信号处理信号处理多元校正多元校正多元分辨多元分辨化学模式识别化学模式识别化学构效关系化学构效关系计算机模拟计算机模拟化学计量学研究内容整理课件整理课件16平滑求

9、导拟合主成分分析化学计量学方法：常用数化学计量学方法：常用数据处理方法据处理方法整理课件整理课件17平滑就是一种去除或减少噪声以提高信噪比的数学方法。 平滑整理课件整理课件18wiw- ij=jnewxk1x窗口移动平均法 整理课件整理课件19x = a0 + a1j + a2 j2 +.+ ap jp jj=i-2j=i-1j=ij=i+1j=i+2xx i-2x i-1xix i+1x i+2Savitzky-Golay平滑法-多项式拟合 整理课件整理课件202210222101221002210122102(2)a(2)aax(1)a(1)aax(0)a(0)aax1)(a1)(aax2

10、)(a2)(aax21012xxxxxx124111100111124210aaa124111100111124=ax = Ya 整理课件整理课件21=(YtY)-1Ytx a)3x9x3x5x(3x351x)9x13x12x6x5x(351x)3x12x17x12x3x(351x)5x6x12x13x(9x351x)3x5x3x9x(31x351x2101222101212101202101212101220 x21012x353x3512x3517x3512x353= x = a0 + a1j + a2 j2 +.+ ap jp 整理课件整理课件22窗口宽度2523211917151311

11、975-12-253 -11-138-42 -10-33-21-171 -962-2-76-136 -8147159-51-21 -7222308424-6-78 -628743149897-13-11 -53435420414418420-36 -438763249189278799-21 -34227028422434122164414-2 -244775309249391472169393-3-14627832426442162248454612046779329269431672589597171462783242644216224845461224477530924939147216

12、9393-334227028422434122164414-2 438763249189278799-21 53435420414418420-36 628743149897-13-11 7222308424-6-78 8147159-51-21 962-2-76-136 10-33-21-171 11-138-42 12-253 归一化常数51758053059226132311051434292312135Savitzky-Golay平滑权重系数表 （多项式阶次为2或3）整理课件整理课件23v 提高信号的分辨率，减少干扰。v 紫外-可见光谱分析中用到的导数分光光度分析;v 近红外光谱分析中

13、，常用2阶或1阶导数光谱进行定性定量分析;v 电化学分析中，有时利用对溶出伏安曲线求导来去除或减少其它组分的干扰，提高被测组分的信噪比。v 有很多种类的分析仪器已经把求导作为一种固定的方法，加入到仪器的数据处理软件中 。求导 整理课件整理课件241.差分法 i1ii1ixxyy2. Savitzky-Golay拟合法 x = a0 + a1j + a2 j2 +.+ ap jp一阶导数：dx/dj= a1 + 2a2 j+.+ pap jp-1当j=0时，dx/dj|j=0= a1二阶导数：d2x/dj2= 2a2+6a3j+.+(p-1) pap jp-2当j=0时，d2x/dj2|j=0=

14、 2a2当j=0时（即对应窗口的中心点），各阶导数计算的通式dqx/djq|j=0= q! ap整理课件整理课件25窗口宽度k=9，p=4，3阶导数表达式， d3x/dj3|j=0=1/198( -14x -4+ 7x -3+ 13x -2+ 9x -1-9 x1-13x2-7x3+ 14x4) 整理课件整理课件26拟合v 实验数据 理论解释 研究变量之间关系：y=f(x)整理课件整理课件27多个变量v y=f(x1,x2,)05101520-0.500.5105101520-1-0.500.51051015201234505101520510152025整理课件整理课件28函数拟合基本思想v

15、 =f(a,x)v Ei= - yi = f(a,xi) -yiv 差方和E2最小。y y v 线性函数拟合 y=a+bx1+cx2y=f(a,x)+e整理课件整理课件29拟合计算工具v Excelv Matlab:b=fit(X,y,fittype)v 功能强大点中曲线，右键选择添加趋势图整理课件整理课件30主成分分析v 主成分分析，Principal Component Analysis, PCAv 最基本的化学计量学方法之一v 是很多复杂化学计量学方法的基础v 应用广泛整理课件整理课件31主成分分析序号化合物保留指数WienerMTI0p1p2p3p3c4p12,2,3,3,4-五甲基戊

16、烷953.41083908.57744.19345.12643.37642.3660.86622,2,3,3-四甲基丁烷728.695821473.254.52.252.5032,2,3,3-四甲基己烷928.81154168.41424.31074.88392.90532.2071142,2,3,3-四甲基戊烷855.13822987.70713.81074.48742.91422.20710.530352,2,3,4,4-五甲基戊烷921.71114028.57744.15475.45372.59812.87641.29962,2,3,4-四甲基戊烷822.07863127.65473.8

17、5414.39872.3661.866172,2,3,5-四甲基己烷873.31234468.36184.33724.89662.30341.97841.060782,2,3-三甲基-3-乙基戊烷965.71103968.41424.37134.51783.37131.97861.310792,2,3-三甲基丁烷641.46421566.07742.94343.52071.73211.65470102,2,3-三甲基庚烷914.41304728.19874.48144.40932.46911.57010.9433112,2,3-三甲基己烷823.18923347.49163.98144.055

18、72.20011.57010.866122,2,3-三甲基戊烷738.98632306.78453.48143.67532.09081.57010.6124132,2,4,4-四甲基己烷888.61194328.41424.26785.25521.9662.76781.5607142,2,4,4-四甲基戊烷774.77883227.70713.70715.29811.06073.12131.591yX1314-异丙基庚烷9251314727.98314.71873.58142.26170.51.55261325-甲基壬烷957.41495427.824.80813.38962.1010.288

19、71.24951335-甲基十二烷1252.433612369.94136.30814.45032.8510.28871.79331346-甲基十二烷1249.933412289.94136.30814.45032.8510.28871.8067整理课件整理课件32v 四个产地南丰蜜桔样品HPLC分析v X:46463201000200030004000500060007000010002000300040005000600070008000Retention Time整理课件整理课件33对64个HPLC色谱图进行主成分分析：X = U S VT 特征值：前3个主成分特征值的所占比例，58.0

20、%、11.2%、8.4%，剩余21.4% Scores散点图：样本点分类-0.4-0.20-0.4-0.3-0.2-0.100.10.20.3-0.4-0.3-0.2-0.100.10.20.3PC 1 (58.0%)PC 2 (11.2%)PC 3 (8.4%)-0.25-0.2-0.15-0.1-0.05-0.4-0.3-0.2-0.100.10.20.3-0.4-0.3-0.2-0.100.10.20.3 PC2PC1 PC3江 西 省福 建 省湖 南 省广 西 省整理课件整理课件34v 一种重要降维方法一种重要降维方法v 基本思想基本思想：对量测矩阵Y Y中的各个变量进行线性组合，形成

21、新的变量，称为主成分。主成分计算原则计算原则是得到主成分表达的方差最大，化学意义就是所含信息最多。v 计算方法计算方法：按方差最大，计算各个变量的线性组合，得到第一主成分；对剩余的矩阵，即量测矩阵Y Y减去第一主成分表达部分，再按方差最大原则，计算各个剩余变量的线性组合，得到第二主成分；依次计算第三、第四、 主成分。v 新变量之间相互正交。v 方差代表表达的信息量，按顺序减少，可用来评估主成分解释的信息百分率。v Matlab方法 U,S,V= svds(X，n) 主成分分析 整理课件整理课件35v 多个主成分，多个投影方向多个主成分，多个投影方向 多维主成分分解多维主成分分解(n) x=x1

22、 x2 . xn 将将x投影到投影到vi1 vi2 vint上得到新变量上得到新变量yi， vi1 vi2 vint就是系数就是系数向量，即投影方向。向量，即投影方向。 所有所有n个新变量组成矩阵个新变量组成矩阵Y yi=vi1x1+vi2x2+vinxn ,(i=1,2,n)XVXYnnn2n12n22211n1211vvvvvvvvvXvyn21mnm2m12n22211n1211m21vvvxxxxxxxxxyyy01000200030004000500060007000010002000300040005000600070008000Retention Time整理课件整理课件36例v

23、 高分子液晶材料在不同温度下结晶情况Structure and the phase transition temperatures of FLC-1. OCOOCOO*Crystal*CSASISOC60_mC67_mC102000 整理课件整理课件37v Infrared transmission spectra of 11-layer LB films of FLC-1 measured at room and elevated temperatures. 3000180016001400120029332920146615091604172028562853285514671510160

24、5172014681510160617172850146715101606171617401510146816061719174028501100C1020C600C400C390C270CAbsorbanceWavenumber / cm-1整理课件整理课件38v Temperature dependences of the frequencies of the CH2 symmetric stretching band (a), C=O stretching band of the part near the chiral carbon atom (b) and the phenyl ri

25、ng stretching band (c) for the 11-layer LB films of FLC-1. 406080100120150815091510171617181720285028532856WavenumberTemperature/Ccphenyl ring st. 19abC=O st. (chiral)aCH2 sys. st.整理课件整理课件39v PC1 vs. temperature plot in both 40-80C (a) and 27-55C (c) temperature intervals and those in full measured

26、temperature range (b) at range of 1450-1745 cm1 for the 11-layer LB films of FLC-1. 406080100120PC1Temperature/Ccba整理课件整理课件40几种化学计量学方法简介v 多元校正v 多元分辨v 模式识别v 定量构效关系v 最优化方法整理课件整理课件41v校正校正- -定量分析定量分析v经典分析化学的校正方法经典分析化学的校正方法- -校正曲线校正曲线 y=cx+e v多变量校正多变量校正vy=y=y1 y2 . ym =cx1 x2 . xm +e y=y=c1x x1+c2x x2+.+

27、cnx xn+e y=Xc+ey=Xc+e 多变量校正整理课件整理课件42多元线性回归MLRv 多元线性回归方法-最小二乘法：y=Xc+e e = y- Xc残差平方和S= ete = (y- Xc)t(y- Xc)=yty-yt(Xc)-(Xc)ty +(Xc)t(Xc)=yty - ytXc - ctXy +ctXtXc=yty - 2ytXc +ctXtXc = -2Xty +2XtXc=0则，XtXc =Xty =(XtX)-1Xty Matlab:c=inv(X*X)X*y ccSmnm2m12n22211n1211xxxxxxxxxX整理课件整理课件43v 多元线性回归解具有优良的

28、统计学性质 v 多元线性回归解的性能指标 =(XtX)-1Xty ， =X相关系数：R2= =1 -残差平方和RMSv 多元线性回归应用建模与浓度计算y=Xc+e cy c2i2i)y(y/)yy (2i2ii)y(y/)yy (整理课件整理课件44常见多元校正方法v 多元线性回归，MLR， y=Xc+e y=Xc+e v 主成分回归法,PCR 通过PCA计算主成分，取前面若干主成分Z=Xv进行MLR，y=Zc+e=Xvc+ey=Zc+e=Xvc+ev 偏最小二乘回归,PLS 通过类似PCA方法计算主成分（称为PLS因子），取前面若干因子Z=Xv进行MLR，y=Zc+e=Xvc+ey=Zc+e

29、=Xvc+e 计算PLS因子时同时考虑X和y因素。v 支持向量机,SVMv 人工神经网络,ANN整理课件整理课件45四种不同液体表面活性剂Type 1bType 1aType 2aType 2b显著的区别整理课件整理课件46羟值相关性酸值相关性NIR光谱PLS校正结果 (两个组分校正)整理课件整理课件47v 分辨就是解决干扰问题，即从混合组分复合量测信号中分辨、解析出被测组分“纯”的分析信号。利用多个分析通道（如波长、保留时间等）的信息进行分辨就称为多变量分辨，又称多元分辨。多变量分辨 近些年来，化学计量学中的多变量分辨方法研究和应用非常活跃，尤其是在解析色谱重叠峰上取得了很大成功。整理课件整

30、理课件48v多变量分辨算法很多 渐进因子分析法 (Evolving Factor Analysis) 窗口因子分析法 (Window Factor Analysis) 直观推导式演进特征投影法 (Heuristic Evolving Latent Projections) 正交投影分辨法(Orthogonal Projection resolution) 子窗口因子分析法(Subwindow Factor Analysis) 整理课件整理课件49v 麦秸高温高压裂解气相产物，GCMS分析v 经HELP解析确定了整个保留时间内共有组分45个 整理课件整理课件50v 模式识别(Pattern Re

31、cognition)就是研究对象的分类。20世纪60年代初开始迅速发展，首先在信息科学和人工智能领域使用，比如图像识别、语音识别。v 模式识别交叉学科：统计学、计算机科学、人工智能和专家系统、控制论、应用学科(如生物学、心理学、语言学、化学等)等。v 化学模式识别就是利用已有的模式识别技术和针对化学问题的特点而发展的模式识别技术，处理和分析化学数据，研究和解决化学问题，它是化学计量学的一个重要组成部分。v 化学模式识别方法已经用于分析化学、物理化学、无机化学、药物化学、食品化学、农业化学、医药化学和环境化学等学科，取得了不少成果。 化学模式识别 整理课件整理课件51 有监督的模式识别： 距离判

32、别分析法、Fisher判别分析法、Beayes判别分析法，逐步判别分析法、线性学习机、K邻域判别法、势函数判别法、人工神经网络判别法等 无监督的模式识别：聚类分析 特征投影的降维显示方法： 主成分分析的投影显示法、SIMCA方法、基于偏最小二乘分解的特征投影法等 模式识别方法：整理课件整理课件52v定量结构活性关系(Quantitative Structure Activity Relationship, QSAR)，简称定量构效关系，就是研究化学结构与化学物质的生物活性之间的关系，研究如何从物质的化学成分与结构来定量预测其化学特性。v它是化学计量学的一个重要分支。 定量构效关系 整理课件整理

33、课件53v 药物设计：是现代化新药开发工作非常重要的一个环节，从20世纪60年代以来，经过40多年的不断探索和努力，现代药物设计的策略和方法已经大为丰富。v 最基本的药物设计方法就是从一组（例如几十个）小分子化合物的结构和生物活性数据出发，利用定量构效关系方法，研究其结构-活性关系的规律，在此基础上预测新化合物的生物活性（药效）和进行高活性分子的结构设计。v 分子设计：材料分子设计，荧光探针分子设计等。整理课件整理课件54v 定量构效关系研究：定量构效关系研究： 化学结构描述符化学结构描述符 ：化学结构数字化 定量构效关系建模定量构效关系建模 ：建立模型整理课件整理课件55现代最优化方法现代最

34、优化方法 v 现代最优化方法 - 搜索全局最优解 模拟退火法遗传算法人工神经网络 蚁群算法 粒子群算法整理课件整理课件56遗传算法（Genetic Algorithm,GA） v达尔文进化论思想，适者生存v模拟生物的自然进化过程进行最优解搜索。v自然进化的特征在20世纪60年代得到美国Michigan大学的John Holland极大兴趣，他和他的学生们吸收了自然进化的思想，提出机器学习的新算法，Holland将其取名为遗传算法。v1975年，Holland出版了颇有影响的专著Adaptation in Natural and Artificial Systems, 之后，遗传算法才逐渐被人们

35、所知。 整理课件整理课件57遗传算法基本思想遗传算法基本思想v 生物遗传基本单元 个体 染色体（基因） 种群 繁殖过程 进化规则：优胜劣汰 遗传算法基本思想遗传算法基本思想 个体编码：染色体个体编码：染色体 - 群体生成群体生成 迭代运算：迭代运算：3种进种进化化 适应性值评估适应性值评估整理课件整理课件58v 遗传算法由六个基本的操作组成：v 1）编码：根据要解决问题的特征，将问题的解在其解空间中表示成遗传空间的基因型串结构数据（染色体）。v 2）初始群体的生成：随机产生N个初始串结构数据，每个串结构数据称为一个个体，N个个体构成了一个群体。v 3）适应性值评估检测：适应性函数表明个体或解的

36、优劣性。v 4）选择：目的是为了从当前群体中选出优良的个体，使它们有机会作为父代为下一代繁殖子孙。v 5）交叉：最主要的遗传操作。通过交叉换操作可以得到新一代个体，新个体组合了其父辈个体的特性。交叉换体现了信息交换的思想。随机产生交叉。v 6）变异：首先在群体中随机选择一个个体，对于选中的个体以一定的概率随机地改变串结构数据中某个串的值。随机性：保证不陷入局部最优随机性：保证不陷入局部最优整理课件整理课件59整理课件整理课件60遗传算法实例v 151种血脑屏障穿透化合物，利用遗传算法从154种分子结构描述符中选择有限数目的描述符，建立这些化合物结构与血脑屏障穿透能力之间的关系，本项工作的关键就

37、是变量选择（即描述符选择）。 解题难点v变量优劣评价方法 151个样本变量组与指标建模，考察模型好坏。v变量选择方案 穷举：变量组合数目及其庞大， ,其中， 继续计算out of memory。无法计算。 单因素轮换：单变量最优-加入第二变量-最后，从中选择最优结果，154+153+1=11935，贪婪算法，局部最优v遗传算法思路 随机安排初值 三种进化机制优化变量 进化过程随机性避免落入局部最优15415421541154,.,CCC5969043154C整理课件整理课件62v 1）二进制编码：用154位的二进制串来表示变量，即表示154个结构描述符，如果串中某位为0表示对应的变量没有被选择

38、，反之为1就是选择了该变量。 整理课件整理课件63v 2）适应性函数FIT ：用选择的变量代表化合物结构，用多元线性回归方法MLR建立变量与血脑屏障穿透能力之间的构效关系模型，利用去一交互检验法LOO计算相关系数Q。v 式中的n是化合物数目，k为所选变量个数。 FIT越大越好。)Q)(1k(n1)k(nQFIT222q整理课件整理课件64v3)群体大小为500，进化次数，即迭代次数定为5000次。v4）遗传算法计算- 随机性 初始二进制编码为随机产生 使用轮赌方式进行选择，交叉和变异发生的点位都随机产生，交叉时，将双亲二进制串从随机产生的交叉点向后的所有位进行交叉，变异时每次只是对随机产生的点进行变异。交叉和变异对进化过程影响非常大，所以对它们加以限制，即并非每次都发生交叉和变异，而是用概率来进行控制，交叉概率为0.6，变异概率为0.2。整理课件整理课件65赌轮方式选择（根据FIT数值计算概率） 选择4个个体 根据FIT计算概率 绘制赌轮0-1（0%-100%） 随机产生一个数（0