- 近红外光谱分析技术及其在现代农业中的应用
- 张小超 吴静珠 徐云著
- 20284字
- 2020-08-27 09:38:40
第1章 概论
1.1 近红外光谱技术的发展历程
近红外光(Near Infrared,NIR)是指波长介于可见光区与中红外区之间的电磁波,美国材料检测协会(ASTM)将近红外光谱区定义为780~2526nm的区域,波数范围约为12820.5~3958.8cm-1,习惯上又将近红外区划分为近红外短波(780~1100nm)和近红外长波(1100~2526nm)两个区域,如图1-1所示。
图1-1 近红外光谱波长范围
近红外光谱分析技术的发展历程,大概可以分为五个历史阶段[1, 2]。
第一阶段(19世纪80年代至20世纪50年代初期):William Herschel于1800年在一次实验中偶然发现了红外光。Herschel将这一发现称之为辐射热或温度谱。后经Ampere证明,这种红外能量具有光的特性。1829年,Niepce和Daguerre合作发明了照相底版,并发现照相底版对红外光敏感。1881年,Abney和Festing在1000~1200nm红外光谱范围照相记录了有机液体的光谱,从而揭示了原子团和氢键的近红外光谱特性。从两百年前发现近红外光,到商品化近红外光谱仪出现之前,近红外光谱分析仅局限于几个实验室的研究,远未得到实际应用。
第二阶段(20世纪50年代至60年代中期):20世纪50年代,美国的Karl Norris等人开始研究用可见光透射与反射技术测定鸡蛋、蔬菜和水果的品质,但因可见区的信息量小,研究受到限制。由于近红外谱区包含的信息比紫外、可见区丰富得多,他们从农业分析领域开始了用近红外谱区分析农产品的工作。Norris等注意到水分对近红外光的强烈吸收,因此应用近红外谱区测定农产品中的水分含量。为了排除样品中的脂肪、蛋白质等其他成分对水分测定的干扰,他们采用了类似光谱分析中多组分测定技术:同时测定几个波长处样品的透射率或反射率,用统计学方法,可以分别计算出样品中的水分、蛋白质、脂肪等的含量。为了克服固体样品透射率低的困难,他们采用了漫反射技术;为了克服样品状态对测定带来的影响,他们用反射吸光度之差作为光谱参数,来计算样品中各成分的含量;并发展了一套检验方法,用以决定某种计算方法的取舍,若计算测定值与样品的真实值相符合就采用该方法,反之则舍去。这些方法与(研究光谱、确定谱峰归属,再进行定性、定量分析)传统的光谱分析方法有很大不同。因此,当时这一领域的工作没有受到分析界的足够重视。基于Norris的工作,1970年美国的一家公司首先研制出了近红外品质分析仪器。该机使用了六个波长的窄带干涉滤光片,主要用于分析农产品中水分、蛋白质等含量,并于1973年10月登记了美国专利(3776642号)Grain Analysis Computer。由于这类仪器只要事先经过校正,即使不熟悉光谱的人员也能迅速得到分析结果,能够满足粮库、港口对粮食品质分析的要求,因此许多有关粮食加工、储藏的单位和公司采用了此项技术。随着商品化仪器的出现及Karl Norris等人所做的杰出工作,近红外光谱技术在农副产品分析中得到广泛应用,使近红外光谱分析技术达到第一个高潮期。
第三阶段(20世纪60年代中期至70年代末期),随着各种新的分析技术的出现,加之经典近红外光谱分析暴露的单次测量噪声大、灵敏度低、分辨率低、抗干扰性差、杂散光及尖峰测量困难、谱带重叠等弱点,NIR分析技术的研究曾经一度陷入低谷甚至处于停滞阶段,除在农副产品分析中开展一些研究工作外,新的应用领域几乎没有拓展[2, 3]。
第四阶段(20世纪80年代至90年代初期),计算机技术及数学手段(快速傅里叶变换、数理统计等)的发展,带动了分析仪器的数字化和化学计量学的发展,通过化学计量学方法在光谱信息的提取及背景干扰方面取得良好效果,加之近红外光谱在测样技术上所独有的特点,人们开始重新认识了近红外光谱的价值,近红外光谱在各领域中的应用研究陆续开展,数字化光谱仪器与化学计量学方法的结合形成了现代近红外光谱技术,这个阶段堪称是一个分析巨人由苏醒到成长的时期[2, 3]。
第五阶段(20世纪90年代至今):20世纪90年代,国际分析界逐步形成了近红外分析的热潮。近年来近红外光谱分析一直是匹兹堡会议(PITTCON)的热点[4~6]。在2000 年的匹兹堡会议上,近红外光谱分析技术被认为是该次会议所有光谱法中最受重视的一类方法,在该次会议上直接和近红外光谱技术有关的分会达到11个之多[4]。2001年第10届国际近红外光谱会的主题为“用近红外光谱改变世界”(Changing the world with NIR),该次会议上发表的论文包括食品、精细农业、环境、化学、高聚物、药物、纺织、石油化学、生物医学、生命科学、化妆品及医学等十几个领域的近红外运用,以及有关近红外光谱技术的研究。随着光纤技术在近红外光谱仪上的应用,出现了现场光谱技术,同时软计算技术[7~9]的现代化学计量学方法在近红外光谱数据处理上的应用,使近红外光谱在工业、农业在线分析领域得到很好应用,从此近红外光谱从硬件和软件两方面步入了一个快速发展的时期。
1.1.1 近红外光谱仪器的发展
近红外光谱仪在过程分析技术的整个链条中都能发挥重要作用,近红外光谱仪器也因此成为分析仪器的热点研究领域之一[10~12]。近红外光谱仪是一种测量物质对近红外辐射的吸收率(或透过率)的分析仪器,由于每种物质都有一定的特征吸收谱,所以可利用特征吸收谱进行定性分析。同时,物质的总量与吸收总量成线性关系,因此利用吸收谱还可以进行物质成分的定量分析。
最早的近红外光谱仪器是一台摄谱仪,大约在20 世纪初,人们采用摄谱的方法首先获得了有机化合物的近红外光谱,并对有关基团的光谱特征进行了解析,预示近红外光谱可能作为一种新的分析技术得到应用。随着检测器制造技术的发展(尤其是出现了以PbS为光敏材料的检测器之后)和高性能计算机的问世,近红外光谱分析技术越来越多地吸引了学者们的兴趣。在很大程度上讲,近红外光谱仪器的可利用性取决于制造时所使用的材料。一台近红外光谱仪是由很多具有不同特性的材料所制成的部件构成的,而同一个部件对不同波长的光的物理学反应也是非线性的。例如,反射镜无法以相同的方式反射不同波长的光。然而,大多数非线性因素可以靠强大的数学算法剔除,这为近红外光谱分析技术的发展提供了可能。
20世纪50年代中期,Kaye首先研制出透射式近红外光谱仪器,一些厂家也相继开始研发近红外光谱仪器,但出于商业品利益的考虑,早期近红外光谱仪器都是采用紫外/可见光(UV/Vis)光谱仪,再配上适当的近红外检测器扩展而成的。这类仪器噪声高,数据处理系统不完善,很难满足近红外分析要求。
20世纪60年代,Norris的研究工作极大地推动了近红外光谱仪器的发展。1970年,美国伊利诺斯州农业部在全美招标制造用于测定大豆中水分、蛋白和脂肪含量的近红外光谱仪器,这些仪器的设计原理都由Norris提供。1971年,中标公司之一Dickey-John公司生产了第一台商用近红外光谱仪器。不久,另一个中标厂家Neotec公司也生产出三个滤光片的近红外谷物分析仪。1975年,Dickey-John公司和Technicon公司合作生产了一台近红外光谱分析仪Infra Analyzer 2.5型,Neotec公司也开发了Neotec 31EL型。这时的仪器具有温度补偿功能,同时密封的光学部件增加了仪器的稳定性。
20世纪70年代末80年代初,由于应用了微处理器,近红外光谱仪器在性能上有了很大的提高,仪器的稳定性和测量的精确度大为改善,功能也加强了,仪器有自诊断系统、偏差自动校正系统,并用微处理器实现数据处理、存储、打印,使用非常方便。当时的代表产品有Dickey-John公司的GAC Ⅲ型,Technicon公司的Infra Analyzer 400型和Neotec公司的Neotec 101型。
20世纪80年代中后期,近红外光谱分析技术的研究和应用日趋活跃,各厂家也竞相研制专用的近红外光谱仪,出现了高分辨率的傅里叶变换近红外光谱仪器(FTIR),同时,光栅型近红外光谱仪器的性能也有了很大的提高。竞争使各种新技术不断涌现,也使仪器的性能不断完善,这时近红外光谱仪器已经完全成熟,近红外光谱分析技术迅速得到推广应用。
进入20世纪90年代,声光可调滤光型近红外光谱仪器出现,多通道检测器的性能得以提高,仪器价格降了下来。这些都促使了多通道型近红外光谱仪器的大量研制开发,使之成为近红外光谱仪器家族的新成员。同时,随着光纤技术的发展,光纤探头在近红外测样技术中得到了广泛应用,它使近红外光谱采集更加便利,光纤的远距离传输使近红外光谱仪器广泛地用于在线过程分析中。
国外各大生产厂商一直在追求仪器的高信噪比、高稳定性及仪器间的高度一致性,这些通过仪器信噪比、波长波数准确性和重现性、光度重现性等技术指标体现出来[13]。为了生产出低成本、轻巧微型化、低能耗和响应速度快的仪器,许多研究单位和企业从未放弃对新原理和新技术的开发和应用[14]。由于微电机系统(MEMS)和微光机电系统(MOEMS)技术的兴起,近几年国际上开发出了几种新型的近红外光谱仪器:如编码光度式近红外光谱仪、MEMS法布里-珀罗干涉仪近红外光谱仪、MEMS扫描光栅近红外光谱仪和MEMS可编程光栅近红外光谱仪。新型近红外光谱仪大都是基于MEMS技术设计和制造的。随着MEMS技术的进一步发展,这些新型近红外光谱仪的一些关键技术指标显著提高,同时也出现了基于MEMS原理和技术的商品化微型光谱仪,如MEMS傅里叶变换光谱仪MEMS-FT[2]。光开关阵列技术也是一种新型的光谱仪器分析技术。
现在的近红外光谱仪已具有较高的信噪比、波长精度和分辨率,各种仪器附件可以很方便地对不同环境下不同物态的样品进行分析。目前,近红外光谱仪器的生产厂商已经增加到几十家。近红外光谱仪器的基本结构都是由光源系统、分光系统、样品室、检测器、控制和数据处理系统及记录显示系统组成。根据光的分光方式,目前使用的近红外光谱仪主要类型可分为滤光片型、色散型(光栅、棱镜)、傅里叶变换型、声光可调滤光型(AOTF)和固定光路多通道检测型五种类型(详见第3章)。表1-1列出了部分生产厂家的近红外光谱仪器的主要技术指标[15],供读者参考。
表1-1 部分光谱仪器厂家及其仪器的主要技术指标
1.1.2 光谱化学计量学的发展
由于近红外谱区谱峰重叠非常严重,谱峰比较宽,谱区的可解析性很差,一般很难确定某一组分所对应的特征谱峰,故进行定量或定性分析是很困难的。因此,近红外谱区“沉睡”了近一个半世纪。直到20世纪50年代,仪器硬件、计算机和现代数学的发展,才推动了近红外光谱分析技术的快速发展。随着计算机技术的发展,诞生了化学计量学(Chemometrics)这一门新学科,它将数学的、统计的、信息的分析方法引入到分析测试领域。运用化学计量学中的多元统计分析方法,近红外光谱分析即可以利用全谱分析技术,避免了解析谱区的困难。
化学计量学方法研究在现代近红外光谱分析中占有非常重要的地位[16~18]。稳定、可靠的近红外光谱分析仪器与功能全面的化学计量学软件相结合标志着现代近红外光谱技术进入了崭新的一页。近红外光谱分析中化学计量学方法的研究主要用于光谱信号预处理、近红外光谱定量分析和模式识别定性分析等方面。
1.近红外光谱分析预处理
近红外光谱分析预处理的目的:针对特定的样品体系,剔除异常样品,消除光谱噪声,筛选数据变量,优化光谱范围,净化谱图信息,减弱以至于消除各种非目标因素对光谱的影响,为建立近红外光谱校正模型和预测未知样品组分浓度或性质奠定基础。近红外光谱分析预处理包括两个方面的内容:一是样品预处理;二是光谱预处理。
1)样品预处理
样品预处理包括异常样品的剔除及建模集样品的选取。所谓异常样品,是指浓度标准值或光谱数据存在较大误差的样品。异常样品的存在严重影响了校正模型的预测能力,因此必须将其从建模集中剔除。剔除建模集中异常样品的准则,通常有基于预测浓度残差、基于重构光谱残差、光谱PLS(偏最小二乘法)分解主成分得分的聚类,以及杠杆值与学生T检验等标准[19~21]。近红外校正模型的稳定性取决于建模样品集所覆盖范围的大小。目前,建模集样品的选择有常规选择和计算机识别两种方法。采用常规方法确定建模集样品的最大缺点是必须积累大量的样品以供选择。计算机识别则是纯粹通过光谱差异选择建模集的方法,在很大程度上减少了像常规方法那样测量基础数据的样品数,降低了建模费用。但这种自动识别建模集的方法也存在一定的缺陷,如有些光谱的差异并非完全由所测样品的组成或性质差异引起,可能是由某些随机因素如样品的温度、粒径大小等因素的差异造成的。常见的建模集样品挑选方法较多,如含量梯度法、Kennard-Stone法等[22~24]。近红外数学模型的优劣及其预测能力是不能只靠模型的稳定性来衡量的,也就是说并不是建模样品的代表性越好,模型的适应范围越宽,模型的稳定性越好,就意味着模型的预测能力也越好。定标模型中样品的变异范围越宽,则模型中所遇到的非线性或异质性问题越严重,干扰因素也越多,对某些预测样品而言其预测能力会下降[2]。当NIR校正模型所覆盖的范围较小时,在一个窄的范围内线性会更好,模型的绝对预测能力就会得到提高。因此在有大量样品参与建模的时候,将样品集进行分类建模,可以减少样品的变异范围,在理论上可以提高样品的预测准确度。样品的分类标准有很多,对农产品而言,可以根据产地、品种或者是根据光谱性质进行分类。
2)光谱预处理
光谱预处理主要用于消除光谱噪声和其他谱图不规则因素的影响。近红外光谱仪所采集的光谱除样品的自身信息外,还包含了其他无关信息和噪声,如电噪声、样品背景和杂散光等。因此在用化学计量学方法建立模型时,消除光谱数据无关信息和噪声的预处理方法变得十分关键和必要。常用的光谱预处理方法有数据增强变换、平滑、导数、光散射校正、傅里叶变换等。近几年,小波变换[25~32]、正交信号校正[33~42]和净分析信号等一些新方法正在得到发展和应用。另外光谱范围的优化也能净化谱图信息,对反映样品信息突出的光谱区域进行挑选,筛选出最有效的光谱区域,能提高运算效率。在NIR结合PLS建模中,传统观点认为PLS具有较强的抗干扰能力,可全波长参与多元校正模型的建立。随着对PLS方法的深入研究发现,通过特定方法筛选特征波长或波长区间有可能得到更好的定量校正模型。波长选择一方面可以简化模型,更主要的是可以剔除不相关或非线性变量,得到预测能力强、稳健性好的校正模型。波长选择方法主要有相关系数法、方差分析法、逐步回归法、无信息变量的消除法(Uninformative Variables Elimination,UVE)、间隔偏最小二乘法(interval PLS,iPLS)、遗传算法(Genetic Algorithm,GA)和蚁群算法(ACA)等[43~45]。
2.定量校正建模
近红外光谱图谱复杂,谱图重叠严重,利用单一或有限特征波长下获得的光谱数据的一元线性回归(Single Linear Regression,SLR)、多元线性回归(Multi Linear Regression,MLR)等校正方法,很难获得准确的定量分析结果。近年来由于化学计量学的发展和应用,光谱分析进入了一个新时代。光谱和化学计量学的结合已成为一种快速和高效的分析技术,尤其在近红外光谱方面,化学计量学方法可以有效地剔除噪声,克服了经典方法的缺点,并保留了其优点。现代近红外光谱分析都是在多波长下进行的,即利用全谱信息,提高了分析结果的准确性,定量校正方法多采用各种多元线性校正方法:逐步多元线性回归(Step Multi Linear Regression,SMLR)、主成分回归(Principal Component Regression,PCR)、偏最小二乘回归(Partial Least-Squares Regression,PLSR)、稳健偏最小二乘回归(Robust Partial Least-Squares Regression,RPLSR)等方法。
PCR和PLSR方法均利用了全谱信息,将光谱变量压缩为为数不多的独立变量建立回归方程,通过交叉验证(Cross Validation)来防止过模型现象,比MLR和SLR分析精度提高,但PCR没有保证主成分一定与感兴趣组分浓度相关(主成分是数据在方差变化最大的方向的投影)。而PLSR保证了主成分一定与感兴趣组分浓度相关,是在与感兴趣组分浓度最相关的方向的投影,而不是简单地在方差变化最大的方向投影。因此,目前PLSR是近红外光谱分析上应用最多的回归方法。
在建立近红外光谱定量校正模型时,通常使用逐步回归分析(SRA)、主成分回归(PCR)及偏最小二乘法等建立的样品化学标准值与样品光谱参数之间的模型都是线性的,线性算法对具有内在线性关系的体系的校正能力是很强的,但对于存在非线性关系的体系就会出现预测误差远大于校验误差的现象。但近红外吸收光谱中,光谱参数与样品组分含量的化学标准值之间具有一定的非线性,特别是当样品的含量范围较大时,其非线性较明显。非线性校正算法主要有人工神经网络(Artificial Neural Networks,ANN)[46~55]、非线性PLS[56, 57]、局部权重回归(Local Weighted Regression,LWR)[58]等方法。
ANN始于20世纪40年代初。它的基本思想是模拟人脑细胞(神经元)工作原理,建立模型进行分类和预测。近红外光谱分析中传统的数据处理方法将自变量之间的关系处理成线性或近似处理成线性,将导致精度的损失,神经网络作为近些年发展起来的数学处理方法具有传统方法不可比拟的优点:第一,具有较强的抗干扰、抗噪声能力和非线性转换能力,采用Sigmoid转换函数的ANN能很好地模拟非线性体系,因此利用ANN这种多元非线性校正方法建立近红外光谱非线性校正模型,在一定条件下可以得到更小的校正误差和预测误差;第二,它是自变量和因变量的非线性映射,可避免因近似处理带来的误差;第三,它具有学习功能,可以通过学习来提到分析的精度。虽然神经网络具有许多优点,但它对信息的解释性较差,而且学习的时间较长。ANN应用于定量分析时,其输入节点不能太多,否则迭代时间过长。研究结果表明,将光谱仪生成的成百上千个采样数据直接输入BP网,即使建立一个只含三层节点的网,其计算量之大也是目前计算机难以承受的。而且这样建成的模型只会对输出产生“过拟合”,其预测能力反而大大下降。所以现在很少单独使用神经网络,通常与其他算法结合,以减少网络学习时间。
人工神经网络方法非线性逼近能力很强,在近红外光谱分析方面的应用已越来越广泛,但人工神经网络方法也存在一些局限性,如训练速度很慢,容易陷入局部极小,也存在过拟合现象及当输入变量间存在共线性时预测能力较差,同时,关于人工神经网络的类型、结构、训练参数、训练样本数目、学习过程等参数的选择大多还是凭经验,还有待于进一步研究。
为建立预测准确性好、稳健性强的近红外分析模型,近年来出现了一些新算法和模型建立策略,如基于核函数的非线性校正方法、集成(或共识)的建模策略、多维分辨与校正方法、基于局部样本的建模策略及二维相关光谱方法等[59]。
1)基于核函数的校正方法
支持向量机(Support Vector Machines,SVM)是一种基于统计学习理论的机器学习算法,最初产生于模式识别问题,可解决非线性分类问题。其关键技术就是采用了Mercer核函数(Kernel Function),通过引入核函数把基于内积运算的线性算法非线性化,即将输入样本空间非线性映射到新的高维特征空间,在高维空间中进行相应的线性操作[60~65]。SVM在机器学习领域取得了成功,引发人们将传统的各种可用内积表达的线性方法“核化”,从而成为非线性方法。核函数的思想逐渐发展成核方法,为处理许多问题提供了一个统一的框架,如核主成分分析(KPCA)、核主成分回归(KPCR)、核偏最小二乘法(KPLS)、核Fisher判别分析(KFD)和核独立主元分析(KICA)等,这些方法在回归分析等不同领域的应用中都表现了很好的性能[66~72]。Rosipal[73]通过引入核函数将线性PLS方法推广为KPLS非线性方法。Kim等[74]将正交信号校正算法(OSC)与KPLS结合提出了OSC-PLS方法,Shinzawa等[75]将集成建模策略与KPLS结合,用于近红外光谱定量分析模型的建立,Nicolaї等[76]则将小波变换和KPLS用于测定苹果的糖含量,其预测性能都要明显优于传统的PLS方法。与其他非线性校正方法(如ANN和SVM)相比,KPLS方法的参数选择少,容易实现,有望成为一种常用的光谱建模方法。
2)集成(或共识)的建模策略
传统的多元校正技术(如PLS和ANN)一般采用单一模型,即采用已定的训练集建立一个最优模型用于预测分析。但是,当训练集样本数目有限或者校正方法不稳定时,模型的预测精度与稳定性往往不能令人满意。集成(或共识)策略(Ensemble or Consensus Strategy)的基本思想是采用随机或组合的方式,利用同一训练集中的不同子集建立多个模型(成员模型)同时进行预测,将多个预测结果通过简单平均或加权平均作为最终的预测结果。其特点是通过多次使用训练集中不同子集样本的信息,降低了预测结果对某一(或某些)样本的依赖性,从而提高模型的预测稳定性。集成策略最早应用于模式识别分类问题,尤其是一些相对不稳定的算法,如ANN等。近年来,集成策略逐渐受到光谱工作者的重视,与多种算法(如PLS、SVM和ANN)结合,用来建立光谱的定量校正模型。集成建模中成员模型样本的选择是至关重要的,Bagging(Bootstrap Aggregating)与Boosting是两种主要的方法[77, 78]。
3)多维分辨和校正方法
随着现代联用分析仪器技术的快速发展,越来越多的仪器产生二维或更高维数的响应数据。例如,激发·发射荧光仪、色谱·质谱和气相色谱·红外光谱联用仪等。当用这些仪器测量一组样本时,得到的是一个三维数据矩阵。显然,建立在二维数据矩阵理论和双线性模型基础之上的化学计量学方法已很难对三维量测阵进行分解、分辨和校正。为此,三维(多维)分解方法应运而生,如平行因子分析(PARAFAC)、Tucker3算法,以及梁逸曾等提出的系列交替三线性分解算法[79]等。这类方法分辨分析能力较强,可以在未知干扰物存在下,同时分辨出多个性质相似分析物的响应信号,并直接对感兴趣的分析物组分进行定量测定。
4)基于局部样本的建模策略
基于局部(Loca1)样本的建模策略早在1988年就被提出来了,但由于仪器硬件平台等原因,一直未受到应有的重视。随着仪器制造的不断标准化,这种基于数据库和库搜索的方法才具有真正的实用性。这种建模策略的基本思想是:根据近红外光谱(或其衍生出的特征变量)从数据库(即训练集样本)中选取与未知样本最相似的一组样本,然后由这些样本(即局部样本)经过统计分析或经典的校正方法得到最终的结果[80]。针对如何选取局部样本及如何得到最终的预测结果,出现了多种经典的局部分析方法,如CARNAC(Comparison Analysis Using Restructured Near Infrared and Constituent Data)方法、LWR方法和LOCAL方法等。
CARNAC方法采用傅里叶变换对光谱进行处理(光谱数据压缩),以傅里叶系数作为搜索局部样本的特征变量。为保证准确测定低含量组分,这种方法需要针对不同的分析指标来选取局部样本,即通过逐步多元线性回归选取特征傅里叶系数,然后根据相似指数 2s(s=1(1-r ),r 为未知样本与数据库某样本间的相关系数)选取局部样本。最终的预测结果由局部样本对应的基础数据通过相似指数加权平均方法给出。Davies等用小波变换替代了傅里叶变换对CARNAC方法进行了改进[80]。
LWR方法采用主成分分析对数据库样本光谱进行压缩,以主成分得分为特征变量结合欧氏或马氏距离来选取局部样本,基于局部样本利用主成分回归建立校正模型对未知样本进行预测分析。随后Centner等又对局部样本的选择和回归方法做了多项改进,如主成分的计算和选取、距离的计算等[81]。
LOCAL方法采用未知样本光谱和数据库样本光谱之间的相关系数选取局部样本,利用偏最小二乘方法建立局部校正模型(不同主因子加权)对未知样本进行预测分析。该方法已成为FOSS公司WINISI软件中一种方法,因此已有多篇应用报道[82]。
目前,基于局部样本的建模策略又出现了多种方法[83, 84]。基于局部样本的建模策略可适用于非线性体系的校正,还可充分利用数据库的优势,避免传统因子分析方法因样品组成等变动需要频繁更新模型的弊端。但针对特定的分析项目,如何选取与未知样本最相似的局部样品,以及如何得到最终的预测结果仍需进一步深入研究。
5)二维相关光谱方法
1986年,Isao Noda首先提出获得二维相关红外光谱(2DCOS)的实验方案,即将一定形式的微扰(最初为正弦波形的低频扰动)作用在样品体系上,使样品产生红外吸收光谱的动态变化。然后对随时间变化的红外信号进行数学上的相关分析,产生二维相关红外光谱。随后,Noda于1993年提出广义二维相关谱的概念,将外部微扰从正弦波形的振荡应力、电场作用等固定形式,拓展到能导致光谱信号变化的任何形式,如温度、浓度、压力及样品成分等。进而也将二维相关光谱学由红外光谱推广到近红外、拉曼及荧光等技术领域[85]。
二维相关光谱可用三维立体图或二维等高线图进行可视化显示,便于直观地对二维信息解析。在二维相关光谱的等高线图中,Z 坐标轴值用 XY 平面中的等高线表示。二维相关光谱方法强调由外界扰动引起的光谱变化的细微特征,提高了光谱分辨率,还可解析分子内部与分子之间的相互作用,是一种灵活、有效的光谱分析技术。
二维红外相关光谱是目前应用较多的一种分析手段,在聚合物、蛋白质、液晶材料及生物学等研究领域取得成功的应用。我国已编辑出版了《中药二维相关红外光谱鉴定图集》,利用二维相关红外图谱来区分不同级别的复杂中药。二维相关光谱在近红外光谱分析方面也取得了很多研究成果[86]。
除了上述介绍的方法外,还有一些新兴方法在近红外光谱分析中得到研究和应用。这些新兴化学计量学方法的研究和应用,促进了近红外光谱技术的发展和应用,同时在具体应用过程中也会对这些方法不断进行改进,使其更适合近红外光谱分析的特点,也对其他分析手段起到借鉴的作用,最终这些被实践证明行之有效的算法和策略将会逐渐成为商品化数据处理软件中的常用方法。尽管如此,这些新方法并非一定要替代经典的方法。在实际应用时,需要根据具体问题加以选择运用,用最简洁的方式获得最好的结果仍是模型建立所遵循的一个主要原则。
3.定性模式识别
模式识别最早出现在20世纪20年代,20世纪60年代末被引入化学领域[87]。化学模式识别是利用统计学、信号处理、数学算法等工具,从化学量测数据推理出物质类的本质属性,进而对物质进行识别和归类的一门技术。
化学模式识别方法包括聚类分析(C1uster Analysis)、判别分析(Discriminant Analysis)、特征投影显示(Latent Projection)等方法。按照有没有训练集可以划分为无监督的模式识别方法(Unsupervised Pattern Recognition)和有监督的模式识别方法(Supervised Pattern Recognition)。聚类分析属于无监督的模式识别方法,判别分析属于有监督的模式识别方法,特征投影显示可以是无监督的,也可以是有监督的[18]。
化学模式识别方法可以追溯到一些经典的统计学方法,如基于18世纪Bayes的统计学原理提出的Bayes意义下的判别分析,以及基于1901年Pearson[6]所提出的主成分分析(PCA)而形成的PCA特征投影显示识别方法。下面对化学模式识别的主要方法做如下介绍[87]。
1)聚类分析法
聚类分析是数理统计的一种方法,适用于对于样本没有类的先验知识的情况,包括系统聚类法[88]、k均值聚类法[89]、图论方法中的最小生成树等方法。其中系统聚类法和k均值聚类法是比较常用的方法。系统聚类法的基本思想是在各自成类样本中,将距离最近的样本并为一个新类,计算新类与其他类间的距离,按最小距离重新合并,重复此过程,每次减少一类,直到所有的样本并为一类;k 均值聚类法是一种凝聚分类的动态聚类方法,其基本思想是先假定一个分类数目k,任意选取k个点作为初始类凝聚点,逐个计算其他样本与k个类重心之间的距离,选定距离最小者将其并入该类,再重新计算各类的重心,并以该重心为新的凝聚点,直到每个样本都被归类。
2)判别分析法
判别分析属于有监督的模式识别方法,它需要用已知类别的样本集进行训练,得到判别模型,才能对未知样本进行类别判定。判别分析的一个代表性方法即前面提到的Bayes意义下的判别分析。20世纪30年代,Fisher提出了另外一个有代表性的判别分析法,称做Fisher线性判别分析法(Linear Discriminant Analysis,LDA)。这种方法的思想是,设法找到一个最佳投影方向,将高维空间中的点投影到低维空间,使不同类别的点尽可能分开,然后在低维空间中进行分类;20世纪40年代出现的人工神经网络(ANN),因其具有很强的非线性映射能力,从20世纪80年代开始受到化学计量学家的普遍关注,成为化学计量学中发展较快的研究领域;相比于其他方法,k最近邻法(KNN)是一种更容易理解的判别分析方法,使用该方法对样本进行判别时,和该样本距离最近的k个样本中多数样本属于某类,即把该样本判为某类[90]。
3)特征投影显示判别法
特征投影显示判别法的基本原理是将多元变量用特征投影的方式进行降维,得到可在二维或三维空间显示的特征变量,然后利用人眼进行分类识别。其主要方法包括:基于主成分分析的特征投影显示、基于主成分分析的SIMCA分类法、基于偏最小二乘的特征投影显示方法等。主成分分析是化学计量学最重要的方法之一,很多定量校正方法和模式识别方法都是在主成分分析基础上形成的,如目前在近红外定量分析建立校正模型中受到广泛认可的PLS。和PCA一样,PLS最初也被用做定量分析的建模方法,而后被发现在模式识别方面也可以有较大的应用价值。Barros等[91]对PLS在模式识别中的应用进行了较深入的探讨,并给出了应用实例。另外一种基于主成分分析的特征投影显示方法SIMCA(Soft Independent Modeling of Class Analogy),是Wold[92]于1976年提出来的。其基本思想是先利用主成分分析的显示结果得到一个样本分类的基本印象,然后分别建立各类样本的类模型,进而利用这些类模型来对未知样本进行判别分析。
4)化学模式识别方法的新进展
经过数十年的发展,已经有几十种化学模式识别方法被提出。以上是近红外模式识别中应用较多的方法,其他一些方法如逐步判别法(Stepwise Discriminant Analysis)、线性学习机(Linear Learning Machine)、典型判别分析法[93](Canonical Discriminant Analysis,CDA)等也有一定应用。在统计学及化学计量学快速发展的推动下,原有的化学模式识别方法在应用过程中不断被改进,形成更稳健的方法,例如,Branden等基于稳健的PCA提出了稳健的SIMCA方法(RSIMCA),他们用实例证明了此种方法比原有的SIMCA方法在模式识别上具有更好的稳健性[94, 95]。
值得注意的是,Vapnik[60]提出的支持向量机(SVM)作为一种新的通用学习方法受到关注,成为继ANN之后的又一个热点。SVM最初是为了解决模式识别中的两分类问题而设计的,该方法基于统计学习理论中结构风险最小化的原则,通过一定的非线性映射方法将原始变量投射到高维空间,然后在高维空间构造最优分类超平面,实现样品的分类。SVM有效地解决了ANN存在的过拟合和局部最小等问题,具有很强的推广能力[19]。通过引入ε 不敏感损失函数和借助一定的核函数,该方法也可推广应用到非线性回归估计。SVM方法具有严格理论基础和出色的学习能力,越来越受到相关领域研究者的重视。
更令人欣喜的是,最近又有一些新的化学模式识别方法被提出,比较有代表性的一个是Barakat等[96]提出的用于无监督聚类分析的气泡凝聚(Bubble Agglomeration Algorithm,BA)算法,此方法将每个数据点看做一个具有一定半径的气泡的中心,通过逐渐增大气泡的半径,将相互邻近的数据点凝聚为一类;另一个有代表性的方法是Roger等[97]提出的焦点本征函数(Focal Eigen Functions,FEF)算法,该算法不同于以往模式识别方法的是,它不是基于矩阵降维的方法得到特征变量,而是利用扫描函数(Scanning Functions)的方法来获取判别向量。研究表明,该方法可以应用到实际光谱数据的模式识别中。
化学模式识别方法的这些进展,为近红外模式识别的应用提供了更好的工具和手段,必将推动近红外模式识别技术在各行业的应用和发展。
1.1.3 应用领域的发展
作为一种快速高效的分析方法,NIR光谱分析可以对包括从气体到透明或混浊的液体、从匀浆到粉末、从固体材料到生物组织等的各种样品进行快速、精确的定量或定性分析。与漫反射技术相结合,可以对固体材料进行无损多组分分析和测定,光纤的介入更使NIR的应用扩展到了恶劣和危险环境下的在线过程分析及控制。
1.农业中的应用
农产品分析是NIR的传统应用领域。近红外光谱法替代传统分析方法,节约了大量时间和分析费用。美国官方检测机构在谷物市场采用近红外光谱仪Infratec Models 1225和1226作为检测麦蛋白、豆蛋白和油脂含量的标准仪器,替代了传统的克氏定氮和油脂抽提分析方法,每年平均分析约16500个豆样品,500000个麦样品。我国曾在小麦优良品种的筛选工作中使用近红外光谱快速分析技术,大大提高了工作效率。加拿大谷物研究实验室使用近红外光谱快速测定硬质小麦的黄色颜料含量,分析结果与标准方法测定结果十分符合[98]。
由于水果和蔬菜含水分高且个体体积大,故近红外光谱仪在很长一段时间内并未能在该领域中得到充分利用。然而随着高性能近红外分析仪器的出现及光纤在交互传输模式中的应用,采用近红外分析仪无损检测水果内部品质和蔬菜中的农药残留量、维生素含量等,正逐渐形成一个新的热点研究领域。Perris KHS等[99]利用人工神经网络来预测西红柿和苹果中可溶性固形物的含量;CJ Clark [100]建立“Braeburn”苹果透射光谱与黑心病的数学模型。研究结果表明,水果的储藏时间、光源的强度、光源与水果之间的距离直接影响数学模型的精度;日本FANTEC公司开发的近红外分光测定法,可以同时测定水果的成熟度、含糖度、含酸度、糖蜜含量及检验有无病斑等,使水果检测取得了重大进展[101]。
烟草作为天然生长的植物,含有大量对NIR比较敏感的C-H,O-H,N-H等基团,烟草中常用的糖、氮、碱等化学指标是烟草配方设计和质量监控必不可少的因素,近红外技术已经被广泛应用于烟草常规化学成分含量的日常检测。张建平、谢雯燕等运用近红外漫反射光谱法对烟草样品进行定量分析,对贵州省不同生态地区的烟叶样品和部分云南、四川、河南等地的烟叶样品进行了蛋白质含量的化学分析和NIR光谱扫描,通过采用主成分回归法计算,建立了烤烟近红外光谱和化学法测定蛋白质含量之间关系的定标模型,并进行内部交叉验证,对模型做预测检验,探讨用NIR技术建立测定初烤烟叶中蛋白质含量的数学模型的可行性。该数学模型经过两年的试用,稳定性较好。运用NIR法测定的结果与化学方法测试结果相吻合,测定精度基本达到化学分析法的精度,具有实用性[98]。
近红外光谱分析技术在饲料工业中广泛用于饲料(如饲料原料、全价料、预混料、浓缩料)的质量控制分析,如对水分、蛋白质、脂肪、灰分、糖、淀粉、纤维、总氨基酸量[67]和可消化的氨基酸量[68]等的测定,近红外光谱仪在饲料检测中速度快、效率高,大大节约了检测时间。在饲料检测中,NIR最初多是用于饲草原料和谷物类原料中水分和蛋白质含量的检测。最早由Norris用NIR测定了饲草原料中的粗蛋白、水分和脂肪含量[102]。其后Shenk、Abrams等利用该技术分析鉴定了饲草原料的品质,也取得了良好的效果[103, 104]。我国在20世纪90年代初也开展了NIR测定饲料各种成分定标软件的研制,先后完成了饲料和饲料原料中干物质、粗蛋白、粗纤维、粗脂肪、灰分、氨基酸等指标的定标检测。在饲料分析方面,不仅能用于饲料常量成分分析,也能用于微量成分、有毒有害成分的检测,检测预混添加剂和预混料中的微量成分和含量,以及评价饲料的营养价值[102]。除此以外,饲料厂可以利用NIR技术进行在线监测,调整配方和采购策略,降低生产成本,提高产品质量。
2.食品工业中的应用
AOAC(Association of Official Analytical Chemists)已将检测牛奶中的蛋白质、脂肪、乳糖和固体成分的红外方法规定为标准方法。与红外分析相比,近红外技术在检测牛奶中的固体颗粒成分时,精度较高;而在分析蛋白质、脂肪和乳糖时,两者分析精度相同。除了分析牛奶外,近红外分析仪还可以分析奶粉、干酪和乳清等。近红外分析仪亦可用于肉和肉产品的检测,不仅可检测肉产品中的水分和脂肪含量,而且可检测火腿和香肠中的氯化钠、牛肉中的黄豆粉含量、肉汤中淀粉含量、生猪肉和生牛肉的卡路里、火腿的pH值,以及牛肉块的物理化学特性等。近红外光谱还可用于鉴别冷冻肉和非冷冻肉。
在使用近红外分析仪分析饮料时,透射和透反射方法均可以使用。近红外光谱在确定啤酒和葡萄酒的酒精含量方面发挥重要作用。在定量分析啤酒的酒精含量过程中,如果定标样品的种类范围比较全面,样品的颜色不会影响分析结果。在酿造过程中,近红外分析仪可用于检测相对于大麦发芽质量的β-葡聚糖和麦芽膏及α-酸。在日本,近红外分析仪已用于检测日本米酒或大米酒的酸度、氨基酸、全糖和酒精含量。
从肉类、奶制品到各种液体饮料及食用油,测定的参数包括水分、蛋白质、脂肪、糖分、纤维、灰分等营养成分含量,近红外光谱分析技术在食品工业上已经取得了很大的进展。它摆脱了传统实验方法操作烦琐费时,无法满足生产需要的弊端,尤其是在线近红外光谱分析技术,可以对生产线上的物料进行实时监测,进行质量控制,取得了可观的经济效益。今后近红外在食品工业中的应用可与其他技术联用,进行食品中更多成分的分析,扩大其应用领域;大力发展在线检测技术。光导纤维及传感技术的发展,使在线检测成为现实,而在线检测是及时解决生产中质量问题的最有效途径,有望在企业生产过程中获得广泛的应用。总之,近红外分析技术作为分析领域的热点,将引发一场分析技术的革命,并将推动食品工业的技术进步,蕴涵着巨大的经济和社会效益。
3.石油化工领域的应用
进入20世纪80年代后期,近红外光谱分析技术获得了长足的发展。美国华盛顿大学化学系的过程分析中心(CPAC)在这期间做了大量将化学计量学、传感器和光谱分析结合起来用于油品性质分析的开拓性工作[105],从此改变了近红外光谱仅在农业领域中应用的局面。尤其是,近红外光谱分析辛烷值在时间和成本上的效益特别突出,可用于在线控制分析,使得当时各大石油公司竞相研究开发与应用这种技术,所以,在后来的十多年中,它在石油化工领域中的质量检验和生产控制方面获得了迅速发展和广泛应用[1, 2, 106, 107]。汽油炼制中辛烷值、芳香烃含量、苯含量、乙醇、蒸馏值、挥发值、添加剂、黏度、闪点、相对密度等的测定;柴油、润滑油的组成及性质分析;高分子合成及加工中单体纯度、残余单体量、聚合度、相对分子质量、交联度、密度等性质指标的都可用NIR测定。
近红外分析技术在国外石化工业中早已获得了较广泛的成功应用。发达国家几乎所有炼油厂在油品调和、重整、原油蒸馏等各种炼油与化工工艺[108]中先后采用了在线近红外光谱分析技术,成为炼油厂保障产品质量,降低生产成本和提高经济效益所必须依靠的技术手段之一,而且在与传统在线仪表、气相色谱、核磁等技术并存和竞争中脱颖而出,其应用处于主导地位。
4.制药工业及临床医学的应用
在药物分析领域中,近红外光谱不仅适用于分析药物的多种不同状态,还可用于不同类型的药品分析,如蛋白质、中草药、抗生素等的分析。近红外光谱更适用于对原料药纯度、包装材料等的分析与检测,以及生产工艺的监控。利用不同的光纤探头可实现生产工艺的在线连续分析监控。近红外光谱在中药质量控制中,如在药材产地判定、有效成分定量分析、假药识别等领域具有很大的发展空间。文献[109~112]分别用近红外光谱分析技术对丹参药材、贝母药材做定性鉴别,定量分析葱柏中小檗碱含量和六味地黄丸模拟样品中熊果酸含量;虞科等[113]利用近红外光谱分析技术测定复方丹参滴丸中的三种有效成分;马群等[114]利用近红外光谱法结合支持向量机测定天然牛葱粉中人工牛黄的掺入量。我国科研人员胡昌勤等已论证了近红外假药识别系统定性分析和定量分析的可行性。在药品的鉴别过程中,常采用马氏距离等指标,通过对样品光谱与标准光谱距离的定量描述,确定样本离校正集样本的差异,进而判断其归属。此方法在对光谱匹配程度的检测和模型外推方面均比较准确。将主成分分析法(PCA)与马氏距离结合,可以充分利用PCA对采集的全光谱数据进行降维处理,较好地解决马氏距离计算时波长范围的选择问题。此外,结合导数光谱等手段,还可以提高鉴别的分辨率。而且现代近红外光谱仪已经较好地解决了模型传输的准确性,结合互联网技术,可以在全国范围内建立近红外假药识别模型网络系统,从而解决目前存在的假药危害问题[98]。
NIR可用于制药工业中原料和活性组分的测定,固体药剂的湿度、含量均一性、颗粒大小分布、片剂膜衣厚度、结晶度及硬度的定量表征;临床医学中用于估测组织中氧合血红蛋白和无氧血红蛋白的含量、血液的体积、血液流速、组织耗氧量、血糖含量等,还可离体测定血浆和尿中蛋白质、葡萄糖、胆固醇、甘油三酸酯及其他类脂化合物的含量。
5.其他应用
NIR还广泛应用于纺织、造纸、生物化工、天体学及地理、地质学等领域。
1.1.4 我国近红外光谱分析技术的发展和研究现状
NIR是近十年来发展最为迅速的高新分析技术之一。目前,世界上大约有50 多个国家和地区开展了NIR的研究和应用工作,特别是一些发达国家表现得尤为突出,这些国家拥有大量的各种类型的NIR分析仪器用于各行各业,有研究型、专用型、便携型,还有直接安装在工业生产线的在线型分析仪。这些仪器在农业、石化、制药、食品等领域都得到很好应用,并取得极好的社会和经济效益[115]。
我国近红外光谱技术的应用研究也是从农业领域开始的。我国粮食与农业系统在1977 年前后开始由国外引入近红外分析仪,但由于建立数学模型较困难,到20世纪80年代才发表了我国第一批有关研究论文。1983年前后开始在大型通用傅里叶变换红外光谱仪上进行近红外技术在农业分析的理论研究和应用研究。从20世纪90年代中期,国内许多科研院所和大专院校开始积极研发适合国内需要的NIR成套分析技术,并有多本专著出版[1, 2],也有许多学者发表了多篇有关NIR原理和应用的综述文章,为这项技术的普及做了大量工作,开创了我国NIR研发和应用的崭新局面。近几年我国在光谱仪器的研制、化学计量学软件、分析模型建立,以及实际应用等方面都有了长足发展[10, 12, 59, 79, 98, 116]。
1.近红外光谱仪器
NIR技术的一个重要特点就是技术本身的成套性,即近红外光谱仪、化学计量学软件和应用模型的三位一体性,性能优异的近红外光谱仪是该技术的基础和前提。目前,国际上NIR光谱仪的类型较多,按单色器分类,市场上的NIR光谱仪可分为滤光片型、光栅色散型、傅里叶变换型和声光可调滤光器型等四类。光栅色散型仪器又可分为扫描—单通道检测器和固定光路—阵列检测器两种类型[117, 118]。除了采用单色器分光以外,也有仪器采用多种不同波长的发光二极管(LED)做光源,即LED型近红外光谱仪。
我国在20世纪80年代初就进行了近红外光谱技术的应用研究,但对近红外光谱仪器的研制起步较晚,大约在20世纪90年代中后期,通过一些厂家和科研单位的积极努力,在近红外光谱仪器的研制、软件开发方面取得了一定的成绩。中科院长春光机所开发出基于固定滤光片的粮食专用型NIR分析仪[119];上海棱光技术有限公司研制出了光栅扫描式NIR农产品品质分析仪;国土资源部现代地球物理开放实验室研制出了光栅扫描式便携NIR矿物分析系统[120];北京瑞利分析仪器公司研制生产了傅里叶型近红外光谱仪[118];石油化工科学研究院与北京第二光学仪器厂联合研制了傅里叶变换近红外辛烷值分析仪[121];石油化工科学研究院自行研制了采用电荷耦合检测器(CCD)的多通道近红外光谱仪器(专利申请号为96218361.x)[122]及石油生产在线分析用光栅扫描型近红外光谱仪[123];中国农业大学研制了滤光片型漫透射近红外谷物品质分析仪[124];2005年6月,由中国农业大学信息与电气工程学院承担的“十五”科技攻关课题“专用近红外光谱仪的研制与开发”顺利通过了科技部专家组的中期检查,课题内容包括对“液态中药样品在线近红外分析仪”、“中药专用近红外分析系统”、“短波近红外粮食食品应用分析仪”、“近红外聚丙烯专用分析仪”等的研制及配套软件的开发[125];中国农业机械化科学研究院分别研制出了基于AOTF和基于固定光路CCD阵列检测器的两款近红外光谱仪用于农产品分析[126]。上述这些仪器硬件研发成果中部分已转化为商品仪器,其中有些产品的关键性能指标已达到国际同类商品的水平,并已在石化和农业等行业的科研和生产中得到应用,发挥着积极的作用。
光谱技术应用的成功与否取决于分析模型的准确性、通用性、稳定性和可靠性。而分析模型的可靠性,一方面与样品的代表性有关,另一方面与仪器的稳定性和重现性有直接的关系。我国光谱仪研制起步较晚,目前国内生产商品化光谱仪的厂家主要有北京英贤仪器有限公司、北京瑞利分析仪器公司、上海棱光技术有限公司、南京中地仪器有限公司等[76]。此外,中科院长春光机所、中国农业大学、中国农业机械科学研究院、天津大学和北京华夏科创仪器技术有限公司等也正在开发光谱仪。近些年我国在光谱仪研制和生产方面取得了一定成绩,从仪器生产、技术应用到售后技术服务,初步形成了一套合理的发展模式,建立了光谱分析技术的研究开发和制造基地,制定了设计、加工、集成、装配、调校和评价等行业技术标准,为分析技术的可持续发展创造了良好条件,积累了丰富的实践经验,形成了光谱仪产业的雏形,具有良好的发展势头。但国产光谱仪在一些关键技术指标方面如信噪比、仪器间一致性等与国际先进水平比还存在相当大的差距,由于仪器间一致性较差,很难建立通用的分析模型,阻碍了技术的进一步推广。此外,仪器的主要核心部件,如检测器、光纤等还依赖于进口,基础加工工艺相对落后,用于测量不同类型样品的附件不够完善,在光谱仪整体性能指标和仪器智能化方面还有待提高。目前在我国科研院所和一些生产企业中使用的近红外光谱仪器,大部分是国外公司生产的光谱仪,国内应用较多的是丹麦福斯、德国布鲁克、美国尼高力、瑞典波通等公司的产品。
2.化学计量学方法软件
将稳定、可靠的光谱仪器与功能全面的化学计量学软件相结合成为现代近红外光谱分析技术的显著标志之一,为此,石油化工科学研究院和中国农业大学等多家单位都研发出了拥有自主知识产权的、适用于近红外光谱分析的化学计量学软件。这些软件在主要功能上与国际流行软件(如Grams32)没有显著性的差异,而且在界面语言、风格及操作习惯上更适合我国的实际情况,有些软件已经在实际科研生产中得到了较为广泛的应用。
3.应用
我国NIR分析工作者从20世纪80年代初期就开始了应用研究工作,最初主要集中在农产品分析上,目前已逐步扩展到石油化工、食品、烟草、药物和临床医学等领域。在这些NIR应用研究中,有些研究成果具有鲜明的独创性,申请了发明专利,有些工作已处于世界先进水平,并在实际科研和生产中得到广泛应用[1, 2, 116]。
1)农业
近些年来,随着新型近红外仪器的出现和软件的升级,NIR在我国农业领域的应用和研究出现了新局面,分析对象涉及谷物、经济作物(烟草、茶叶和油料)、果蔬、饲料、肥料和土壤等,所用仪器的类型包括滤光片式、扫描式、傅里叶式和阵列式等,测量方式有漫反射和透射等多种,应用场合有传统的品质分析、育种、现场收购和加工业等。
在谷物分析方面,分析对象涉及小麦、大麦、玉米、稻子等,测量的形态有种子籽粒、单籽粒、精米粒、糙米粒和粉状等,测量指标有水分、蛋白质、脂肪、灰分、淀粉、氨基酸(赖氨酸、苏氨酸和胱氨酸)等化学组成,以及硬度、颗粒度、沉淀值和生活力等物理参数,应用领域为商品粮收购、面粉厂加工、育种和科研等。
在油料作物方面,分析对象涉及黄豆(大豆)籽粒、花生种子、油菜籽、棉籽粉等,分析指标有水分、蛋白质、脂肪、油分(含油量)、芥酸和硫甙等含量,大多都应用于育种中对品种的快速筛选。
在水果和蔬菜方面,测量对象有黄瓜、大白菜、西红柿、鲜辣椒、南瓜、水蜜桃、苹果、柑橘等,分析指标有β-胡萝卜素、糖分、维生素C、粗蛋白中性纤维、糖度、酸度和内部褐变等。目前在蔬菜食用安全方面也有所研究,如硝酸盐含量和有机磷农药残留的鉴别等。在水果检测方面,逐渐发展到在线测量分析。
在饲料方面,测量对象有植物性饲料,如黑麦草粉、玉米秸秆、水稻稻草、棉籽粕、菜籽粕、豆粕和玉米等;动物性饲料,如鱼粉和肉骨粉等。分析项目有草粉的粗蛋白、半纤维素、纤维素、木质素、可溶及不可溶性硅化物等;玉米秸秆的中性洗涤纤维和酸性洗涤纤维含量;豆粕中水分、蛋白质粗脂肪、粗纤维和可利用氨基酸含量,以及鱼粉和肉骨粉的蛋白质、脂肪、水分和灰分等。
在土壤方面,分析指标包括总氮、碱解氮、水分、有机质含量等。
NIR在烟草行业中的应用主要包括烟草原料品质分析,卷烟生产过程的在线检测,以及销售流通中对卷烟产品的监督。在我国,以上三个方面的应用均有报道,但主要集中在烟草原料的品质分析方面。测定的指标有烟草(根、茎和叶)的水分及总植物碱、总糖、蛋白质、还原糖、尼古丁、总氮、氯、磷、硫和钾等组分的含量。近红外在线分析仪已用于我国多家卷烟厂。
在茶叶成分分析方面,NIR技术可用于茶叶及其茶制品中化学成分的多组分快速测定,茶叶等级的快速评定,茶树育种和栽培,茶制品生产过程在线检测,以及茶叶真假、伪劣识别等。我国已用NIR测定了绿茶中氨基酸、咖啡碱、茶多酚和茶多糖等组分的含量,在茶叶感官品质评定方面也有所研究。在花茶熏制过程中,NIR则被用来测定花茶的水分含量。在茶饮料的测定方面,分析项目涉及茶多酚、总氨基酸、茶红素、茶黄素及咖啡碱等。
2)食品
NIR分析技术在食品领域中的应用也十分广泛,测试对象有乳制品、酒及饮料、肉类、食用油及调味品、烘烤食品如面包、饼干和方便面等。
3)制药
近红外光谱在制药方面的应用日趋广泛,如中药材的鉴别,药物中活性组分的测定,固体药剂的非破坏性表征,药物生产过程中各个阶段(合成、混合、加工、制剂、压片及包装过程),原料的在线监控和产品鉴定等。
在中药定性分析方面,采用多种化学计量学方法,如光谱褶合变换、多类支持向量机、系统聚类方法等,对中药进行了正品、伪品及不同产地和类别的鉴别分析等研究。
在中药定量分析方面,测定了不同中药的掺入量;测定了银杏、三七药材、冬虫夏草菌粉、黄连浸膏粉、元胡止痛散、复方芦丁片、冰片和葛根等中药的有效成分含量,并且已逐渐用于中药生产过程中的在线检测。
在西药分析方面,对多种药物的有效成分或品质进行了定性定量分析。
4)石油化工
近10 年来,我国近红外光谱分析技术在石化领域发展最为迅速,目前已较为广泛地应用于炼油厂的化验室,并逐步用于在线过程分析。
在汽油方面,NIR的测定对象有催化裂化、催化重整和烷基化汽油等组分汽油和成品汽油,我国已有多套汽油调合系统和几套重整装置安装了在线近红外光谱仪。
在柴油方面,涉及的柴油类型有直馏、加氢、催化裂化和成品柴油,测定的物理性质有十六烷值、密度、折光指数、凝点、闪点、馏程及氧化安定性等指标,化学组成包括饱和烃、芳烃总量、胶质、详细族组成等。
5)其他领域
由于NIR技术可以实现生物体的在体非介入分析和监测,因此成为临床医学上极具发展潜力的分析和研究技术手段。我国在这一领域已做了大量的工作,主要集中在血糖、血氧测定及乳腺肿块的诊断等方面,大多都处于探索、开发和评估阶段。
在纺织方面,我国采用NIR方法测定了棉纤维中的葡萄糖、果糖和蔗糖含量等。
我国采用NIR测定了煤中的水分、挥发分含量及发热量。在地质分析方面,测定了各种地质样品中的化合水、有机质和二氧化碳含量,近红外光谱仪还应用于矿物填图和宝石鉴定工作。
在环保领域,对海面溢油种类进行了模拟鉴别,对水中有机污染物进行了快速鉴别。
4.小结
在NIR仪器硬件方面,我国尽管取得了一定成绩,但与国际先进水平相比还存在一定的差距,例如,仪器的主要核心部件还依赖于进口,用于测量不同类型样品的附件不够完善,光谱仪整体性能指标和智能化水平有待提高,尚没有批量生产的专用NIR分析仪器等。今后,NIR仪器的小型专用化、智能网络化和现场在线成套化将是主要发展方向。采用光纤结合固态模块化光学设计,开发高效、形式多样的专用测样附件,将是我国今后研发NIR仪器应当采取的主要技术路线。
在化学计量学方法和软件方面,尽管现有的国产软件在主要功能方面已能满足大多数应用的要求,但在算法研究(尤其是模型传递、模型适用性等算法的系统研究)、专业化软件开发和及时升级等方面需要投入足够的人力和资金支持。
在NIR应用研究方面,我国已几乎涉及了所有可能应用的领域,但大多数工作只限于初步的尝试性研究,离实际应用的要求尚有一定距离,需要在建模样品数量、种类、影响因素、稳健性和规范化操作(如模型建立和光谱采集)等方面做大量的研发工作。
另外,如何高效利用现有的NIR模型数据库资源(如农业和石化)也是亟待解决的问题,需要在网络平台和模型传递算法等方面进行研究。当前近红外成像技术在农业、天文和医学等领域中的应用值得关注,可能会成为今后几年的研究热点,应该在硬件、算法、软件和应用等方面给予足够的重视。