小白学习使用DOMFlour-三维荧光光谱-平行因子分析（批量数据处理）

已于 2024-11-08 10:57:56 修改
阅读量1.4k 收藏 14
点赞数 21
文章标签： 学习 matlab
于 2024-07-31 21:57:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zxh147369/article/details/140832149
版权

必备软件：Matlab

使用matlab基于DOMFlour工具箱分析样品的三维荧光光谱数据。

常用的几种去瑞丽和拉曼散射的方法主要有直接裁剪、三角插值和样条插值，初始的几天利用我们自己的140个样品的三维荧光光谱比较了这三种方法去散射后的结果，其中直接裁剪和样条插值都只能分出3组分，而三角插值可以分出5组分，初步认定三角插值的结果更为可靠，事实上现在很多硕士论文都在使用三角插值，所引，本文中所使用的DOMflour工具箱经本人修改后主要是使用三角插值方法进行分析，当然工具箱中也内置了直接裁剪和样条插值的matlab函数，但本篇不进行相关的介绍。

DOMflour工具箱源代码链接：Algorithms – Chemometrics Research (ucphchemometrics.com)

本篇适用于DOMflour初入门的小白，可以快速实现数据分析和导出。如需系统学习，建议通过以下链接学习：三维荧光平行因子分析之DOMFluor工具箱使用经验分享 - 知乎 (zhihu.com)

本人也是基于上述链接博主的分享，学习了近半月才基本学会，包括修改代码定义函数等，如不想学代码，只想分析三维荧光光谱数据可继续阅读本篇。

本篇主要介绍三角插值方法的三维荧光光谱-平行因子分析，因本人修改了原工具箱中的函数，所以本文中介绍的方法仅适用于本人编写的DOMflour工具箱，如有需要可联系本人（非无偿）。

详细步骤如下：

将每一隔步骤下的代码复制粘贴到matlab的命令行窗口，按回车即可运行代码。
1）、输入样品数据文件所在文件夹路径及几个函数变量

FilePath = 'C:\Users\Desktop\测试\测试文件夹';            %根据自己保存的位置更改
WaterPath = 'C:\Users\Desktop\测试\水';        %同上
suffix = 'TXT';       %注意第3步中导出数据文件为后缀为TXT，如为txt则改成txt即可
Path = 'C:\Users\Desktop\测试';    %此步为选择matlab处理后的数据文件夹，例如此处选择Desktop则后续所有保存的文件都会在桌面，同理改成其它的则都会在相应的文件夹下。

2）、处理原始数据文件，即前面第1、2、3步骤中导出的txt文件。

[PreSampleData,PreWaterData]=PreOriginalData(FilePath,WaterPath,suffix);   
AutoSaveData(PreSampleData,Path,1);        
AutoSaveData(PreWaterData,Path,2);            %注意，1和2是决定保存在什么路径下的重要参数，不可修改，1为原始样品数据保存路径，2为水空白原始数据保存路径

%运行此步骤后，会在前面所选的Path自动生从样品和水空白的原始数据文件夹，其下包含之前导出的所有txt所对应的三维矩阵数据，第一行为Ex，第一列为Em。此处，建议核对一下几个样品和水空白的数据是否和原来导出的txt中的数据一致。运行完后在matlab的工作区会显示SampleData,WaterData的cell文件。

[SampleData,PointsData] = RemovelWater(PreSampleData,PreWaterData,350,[380 420]);  
AutoSaveData(SampleData,Path,3);    %同之前，参数为3会在步骤1）中设置Path路径下生成扣除水空白的数据文件夹和拉曼单位数据文件夹    

%通常拉曼积分是在Ex=350nm，Em在360到420之间的积分值，故此处350为拉曼积分所用的Ex（若原始数据文件中没有350nm，可以选取350nm附近的如348或352nm，又或者取二者均值，此步不建议修改，除非原始数据中实在没有350nm）；[380 420]是拉曼积分所用Em范围，建议自行从水空白数据中找到Ex350nm，Em在360到420nm区间内的峰起始点和终点，通常峰起始选择从360到390之间的最小值，峰终止选择400-420之间的最小值，或可自行选择至425也行。运行此步骤后会在前面设置的Path文件夹下生成扣除了水空白的文件夹和转化为拉曼单位后的数据文件夹，其下包含之前导出的所有txt所对应的三维矩阵数据，第一行为Ex，第一列为Em。此处，建议核对一下几个样品和水空白的数据差值是否和此处生成的数据一致，通常是一致的。此外在matlab工作区会生成一个PointsData的cell数据，可以双击进去查看第一列为样品号，第二列为选定波长范围内的积分，用于将数据转化为拉曼单位，可自行选取空白到Origin里进行积分然后比较是否一致，代码写的时候经测试是一致的。

%如果样品数据文件夹和水空白数据文件夹中的文件名不是一一对应的，则会输出"样品号  0或2以上等 请检查是否一一对应"，0表示缺少水空白，2及以上表示水空白相同文件名存在2个及以上。为了不影响后续的分析，此处必须保证样品和水空白一一对应，文件数目上样品数必须大于或等于水空白文件数目。

[DelaunayData] = AutoDelaunay(SampleData,[1000 16;12 8;16 16;0 0],[240 2 440],[250 5 680]); 
AutoSaveData(DelaunayData,Path,4);  %同之前，参数为4会在步骤1）中设置Path路径下生成三角插值后的数据文件夹

%运行此行代码，会自动对每个样品进行去瑞丽和拉曼散射并进行三角插值，注意，如果样品波长不是Ex在240到440\间隔2，Em在250到680\间隔5nm，那么会自动使用三角插值将样品数据插值为Ex在240到440\间隔2，Em在250到680\间隔5nm的矩阵，如果前面步骤中输入样品有起始Ex波长小于240的则会截取原数据中Ex大于等于240的数据，其它波长参数同理。其中[1000 16;12 8;16 16;0 0]是瑞丽散射和拉曼散射范围，1000 16为一阶瑞丽，12 8为一阶拉曼，16 16为二阶瑞丽，0 0为二阶拉曼，其中数值根据实际情况进行修改。[240 2 440]中240和440是输出样品数据矩阵的Ex范围，2为间隔2nm一个数据；[250 5 680]中250和680是输出样品数据矩阵的Em范围，5为间隔5nm一个数据；这两个也可以按实际情况进行修改。

[OriginalData] = ParafacDataPre(DelaunayData);

%平行因子分析数据整合

AutoSaveData(OriginalData,Path,5);       %计算FI、HIX、BIX、β：α新鲜度指标、Fn280、Fn355 等6个指标，执行此函数会自动在Path路径下创建文件 '荧光指标.xlsx'

%常规矫正 (和非负校正选其一，通常选非负校正)

[Test1]=OutlierTest(OriginalData,1,1,2,'No','No');
PlotLL(Test1,2);
[Test1]=OutlierTest(OriginalData,1,1,3,'No','No');
PlotLL(Test1,3);
[Test1]=OutlierTest(OriginalData,1,1,4,'No','No');
PlotLL(Test1,4);
[Test1]=OutlierTest(OriginalData,1,1,5,'No','No');
PlotLL(Test1,5);
[Test1]=OutlierTest(OriginalData,1,1,6,'No','No');
PlotLL(Test1,6);
[Test1]=OutlierTest(OriginalData,1,1,7,'No','No');
PlotLL(Test1,7);

%非负矫正 (和常规校正选其一，通常选非负校正)

[Test2]=OutlierTest(OriginalData,1,1,2,'Yes','No');
PlotLL(Test2,2);
[Test2]=OutlierTest(OriginalData,1,1,3,'Yes','No');
PlotLL(Test2,3);
[Test2]=OutlierTest(OriginalData,1,1,4,'Yes','No');
PlotLL(Test2,4);
[Test2]=OutlierTest(OriginalData,1,1,5,'Yes','No');
PlotLL(Test2,5);
[Test2]=OutlierTest(OriginalData,1,1,6,'Yes','No');
PlotLL(Test2,6);
[Test2]=OutlierTest(OriginalData,1,1,7,'Yes','No');
PlotLL(Test2,7);
[Test2]=OutlierTest(OriginalData,1,1,8,'Yes','No');
PlotLL(Test2,8);

%去除异常值
---------------------------------------------------------------------------------------
[Test3]=RemoveOutliers(OriginData,[1 25 26 51],[],[]);  

%注意，假设前面矫正后发现1 25 26 51等样品的Leverage偏高，可以考虑去除，但注意此处1 25 26 并非样品编号，若要找出实际样品号应该在matlab工作区的OriginalData中的SampleName中找到对应行数所对应的样品编号。个人建议不执行去除异常点，去除一个异常点后再校正又会出现新的异常点，可以执行去除异常点看看，若没有新的异常点出现可以考虑去除异常点。

%如果执行了去除异常点，此处下一步的Test2需要相应的改为Test3

Test2.Ex_SquareErr = zeros(size(Test2.Ex,1),8)
Test2.Em_SquareErr = zeros(size(Test2.Em,1),8)  %这两步创建Ex和Em平方误差矩阵，其中'102'是Ex和Em波长个数，'8'为最大组分数加一；用于后续绘图

Test2 = CompareSpecSSE(Test2,2,3,4);     %这几步可以分别运行，比较2 3 4组分的残差值，残差值越小越好，但需要注意如果残差值变化不大则说明没必要多分组分
Test2 =CompareSpecSSE(Test2,3,4,5);     %这几步可以分别运行，比较3 4 5组分的残差值，残差值越小越好，但需要注意如果残差值变化不大则说明没必要多分组分
Test2 =CompareSpecSSE(Test2,4,5,6);     %这几步可以分别运行，比较4 5 6组分的残差值，残差值越小越好，但需要注意如果残差值变化不大则说明没必要多分组分
Test2 =CompareSpecSSE(Test2,5,6,7);        %这几步可以分别运行，比较5 6 7组分的残差值，残差值越小越好，但需要注意如果残差值变化不大则说明没必要多分组分

AutoSaveData(Test2,Path,6);      %导出平方误差数据

%拆办分析验证
%分割数据
[AnalysisData]=SplitData(Test2)

%拆办分析
[AnalysisData]=SplitHalfAnalysis(AnalysisData,(3:7),'MyData.mat')

%拆办分析验证    3 4 5 6 7 是组分数
SplitHalfValidation(AnalysisData,'1-2',3);
SplitHalfValidation(AnalysisData,'3-4',3);

SplitHalfValidation(AnalysisData,'1-2',4);
SplitHalfValidation(AnalysisData,'3-4',4);

SplitHalfValidation(AnalysisData,'1-2',5);
SplitHalfValidation(AnalysisData,'3-4',5);

SplitHalfValidation(AnalysisData,'1-2',6);
SplitHalfValidation(AnalysisData,'3-4',6);

SplitHalfValidation(AnalysisData,'1-2',7);
SplitHalfValidation(AnalysisData,'3-4',7);

%上述运行完后再matlab的命令行窗口会显示拆板验证的结果，例如  7 Component Model, Split=1-2  Result= Not Validated  表示7组分在1-2的对半分析中未验证通过。7 Component Model, Split=3-4 Result= Split Half Comparison，说明7组分在3-4的对半分析中验证通过。当1-2和3-4均未验证通过可能说明分成当前数量的组分是不可靠的.同理其它组分数也是这样，当1-2和3-4均验证通过说明当前组分数合理。

AutoSaveData(AnalysisData,Path,7,4);  %    7是保存文件确认参数，不可更改；4为想要导出的组分数

%导出拆半分析验证结果数据，此处导出数据根据峰位置自行判断组分，同一个峰在两个拆半结果中可能分别被命名为C1和C2，但根据峰的Ex和Em载荷是可以判断为同一组分。导出的数据中A和B是split1-2的结果，C和D是3-4的结果

%随机初始化
[AnalysisData3]=RandInitAnal(AnalysisData,3,10)     %3为确定的组分数，此处输出参数为  AnalysisData3表示为3组分随机初始化后的结果，若组分数确定为4则将AnalysisData3改为AnalysisData4，并且等号后面括号中的3也改为4，组分为5以此类推

%比对结果，1和3，2和4看是否一致 3为确定的组分数，AnalysisData3表示为3组分随机初始化后的结果，若组分数确定为4则将第三和第四行的AnalysisData3改为AnalysisData4，并且等号后面括号中的3也改为4，组分为5以此类推
SplitHalfValidation(AnalysisData,'1-2',3);    
SplitHalfValidation(AnalysisData,'3-4',3);
SplitHalfValidation(AnalysisData3,'1-2',3)  
SplitHalfValidation(AnalysisData3,'3-4',3)

%创建组分图
[ComponentData3] = ComponentEEM(AnalysisData3,3)    %3为确定的组分数，AnalysisData3表示为3组分随机初始化后的结果，若组分数确定为4则将第三和第四行的AnalysisData3改为AnalysisData4，并且等号后面括号中的3也改为4，组分为5以此类推

%导出数据
AutoSaveData(AnalysisData3,Path,8,3); 

%    8是保存文件确认参数，不可更改；3为确定的组分数，AnalysisData3表示为3组分随机初始化后的结果，若组分数确定为4则将第三和第四行的AnalysisData3改为AnalysisData4，并且等号后面括号中的3也改为4，组分为5以此类推

%导出各组分三维数据，用于其他软件重绘组分图

AutoSaveData(ComponentData3,Path,9,3); 

%    9是保存文件确认参数，不可更改；3为确定的组分数，AnalysisData3表示为3组分随机初始化后的结果，若组分数确定为4则将第三和第四行的AnalysisData3改为AnalysisData4，并且等号后面括号中的3也改为4，组分为5以此类推

欢夕X
关注
matlab平行因子_三维荧光平行因子分析路径
weixin_29306875的博客
01-22 8259
非教程，只是自己的回顾总结，感兴趣的朋友可以一起交流(所有函数指令使用斜体标注，于matlab命令界面输入help 函数名可以查看函数解释)1.创建数据集采用创建平行因子分析模块创建数据集，需要将各个样品、激发波长、发射波长导入matlab数据集中，用到matlab的excel link加载项，实测matlab2018b安装时如果没有选定所有拓展选项的话，是没有内置excel link加...
matlab phandom,DOMFluor 用Matlab编写的三维荧光分析工具 联合开发网 - pudn.com
weixin_42639633的博客
03-23 1390
DOMFluor所属分类：matlab例程开发工具：matlab文件大小：13279KB下载次数：23上传日期：2018-06-27 22:04:26上 传 者：爱发呆的神音说明：用Matlab编写的三维荧光分析工具，可以导入、浏览荧光数据，自动进行平行因子分析，并确定荧光组分。(The DOMFLOUR toolbox (decomposition routines for Excitati...
matlab平行因子_三维荧光光谱的平行因子分析—可溶性有机质
weixin_31703351的博客
01-04 3626
平行因子分析，是利用三维荧光光谱仪，对物质进行三维荧光分析，多用于环境科学，分析化学，生命科学多个领域，优点也很明显，不破坏物质，直接对物质进行荧光扫描之后的分析，计算指数，平行因子分析，一般多与紫外分光光度计测定的荧光响应强度一起用，用来表征物质结构，解谱数据小白同学也分为两类，第一种对matlab有熟悉的同学可以直接根据DOMFlour，用help命令工具箱进行分析，也很快就能掌握第二种是对m...
三维荧光平行因子学习记录--（二）荧光区域积分（FRI）
热门推荐
qq_22658373的博客
04-22 1万+
三维荧光平行因子学习记录–（二）荧光区域积分（FRI） 注：本文仅作为自己的学习记录以备以后复习查阅 所有步骤和代码参考知乎上两位大佬在这里po一下他们的主页： https://www.zhihu.com/people/uby-23 https://www.zhihu.com/people/ihy-38-65 有兴趣学习三维荧光相关数据处理和分析的可以去看看他们的文章。 前言 荧光区域积分最早是在《2003 Fluorescence Excitation-Emission Matrix Regional
平行因子-三维荧光-PARAFAC-drEEM 0.6
xiange5709的博客
02-19 5090
drEEM 0.6版本v1.0 基于最近的这篇文章A simple method to isolate fluorescence spectra from small dissolved organic matter datasets中的数据，用drEEM工具箱进行分析，有不正确的地方恳请各位老师同学批评指正。 持续更新网址 语雀：语雀drEEM0.6版本 知乎专栏：有机物一些分析 数据：A simple method to isolate fluorescence spectra from small d
平行因子-三维荧光-PARAFAC数据前处理
xiange5709的博客
02-19 7881
PARAFAC - drEEM数据前处理 数据前处理可能是耗时最长的是个一个过程，上一个专题我写到数据的前处理大概占我们平时数据处理的80%以上的时间，这个一点都不假，一定腰有耐心，慢慢来别着急，处理一次就处理好，这是后面数据分析的基础。 持续更新网址 语雀：语雀drEEM0.6版本 知乎专栏：有机物一些分析 还是使用上次的文章的数据，这次用rawdata来做。 数据：A simple method to isolate fluorescence spectra from small dissolved o
三维荧光平行因子学习记录--（一）DOMfluor工具箱的数据导入
qq_22658373的博客
04-18 6829
三维荧光平行因子学习记录–（一）DOMfluor工具箱的数据导入 注：本文仅作为自己的学习记录以备以后复习查阅 所有步骤和代码参考知乎上一位大佬在这里po一下他的主页： https://www.zhihu.com/people/uby-23 大家对平行因子分析有兴趣的可以去看看他的文章 一、数据整理 在做三维荧光分析的时候数据整理很重要，不同的仪器会有输出不同的数据，有的仪器数据特别多，包括了一些仪器本身的信息和时间等数据，我实验室使用的是aqualog，这类型号的仪器数据一般是在sample-blank
三维荧光平行因子学习记录--（三）使用DOMfluor工具箱进行平行因子分析--（一）
qq_22658373的博客
05-06 6188
三维荧光平行因子学习记录–（三）使用DOMfluor工具箱进行平行因子分析–（一） 注 本文仅作为自己的学习记录以备以后复习查阅 本文的参考文献： 本文的参考博客链接： https://zhuanlan.zhihu.com/p/407011475 大家对三维荧光数据分析有疑问的或者对平行因子分析感兴趣的可以去看看他的主页。 一、前言 本文讲分为两个大模块来展示DOMfluor工具箱的使用，第一个部分是用官方提供的数据（PARAFACexample.mat）进行分析，第二个部分使用我们自己的数据集进行分析
三维荧光平行因子学习记录--（三）使用DOMfluor工具箱进行平行因子分析--（二）
qq_22658373的博客
05-06 9620
三维荧光平行因子学习记录–（三）使用DOMfluor工具箱进行平行因子分析–（二） 注 本文仅作为自己的学习记录以备以后复习查阅 本文的参考文献： 本文的参考博客链接： https://zhuanlan.zhihu.com/p/407011475 大家对三维荧光数据分析有疑问的或者对平行因子分析感兴趣的可以去看看他的主页。 话不多说，上一篇我们用工具箱自带的数据集对平行因子分析的过程进行了初步的了解，这篇文章将记录如何对自己的数据集进行平行因子分析，数据集的制作参考我的另一篇文章，这里默认大家已经都做好
三维荧光平行因子学习记录--（四）平行因子组件导出--（一）
qq_22658373的博客
07-06 1815
在上一篇文章中我们使用DOMFlour工具箱已经导出了组分的excel文件，其中包含每个样品中每个成分的荧光强度以及每个成分的发射和激发载荷
parafacmodeling.rar_parafacmodeling_parafac分析_三维数据分析_三维荧光_平行因子
07-14
平行因子分析，可用于三维荧光分析，用Matlab编写的三维荧光分析工具，可以导入、浏览荧光数据，自动进行平行因子分析，并确定荧光组分。
MATLAB工具箱大全-三维荧光分析工具箱DOMFluor Toolbox v1.7
02-09
MATLAB工具箱大全-三维荧光分析工具箱DOMFluor Toolbox v1.7
三维荧光与高分辨率质谱技术在溶解性有机物结构解析中的研究进展
05-16
三维荧光光谱耦合平行因子分析技术(EEM-PARAFAC)可解析溶解性有机物结构,但目前对PARAFAC拟合组分的性质尚不了解,高分辨率质谱能从分子层级解析溶解性有机物结构;本文总结近年来三维荧光光谱技术(EEM-PARAFAC)及高分辨率质谱技术(FT-ICR-MS)用于溶解性有机物研究进展,介绍了两种技术的表征方法和应用情况,分析了两种技术的发展、联系以及目前面临的问题与挑战。
DOMFluor.rar_DOMFlour toolbox_dreem_fluorescence_三维荧光_平行因子matlab
07-14
用Matlab编写的三维荧光分析工具，可以导入、浏览荧光数据，自动进行平行因子分析，并确定荧光组分。 (The DOMFLOUR toolbox (decomposition routines for Excitation Emission Matrices) has been developed to support and extend the application of PARAFAC to fluorescence Excitation Emission Matrix (EEM) datasets. The toolbox contains numerous MATLAB functions for importing, assembling and exporting datasets, applying spectral corrections, visualising EEMs, detecting sample outliers, and developing and validating PARAFAC models. drEEM uses the embedded N-way toolbox as its PARAFAC engine. )
MATLAB荧光光谱数据处理程序
10-18
MATLAB荧光光谱数据处理程序。根据光谱数据用MATLAB画图（包括三维荧光光谱图、等高线图、激发光谱图、发射光谱图）。最后得出定量测量曲线，回归方程和相关系数。
三维荧光光谱技术及平行因子分析法在绿茶分析及种类鉴别中的应用
02-12
提出了一种绿茶成分分析和种类鉴别的新方法... 通过三维荧光光谱图和等高线光谱图的图谱特征和样品因子投影得分图的分析,证实三维荧光光谱技术和平行因子分析法对绿茶进行成分分析和种类鉴别,是一种高效、精确的方法。
三维荧光光谱结合平行因子及神经网络对清香型白酒的年份鉴别.pdf
09-27
该模型首先使用FLS920全功能型荧光光谱仪测量不同年份白酒的三维荧光光谱数据，然后使用平行因子分析方法将三维矩阵分解成四个主成分对应的浓度得分和激发一发射光谱轮廓图。这些浓度得分作为BP神经网络的输入，建立...
三维荧光平行因子教程
最新发布
12-07
三维荧光平行因子分析是一种用于分析三维荧光数据的方法，可以用于确定荧光组分。以下是一个简单的三维荧光平行因子分析的教程： 1. 准备数据：将三维荧光数据导入Matlab中。 2. 数据预处理：对数据进行预处理，例如去除噪声、背景校正等。 3. 平行因子分析：使用Matlab中的平行因子分析工具进行分析。可以使用parafac函数进行分析，该函数需要输入数据张量和分解的秩。 4. 结果解释：解释分析结果，确定荧光组分。 以下是一个简单的Matlab代码示例，用于进行三维荧光平行因子分析： ```matlab % 导入数据 data = importdata('data.mat'); % 数据预处理 data = preprocess(data); % 平行因子分析 rank = 3; [~, A, ~] = parafac(data, rank); % 结果解释 components = determine_components(A); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值