本项目源于国家自然科学基金NSFC-浙江两化融合联合基金，题名：生物医学领域中时变流场复杂数据智能处理方法及应用（U1909210），起止时间2020.01—2023.12。研究工作简要总结如下：
在当前信息科技迅猛发展的新形势下，如何通过数字化建模与仿真、机器学习、人工智能、深度学习、大数据融合以及云平台等一系列新兴技术来解决生物医学领域中的难题，成为各级政府及互联网巨头建设智慧生物医学体系的难点和痛点问题。本项目面向“生命健康与智能信息处理”这一重要交叉性问题，展开对时变流场复杂数据的智能分析理论与方法的研究。生物医学领域中时变流场数据的高维数字化表示、仿真，以及相应的人工智能分析诊断、多模态大数据融合问题，是精准医疗和生物医学领域中亟需解决的重要问题。这些问题的研究丰富了精准医疗和生物医学数据处理理论，为医生诊断疾病提供更为合理的决策依据。所涉及的研究内容是高精度数字化建模与仿真、人工智能、计算流体力学、机器学习、计算机视觉和计算机图形学等领域的共性科学问题和核心技术，具有重要需求和广泛应用背景。
众所周知，在生物医学领域中，除了医学图像数据还存在大量的非图像数据，例如生理数据、流场数据动态数据、体数 据等，这类数据一般具有高维度、动态、海量、不规则的特点。其中，许多数据是与流体相关的，比如人类的循环系统、细胞活动等，这类数据统称为时变流场数据。例如心脏内每时每刻都在进行血液流动，而心脏流体运动状态是心脏功能的一种终端表达形式，完全可以根据心脏流体运动的正常与否来进行心脏疾病诊断或者对治疗效果进行评估。相比图像数据而言，时变流场数据对心脏血管疾病具有更重要的参考价值和临床诊断意义。
因此，本项目具体基于生物医学领域的时变流场复杂数据，研究了面向时变流场仿真的高维样条参数化表示与结构化网格生成理论、基于等几何分析技术的时变流场高精度智能仿真方法、时变流场等复杂数据的特征提取与智能融合理论、以及复杂数据高维参数化表示的智能分析理论, 并研发了面向深度学习过程的可视化与可视分析平台，为解决生物医学领域中时变流场复杂数据的智能分析问题提供了新理论和新方法。
（1）针对面向时变流场数据模拟的几何计算基础理论，在高维样条参数化表示与结构化网格生成理论方面，提出了新的高维样条参数化理论及体细分样条模型构造、高质量四边网格生成理论、六面体结构网格简化方法，为时变流场数据提供了重要的几何基础理论。
高维样条参数化表示与结构化网格生成理论在时变流场仿真模拟中起着举足轻重的作用。基于人体特定器官的几何模型信息，构建的一种高质量的计算域高维样条参数化方法，可以使用闭形式的Polycube结构对几何模型进行区域高质量分解及样条参数化拟合，有效避免了退化情况的出现。
本项目基于体细分极限点公式，构建了两种六面体结构网格上的插值Catmull-Clark体细分方法，所构造的极限体自动插值原始六面体网格，并且插值细分体在奇异顶点和奇异边之外的正则区域满足高阶光滑连续性。
高维样条参数化构造与六面体网格简化
（2）针对时变流场高精度智能仿真理论，提出了心脏瓣膜流固耦合问题快速数值求解方法、基于深度学习的时变流场等几何数值求解方法、时变流场超分辨率仿真方法、实时软物体切割模拟方法，为时变流场高效高精度仿真提供了重要的算法理论基础。
项目以心脏瓣膜仿真进行了深入研究。针对现有技术的局限性与不足，提出了一种基于心脏瓣膜流固耦合的等几何分析快速仿真方法。对于流体子问题，先对流体背景网格进行简化，之后使用简化后的网格求解流体速度场和压力。本方法使用了几何无关场近似思想，保持了精度；在瓣膜小叶的结构力学仿真中，使用分片样条曲面表示瓣膜小叶几何模型，为了不引入奇异点，提出了一种新型几何结构进行分片表示，并在求解心脏瓣膜小叶的形变问题中采用浸入几何策略；在耦合流固控制方程上，使用动态增广拉格朗日算法；在时间离散上采用广义匹配方法控制高频耗散。
心脏瓣膜模型NURBS表示及流固耦合仿真结果
提出了一种用于血管时变流场的时间超分辨率仿真新方法，主要利用基于点云表示的流场仿真深度学习框架，将传统计算流体力学方法仿真得到的低时间分辨率时变血管流场转变成高时间分辨率的时变流场，同时针对速度的矢量特征，提出并使用了速度的幅度及方向损失函数。
心血管时变流场超分辨率重建方法
针对现有技术的不足，提出一种基于深度学习的时变流场等几何数值求解方法，主要创新性在于利用等几何分析特性，一种新的面向等几何数值求解的UNet3+神经网络模型，并提出了系数误差和数值解的误差相结合的损失函数，可在其它拓扑一致的复杂几何模型上求解时变流场数值仿真问题，并得到连续光滑的IGA样条数值解。
针对心脏等软器官，提出了一种实时软物体切割模拟方法，将三角网格与四面体网格耦合的表面-体积模型被用作几何模型，能够提供稳定且高效的软物体切割方法，为智能辅助手术模拟器提供关键技术。我们应用人体切片数据为切割表面生成真实纹理，并采用力反馈设备引入触觉效果，进一步增强切割模拟的效果。
实时软物体切割模拟仿真
（3）在复杂高维数据的特征提取与智能融合理论方面，提出了新的血管模型的骨架特征抽取理论、基于质心power图优化的超像素特征提取方法、弱边界敏感的超像素分割方法、基于空间多尺度感知的高维数据关键点提取方法，为实现复杂高维数据的特征自动化智能化提取奠定了理论基础。
针对特征提取中的部分关键问题进行了深入研究。骨架，又称为中轴线、骨架线或脊梁线，是描述物体几何形状的一种数学表示。它可以看作是物体的骨架，具有沿物体长度方向延伸的特点。骨架提取是计算机视觉领域的一项重要技术，用于从图像或三维模型中提取出物体的拓扑结构。它的主要目的是将物体的主要特征提取出来，形成一个简化后的表示，以便干进一步的分析和处理。针对骨架在血管形状表示和形状分析中的重要性，提出了通过对给定形状的对称性行分析来计算骨架，主要利用投影对称性度量来定义骨架的显著性映射，通过计算两个投影点之间沿边界的最大距离来估计该点属于骨架点的显著性。
提出了在尽可能满足边界约束的情况下凸且紧凑的超像素特征提取方法，主要将超像素提取问题转化为一个通过边缘约束质心Power图优化问题，通过重复执行站点位置更新和通过图像特征定义的权值函数操作来优化超像素配置，使得物体形状紧凑，具有更好的边界贴合性。并提出新的弱边界敏感的超像素分割方法，为具有不同特征表示的图像提供了一体化的解决方案。
提出了具有弱特征增强的灰度自调节网络，可用于三维腰椎解剖结构分割。腰椎解剖的自动分割是腰椎疾病诊断的基础性问题。针对高维时变流场中的关键点检测问题，提出了一种新的用于三维关键点显著性估计和对应估计的多任务联合学习网络结构，主要创新点在于设计了一个空间多尺度感知模块，在点云特征提取过程中连接不同尺度的特征地图，并在多任务联合学习过程中，通过投票机制获得三维模型中每个点到关键点的偏移向量。
提出了一系列多模态融合方法。如提出预训练模型特征提取的双对抗磁共振图像融合网络，提出将深度学习和强化学习（RL）相结合的多类型数据融合框架（MSF-DRL），提出基于卷积特征和加权随机游走的个性化标签推荐方法，提出跨模态检索的多模态、多粒度分层语义增强网络。
复杂高维信息特征提取与智能融合分类模型
（4）在适用于高维参数化数据表示的深度学习模型与重建理论方面，提出了新的双流时间卷积网络、基于跨样式一致性以及形状感知和局部上下文约束的半监督医学图像分割方法、基于注意力机制的混合专家系统、自定步调和自一致的协同训练方法、基于预训练模型特征提取的双对抗融合网络以及遮挡感知的三维人体姿态与形状智能重建方法，为实现复杂高维数据的智能分析和重建奠定了理论基础。
提出了双流时间卷积网络（TS-TCNs），主要在于利用血管骨架序列间的时空向量作为网络的输入特征表示，重新设计了在网络深度上具有不同步长的残差块，以提高时间卷积网络（TCNs）对长时间相关动作的处理能力，可集成骨架序列的不同特征表示；提出了基于跨样式一致性以及形状感知和局部上下文约束的半监督医学图像分割方法，基于无形状感知和有形状感知网络思想设计了一个新的半监督分割框架，并融入了一个新颖的损失项，通过网络学习分割的局部上下文，从而提高了预测的整体准确性；针对荧光组织学医学图像中的细胞核和细胞质分割需求，提出了一种基于基于注意力机制的混合专家系统（Att-MoE），通过使用一个门控网络集成多种专家网络，专家网络互补完成门控网络指导下的子任务，可自适应使用多个网络来完成分割任务；引入了注意力门和残差块在专家网络中分块以提高分割精度，在组织学图像上的肿瘤诊断中具有潜在的应用价值；提出了一种自定步调和自一致的协同训练方法以实现半监督智能分割，设计了一种自训练学习策略用于共同训练，通过广义Jensen-Shannon散度（JSD）形式的端到端可微损失，使联合训练的神经网络首先关注更容易分割的区域；提出一种基于预训练模型特征提取的双对抗融合网络实现 MR-T1/MR-T2 图像的融合, 该网络由一个特征提取模块、一个特征融合模块和两个鉴别网络模块组成，在视觉效果和量化指标方面均取得最优表现。
基于骨架的双流时间卷积神经网络的深度学习模型
协同多元医学数据融合分类网络模型与三维人体姿态/形状重建网络模型
本项目在国内外重要期刊和会议上发表标注学术论文共57篇，其中SCI期刊论文51篇（其中中科院TOP期刊论文18篇），国内Top或一级学术期刊6篇，申请/授权发明专利9项，授权软件专著权5项；项目负责人入选浙江省首批高校创新领军人才以及CCF杰出会员；项目组成员2022年获得山东省科技进步二等奖；共培养博士毕业研究生2名，硕士毕业研究生46名，其中获得两篇省级优秀硕士学位论文。
