从 HE 形态图像,拓展多通道空间病理信息

产品概述

KRDao 面向 HE 染色与 mIHC 多重染色之间的跨模态图像转换,以 HE 图像所包含的组织形态学信息为基础,学习其与多通道蛋白表达图像之间的关联,生成相应的虚拟染色结果。

平台通过叠合多种生成式染色图像,形成空间病理表型图像,将常规形态学观察拓展至多通道蛋白表达与空间分布信息,为后续研究设计、图像分析和结果验证提供辅助信息。

三类核心能力

已有染色通道的去噪与校正

结合 HE 图像与已有的配对蛋白染色信息,对染色图像中的噪声与表达信息进行校正,同时为其他通道的预测提供参考。

缺失染色通道填补

在已有部分多通道染色数据的情况下,结合 HE 形态信息与可用通道之间的关联,推断缺失通道并生成对应的虚拟染色图像。

基于 HE 图像的从头预测

在没有配套蛋白染色通道输入的情况下,从 HE 图像中提取形态特征,推断目标蛋白表达并生成虚拟单通道或多重染色图像。

技术基础

Diffusion Model + Flow Matching

融合扩散模型与 Flow Matching 生成建模方法,开展 HE 与多通道染色图像之间的跨模态学习与生成,兼顾图像细节表现和生成过程的稳定性。

细胞级对齐的配对训练数据

以同一切片的 HE 与多通道染色配对图像为训练基础,在细胞级精度上对齐组织结构与染色信息,减少配准偏差对模型学习的影响。

HE 形态信息嵌入

深度提取 HE 图像的组织与细胞形态特征,并与多通道染色图像信息共同建模,学习形态结构与蛋白表达空间之间的关联。

从输入到输出

  1. 输入:HE 数字病理图像;根据具体任务,可选配同片多通道染色数据。
  2. 特征提取:提取组织与细胞形态信息,建立对应的图像特征表达。
  3. 生成与优化:执行目标通道预测、已有通道去噪校正或缺失通道填补。
  4. 输出:虚拟单通道染色图像、虚拟 mIHC 多重染色图像及叠合后的空间病理表型图像。

研究与应用价值

KRDao 将常规 HE 图像与多通道染色信息连接起来,支持探索组织形态、蛋白表达和细胞空间分布之间的关系。其生成结果可用于空间病理图像研究、目标通道探索及多模态图像分析,并为后续实验验证提供参考。