2018年11月12日，美国德克萨斯大学奥斯汀分校Chandrajit Bajaj教授来访北京大学前沿计算研究中心，在静园五院做了题为“Making the Invisible, Visible”的学术报告。报告由中心执行主任陈宝权老师主持，听众来自于北京大学信息科学技术学院、数学科学学院，以及北京电影学院等院系和单位。

　　“你能看出图中哪盆花是假的？”

　　“OK，第三盆。”

　　第三盆塑料植物看起来比其余几盆反射更多光线，稍有不同，但是要说它不是植物，却非显而易见。通过红外线成像，可以清楚看见第三盆植物十分暗淡，与其他三盆视觉上差异明显。所以，可以使用红外线等其他非可见光，使看不见的变得可见。

　　跨越多个波段的光谱图像，可以揭示许多在可见光下看不见的，或者区分不明显的物体，根本原因是不同材质物体对不同波段光的辐射程度不同。如果以波长为横轴，辐射大小为纵轴，可以绘制出连续的光谱曲线。

　　超光谱图像（hyperspectral image）就是在光谱域内密集采样多个波段图像叠加而成的三维图像，每个波段代表图像的一个通道。每个像素表示的向量逼近连续光谱曲线。

　　超光谱图像有很多应用，比如医学可视化和基于影像的医学诊断、地质探测和宇宙观测等。本次报告，Bajaj教授重点介绍了医学超光谱影像的处理与分析工作。

　　目前医学活检（biospy）的一般方法是利用高倍显微镜呈现病变组织切片，医生根据细胞及其周围结构判断是恶性或者良性。为了使细胞及其边缘更加清晰，需要进行特殊“染色”（stained），常见的有H&E和Eber 染色，以及利用显色剂对特殊抗原定位（免疫组化）。生成这些影像代价高，而且医生需要花很多时间来进行病变区域的定量统计。

　　超光谱图像提供了另外一个视角，可以不经染色，就可以收集到病理学分析需要的数据。这里使用的超光谱图像是经傅里叶变换后的红外光图像（FTIR）。根本思想是从超光谱图像中发现能表示恶性或良性组织的模式（pattern），与从染色的显微镜图像分析得到的结果一致。

　　但是超光谱图像为三维体数据，没有二维图像直观，且病变模式表示更为复杂，需要针对具体应用问题选择合适的通道（波段）。从复杂非结构化的数据中发掘主要信息，可视化数据的内在逻辑关系，使数据分析更加直观容易，是本报告“making invisible, visible”另一层面的意思。

　　最常见的有PCA分析，将图像像素展开为行向量，列向为每个像素的光谱，构建协相关矩阵进而提取主元，主元第一分量集中了最多信息，其他分量信息量依次减少。降维后的光谱图像表达更简洁，特征更清晰，与染色图像更接近。

　　与PCA方法思想类似，在三维医学影像上更多使用的MNF方法除了能自动选择主要通道外，对噪声也更鲁棒。随后，Bajaj教授介绍了不同来源的数据的匹配融合，通过对医学FTIR影像和染色影像联合分析，构建病例数据库，方便疾病查询、分类和统计。

　　除医学方面，Bajaj教授还介绍了多光谱数据的匹配融合在星系观测上的应用。

星系可见光和红外光的图像合成

　　最后，Bajaj教授跟大家分享了他多个有趣的项目经验，涉及到科学数据可视化、虚拟现实及影视体验。报告在严肃又活泼的互动下结束。