您的位置:首页>AI>

人工智能使用深度学习将2D图像转换为3D

加利福尼亚大学洛杉矶分校的一个研究小组设计了一种扩展荧光显微镜功能的技术,该技术使科学家能够使用在特殊照明下发光的染料精确标记活细胞和组织的各个部分。研究人员利用人工智能将二维图像转换成虚拟三维切片的堆栈,这些三维切片显示了生物体内的活动。

在2019年11月4日发表于《自然方法》上的一项研究中,科学家们还报告说,他们的名为“ Deep-Z”的框架能够修复图像中的错误或像差,例如当样品倾斜或弯曲时。此外,他们证明了该系统可以从一种类型的显微镜拍摄2D图像并虚拟地创建样品的3D图像,就好像它们是由另一台更高级的显微镜获得的一样。

“这是一种非常强大的新方法,通过深度学习,可以对活体标本进行3D成像,同时使对样品的毒性最小的光暴露最少,”加州大学洛杉矶分校校长电气和计算机学教授Aydogan Ozcan说加州大学洛杉矶分校加州纳米系统研究所的工程和副主任。

除了使标本免受潜在的有害剂量照射外,该系统还可以为生物学家和生命科学研究人员提供一种新的3D成像工具,该工具比当前方法更简单,更快,更便宜。校正像差的机会可能使研究活生物体的科学家能够从图像中收集数据,否则这些图像将无法使用。研究人员还可以虚拟访问昂贵且复杂的设备。

这项研究建立在Ozcan及其同事开发的较早技术的基础上,该技术使他们能够以超分辨率渲染2D荧光显微镜图像。两种技术都依靠深度学习来提高显微镜技术的水平-使用数据来“训练”神经网络,即受人脑启发的计算机系统。

Deep-Z是使用来自扫描荧光显微镜的实验图像教授的,该图像可以在多个深度聚焦,以实现样品的3D成像。在成千上万的训练运行中,神经网络学习了如何拍摄2D图像并推断出样品中不同深度的准确3D切片。然后,对框架进行了盲目测试-向其提供了并非其训练内容的图像,并且将虚拟图像与从扫描显微镜获得的实际3D切片进行了比较,从而提供了出色的匹配度。

Ozcan和他的同事将Deep-Z应用于秀丽隐杆线虫的图像,秀丽隐杆线虫由于其简单易懂的神经系统而成为神经科学中的常见模型。研究人员将蠕虫的2D电影逐帧转换为3D,从而能够跟踪蠕虫体内单个神经元的活动。从以不同深度拍摄的秀丽隐杆线虫的一或两个2D图像开始,Deep-Z产生了虚拟3D图像,使团队可以识别蠕虫中的单个神经元,与扫描显微镜的3D输出相匹配,但对活生物体。

研究人员还发现,即使仅使用与样品表面完全平行的3D切片训练神经网络,Deep-Z仍可以从样品倾斜或弯曲的2D表面生成3D图像。

UCLA研究生,该出版物的第一作者,作者Yiyi Wu表示:“这一功能实际上非常令人惊讶。”“有了它,您就可以看透曲率或其他复杂的拓扑结构,这对成像非常困难。”

在其他实验中,使用来自两种荧光显微镜的图像对Deep-Z进行了训练:宽视场,它将整个样本暴露在光源下;共聚焦,它使用激光逐部分扫描样品。Ozcan和他的团队表明,他们的框架随后可以使用样品的2D宽视场显微镜图像生成与用共聚焦显微镜拍摄的图像几乎相同的3D图像。

这种转换很有价值,因为与宽视野相比,共聚焦显微镜可以产生更清晰,对比度更高的图像。另一方面,宽视野显微镜以较少的费用和较少的技术要求捕获图像。

“这是一个通常适用于各种成对显微镜的平台,而不仅仅是宽视野到共焦的转换,”第一作者,加州大学洛杉矶分校电气与计算机工程学助理教授Yair Rivenson说。每个显微镜都有自己的优点和缺点。有了这个框架,您可以使用AI以数字方式连接不同类型的显微镜,从而实现两全​​其美。”

免责声明:本文由用户上传,如有侵权请联系删除!