Systems biology informed deep learning for inferring parameters and hidden dynamics

本文主要是介绍Systems biology informed deep learning for inferring parameters and hidden dynamics，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

作者：Alireza Yazdani1, Lu Lu1, Maziar Raissi2, George Em Karniadakis1
单位：

Division of Applied Mathematics, Brown University, Providence, RI 02912, USA,
Department of Applied Mathematics, University of Colorado, Boulder, CO 80309, USA

1 动机：

在系统集生物反应的数学模型可由带未知参数的ODE描述，使用reliable and robust的算法进行参数推断以及解的预测是系统生物学中的关键核心

2 主要研究内容：

提出a new systems-biology-informed deep learning algorithm，该算法能够融合ODE到神经网络中
使用少量分散和噪声测量，能够对未观察的species、外部的动力学以及未知模型参数的dynamics进行推断
在三种不同的benchmark问题上进行测试

3 问题与方法

3.1 问题定义

$KaTeX parse error: {equation} can be used only in display mode.$ (1)
其中， $\mathbf{x}=\left(x_{1}, x_{2}, \ldots, x_{S}\right)$ 是 $S$ ， $\mathbf{p}=\left(p_{1}, p_{2}, \ldots, p_{K}\right)$ 是模型的 $K$ 个参数，需要被估计。一旦 $p$ 确定，该系统的ODE就能确定。 $\mathbf{y}$ 是 $M$ 个测量信号（带有高斯噪音的数据）。 $\mathbf{h}$ 由实验设计确定，可以为any function，在这假设为线性函数
$\left(\begin{array}{c} y_{1} \\ y_{2} \\ \cdots \\ y_{M} \end{array}\right)=\left(\begin{array}{c} x_{s_{1}} \\ x_{s_{2}} \\ \cdots \\ x_{s_{M}} \end{array}\right)+\left(\begin{array}{c} \epsilon_{s_{1}} \\ \epsilon_{s_{2}} \\ \cdots \\ \epsilon_{s_{M}} \end{array}\right)$ （2）

3.2 Systems-informed neural networks and parameter inference

![image.png](https://img-blog.csdnimg.cn/img_convert/eadcfac9abb0b3c4c3e6589ed0731c2b.png#align=left&display=inline&height=379&margin=[object Object]&name=image.png&originHeight=758&originWidth=1523&size=222031&status=done&style=none&width=761.5)
$KaTeX parse error: {equation} can be used only in display mode.$ （3）
$\mathcal{L}^{d a t a}(\boldsymbol{\theta})=\sum_{m=1}^{M} w_{m}^{d a t a} \mathcal{L}_{m}^{d a t a}=\sum_{m=1}^{M} w_{m}^{d a t a}\left[\frac{1}{N^{d a t a}} \sum_{n=1}^{N^{d a t a}}\left(y_{m}\left(t_{n}\right)-\hat{x}_{s_{m}}\left(t_{n} ; \boldsymbol{\theta}\right)\right)^{2}\right]$ （4）
$\mathcal{L}^{o d e}(\boldsymbol{\theta}, \mathbf{p})=\sum_{s=1}^{S} w_{s}^{o d e} \mathcal{L}_{s}^{o d e}=\sum_{s=1}^{S} w_{s}^{o d e}\left[\frac{1}{N^{o d e}} \sum_{n=1}^{N^{o d e}}\left(\left.\frac{d \hat{x}_{s}}{d t}\right|_{\tau_{n}}-f_{s}\left(\hat{x}_{s}\left(\tau_{n} ; \boldsymbol{\theta}\right), \tau_{n} ; \mathbf{p}\right)\right)^{2}\right]$ （5）
$\mathcal{L}^{a u x}(\boldsymbol{\theta})=\sum_{s=1}^{S} w_{s}^{a u x} \mathcal{L}_{s}^{a u x}=\sum_{s=1}^{S} w_{s}^{a u x} \frac{\left(x_{s}\left(T_{0}\right)-\hat{x}_{s}\left(T_{0} ; \boldsymbol{\theta}\right)\right)^{2}+\left(x_{s}\left(T_{1}\right)-\hat{x}_{s}\left(T_{1} ; \boldsymbol{\theta}\right)\right)^{2}}{2}$ （6）
前两项为data loss、ODE loss，最后一项为auxiliary loss，是系统的额外信息，包含两个时间点 $T_{0}$ 和 $T_{1}$ ，第一项与第三项属于监督loss，第二项为无监督loss。

在（4-6）中系数 $M + 2 S$ 个损失项，在这篇论文中，手动选择权重系数，使得加权的损失在网络训练中保持相同的数量级（待理解，为什么要一样数据集，是有什么特性吗）
对于第一项 $t_{1}, t_{2}, \ldots, t_{N^{d a t a}}$ ，随机采时间点；对于ODE loss中的time instant $\tau_{1}, \tau_{2}, \ldots, \tau_{N^{o d} e}$ 在一个等距离的网格中选择；第****三项 $T_{0}$ 为初值点， $T_{1}$ 可以在训练时间链上选择任意时间（但是不要离 $T_{0}$ 太近）

4 Analysis of system’s identifiability

在systems identification problems中，主要有两类identifiability，structural和practical。结构不可识别性由于 $y$ 解的冗余参数化，这是由于观测数据 $y$ 到 $x$ 的insufficient的映射 $\mathbf{h}$ 由于实验数据被忽视，出现了practical非识别性
结构上的可识别参数也可能是practical非识别性。practical非识别性与测量数据数量与质量有关，在一个无限的置信区间显示。