沐神专题

沐神 -- 内存节省

​ 运行一些操作可能会导致为新结果分配内存。例如,我们用 Y=X+Y,我们将取消引用Y指向的张量,而是指向新分配的内存处的张量。 before = id(Y)Y = Y + Xid(Y) == before # 输出是False ​ 这可能是不可取的,原因有两个: 1、首先,我们不想总是不必要地分配内存。在机器学习中,我们可能有数百兆的参数,并且在一秒内多次更新所有参数。通常情况下,我