加入收藏 | 设为首页 | 会员中心 | 我要投稿 长春站长网 (https://www.0431zz.com.cn/)- 媒体智能、开发者工具、运维、低代码、办公协同!
当前位置: 首页 > 站长资讯 > 动态 > 正文

5G、云、AI将加速VR在商用领域的落地进程

发布时间:2021-01-29 15:59:22 所属栏目:动态 来源:互联网
导读:要记住的一件事是,我们要查找的四个一阶导数数组的形状必须与我们要更新的参数相同。例如,阵列dL / dW_h的形状必须与权重阵列W_h相同。上标T表示矩阵已转置。 我们一直追溯到线性层的参数。因为我们将隐藏状态数组重塑为线性向量,所以我们应将dL / dH ^ t

要记住的一件事是,我们要查找的四个一阶导数数组的形状必须与我们要更新的参数相同。例如,阵列dL / dW_h的形状必须与权重阵列W_h相同。上标T表示矩阵已转置。

我们一直追溯到线性层的参数。因为我们将隐藏状态数组重塑为线性向量,所以我们应将dL / dH ^ t重塑为串联的隐藏状态数组的原始形状。目前,它是一个6 x 1的数组,但从循环图层计算得出的隐藏数组的形状是3 x 2。我们还将所有全局输入连接在一起(t = 1、2和3),现在我们可以继续进行反向传递了。
 

您在图片中看到的是两个球从山谷中滚下来。从视觉上看,一阶导数给了我们山坡的大小。如果我们沿W轴增加的方向(从左到右)行进,则对绿色球的倾斜度为负(向下),对于红色球的倾斜度为正(向上)。

仔细阅读下一段,然后根据需要返回到该图。

如果我们希望损失最小,我们希望球到达山谷的最低点。W代表权重和偏差的值,因此,如果我们处于绿色球的位置,我们将减去负导数的一部分(使其为正值)到绿色球的W位置,将其向右移动并减去一部分将红色球的W位置向左移动的正导数(使其变为负数),以使两个球都接近最小值。

从数学上讲,我们有以下内容:
 

如果您不熟悉一阶导数的数学含义,但实际上,当一阶导数为零时,我通常建议您阅读有关梯度下降的文章,这通常意味着我们在系统中找到了一个最小值,并且理想情况下我们将无法进一步改善它。

这里需要注意的一点是:零也可能是最大值,它是不稳定的,不应在那里进行优化,或者是鞍点,其本身也不是很稳定。最小值可以是全局值(函数的最小值)或局部值。这对我的解释并不重要,但是如果您想了解更多信息,可以查找一下!
 

我们可以看到隐藏状态的线性形式以及线性层的权重和偏差矩阵,以及预测值的计算(y hat)。

现在,这是RNN的前向传播,但我们仍然没有看到向后传递。

RNN向后传递

向后传播是训练每个神经网络的非常重要的一步。在此,预测输出和实际值之间的误差朝着神经网络传播,目的是改善权重和偏差,以便每次迭代都能获得更好的预测。

在大多数情况下,此步骤由于其复杂性而被忽略了。在提及重要内容的同时,我将向您提供一个尽可能简单的解释。

向后传递是使用微积分的链法则从损耗到所有权重和偏差参数的一系列推导。这意味着我们最终需要以下值(如果是多维的,则为数组):

 

(编辑:长春站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读