用聪明的方式学习Vim

在 React 中，至少从 2019 年开始，我们一般会通过一系列 Hooks 处理状态。你可能以前没接触过这种概念，一开始它看起来可能有点奇怪。它的工作机制基本上是这个样子：

假设我们要创建一个待办事项列表，我们可能需要创建一个名为 list 的变量，它可能需要接收一个由字符串或对象组成的数组（比如说给每个 todo 字符串一个 ID 或其他一些东西）。我们需要写的代码是const [list, setList] = useState([])。这里我们用的就是 React 里面的 Hook，称为 useState。它本质上是让我们能够在组件中保留局部状态。

另外，你可能已经注意到我们在 useState() 内部传入了一个空数组 []。放在其中的是我们希望 list 最初设置的内容，这里我们希望是一个空数组。但从上图可以看到，我们在数组内传入了一些数据，这些数据最后成了 list 的初始化数据。想知道 setList 是做什么的？稍后会进一步说明！

在 Vue 中，通常会将组件的所有突变数据放置在一个 setup() 函数内，该函数返回一个对象，其中包含要公开的数据和函数（就是那些你要在应用中使用的东西）。你会注意到，应用中的每个状态数据（也就是我们希望能够突变的数据）都包装在一个 ref() 函数内部。这个 ref() 函数是我们从 Vue 导入的，可让我们的应用在这些数据更改 / 更新时完成更新。简而言之，如果你想在 Vue 中创建突变数据，请为 ref() 函数分配一个变量，并在其中放入默认数据。

 

自然界中的进化过程可以被认为是元学习的一种极端形式。在自然进化中，自然界会为了动物去寻找一个含有潜在学习算法的、极其不受限制的空间。（当然，从本质上讲，智能体的生理状况也会发生改变。）在机器人生命周期内，对内部优化问题的处理越灵活，越需要更多用于提高鲁棒性的资源，包括系统设计阶段的示例环境、在线学习的性能不佳的机器人，以及在两个阶段运行的计算容量。

这时候，我们又回到最初的问题：标准的强化学习方法不会被采用，因为尽管它是一种通用的学习方法，但它需要大量的在线学习经验。然而，元强化学习（meta-RL）需要丰富的系统设计经验，这可能会使开发过程变得迟钝、缓慢而花费高昂。因此，也许元学习也不是一个好的解决方法。

那还有什么解决方法呢？有很多方向可以探索，包括人类教学、与其他机器人协作学习，以及更改机器人的硬件和软件。在所有这些情况下，关键的一步还是设计出有效的方法来开发机器人软件。通过运用从计算机科学和工程学中所获得的见识以及认知神经科学的启发，我们可以找到能够内置到学习智能体中的算法和结构，并提供在系统设计阶段和在线学习算法和结构的杠杆。

卷积神经网络的发展是上述方法的典型例子。卷积神经网络的理念是设计出一种用于图像处理的神经网络，以使其执行“卷积”，即在整个图像上使用相同的计算模式对图像块进行局部处理。这个设计同时对先验知识进行了编码。在此处，先验知识指的是无论物体处于图像中的什么位置，物体都具有基本相同的外观（平移不变性），以及接近的像素组共享图像内容的信息（空间局部性）。与没有卷积结构的情况相比，以这种方式训练一个神经网络意味着需要的参数数量更少，因此训练次数也相应减少。

图像卷积的点子由工程师和自然启发，是早期信号处理和计算机视觉的基础概念。一直以来，人们都认为，哺乳动物视觉皮层中的细胞似乎也在执行类似的计算。

3. 总结

由此可见，发现更多能为机器人学习提供实质性的杠杆作用、又不会阻止机器人进行一般智能行为的基本结构或算法约束，比如卷积，是非常重要的一步。雷锋网

现在也有一些不错的解决方法，比如说：一，用有行动效应的“心理模型”来进行某种形式的正向搜索，类似于规划或推理；二，学习并表示从单个对象中提取、但可以广泛应用的知识，比如，对所有的A和B而言，如果A在B之上，移动B时，A可能也会移动；三，对三维空间进行推理，包括在三维空间内规划和执行动作、将三维空间作为存储的组织原理。雷锋网

此外，我们也许还需要更多可能有效的原理，也需要解决许多其他问题，包括如何开发能同时在系统设计阶段和在线进行训练的基础设施，还有帮助人类明确奖励和维系安全的方法。综合考虑工程原理、生物学灵感、系统设计阶段学习以及最终的在线学习，人类最终才有可能打造出类人的智能机器人。

（编辑：长春站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!