Juan Benet|2025年10月26日 12:51
嘿@hive_echo,这很酷。喜欢UI来观察学习过程。
如果你将输入时钟周期与学习和输出周期解耦,你能得到学习吗?
思想链LLM黑客是一种在整个变压器周围添加递归的粗略方法,但我敢打赌,我们会找到非常成功的方法,在网络中添加类似大脑的递归,由内部过程(激活子网/子程序的逻辑门)介导。
有一个完整的大脑时钟周期,所以你可以保持它,但输入、处理、学习、思考、决定行动的信号都可能在大脑中的单独循环/程序上运行,而不是一个大循环。
您可以在网络中测试这一点,方法是在“单独”的循环中运行输出采样,或者在隐藏层和输出层之间添加一个结构,增加一些异步性。
也许在视觉分类器中实现这一点的一种方法是添加一个“主动聚焦”意图:
-构建一个“聚焦”输入的结构(大部分输入层是低分辨率/无色的(如眼睛边缘),部分输入范围是聚焦的(更高分辨率,彩色)。
-在隐藏层和输出层之间添加一个结构,在整个输入中“移动”聚焦场(如移动眼睛、将视觉聚焦在物体上)
-添加一个结构,根据置信度增加到某个阈值以上,“环顾四周,然后决定何时输出”(这就是“添加程序分离”)
-学习过程必须学会“正确使用眼睛”来提取信号并传递
-训练集必须有在不集中注意力的情况下不可能(或很难)区分的例子。(文本在低分辨率下太模糊)
为什么这很重要:
我认为,目前在整个网络中进行单次传递的深度学习方法将比内部的反馈循环结构效率低得多。我们使用单程的原因是因为反向传播。但大脑只使用具有局部学习规则的尖峰神经元。
受大脑启发的人工智能研究的一个分支问我们是否可以在尖峰神经元上进行反向传播。另一个问题是“我们能否足够接近反向传播,但在其他方面做得更好?”——对我来说,最大的优势一直是解耦子网络和实现深度循环——真正的思考。
大多数高阶动物在行动前都有非常清晰的思维和思考停顿,在学习和决定如何行动时对感觉和运动系统有积极的控制。更不用说人类停下来思考了。
不管怎样,我认为你可以做到这一点,如果你让它运行良好,你可能会开启一个新的生物启发深度学习范式!黑客快乐!
cc@EscolaSean70058@countzerozzz@davidad
分享至:
脈絡
熱門快訊
APP下載
X
Telegram
複製鏈接