liangzhh25 最近的时间轴更新 liangzhh25 最近的时间轴更新 |
liangzhh25V2EX 第 662433 号会员，加入于 2023-11-14 17:11:48 +08:00 |
liangzhh25 最近回复了
328 天前 回复了 LeeReamond 创建的主题 › Python › Transformer 是不是缺乏跨维度关系捕捉能力？ |
再补充一点，一般注意力结构后面都会再接个 mlp 或者 ffn ，这里会有通道维度上的全连接，通过多个 attn-mlp 结构，应该是能实现 op 说的跨维度信息捕捉的能力。
328 天前 回复了 LeeReamond 创建的主题 › Python › Transformer 是不是缺乏跨维度关系捕捉能力？ |
发现说的有点不对，transformer 的注意力确实是两个词的 q 和 k 在各自的维度相乘，求和计算得到的，这个注意力本身就有点类似 cv 的空间注意力。也能理解，要是维度之间还要计算相关的话，attention 计算量就要爆炸了。以上是个人理解。
328 天前 回复了 LeeReamond 创建的主题 › Python › Transformer 是不是缺乏跨维度关系捕捉能力？ |
@neopenx 我理解 op 的问题也是你说的那样 hhh
337 天前 回复了 FlyingBackscratc 创建的主题 › 程序员 › 有谁能用大白话简单解释一下相对位置编码是什么意思吗？ |
苏神博客里面 Transformer 升级之路系列里面有好些关于位置编码的文章，推荐看看，我也是刚学的小白。
按我的理解，绝对位置编码是给序列位置相关项，而相对位置编码是在绝对位置编码的推导下使 位置相关项 转化为 相对位置相关项。具体可以看 https://www.kexue.fm/archives/8130 的(3)式和(4)式
按我的理解，绝对位置编码是给序列位置相关项，而相对位置编码是在绝对位置编码的推导下使 位置相关项 转化为 相对位置相关项。具体可以看 https://www.kexue.fm/archives/8130 的(3)式和(4)式
2023-11-15 09:53:58 +08:00 回复了 lijianmin321 创建的主题 › 分享创造 › V 站老哥太热情了， Airy 永久会员加送 9000，凑到 1 万 |
支持支持
Select Language