In Transformer model, only these layer types are involved in the deep learning/containing trainable parameters, and (3) with activation functions: (1). Word Embedding Layer; (2). Weighted matrices for K, V, Q; (3). Feed Forward Layer or Fully Connected Layer. Correct?
Thanks so much! One question to ask: 3.5 Positional Encoding --- where pos is the position and i is the dimension, i is in the range of 1-512, right? If this is true, how to understand PE(pos,2i)? 2i will be in the range of 2-1024? Thanks
太棒了，很喜欢精读论文系列
感谢大佬，真的是深入浅出！支持老师出更多视频！
讲的非常清楚，非常感谢老师的讲解！！❤
万分感谢! 期待您更多的作品
解释得非常好，Thanks
谢谢大佬的讲解，详细易懂～感谢感谢！
謝謝大佬 深入淺出又補充了不少相關知識 真的是造福後進
讲的太好了！ 非常适合我这样的小白学习。
理解透彻，讲解深入浅出，还肯花时间录制视频，收下我的膝盖
真有耐心啊，谢谢主播分享
Thank you very much for you work, Dr. Li!
最近刚好在学transformers有点疑惑 老师讲得非常清晰 问题迎刃而解 感谢！
非常感谢您的分享！
讲的太好了老师，谢谢！
你的解說讓我的眼界更進一步了…
讲得真好，我反复读了好多遍了听你讲还能温故知新太棒了！谢谢李老师！
老師太神了
感谢分享 层层深入
老师讲的太好了！深入浅出！
感谢大佬的分享，非常的浅显易懂，能够很好的将以往的技术和论文中的架构设计结合起来去讲解，让听众能够明白为什么这样设计，以前是怎么设计，以前和现在的设计各自的优点和缺点是什么，视频中还有许多很直观的比喻，之前看原文真实看的一头雾水、不体系，正式因为看到一小段就需要去深入挖掘一些额外的知识才能继续阅读，这可能也是信息密度高的文章比较晦涩难懂的原因，还好有您的视频才让更多对AI、对模型感兴趣的人能够更好的学习这个领域的知识，感谢~^_^
聽了好幾遍，講得實在太好了！
Very impressive! Thank you!
太棒了 受益匪浅
讲的是真的好
谢谢，讲得清晰明了
受益良多，期待更多分享。
感谢大神无私分享，拜谢~！
讲的太好了。 我 AI 完全不懂， 都可以理解你讲的。 感谢！
真的太好了 宝藏频道
谢谢老师，感谢大佬带我入门Transformer
感谢分享！
In Transformer model, only these layer types are involved in the deep learning/containing trainable parameters, and (3) with activation functions: (1). Word Embedding Layer; (2). Weighted matrices for K, V, Q; (3). Feed Forward Layer or Fully Connected Layer. Correct?
感谢老师分享
讲的太棒了！！必须点赞
非常赞，讲得很清楚
lz讲得真好，视频做得也很上心！一部视频tshirt换了好几次
感谢，多年之后回来看还是有所收获。
讲得好细啊！超棒！
膜拜大神，认真学习！
哇，竟然有一个半小时的全程字幕。辛苦了。
谢谢 很有裨益
非常有用,感謝大老
大神讲的真是浅显易懂，切中要害，听了那么多版本的attenion，就您这版最好理解。感觉自己听懂了，明白了。非常感谢您的分享。
李宏毅的更细节一些。
在encoder中的自注意力可以计算所有的score（Q*K),encode中的mask是为了防止对输入序列中padding的数据计算分数。 在decoder中mask是为了屏蔽“未来“的数据。
Thanks for detail explanation
宝藏博主！谢谢您的分享。想跟着博主学习更多ML的知识。
视频真的非常好
讲的真好
感谢大佬！
太感谢啦！
真的不错！大神就是大神！
講的太好了，痛哭流涕啊
感谢~~
感謝
感謝！
再来看李老师的讲解，终于看懂了（差不多）
谢谢老师，很有价值的分享。褒奖的褒，念Bao（同保）。
非常棒！没有完全听懂，因为不是搞AI计算的，但是几十年前搞过并行算法的科学计算，很多东西是类比的。还是很有收获。大概需要多看几遍
感谢🙏
感谢！
谢谢，老师，太帅了
未看先感谢沐神~
多谢！
大神❤
厉害！
非常好，大学没有这么好的课程。沐神，身体健康
你在黑你大学的教学质量哈哈
一輪簽! 謝謝大大，讓我知識完備很多
感谢大佬
Fully connected可以說是transformer的一種特殊型嗎?
大佬您為何那麼晚才讓我看到您的影片 太感激了
1:18:30 左右，label smoothing应该是讲反了？应该是正确的category减0.1， 然后其他category+原来正确的category分这0.1吧？
辛苦辛苦
在LLM大规模发展应用的今天再回头来看这个，感叹核心技术对行业发展的强大推动力，还有就是大道至简
感谢！！ 之前有一个点一直理解错了😂🤣
想了解它的Embedding層是如何將詞轉換成512維度的向量的，網路上查Embedding似乎有很多做法，不清楚Transformer論文中的是哪一種?
thanks!
感谢沐神的讲解! 请问沐神接下来有计划讲解一下Chelsea Finn的MAML吗？也想听一下沐神对于meta-learning的看法
而且为什么好像MAML有点停滞不前了？
@@alphaprofold5707 Hello, MAML个人觉得在原本few-shot learning的领域上表现的一般，反而可能会在federated learning上有所发挥。具体MAML和meta-learning的 发展我也没follow up了之前感兴趣的时候看了看
太牛逼了！！！
了不起的成就與貢獻❤❤❤😂😂😂
Repect！ 感恩大佬
Very good
Thanks so much! One question to ask: 3.5 Positional Encoding --- where pos is the position and i is the dimension, i is in the range of 1-512, right? If this is true, how to understand PE(pos,2i)? 2i will be in the range of 2-1024? Thanks
i is in the range of 0 - 256.
Thanks.
局外人发言。不小心搜到这个视频。视频看了一大半，觉得博主讲得好，心想这人一定自己懂很多，纳闷他会是哪个大学的计算机老师。原来是传说中的人物:)
太好了, 反复看!!!!
加油
So strong
请问能否用信息论的方式讲下Transformer，比如，信息如何从word embedding开始，逐步提炼浓缩到最后一层layer的过程
目前全网最优论文“解毒”保姆，小白这里佩服你。
沐神阔以讲解下对比学习，无监督自监督类的文章吗？
太清楚了，谢谢，能问一下数据训练是在哪个阶段做的？
7:49, 想问下GBT是什么？是Gradient Boosted Trees吗？还是说应是GPT？
沐神，读论文一般用什么设备什么软件啊？
你好，想问一下，你的手写的 笔 是什么设备呀？
非常好! 唯一有一点没讲太清楚的时候就是训练和预测的时候outputs sequence是具体怎么用的
这个视频还有前两集，它们在visualize上做得挺好的。
论文讲解这类题材很新颖，果断订阅点赞。
大神
Mu神 厉害
对于支持attention的专用硬件来说把mask一同作为输入就可以跳过很大一部分无用的乘加了
33:40处，绿色的权重应该只与自身高度相关，与中间的向量应该不一定相关。