|
- 一文了解Transformer全貌（图解Transformer）
自2017年Google推出Transformer以来，基于其架构的语言模型便如雨后春笋般涌现，其中Bert、T5等备受瞩目，而近期风靡全球的大模型ChatGPT和LLaMa更是大放异彩。网络上关于Transformer的解析文章非常大，但本文将力求用浅显易懂的语言，为大家深入解析Transformer的技术内核。
- 如何最简单、通俗地理解Transformer？ - 知乎
Transformer最开始应用于NLP领域的机器翻译任务，但是它的通用性很好，除了NLP领域的其他任务，经过变体，还可以用于视觉领域，如ViT（Vision Transformer）。 这些特点让Transformer自2017年发布以来，持续受到关注，基于Transformer的工作和应用层出不穷。
- MoE和transformer有什么区别和联系？ - 知乎
图3：基于Transformer模型中的MoE层示意图 密集激活的MoE（Dense MoE）：密集激活的MoE在每次前向传播时激活所有专家网络，通过门控网络为每个专家分配权重，最终输出为所有专家结果的加权和。
- 如何从浅入深理解 Transformer？ - 知乎
Transformer升级之路：12、无限外推的ReRoPE？ Transformer升级之路：13、逆用Leaky ReRoPE Transformer升级之路：14、当HWFA遇见ReRoPE 预训练一下，Transformer的长序列成绩还能涨不少！ VQ一下Key，Transformer的复杂度就变成线性了 Transformer升级之路：15、Key归一化助力长度外推
- 哪位大神讲解一下Transformer的Decoder的输入输出都是什么？能解释一下每个部分都是什么? - 知乎
Transformer 是大模型，除了一些特例（如 DistilBERT）外，实现更好性能的一般策略是增加模型的大小以及预训练的数据量。 其中，GPT-2 是使用「transformer 解码器模块」构建的，而 BERT 则是通过「transformer 编码器」模块构建的。
- Transformer框架中的add norm中的norm是什么样的归一化？ - 知乎
Transformer中采用的是Layer Normalization（层标准化）方式。 常用的标准化方法有Batch Normalization，Layer Normalization，Group Normalization，Instance Normalization等，这篇笔记将在论文研究的基础上，着重聚焦于前两者。 笔记内容包括： 一、Batch Normalization 1 1 提出背景
- Transformer Spec | Electronics Forum (Circuits, Projects and . . .
The transformer on the oven control stove board identified as: LS-A12119-PT E154515 Z150H CLASS B (130 C) LEI-4 0704 Input voltage (1,4) = 110-120 Vac Output voltages (5,8)= 16 Vac (5,7)= 8Vac
- 为什么Transformer适合做多模态任务？ - 知乎
这个问题其实应该从两个方面回答： 第一个是任务方面，之前的多模态任务是怎么做的，为什么现在大家会转向Transformer做多模态任务？ 在Transformer，特别是 Vision Transformer 出来打破CV和NLP的模型壁垒之前，CV的主要模型是CNN，NLP的主要模型是RNN，那个时代的多模态任务，主要就是通过CNN拿到图像的
|
|
|