|
- 神经正切核 (ntk)的进展如何，好像热度不高了? - 知乎
我对神经正切核的理论进展了解不多，只是看过维基的程度，理论上的进展确实可能热度没那么高了，毕竟像NTK这样的大突破不是天天有。 但是在应用方面，我认为它的热度依然很高。目前很多Transformer架构的大语言模型使用了RoPE这种位置编码，而如何将大语言模型的上下文扩展到更长以充分利用
- RoPE外推优化——支持192K上下文长度 - 知乎
dynamic ntk 是基于前面的 ntk 做了改进，ntk base 放大的系数是固定的，随着推理上下文的增长，我们可以通过动态放大 base，让 RoPE 不断适应新的上下文长度，如公式（3）所示，这就是 dynamic ntk。
- 再论大模型位置编码及其外推性（万字长文） - 知乎
所以，提出者基于NTK相关结果的直觉，推导了NTK-aware Scaled RoPE。 假设要扩大k倍范围表示，根据NTK-Aware Scaled RoPE，高频外推、低频内插。 具体来说，公式（17）最低频是 ，引入参数 变为 ，让他与内插一致，即： 那么得到 。
- 深度学习理论研究之路 - 知乎
继Neural Tangent Kernel (NTK)之后，深度学习理论出现了一个理论分支，人们常常称它为feature learning (theory)。 不同于NTK，feature learning认为神经网络在梯度下降过程中可以学习到数据中的feature或者signal。
- 十分钟读懂旋转编码（RoPE）
旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer: Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。而目前很火的 LLaMA、GLM 模型也是采用该位置编码方式。
- 黄伟 - 知乎
京 ICP 证 110745 号 · 京 ICP 备 13052560 号 - 1 · 京公网安备 11010802020088 号 · 互联网新闻信息服务许可证：11220250001 · 京网文 [2022]2674-081 号 · 药品医疗器械网络信息服务备案（京）网药械信息备字（2022）第00334号 · 广播电视节目制作经营许可证:（京）字第06591号 · 互联网宗教信息服务许可证：京（2022
- 蓝屏报错ntkrnlmp. exe怎么解决？ - 知乎
分析结束后，在信息中查找“PROCESS_NAME”、“MODULE_NAME” 、 “IMAGE_NAME”和”FAILURE BUCKET_ID“，查看具体错误原因后进行针对性修复。 常见的修复方案有以下几种： 方案一：通过官方渠道更新或者重新安装电脑所有主要硬件 (包括 BIOS、独立和核心显卡、有线和无线网卡、声卡、SATA AHCI等) 的驱动程序
- 300NTK-213女主是谁啊? - 知乎
没记错的话313的是鹰宫唯，213的是金城梨花
|
|
|