|
- 在计算机领域token有多少种意思? - 知乎
在计算机科学中，Token是一个广泛的概念，它通常是指一个代表身份、权限或其他重要信息的令牌。Token的用途与具体实现方式因场景而异，但总体来说，它们都是用于验证或认证的工具，帮助确保通信的安全性。 二、Token的多种含义 1 硬件加密设备Token
- 视觉Transformer中的token具体指什么，如何理解？ - 知乎
token也可以由patch embedding得到（你可以去看看 2022年 CVPR 的 MixFormer ），但是token貌似比patch要小一点，有的地方说token可以理解为一个像素，并且包含该像素点的位置和类别信息，总的来说就是和patch类似，但是比patch的尺寸小，包含的信息多一点。个人理解哈~
- Token是什么？和session、cookie相比，使用场景有什么区别？
1 什么是token token的意思是“令牌”，是用户身份的验证方式，最简单的token组成:uid(用户唯一的身份标识)、time(当前时间的时间戳)、sign(签名，由token的前几位+盐以哈希算法压缩成一定长的十六进制字符串，可以防止恶意第三方拼接token请求服务器)。
- 用transformer做视觉，具体是怎么把图片转成token的？ - 知乎
这些图像的token意义上等价于文本的token，都是原来信息的序列表示。不同的是，文本的token是通过分词算法分到的subword，这些subword会被映射到字典的index；也就是说，文本的token是一个数字。而图像的一个token（patch）是一个 16\times16\times3 的矩阵。那么现在问题
- NLP领域中的token和tokenization到底指的是什么？ - 知乎
Tokenization（分词） 在自然语言处理(NLP)的任务中是最基本的一步，把文本内容处理为最小基本单元即token(标记，令牌，词元，没有准确的翻译)用于后续的处理，如何把文本处理成token呢？
- 在中文 NLP 等论文中，应该如何翻译 token 这个词？ - 知乎
在NLP里面，A token is a string of contiguous characters between two spaces, or between a space and punctuation marks A token can also be an integer, real, or a number with a colon (time, for example: 2:00) 也就是说token最直接的翻译是一个"连续字符片段"，但是这个名字略显拗口，简化一下就叫“连串“。
- Deekseek r1本地部署，14b和32b最小需要多大显存吗？ - 知乎
如题，本地部署的话，14b的用16g显存显卡能用gpu跑吗，32b的用32g显存显卡能用gpu跑吗？
- 求问deepseek出现这种情况怎么办啊？ - 知乎
至于具体解释，得看这几个参数，DeepSeek R1的上下文长度为64K，意味着一轮对话最多能包含64K的token。 然后一个中文字符占0 6token。 64000 0 6 约等于 10 6万个中文字符。
|
|
|