#如何评价 Character.AI 的魔改 attention？#

大家好，今日关于【如何评价 Character.AI 的魔改 attention？】的话题登上了各大平台的热搜榜，受到全网的关注度非常高，那么【如何评价 Character.AI 的魔改 attention？】具体是什么情况呢，大家可以一起来看看具体都是怎么回事吧。基本情况讲解来了！

1、Character.AI 最近发了个技术报告，说为了实现高输出，低延迟，长文本的推理，他们对模型架构做了以下更改：Multi-Query Attention：只使用一个 key 给所有 query 用 hybrid 架构：有的层有全局 attention，有的只有局部 attentionhierarchal cache：他们将 kv cache 存到离显卡很近的 memory 里

2、在推理时用一个模型判断哪些 kv 会比较重要，再临时去 retrieve 搬到 GPU 里

3、 问题在于，除了 3 大家不了解外

4、#如何评价 Character.AI 的魔改 attention？# 2024-06-25的搜索趋势

5、以上就是关于【如何评价 Character.AI 的魔改 attention？】话题热搜的相关信息，希望对大家有所帮助哈！