光动嘴就能玩原神！用AI切换角色，还能攻击敌人，网友：“绫华，使用神里流·霜灭”(3)

在微调和推理中，X-VLM可以利用学习到的多粒度对齐来执行下游的V+L任务，而 无需在输入图像中添加边框注释 。

论文链接：

https://arxiv.org/abs/2111.08276

WeNet是一个面向生产的 端到端语音识别工具包 ，在单个模型中，它引入了统一的两次two-pass (U2) 框架和内置运行时来处理流式和非流式解码模式。

就在今年7月初的时候， WeNet推出2.0版本，并在4个方面进行了更新：

U2++ ：具有双向注意力解码器的统一双通道框架，包括从右到左注意力解码器的未来上下文信息，以提高共享编码器的表示能力和重新评分阶段的性能；

引入了 基于n-gram的语言模型 和 基于WFST的解码器 ，促进了富文本数据在生产场景中的使用；

设计了 统一的上下文偏置框架 ，该框架利用用户特定的上下文为生产提供快速适应能力，并在“有LM”和“无LM”两大场景中提高ASR准确性；

设计了一个 统一的IO 来支持大规模数据进行有效的模型训练。

从结果上看，WeNet 2.0在各种语料库上比原来的WeNet实现了高达 10% 的相对识别性能提升。

论文链接：

https://arxiv.org/pdf/2203.15455.pdf

STARK是 一种 用于视觉跟踪的时空变换网络 。 基于由卷积主干、编解码器转换器和bounding box预测头组成的 baseline的基础上， STARK 做了3点改进：

动态更新模板 ：以中间帧作为动态模板加入输入中。动态模板可捕获外观变化，提供额外时域信息；

score head ：判断当前是否更新动态模板；

训练策略改进 ：将训练分为两个阶段1）除了score head外，用baseline的损失函数训练。确保所有搜索图像包含目标并让模板拥有定位能力；2）用交叉熵只优化 score head，此时冻结其他参数，以此让模型拥有定位和分类能力。

论文链接：

https://openaccess.thecvf.com/content/ICCV2021/papers/Yan_Learning_Spatio-Temporal_Transformer_for_Visual_Tracking_ICCV_2021_paper.pdf

有时候，游戏和学习并不是完全泾渭分明的，只要换个思路，两者也能结合得非常好。