一面 1.ppl是什么?预训练阶段还有哪些概率计算公式? 2.介绍mid train作用是什么?参数配置和前一步有什么区别? 3.你的论文引入的冷启动和rl之间阶段是什么?详细介绍设计思路。 4.介绍你的tag level和dapo区别 5.手撕:sequence importance sampling和token importance sampling 二面 1.多模态长序列数据如何获取?训练vit和lm是一起做还是分开训? 2. vit、llm 的 loss 是什么? MLLM 训练的时候 vision encoder 也是有一个单独的 loss 吗? 是什么? 3. 讲解 vit 图像计算过程,现在常用的对齐策略是什么? 4. MOE 是什么,你的路由怎么设置的? 特定专家你的理解是什么? 5. MOE 你用什么 rl 算法,讲解原理 6. MOE 路由设计你有什么看法?如果一个路由没有到你想要的专家,你的惩罚策略是什么? 7. MOE 一个专家一种特定图形,那么你的 MOE和 pipeline 有什么区别?(这里没听懂说的什么) 8. 手撕: VIT loss(图2) 三面 1. PPT 2. 对模型训练的看法,现在 mid train 的上限在哪? 后训练我是否有什么看法 3. 做业务还是研究 4. 无手撕 总结: 没什么压力,给的不高又卷,拒了 #算法 #大模型 #互联网大厂 #面经 #人工智能就业 #百度 #文心一言 #春招 #互联网大厂实习 #校招