[Hiring] Video Data Annotation & Evaluation Expert / Lead @Embedding VC

Role Description

• 视频标注
  • 设计并落地各类视频标注任务与规范: caption (prompt 与视频内容对齐)、动作 (action)、场景 (scene)、风格、镜头 / 运镜、时序一致性、ranking / preference、badcase 分类等。
  • 搭建标注质检体系: gold set、抽检、多轮 review、一致性 (IAA)、reviewer 校准, 保障大批量标注质量稳定可迭代。
  • 管理标注供应商 / 众包团队, 控制交付质量、一致性与返工。
  • 根据模型 badcase 持续迭代标注规范 (guideline) 与标准。
• 视频评测
  • 搭建视频生成评测体系: 评测集 / benchmark 构建, 评测维度与指标设计 (画质、动作自然度、时序一致性、prompt 匹配度、坏帧 / 变形 / 闪烁等), 人工 + 自动评测结合。
  • 建立 badcase 分类与回流机制, 把评测结果转化为可执行的数据补充和标注规范调整。
  • 支持多版本模型对比, 跟踪数据使用效果与模型改进。
• 协同
  • 与算法团队对接, 理解 PT / SFT / RLHF / Eval 各阶段对数据的不同要求, 推动数据标准持续迭代。

Qualifications

• 3 年以上相关经验, 做过视频 / 图像 / 多模态数据的标注或评测 (非纯文本 NLP)。
• 亲手做过相关工作, 能清楚讲解不同视频标注任务之间的差异和具体做法。
• 熟悉标注质检体系, 在 gold set、抽检、IAA、reviewer 校准等机制上至少有一套实操经验。
• 有与算法团队协作、推动 badcase 回流的经验。
• 较强的流程梳理与跨团队沟通能力。

Requirements

• 直接做过视频生成 / T2V / VLM / 多模态模型的训练数据或评测。
• 理解 SFT / RLHF, 清楚偏好数据与 ranking 在其中的作用。
• 管理过标注供应商 / 众包 / 专家团队, 并能把控交付质量。
• 有从 0 到 1 搭建标注或评测流程的经验。