座舱视觉模型工程师

该职位来源于猎聘 岗位概述 负责L3/L4级别自动驾驶车辆的座舱端多模态感知模型开发，覆盖OMS（Occupant Monitoring System，乘员监控系统）、语音交互模型及大语言模型（LLM）的车端部署与优化，打造智能、安全、自然的人机交互体验。 岗位职责： 一、视觉感知模型研发 -负责座舱视觉感知模型的全栈开发，包括需求分析、方案设计、模型训练、优化与部署 -主导OMS系统核心算法研发，包括驾驶员状态监测（DMS）、乘员行为识别、手势识别、情绪识别、Face ID等 -设计并实现面向车端部署的高效轻量化视觉模型，满足实时性要求 二、语音交互模型开发 -负责车载语音交互系统的模型研发，包括语音识别（ASR）、语音合成（TTS）、声纹识别、语音唤醒等 -优化语音模型在车端芯片上的推理性能，实现低延迟、高准确率的语音交互 -支持多轮对话、上下文理解、语义解析等复杂语音交互场景 三、大语言模型（LLM）车端部署 -负责大语言模型的车端轻量化与部署，包括模型量化、蒸馏、剪枝等优化技术 -设计并实现车端LLM的推理加速方案，支持实时对话与复杂任务处理 -结合座舱场景，开发LLM驱动的智能助手功能（行程规划、车辆控制、知识问答等） -保障LLM在车端的安全性与可控性，实现内容过滤与合规输出 四、多模态融合与系统整合 -推动视觉、语音、语言模型的多模态融合，实现"看+听+说"的智能座舱体验 -支持L3/L4级自动驾驶系统的座舱感知需求，确保人机交互的安全性与可靠性 -参与座舱感知与自动驾驶系统的融合方案设计 五、工程落地与优化 -负责模型在车端芯片（如NVIDIA Orin、高通SA8295、地平线J5等）上的量化、部署与性能优化 -建立模型训练、评估、部署的自动化流程与工具链 -与嵌入式团队紧密协作，解决模型部署中的技术难题 -技术沉淀与创新 -跟踪视觉感知、语音交互、大语言模型等领域的最新研究进展 -参与技术专利撰写与学术论文发表 -推动团队技术能力提升与知识分享 任职要求 必备条件 计算机科学、人工智能、电子信息、自动化等相关专业硕士及以上学历 3年以上深度学习相关工作经验，具备视觉、语音或NLP至少一个领域的深度经验 精通深度学习框架（PyTorch/TensorFlow），具备扎实的模型训练与调优经验 熟悉模型轻量化技术（INT8/FP16量化、剪枝、知识蒸馏等），有端侧部署经验 熟悉C++/Python，具备良好的代码工程能力 熟悉Transformer、BERT、GPT等主流模型架构 加分项 视觉方向：有座舱感知（DMS/OMS/Face ID/Gaze等）实际项目经验；熟悉CNN、YOLO、ViT等视觉模型 语音方向：有车载ASR/TTS/声纹识别项目经验；熟悉Whisper、Wav2Vec、FastSpeech等语音模型 NLP/LLM方向：有大语言模型微调、RAG、Agent开发经验；熟悉Llama、ChatGLM、Qwen等开源模型；具备LLM车端部署经验 具备多模态融合（视觉+语音+文本）经验 熟悉TensorRT、ONNX Runtime、TVM、vLLM等推理加速框架 有车规级算法开发经验，了解功能安全（ISO 26262）或预期功能安全（SOTIF） 在CVPR/ICCV/NeurIPS/ACL/ICML等顶会发表过相关论文