職位描述
1、設計并實現(xiàn)VLM模型，實現(xiàn)工作空間視覺感知和指令語義解析，包括但不限于Grounding/Affordance等算法 。
2、優(yōu)化VLM模型框架和算法組件，構建實現(xiàn)zero-shot/few-shot的多任務通用感知能力。
3、負責感知決策相關多模態(tài)數(shù)據(jù)集的構建、清洗等，提升算法性能和決策質(zhì)量。
4、負責模型的訓練策略的設計與優(yōu)化，提升模型性能與泛化能力 。
5、負責VLM的訓練與微調(diào)，實現(xiàn)模型實際場景的落地需求。
6、支持VLM模型在機器人控制系統(tǒng)中的集成，確保算法的實時性和穩(wěn)定性。
職位要求
1、計算機科學、人工智能、機器人工程或相關領域碩士及以上學歷。
2、具備深度學習、計算機視覺和自然語言處理的扎實理論基礎和實踐經(jīng)驗。
3、熟練掌握Python、C++等編程語言，有使用PyTorch、TensorFlow等深度學習框架的經(jīng)驗。
4、熟悉VLM/MLLM模型的訓練流程，包括數(shù)據(jù)預處理、預訓練、模型調(diào)優(yōu)和驗證等，了解常見的增量訓練方法與大模型微調(diào)方法。
5、具備良好的團隊合作精神和溝通能力，能夠通過團隊協(xié)作推進項目進展。
6、加分：熟悉 CLIP、BLIP 等多模態(tài)預訓練基座，有 LLava、MiniGPT、CogVLM 等多模態(tài)大模型項目經(jīng)驗。