工作職責(zé):
將 PyTorch/TensorFlow 等模型轉(zhuǎn)換為 ONNX、TFLite 等格式,并部署到 ARM(如 Jetson)和 X86 平臺(tái)。
使用推理引擎(如 TensorRT、OpenVINO、TFLite、ONNX Runtime)完成高效模型加載與運(yùn)行。
優(yōu)化推理性能:包括量化(INT8/FP16)、多線(xiàn)程并行、內(nèi)存優(yōu)化等。
結(jié)合硬件特點(diǎn)(如 NEON/AVX 指令集)進(jìn)行平臺(tái)級(jí)調(diào)優(yōu)。
保證模型在多平臺(tái)間輸出一致,解決兼容性差異。
職位要求
熟悉 C++ / Python,掌握基本的跨平臺(tái)開(kāi)發(fā)(如 CMake)。
熟悉至少一種主流推理引擎:TensorRT / OpenVINO / TFLite / ONNX Runtime。
了解 ARM/X86 架構(gòu),有 SIMD 優(yōu)化經(jīng)驗(yàn)(如 NEON、AVX)。
熟悉常見(jiàn)視覺(jué)模型結(jié)構(gòu)(CNN、Transformer)與 OpenCV 圖像處理流程。
有模型壓縮實(shí)踐經(jīng)驗(yàn)(如量化、剪枝、蒸餾)優(yōu)先。
有嵌入式(如 Jetson、Android)或移動(dòng)端部署經(jīng)驗(yàn)優(yōu)先。
有完整跨平臺(tái)部署項(xiàng)目經(jīng)驗(yàn)者優(yōu)先