前沿算法研究與技術(shù)創(chuàng)新:負(fù)責(zé)人工智能領(lǐng)域前沿算法研究和創(chuàng)新,重點(diǎn)聚焦LLM、生成式AI、時序類大模型等,探索人類反饋強(qiáng)化學(xué)習(xí)、MoE、多模態(tài)、long-context等方向。
模型微調(diào)與優(yōu)化:負(fù)責(zé)對大語言模型(LLM)進(jìn)行領(lǐng)域適配微調(diào)(如LoRA、P-Tuning等),提升模型在特定任務(wù)(如對話、文本生成等)上的性能。
數(shù)據(jù)處理與構(gòu)建:清洗、標(biāo)注和構(gòu)建高質(zhì)量的微調(diào)數(shù)據(jù)集,設(shè)計(jì)數(shù)據(jù)增強(qiáng)策略以提升模型泛化能力。
實(shí)驗(yàn)設(shè)計(jì)與調(diào)參:設(shè)計(jì)微調(diào)實(shí)驗(yàn)方案,調(diào)整超參數(shù)(學(xué)習(xí)率、批次大小等),評估模型效果并迭代優(yōu)化。
性能評估與監(jiān)控:使用BLEU、ROUGE等指標(biāo)評估模型輸出,分析bad case并提出改進(jìn)方案。
模型對齊:優(yōu)化強(qiáng)化學(xué)習(xí)與對齊訓(xùn)練流程,解決大規(guī)模分布式環(huán)境下的效率瓶頸和行業(yè)對齊。
工程化部署支持:協(xié)助將微調(diào)后的模型部署到生產(chǎn)環(huán)境,優(yōu)化推理效率(如量化、剪枝)。
技術(shù)跟蹤與創(chuàng)新:跟進(jìn)大模型領(lǐng)域最新技術(shù)(如RLHF、Adapter架構(gòu)),探索低成本微調(diào)方案。
任職要求:
技術(shù)背景:計(jì)算機(jī)、AI相關(guān)專業(yè)碩士及以上學(xué)歷,熟悉PyTorch/TensorFlow框架和Transformer架構(gòu)。
微調(diào)經(jīng)驗(yàn):有LLM(如GPT、LLaMA、ChatGLM)微調(diào)實(shí)戰(zhàn)經(jīng)驗(yàn),熟悉Prompt Engineering和Few-shot Learning。
數(shù)據(jù)處理能力:熟練使用NLP工具(Hugging Face、spaCy),具備文本清洗、標(biāo)注和分布式訓(xùn)練經(jīng)驗(yàn)。
編程基礎(chǔ):精通Python,熟悉Linux環(huán)境,能優(yōu)化訓(xùn)練代碼(如混合精度訓(xùn)練、分布式訓(xùn)練)。
工程方向:精通分布式、微服架構(gòu)思想,具有創(chuàng)建生產(chǎn)工程的相關(guān)經(jīng)驗(yàn)。
問題解決能力:能分析模型欠擬合/過擬合問題,提出數(shù)據(jù)或算法層面的解決方案。
團(tuán)隊(duì)協(xié)作:良好的溝通能力,能與算法、產(chǎn)品團(tuán)隊(duì)協(xié)作落地業(yè)務(wù)場景需求。