zeerd's blog         Search     Categories     Tags     Feed

闲来添雅趣,无事自逍遥。对窗静望雪,一盏茶香绕。

轻量化决策模型微调方法(端侧/移动端场景)

2026-10-22 @AI #FineTune #Jev #SystemOne

用「小基座 + LoRA 冻结微调 + 轻量决策头」的路线,把端侧决策建模为状态理解 + 选项打分的单次前向任务。训练数据融合用户指令与设备上下文,采用概率软标签保留决策不确定性,并显式建模「不操作」以保障安全。整套方法与基座规模解耦,可在 0.6B、1B、1.5B 等不同量级基座上复用,仅需训练百万级参数即可收敛,具备低延迟、可解释、易迭代、易迁移、隐私原生、离线可用的端侧部署特性。

Read more

Prev 1/17 Next