垂直场景模型蒸馏
用 teacher（GPT-4 / Claude）→ student（开源 7B-13B）压缩 10× 成本，效果保留 90%+
- teacher 自动标注 + 难例挖掘
- KL 散度 + 隐藏层对齐（Multi-Level）
- 13B / 32B 蒸馏后 2-5× 推理速度
- 2-4 周交付，token 成本降 80%
适合：客服 / 文档问答 / 营销文案 / 编码助手
垂直场景模型蒸馏 · 微调 · 领域适配
通用大模型不专，做你的行业专属模型 — 数据不出门，效果看得见
SERVICES
4 类定制服务
SFT / DPO / RLHF 微调
基于开源底座 + 行业数据，让通用模型变成"你们行业的人"
- SFT（Supervised Fine-Tuning）：行业 QA / 文档 / 任务样本
- DPO（Direct Preference Optimization）：偏好对齐
- RLHF：人类反馈强化学习
- 支持 LoRA / QLoRA / 全参数微调
适合：法律 / 医疗 / 金融 / 教育 / 客服
持续预训练（CPT）
把企业私域文档 / 行业语料 / 历史对话喂进模型底座
- 数据清洗（去重 / 质量过滤 / PII 脱敏）
- 百亿 token 级持续预训练
- domain 适配 + 词表扩展
- 4-8 周交付
适合：行业知识密集型场景（医学 / 法律 / 工业）
模型合并 / 量化 / 部署
训完的模型工程化 — 合并 / 量化 / 部署到一体机或云端
- LoRA 合并 / 模型 merge（SLERP / DARE / TIES）
- 量化（INT8 / INT4 / AWQ / GPTQ）
- vLLM / TensorRT / llama.cpp 部署
- benchmark + A/B 测试
适合：训后模型上线
PROCESS
蒸馏流程（5 步）
1
需求诊断
1 周 · 评估任务 / 数据 / 性能目标 / 部署环境
2
数据准备
1-2 周 · 收集 / 清洗 / 标注 / 切分（客户数据本地处理）
3
训练
1-4 周 · SFT / DPO / RLHF / 蒸馏，按场景组合
4
评估
1 周 · 公开 benchmark + 行业私有评测集
5
部署
1-2 周 · 一体机 / 云端 API / 私有 endpoint 三选一
BASE MODELS
底座模型选择
7B / 13B 轻量
- Qwen2.5-7B / 14B
- Llama-3.1-8B
- Mistral-7B
- Phi-3-mini-3.8B
适合：单任务 / 边缘部署 / 32G 一体机
32B / 70B 中量
- Qwen2.5-32B / 72B
- Llama-3.1-70B
- DeepSeek-V2.5
- Mixtral-8x22B
适合：多任务 / 企业级 / 48G-96G 一体机
200B+ 旗舰
- Qwen2.5-Max
- Llama-3.1-405B
- DeepSeek-V3
- GPT-OSS-120B / 20B
适合：复杂推理 / 多模态 / 算力集群
DELIVERED CASES
已交付案例
某跨境电商客服模型
GPT-4 → Qwen2.5-32B 蒸馏
- 客服工单分类准确率 96%
- 推理成本降 82%
- 3 周交付
某律所合同审查模型
Qwen-72B + 2 万份法律文书 SFT
- 条款风险点召回率 89%
- 审查时间从 2h 降到 15min
- 私有部署（数据不出所）
某医疗文献检索模型
Qwen-32B + PubMed 1000 万篇持续预训练
- 医学术语准确率 91%
- 推理速度 8 倍（vs GPT-4）
- 对接医院私有知识库