使用我们的合作伙伴Salesforce，将销售，营销和客户服务统一。加速您的成长！
L’推理 在人工智能中是指先前训练的模型生成用户查询答案的过程。与培训在长期内动员大量计算资源不同，推断必须是 快速，高效且重复数百万次 在生产中。
为什么推论至关重要？
推论是 使AI运行。没有它，模型就无法实时使用。她在许多应用中扮演着关键角色：
- 会话助理 （例如chatgpt，米斯特拉尔猫）
- 自动翻译 （例如Deeppl，Google翻译）
- 识别图像和声音 （例如Google Lens，Siri）
- 推荐系统 （例如Netflix，Spotify）
技术问题
推理是 瓶颈 对于AI公司，由于三个主要限制：
- 响应速度 ⚡
- AI必须产生几毫秒的结果才能提供流体体验。
- 前猫到达 每秒1,000个字 多亏了与小脑的合作伙伴关系。
- 能源成本和设备 💰
- 推理代表 多达90％的运营成本 AI模型。
- 这 NVIDIA GPU 占主导地位，但出现了替代品（Cerebras，Google TPU，Amazon Trainium）。
- 模型优化 🏗️
- 使用的技术： 数量 （降低计算精度），模型的压缩，光结构。
推理与培训：有什么区别？
| 外貌 | 训练 | 推理 |
|---|---|---|
| 客观的 | 从数据中学习 | 产生生产回应 |
| 期间 | 一个月或几周 | 毫秒 |
| 使用的材料 | 强大的GPU（EX。NVIDIAA100） | 推理的优化设备 |
| 频率 | 准时 | 连续的 |
推理的未来
- 模型优化 降低成本。
- 物质多样化 有专门跳蚤。
- AI民主化 带有更轻且可访问的型号。
推论成为AI参与者的关键分化因素。 掌握此阶段可以提高模型的速度，可访问性和盈利能力。
