更好地了解三种主要的AI方法

之间 大型模型，旨在以重大基础设施为代价最大化性能， 优化模型，有利于效率和速度，以及 专家混合模型（MOE）为了核对权力和计算经济，分为三种主要方法。每个人都应对特定的要求，影响人工智能的研究，工业化和采用。

面对专有模型，替代方案的上升 开源 作为 Mistral，Tulu 3或DeepSeek 提出新问题。为了更好地了解AI板的构造，我们提供了专门针对人工智能奥秘的系列。

大型模型学院（GPT，Gemini，DeepSeek，Tulu 3）

哲学：越大，它越好

这所学校是基于这样的想法 参数数量增加 驱动器语料库的大小使得获得 更高效的模型。

✅ 特征 ：

• 型号 地块 有数百个 数十亿个参数 （例如：GPT-4，Gemini，DeepSeek V3，Tulu 3 405b）。
• 需要 成千上万的GPU 用于培训和推理。
• 强烈 由RLHF优化 （（从人类反馈中学习的强化）和高级技术（对特定任务进行微调）。
• 最好的 contr，更流畅的响应的质量。

⚠️ 边界：

• 推理成本过高，在云外几乎无法执行。
• 限制访问 专有模型（OpenAi，Google）。
• 依赖 主要的云计算参与者 （Microsoft，AWS，Google Cloud）。

主要演员：

• Openai（GPT-4O） ：领导者 封闭和商业方法。
• Google（双子座1.5） ：UA多模式和云。
• DeepSeek（中国） ：野心a 开源亚洲领导。
• AI2（Tulu 3 405b） ：开源的GPT-4O替代方案。

AI必须是巨大的，集中的和昂贵的，但它提供了最佳的质量。

优化模型学校（Mistral，Llama，Qwen，Gemma）

哲学：优化比脂肪更好

与 大型模型，这所学校试图 减少模型的大小，同时最大化其性能。

✅ 特征 ：

• 型号 较小（7B至70B设置） 但是优化（ex： Mistral 7b，Mixtral，Llama 3，Qwen 32b）。
• 更有效的体系结构 ：减少尿布的数量，更好地处理令牌。
• 较弱的延迟，可能执行 在消费机上 （RTX 4090，Mac M3）。
• 理想的 本地和工业部署，提供的超过独立于云。

⚠️ 边界：

• 任务效率较低 需要高级推理的复合物。
• 效率较低 多模式任务和高级一代 （例如：图像，视频）。
• 不像强大 大型模型 为了 流体与连贯的对话 在长时间的对话中。

主要演员：

• Mistral AI（法国） :: 欧洲先驱，专门从事优化和 本地部署。
• 元（骆驼3） ：提供强大的开源模型， 开发人员可以访问。
• 阿里巴巴（Qwen） ：亚洲替代方案，针对中国市场和企业进行了优化。
• Google（Gemma 2） ：由双子座启发的开源紧凑。

AI必须快速，高效且易于访问，而无需大规模的基础设施。

Moe模型学校（专家的混合）：混音，Grok，DeepSeek Moe

哲学：仅激活什么必要

方法 萌（专家的混合） 休息 参数的部分激活 按照每个请求，可以保留 在优化成本和能源消耗的同时，具有出色的计算能力。

✅ 特征 ：

• 用途 专业集群 （（专家）仅在相关时激活。
• 减少 推理成本相当大 在维护的同时 高性能。
• 允许 非常宽的模型，没有激活所有参数 同时。
• 改进 可伸缩性 和资源管理 云和边缘计算。

⚠️ 边界：

• 更难训练和优化 而不是标准模型。
• 一般任务不太好，因为专家是专业的。
• 更复杂的实现 对于想要采用它的公司。

主要演员：

• Mistral AI（混合8x7b） ：开源先驱在MOE方法上。
• X（旧Twitter）-Grok ai ：MOE专为平台上的交互式对话而设计。
• DeepSeek Moe ：中国倡议的混合性能和可扩展性。

AI必须是 聪明而模块化，仅激活有效响应请求的必要条件。

比较：

学校	方法	好处	缺点	例子
大型模型	更多参数=更好的质量	🔥更好的上下文理解 🌍在对话中占主导地位 ☁️强烈整合到云服务中	❌训练非常昂贵 ❌在API外面几乎不可访问	GPT-4O，双子座，DeepSeek V3，Tulu 3
优化模型	尺寸降低，效率高	⚡低延迟，推理快速 💻本地可执行的 📈良好的平衡表现/体重	❌高级推理效率较低 ❌长时间对话不太好	Mistral Small 3，Llama 3，Qwen，Gemma
MOE型号	神经元的部分激活	🏆经济计算 📌有效执行专业任务 🌱优化的可伸缩性	❌综合训练和优化 ❌在一般任务上效率较低	Mixtral 8x7b，Grok AI，DeepSeek Moe