Amazon Bedrock 现已推出 AI21 Labs 开发的 Jamba-Instruct 大语言模型 (LLM)。Jamba-Instruct 支持 256,000 个令牌的上下文窗口，使其特别适用于处理大型文档和复杂的检索增强生成 (RAG) 应用程序。Jamba-Instruct 基于 Jamba 基础模型，该模型先前由 AI21 Labs 开源，结合了生产级模型、结构化状态空间 (SSM) 技术和 Transformer 架构。通过 SSM 方法，Jamba-Instruct 能够在其模型尺寸类别中实现最大的上下文窗口长度，同时还提供传统基于 Transformer 的模型提供的性能。这些模型比 AI21 的上一代模型（Jurassic-2 模型系列）实现了性能提升。有关混合 SSM/Transformer 架构的更多信息，请参阅 Jamba：一种混合 Transformer-Mamba 语言模型白皮书。

关键要点

• 🎯 Jamba-Instruct 的独特优势：Jamba-Instruct 拥有 256,000 个令牌的上下文窗口，使其在处理大型文档和复杂的检索增强生成 (RAG) 应用程序方面具有显著优势。这使得 Jamba-Instruct 能够有效地处理包含大量文本信息的任务，例如分析长篇文档、进行跨文档对比和进行复杂的语义理解。

• 🚀 Jamba-Instruct 的应用场景：Jamba-Instruct 的长上下文长度使其特别适用于复杂的检索增强生成 (RAG) 工作负载或潜在的复杂文档分析。例如，它适合于检测不同文档之间的矛盾或在另一个文档的上下文中分析一个文档。此外，Jamba-Instruct 还适用于查询增强，这是一种将原始查询转换为相关查询的技术，用于优化 RAG 应用程序。

• 💡 Jamba-Instruct 的性能提升：与同类尺寸的模型相比，Jamba-Instruct 的混合 SSM/Transformer 架构在模型吞吐量方面提供了优势。对于超过 128,000 个令牌的上下文窗口长度，它可以提供高达每秒三倍的令牌性能提升。

• 🌐 Jamba-Instruct 的可用性：AI2I Labs Jamba-Instruct 在 Amazon Bedrock 中在美国东部（北弗吉尼亚）AWS 区域可用，可以通过按需消费模式访问。

• 💻 Jamba-Instruct 的使用方式：您可以通过 Amazon Bedrock 控制台访问 Jamba-Instruct，并通过 Amazon Bedrock 文本或聊天游乐场测试模型。此外，您还可以通过 API 使用 Amazon Bedrock 和 AWS SDK for Python (Boto3) 访问 Jamba-Instruct。