Haystack 集成指南使用 MetaLlamaChatGenerator 接入 Meta Llama API 构建对话与 RAG 管线【免费下载链接】haystackOpen-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.项目地址: https://gitcode.com/GitHub_Trending/ha/haystack本篇技术指南以 Haystack 2.19 版本参考文档中的 Meta Llama API 集成为核心系统讲解MetaLlamaChatGenerator组件属于meta-llama-haystack集成包的模型支持、构造函数参数、生成参数、流式输出、工具调用与序列化机制并结合仓库源码剖析其底层实现。读完本文你将能够在 Haystack Pipeline 中独立接入 Meta Llama 托管模型完成从 API Key 配置、独立调用、流式渲染到完整 RAG 问答管线的落地。集成概览一个基于 OpenAI 兼容协议的 Llama 对话组件MetaLlamaChatGenerator是 Haystack 生态中用于调用 Meta Llama API 中表述为通过向 Meta Llama API 发起 chat completion 请求使用 Meta 提供的多个 Llama 模型完成文本生成。该组件的核心设计有四点主兼容目标与 Llama API 的 Chat Completion 端点无缝协作流式支持支持从该端点接收流式响应高度可定制支持该端点定义的全部生成参数响应格式目前仅支持json_schema形式的响应格式约束。值得注意的架构事实是MetaLlamaChatGenerator直接继承自 Haystack 核心库中的OpenAIChatGenerator见 API 参考文档中 Bases:OpenAIChatGenerator 的声明这是因为 Llama API 对外暴露了 OpenAI 兼容的协议端点默认api_base_url为https://api.llama.com/compat/v1/。因此它在输入输出上与其他 Haystack Chat Generator 保持一致输入与输出均使用统一的ChatMessage数据类相关说明见 ChatMessage 数据类文档。在管线中的典型位置是 ChatPromptBuilder 之后必填的初始化变量为api_keyMeta Llama API Key可通过LLAMA_API_KEY环境变量或Secret传入必填的 run 变量为messagesChatMessage对象列表输出变量为repliesChatMessage对象列表。安装与初始化API Key 与依赖安装使用该集成前需要先获取 Meta Llama API Key并通过两种方式之一提供给组件设置环境变量LLAMA_API_KEY使用 Haystack 的 Secret 管理机制 传入例如Secret.from_env_var(LLAMA_API_KEY)。安装方式为 pip 安装独立集成包pip install meta-llama-haystack安装完成后即可导入组件from haystack_integrations.components.generators.meta_llama import MetaLlamaChatGenerator支持的模型默认模型与 SUPPORTED_MODELS 列表组件默认使用的模型是Llama-4-Scout-17B-16E-Instruct-FP8API 参考文档中__init__的model参数默认值。参考文档同时给出了组件内置的SUPPORTED_MODELS常量SUPPORTED_MODELS: list[str] [ Llama-4-Maverick-17B-16E-Instruct-FP8, Llama-4-Scout-17B-16E-Instruct-FP8, Llama-3.3-70B-Instruct, Llama-3.3-8B-Instruct, ]该列表是非穷尽non-exhaustive的完整模型列表以 Meta 官方模型文档为准。v2.19 用户指南进一步补充了这些模型在 Llama API 下的上下文能力对照表模型 ID输入上下文长度输出上下文长度输入模态输出模态Llama-4-Scout-17B-16E-Instruct-FP8128k4028文本、图像文本Llama-4-Maverick-17B-128E-Instruct-FP8128k4028文本、图像文本Llama-3.3-70B-Instruct128k4028文本文本Llama-3.3-8B-Instruct128k4028文本文本其中 Llama-4 系列的两款模型支持文本与图像多模态输入这意味着该组件天然支持图文混合的对话请求。切换模型只需在初始化时指定model参数例如modelLlama-3.3-8B-Instruct。构造函数参数详解从 API Key 到超时重试参考文档给出了__init__的完整签名__init__( *, api_key: Secret Secret.from_env_var(LLAMA_API_KEY), model: str Llama-4-Scout-17B-16E-Instruct-FP8, streaming_callback: StreamingCallbackT | None None, api_base_url: str | None https://api.llama.com/compat/v1/, generation_kwargs: dict[str, Any] | None None, timeout: float | None None, max_retries: int | None None, tools: ToolsType | None None )各参数含义与注意事项如下api_keySecretMeta Llama API Key默认从环境变量LLAMA_API_KEY读取。也可以显式传入Secret实例以支持更灵活的密钥管理modelstr要使用的 Llama chat completion 模型名称默认Llama-4-Scout-17B-16E-Instruct-FP8streaming_callbackStreamingCallbackT | None流式回调函数每当从流中接收到一个新 token 时被调用回调接收一个StreamingChunk参数api_base_urlstr | NoneLlama API 的 Base URL默认指向 OpenAI 兼容端点https://api.llama.com/compat/v1/。这是整个集成能够复用 OpenAI 客户端机制的关键generation_kwargsdict[str, Any] | None透传给 Llama API 端点的其他生成参数详见下一节timeoutfloat | NoneLlama API 客户端调用的超时时间max_retriesint | None请求失败时的最大重试次数toolsToolsType | None供模型准备调用的Tool和/或Toolset对象列表或单个Toolset每个工具需有唯一名称。generation_kwargs透传的生成参数generation_kwargs既可在__init__中传入也可在run方法中传入所有参数都会被直接发送到 Llama API 端点。参考文档列出的受支持参数包括max_tokens输出文本的最大 token 数上限temperature采样温度值越高模型越冒险。0.9 适合更具创造性的应用0argmax 采样适合有明确答案的任务top_p核采样nucleus sampling参数模型只考虑概率质量累计到top_p的 token。例如 0.1 表示仅考虑概率最高的前 10% tokenstream是否流式返回部分进度开启后 token 会以>from haystack.dataclasses import ChatMessage from haystack_integrations.components.generators.meta_llama import ( MetaLlamaChatGenerator, ) llm MetaLlamaChatGenerator( modelLlama-3.3-8B-Instruct, streaming_callbacklambda chunk: print(chunk.content, end, flushTrue), ) response llm.run([ChatMessage.from_user(What are Agentic Pipelines? Be brief.)]) # 检查实际使用的模型 print(\n\n Model used: , response[replies][0].meta[model])在管线场景中还可以直接使用 Haystack 内置的print_streaming_chunk工具函数见 utils.py它能格式化打印[ASSISTANT]前缀、工具调用增量[TOOL CALL]、工具结果[TOOL RESULT]以及推理内容[REASONING]。流式结束时所有分片会由_convert_streaming_chunks_to_chat_message见 utils.py聚合成一个完整的ChatMessage并在meta中携带模型名、finish_reason、usage与completion_start_time。工具调用Tool 与 Toolset 的灵活组合MetaLlamaChatGenerator通过tools参数支持函数调用且配置方式非常灵活详见 v2.19 用户指南 的 Tool Support 一节Tool 对象列表以列表形式传入独立工具单个 Toolset直接传入整个工具集混合模式在同一个列表中组合多个 Toolset 与独立 Tool。这种设计允许把相关工具组织成逻辑分组同时按需混入独立工具。示例from haystack.tools import Tool, Toolset from haystack_integrations.components.generators.meta_llama import MetaLlamaChatGenerator # 创建独立工具 weather_tool Tool(nameweather, descriptionGet weather info, parameters..., function...) news_tool Tool(namenews, descriptionGet latest news, parameters..., function...) # 将相关工具归组为 toolset math_toolset Toolset([add_tool, subtract_tool, multiply_tool]) # 混合传入 Toolset 与 Tool 对象 generator MetaLlamaChatGenerator( tools[math_toolset, weather_tool, news_tool] # Toolset 与 Tool 的混合列表 )关于Tool与Toolset的定义与用法可进一步查阅 Tool 文档 与 Toolset 文档。在底层基类OpenAIChatGenerator会通过_check_duplicate_tool_names校验工具名唯一性并在每次 API 调用前用flatten_tools_or_toolsets将嵌套结构扁平化为函数定义列表见 openai.py工具在warm_up阶段通过warm_up_tools预热。使用示例独立使用单次对话生成from haystack.dataclasses import ChatMessage from haystack_integrations.components.generators.meta_llama import ( MetaLlamaChatGenerator, ) llm MetaLlamaChatGenerator() response llm.run([ChatMessage.from_user(What are Agentic Pipelines? Be brief.)]) print(response[replies][0].text)run方法接收messagesChatMessage列表若传入字符串会被_normalize_messages自动包装为用户消息见 utils.py返回字典{replies: [ChatMessage, ...]}。组合到 RAG 管线以下完整示例来自 v2.19 用户指南将InMemoryBM25Retriever、ChatPromptBuilder与MetaLlamaChatGenerator串成一条检索增强生成管线运行前需设置LLAMA_API_KEY环境变量from haystack import Document, Pipeline from haystack.components.builders.chat_prompt_builder import ChatPromptBuilder from haystack.components.generators.utils import print_streaming_chunk from haystack.components.retrievers.in_memory import InMemoryBM25Retriever from haystack.dataclasses import ChatMessage from haystack.document_stores.in_memory import InMemoryDocumentStore from haystack.utils import Secret from haystack_integrations.components.generators.meta_llama import ( MetaLlamaChatGenerator, ) # 写入文档到 InMemoryDocumentStore document_store InMemoryDocumentStore() document_store.write_documents( [ Document(contentMy name is Jean and I live in Paris.), Document(contentMy name is Mark and I live in Berlin.), Document(contentMy name is Giorgio and I live in Rome.), ], ) # 构建 RAG 提示词模板 prompt_template [ ChatMessage.from_user( Given these documents, answer the question.\n Documents:\n{% for doc in documents %}{{ doc.content }}{% endfor %}\n Question: {{question}}\n Answer:, ), ] # 显式声明模板所需变量 prompt_builder ChatPromptBuilder( templateprompt_template, required_variables{question, documents}, ) retriever InMemoryBM25Retriever(document_storedocument_store) llm MetaLlamaChatGenerator( api_keySecret.from_env_var(LLAMA_API_KEY), streaming_callbackprint_streaming_chunk, ) rag_pipeline Pipeline() rag_pipeline.add_component(retriever, retriever) rag_pipeline.add_component(prompt_builder, prompt_builder) rag_pipeline.add_component(llm, llm) rag_pipeline.connect(retriever, prompt_builder.documents) rag_pipeline.connect(prompt_builder, llm.messages) # 提问 question Who lives in Paris? rag_pipeline.run( { retriever: {query: question}, prompt_builder: {question: question}, }, )注意llm.messages这一连接点——MetaLlamaChatGenerator的run方法输入槽位正是messages这与其他 Haystack Chat Generator 完全一致因此可以无差别替换管线中的任意对话生成器。序列化to_dict / from_dict参考文档明确给出了to_dict方法to_dict() - dict[str, Any]它将组件序列化为字典用于 Pipeline 的 YAML/JSON 导出与反序列化。从基类实现看见 openai.py序列化时会处理三件关键事务将streaming_callback通过serialize_callable序列化为可反序列化的名称、将tools/Toolset通过serialize_tools_or_toolset序列化、并将 Pydantic 类型的response_format转换为 OpenAI 严格 JSON schema对应的from_dict则负责将工具与回调还原为运行时对象。底层实现为什么它能复用 OpenAI 生态由于MetaLlamaChatGenerator直接继承OpenAIChatGenerator核心类定义见 openai.py其行为细节可以追溯到基类实现客户端初始化warm_up阶段基于_client_kwargs创建 OpenAI 兼容客户端api_key、base_url、timeout、max_retries全部来自构造参数见 openai.py消息格式转换ChatMessage通过to_openai_dict_format转换为 API 所需的消息结构finish_reason 校验响应返回前_check_finish_reason见 openai.py会检查finish_reason若为length会警告输出在自然停止点前被截断此时应调大max_tokens若为content_filter会警告内容被内容过滤器截断流式分片转换流式响应由_convert_chat_completion_chunk_to_streaming_chunk逐片转换为StreamingChunk。这解释了文档中兼容 OpenAI 兼容端点的设计接入 Llama 托管模型只需替换api_base_url与模型名其余消息组装、流式处理、工具调用与结构化输出逻辑全部复用 OpenAI 客户端链路。集成状态说明以当前仓库为准需要特别说明的是本文描述的是2.19 版本参考文档中的meta-llama-haystack集成能力。在当前未版本化的 组件文档 中该集成已被标注为已中止Discontinued IntegrationMeta 已于 2026 年 7 月 6 日关闭 Llama API 公开预览服务meta-llama-haystack集成随之归档、不再可用。若需继续使用 Llama 模型仓库文档建议切换到其他受支持的集成如LlamaStackChatGenerator、LlamaCppChatGenerator、OllamaChatGenerator或OpenRouterChatGenerator。因此本文的 API 细节对 2.19 及更早版本的存量工程具有直接参考价值而新项目请优先参考当前文档所推荐的替代集成方案。【免费下载链接】haystackOpen-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.项目地址: https://gitcode.com/GitHub_Trending/ha/haystack创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Haystack 集成指南：使用 MetaLlamaChatGenerator 接入 Meta Llama API 构建对话与 RAG 管线
Haystack 集成指南使用 MetaLlamaChatGenerator 接入 Meta Llama API 构建对话与 RAG 管线【免费下载链接】haystackOpen-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.项目地址: https://gitcode.com/GitHub_Trending/ha/haystack本篇技术指南以 Haystack 2.19 版本参考文档中的 Meta Llama API 集成为核心系统讲解MetaLlamaChatGenerator组件属于meta-llama-haystack集成包的模型支持、构造函数参数、生成参数、流式输出、工具调用与序列化机制并结合仓库源码剖析其底层实现。读完本文你将能够在 Haystack Pipeline 中独立接入 Meta Llama 托管模型完成从 API Key 配置、独立调用、流式渲染到完整 RAG 问答管线的落地。集成概览一个基于 OpenAI 兼容协议的 Llama 对话组件MetaLlamaChatGenerator是 Haystack 生态中用于调用 Meta Llama API 中表述为通过向 Meta Llama API 发起 chat completion 请求使用 Meta 提供的多个 Llama 模型完成文本生成。该组件的核心设计有四点主兼容目标与 Llama API 的 Chat Completion 端点无缝协作流式支持支持从该端点接收流式响应高度可定制支持该端点定义的全部生成参数响应格式目前仅支持json_schema形式的响应格式约束。值得注意的架构事实是MetaLlamaChatGenerator直接继承自 Haystack 核心库中的OpenAIChatGenerator见 API 参考文档中 Bases:OpenAIChatGenerator 的声明这是因为 Llama API 对外暴露了 OpenAI 兼容的协议端点默认api_base_url为https://api.llama.com/compat/v1/。因此它在输入输出上与其他 Haystack Chat Generator 保持一致输入与输出均使用统一的ChatMessage数据类相关说明见 ChatMessage 数据类文档。在管线中的典型位置是 ChatPromptBuilder 之后必填的初始化变量为api_keyMeta Llama API Key可通过LLAMA_API_KEY环境变量或Secret传入必填的 run 变量为messagesChatMessage对象列表输出变量为repliesChatMessage对象列表。安装与初始化API Key 与依赖安装使用该集成前需要先获取 Meta Llama API Key并通过两种方式之一提供给组件设置环境变量LLAMA_API_KEY使用 Haystack 的 Secret 管理机制 传入例如Secret.from_env_var(LLAMA_API_KEY)。安装方式为 pip 安装独立集成包pip install meta-llama-haystack安装完成后即可导入组件from haystack_integrations.components.generators.meta_llama import MetaLlamaChatGenerator支持的模型默认模型与 SUPPORTED_MODELS 列表组件默认使用的模型是Llama-4-Scout-17B-16E-Instruct-FP8API 参考文档中__init__的model参数默认值。参考文档同时给出了组件内置的SUPPORTED_MODELS常量SUPPORTED_MODELS: list[str] [ Llama-4-Maverick-17B-16E-Instruct-FP8, Llama-4-Scout-17B-16E-Instruct-FP8, Llama-3.3-70B-Instruct, Llama-3.3-8B-Instruct, ]该列表是非穷尽non-exhaustive的完整模型列表以 Meta 官方模型文档为准。v2.19 用户指南进一步补充了这些模型在 Llama API 下的上下文能力对照表模型 ID输入上下文长度输出上下文长度输入模态输出模态Llama-4-Scout-17B-16E-Instruct-FP8128k4028文本、图像文本Llama-4-Maverick-17B-128E-Instruct-FP8128k4028文本、图像文本Llama-3.3-70B-Instruct128k4028文本文本Llama-3.3-8B-Instruct128k4028文本文本其中 Llama-4 系列的两款模型支持文本与图像多模态输入这意味着该组件天然支持图文混合的对话请求。切换模型只需在初始化时指定model参数例如modelLlama-3.3-8B-Instruct。构造函数参数详解从 API Key 到超时重试参考文档给出了__init__的完整签名__init__( *, api_key: Secret Secret.from_env_var(LLAMA_API_KEY), model: str Llama-4-Scout-17B-16E-Instruct-FP8, streaming_callback: StreamingCallbackT | None None, api_base_url: str | None https://api.llama.com/compat/v1/, generation_kwargs: dict[str, Any] | None None, timeout: float | None None, max_retries: int | None None, tools: ToolsType | None None )各参数含义与注意事项如下api_keySecretMeta Llama API Key默认从环境变量LLAMA_API_KEY读取。也可以显式传入Secret实例以支持更灵活的密钥管理modelstr要使用的 Llama chat completion 模型名称默认Llama-4-Scout-17B-16E-Instruct-FP8streaming_callbackStreamingCallbackT | None流式回调函数每当从流中接收到一个新 token 时被调用回调接收一个StreamingChunk参数api_base_urlstr | NoneLlama API 的 Base URL默认指向 OpenAI 兼容端点https://api.llama.com/compat/v1/。这是整个集成能够复用 OpenAI 客户端机制的关键generation_kwargsdict[str, Any] | None透传给 Llama API 端点的其他生成参数详见下一节timeoutfloat | NoneLlama API 客户端调用的超时时间max_retriesint | None请求失败时的最大重试次数toolsToolsType | None供模型准备调用的Tool和/或Toolset对象列表或单个Toolset每个工具需有唯一名称。generation_kwargs透传的生成参数generation_kwargs既可在__init__中传入也可在run方法中传入所有参数都会被直接发送到 Llama API 端点。参考文档列出的受支持参数包括max_tokens输出文本的最大 token 数上限temperature采样温度值越高模型越冒险。0.9 适合更具创造性的应用0argmax 采样适合有明确答案的任务top_p核采样nucleus sampling参数模型只考虑概率质量累计到top_p的 token。例如 0.1 表示仅考虑概率最高的前 10% tokenstream是否流式返回部分进度开启后 token 会以>from haystack.dataclasses import ChatMessage from haystack_integrations.components.generators.meta_llama import ( MetaLlamaChatGenerator, ) llm MetaLlamaChatGenerator( modelLlama-3.3-8B-Instruct, streaming_callbacklambda chunk: print(chunk.content, end, flushTrue), ) response llm.run([ChatMessage.from_user(What are Agentic Pipelines? Be brief.)]) # 检查实际使用的模型 print(\n\n Model used: , response[replies][0].meta[model])在管线场景中还可以直接使用 Haystack 内置的print_streaming_chunk工具函数见 utils.py它能格式化打印[ASSISTANT]前缀、工具调用增量[TOOL CALL]、工具结果[TOOL RESULT]以及推理内容[REASONING]。流式结束时所有分片会由_convert_streaming_chunks_to_chat_message见 utils.py聚合成一个完整的ChatMessage并在meta中携带模型名、finish_reason、usage与completion_start_time。工具调用Tool 与 Toolset 的灵活组合MetaLlamaChatGenerator通过tools参数支持函数调用且配置方式非常灵活详见 v2.19 用户指南 的 Tool Support 一节Tool 对象列表以列表形式传入独立工具单个 Toolset直接传入整个工具集混合模式在同一个列表中组合多个 Toolset 与独立 Tool。这种设计允许把相关工具组织成逻辑分组同时按需混入独立工具。示例from haystack.tools import Tool, Toolset from haystack_integrations.components.generators.meta_llama import MetaLlamaChatGenerator # 创建独立工具 weather_tool Tool(nameweather, descriptionGet weather info, parameters..., function...) news_tool Tool(namenews, descriptionGet latest news, parameters..., function...) # 将相关工具归组为 toolset math_toolset Toolset([add_tool, subtract_tool, multiply_tool]) # 混合传入 Toolset 与 Tool 对象 generator MetaLlamaChatGenerator( tools[math_toolset, weather_tool, news_tool] # Toolset 与 Tool 的混合列表 )关于Tool与Toolset的定义与用法可进一步查阅 Tool 文档 与 Toolset 文档。在底层基类OpenAIChatGenerator会通过_check_duplicate_tool_names校验工具名唯一性并在每次 API 调用前用flatten_tools_or_toolsets将嵌套结构扁平化为函数定义列表见 openai.py工具在warm_up阶段通过warm_up_tools预热。使用示例独立使用单次对话生成from haystack.dataclasses import ChatMessage from haystack_integrations.components.generators.meta_llama import ( MetaLlamaChatGenerator, ) llm MetaLlamaChatGenerator() response llm.run([ChatMessage.from_user(What are Agentic Pipelines? Be brief.)]) print(response[replies][0].text)run方法接收messagesChatMessage列表若传入字符串会被_normalize_messages自动包装为用户消息见 utils.py返回字典{replies: [ChatMessage, ...]}。组合到 RAG 管线以下完整示例来自 v2.19 用户指南将InMemoryBM25Retriever、ChatPromptBuilder与MetaLlamaChatGenerator串成一条检索增强生成管线运行前需设置LLAMA_API_KEY环境变量from haystack import Document, Pipeline from haystack.components.builders.chat_prompt_builder import ChatPromptBuilder from haystack.components.generators.utils import print_streaming_chunk from haystack.components.retrievers.in_memory import InMemoryBM25Retriever from haystack.dataclasses import ChatMessage from haystack.document_stores.in_memory import InMemoryDocumentStore from haystack.utils import Secret from haystack_integrations.components.generators.meta_llama import ( MetaLlamaChatGenerator, ) # 写入文档到 InMemoryDocumentStore document_store InMemoryDocumentStore() document_store.write_documents( [ Document(contentMy name is Jean and I live in Paris.), Document(contentMy name is Mark and I live in Berlin.), Document(contentMy name is Giorgio and I live in Rome.), ], ) # 构建 RAG 提示词模板 prompt_template [ ChatMessage.from_user( Given these documents, answer the question.\n Documents:\n{% for doc in documents %}{{ doc.content }}{% endfor %}\n Question: {{question}}\n Answer:, ), ] # 显式声明模板所需变量 prompt_builder ChatPromptBuilder( templateprompt_template, required_variables{question, documents}, ) retriever InMemoryBM25Retriever(document_storedocument_store) llm MetaLlamaChatGenerator( api_keySecret.from_env_var(LLAMA_API_KEY), streaming_callbackprint_streaming_chunk, ) rag_pipeline Pipeline() rag_pipeline.add_component(retriever, retriever) rag_pipeline.add_component(prompt_builder, prompt_builder) rag_pipeline.add_component(llm, llm) rag_pipeline.connect(retriever, prompt_builder.documents) rag_pipeline.connect(prompt_builder, llm.messages) # 提问 question Who lives in Paris? rag_pipeline.run( { retriever: {query: question}, prompt_builder: {question: question}, }, )注意llm.messages这一连接点——MetaLlamaChatGenerator的run方法输入槽位正是messages这与其他 Haystack Chat Generator 完全一致因此可以无差别替换管线中的任意对话生成器。序列化to_dict / from_dict参考文档明确给出了to_dict方法to_dict() - dict[str, Any]它将组件序列化为字典用于 Pipeline 的 YAML/JSON 导出与反序列化。从基类实现看见 openai.py序列化时会处理三件关键事务将streaming_callback通过serialize_callable序列化为可反序列化的名称、将tools/Toolset通过serialize_tools_or_toolset序列化、并将 Pydantic 类型的response_format转换为 OpenAI 严格 JSON schema对应的from_dict则负责将工具与回调还原为运行时对象。底层实现为什么它能复用 OpenAI 生态由于MetaLlamaChatGenerator直接继承OpenAIChatGenerator核心类定义见 openai.py其行为细节可以追溯到基类实现客户端初始化warm_up阶段基于_client_kwargs创建 OpenAI 兼容客户端api_key、base_url、timeout、max_retries全部来自构造参数见 openai.py消息格式转换ChatMessage通过to_openai_dict_format转换为 API 所需的消息结构finish_reason 校验响应返回前_check_finish_reason见 openai.py会检查finish_reason若为length会警告输出在自然停止点前被截断此时应调大max_tokens若为content_filter会警告内容被内容过滤器截断流式分片转换流式响应由_convert_chat_completion_chunk_to_streaming_chunk逐片转换为StreamingChunk。这解释了文档中兼容 OpenAI 兼容端点的设计接入 Llama 托管模型只需替换api_base_url与模型名其余消息组装、流式处理、工具调用与结构化输出逻辑全部复用 OpenAI 客户端链路。集成状态说明以当前仓库为准需要特别说明的是本文描述的是2.19 版本参考文档中的meta-llama-haystack集成能力。在当前未版本化的 组件文档 中该集成已被标注为已中止Discontinued IntegrationMeta 已于 2026 年 7 月 6 日关闭 Llama API 公开预览服务meta-llama-haystack集成随之归档、不再可用。若需继续使用 Llama 模型仓库文档建议切换到其他受支持的集成如LlamaStackChatGenerator、LlamaCppChatGenerator、OllamaChatGenerator或OpenRouterChatGenerator。因此本文的 API 细节对 2.19 及更早版本的存量工程具有直接参考价值而新项目请优先参考当前文档所推荐的替代集成方案。【免费下载链接】haystackOpen-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.项目地址: https://gitcode.com/GitHub_Trending/ha/haystack创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考