1. 为什么 Java 后端值得花时间搞明白 LangChain4j做 Java 后端的兄弟这两年应该都有一个共同感受AI 相关的需求像潮水一样涌过来产品经理张口就是“接个大模型”“做个知识库问答”“搞个智能客服”但回头一看手里的技术栈——Spring Boot、MyBatis、Redis、Kafka全是老老实实的业务代码跟大模型八竿子打不着。Python 那边的同事用 LangChain 几行代码就跑通了Java 这边却连个像样的编排框架都找不到这种落差感确实让人焦虑。LangChain4j 就是冲着这个痛点来的。它是 LangChain 生态在 Java 侧的对应实现核心目标很明确让 Java 开发者用自己熟悉的编程范式接口、注解、依赖注入、声明式调用去对接大语言模型而不是被迫去写一堆 HTTP 请求拼 JSON。你可以把它理解成“大模型调用的 Spring 化封装”——底层还是 HTTP 和 JSON但上层给你抽象成了接口和注解写起来跟写一个普通的 Service 没什么区别。这篇文章适合谁看如果你是有 Spring Boot 基础的 Java 后端想快速把大模型能力集成到现有项目里那这篇内容基本可以当作一份实操手册来用。如果你是完全没接触过 AI 的 Java 新手也没关系我会把每个概念都用生活化的类比讲清楚代码部分保证能跑起来。整篇内容围绕 LangChain4j 的核心能力展开重点讲 AiService 声明式接口、Spring Boot 集成、RAG 检索增强这几块最实用的东西最后再聊聊实际落地时踩过的坑。需要提前说明的是LangChain4j 这个生态迭代非常快版本号几个月就跳一次API 偶尔会有调整。我下面给出的代码和配置基于我实际跑通的版本你在自己环境里跑的时候如果遇到方法签名对不上先去官方文档确认一下当前版本这是很正常的事不用慌。2. LangChain4j 到底解决了什么问题从裸调 HTTP 到声明式接口2.1 裸调大模型 API 的三个真实痛点在讲 LangChain4j 之前先说说不用它会是什么样子。假设你要对接一个主流大模型的对话接口最原始的做法是用 Java 的 HttpClient 或者 OkHttp 发 POST 请求请求体里塞一个 JSON包含 model、messages、temperature 这些字段然后解析返回的 JSON 拿到 content。这个做法能跑通但实际项目里会暴露三个问题。第一个问题是请求构造和响应解析的重复劳动。每个业务场景都要拼一遍 JSON字段名写错一个就报错返回结构嵌套好几层取值取到怀疑人生。第二个问题是多模型切换的成本高。今天用 A 家的模型明天老板说换成 B 家的接口地址、鉴权方式、请求格式全不一样你得改一堆代码。第三个问题是缺少高级能力的封装。比如多轮对话的记忆管理、函数调用、结构化输出、检索增强这些如果全靠手写工作量巨大而且容易出 bug。LangChain4j 的价值就在于把这些脏活累活都封装掉了。它定义了一套统一的抽象层你面向接口编程底层换哪个模型对上层代码几乎无感。这跟 JDBC 的思路是一样的——你写 JDBC 代码底层是 MySQL 还是 PostgreSQL换个驱动和连接串就行业务代码不用动。2.2 AiService把大模型调用写成接口LangChain4j 里最让我觉得“Java 味”十足的设计就是AiService。它的核心思想是你只定义一个接口用注解描述这个接口要干什么框架在运行时用动态代理帮你生成实现类。这跟 MyBatis 的 Mapper 接口是一个套路你写UserMapper接口不用写实现MyBatis 帮你生成。举个最直观的例子。你想做一个聊天助手传统写法要处理请求构造、上下文拼接、响应解析。用 AiService你只需要这样interface Assistant { String chat(String userMessage); }然后通过AiServices.builder(Assistant.class).chatLanguageModel(model).build()拿到实例直接调chat(你好)就能得到回复。接口方法名、参数、返回值框架会自动映射成对应的模型调用。这种声明式的写法对 Java 后端来说几乎没有学习成本因为你天天都在写接口。更妙的是AiService 支持在接口方法上加注解来定制行为。比如你想让模型扮演某个角色可以用SystemMessage指定系统提示词想让模型返回结构化对象可以把返回值定义成一个 POJO 或者 record框架会自动做 JSON 解析。这些能力后面会详细展开。2.3 和 Spring Boot 的天然契合Java 后端的主战场是 Spring BootLangChain4j 在这方面做得很到位。它提供了专门的 Spring Boot Starter你只要在pom.xml里加一个依赖在application.yml里配好 API Key 和模型名称剩下的交给自动装配。你的 AiService 接口可以直接用AiService注解标记Spring 容器启动时自动扫描并注册成 Bean然后在任何地方Autowired注入使用。这种集成方式的好处是AI 能力不再是项目里一个孤立的模块而是像普通 Service 一样融入整个依赖注入体系。你可以给它加事务、加切面、加缓存可以注入其他的 Repository 和 Service可以写单元测试。这才是 Java 后端熟悉的开发体验。3. 环境搭建与第一个可运行的 AiService3.1 依赖选型和版本确认动手之前先把依赖理清楚。LangChain4j 的模块划分比较细核心模块和集成模块是分开的。你需要根据自己用的模型厂商选择对应的 starter。以对接 OpenAI 兼容接口为例核心依赖大概是这样dependency groupIddev.langchain4j/groupId artifactIdlangchain4j/artifactId version0.35.0/version /dependency dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-open-ai/artifactId version0.35.0/version /dependency dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-spring-boot-starter/artifactId version0.35.0/version /dependency这里要提醒一句版本号一定要统一。LangChain4j 的各个模块是同步发布的如果核心模块用 0.35.0集成模块用 0.34.0很容易出现类找不到或者方法签名不匹配的问题。我一开始就是随手复制了不同版本的依赖结果启动时报NoSuchMethodError排查了半天才发现是版本不一致。另外如果你用的是国内某些兼容 OpenAI 协议的模型服务langchain4j-open-ai这个模块同样能用只需要把 baseUrl 指向对应的地址即可。这一点很实用因为很多团队出于成本和合规考虑不会直接用海外的服务。3.2 配置文件的关键参数Spring Boot 集成模式下配置写在application.yml里。一个最小可用的配置长这样langchain4j: open-ai: chat-model: base-url: https://api.example.com/v1 api-key: ${AI_API_KEY} model-name: gpt-3.5-turbo temperature: 0.7 timeout: PT60S log-requests: true log-responses: true几个参数值得单独说一下。temperature控制输出的随机性0 到 2 之间值越低越确定、越保守值越高越发散、越有创意。做知识问答、代码生成这类需要准确性的场景建议调到 0.2 到 0.3做文案创作、头脑风暴可以调到 0.8 以上。timeout用的是 ISO-8601 的 Duration 格式PT60S就是 60 秒大模型响应慢的时候这个值别设太小否则容易超时。log-requests和log-responses在开发阶段强烈建议打开能看到实际发出去的请求体和收到的响应排查问题非常方便。但上线前一定要关掉因为请求里可能包含用户隐私数据打到日志里是合规风险。提示API Key 千万不要硬编码在配置文件里提交到代码仓库。用环境变量或者配置中心注入这是基本的安全意识。3.3 定义并注入你的第一个 AiService配置好了之后定义一个接口AiService public interface Assistant { SystemMessage(你是一个专业的 Java 技术助手回答要简洁准确代码示例用 Java。) String chat(UserMessage String message); }注意AiService这个注解它是 Spring Boot Starter 提供的标记之后框架会自动扫描并创建实现。SystemMessage定义系统提示词相当于给模型设定人设和规则UserMessage标记用户输入。启动 Spring Boot 应用然后在 Controller 里注入RestController public class ChatController { private final Assistant assistant; public ChatController(Assistant assistant) { this.assistant assistant; } GetMapping(/chat) public String chat(RequestParam String q) { return assistant.chat(q); } }访问/chat?q什么是依赖注入就能拿到模型的回复。整个过程没有一行手写的 HTTP 代码这就是 AiService 的威力。4. 深入 AiService记忆、结构化输出与函数调用4.1 多轮对话的记忆管理单轮问答很简单但真实场景往往是多轮对话。用户问“Java 的集合有哪些”你回答了 List、Set、Map用户接着问“那它们有什么区别”这时候模型必须知道“它们”指的是前面提到的集合。如果每次请求都是独立的模型没有上下文就会答非所问。LangChain4j 用ChatMemory来解决这个问题。它的原理很直白把历史对话按顺序存起来每次请求时把历史消息一起发给模型。配置方式是在构建 AiService 时指定一个记忆对象Assistant assistant AiServices.builder(Assistant.class) .chatLanguageModel(model) .chatMemory(MessageWindowChatMemory.withMaxMessages(20)) .build();MessageWindowChatMemory是一个滑动窗口实现withMaxMessages(20)表示最多保留 20 条消息超出的旧消息会被丢弃。为什么要限制条数因为模型的上下文长度是有上限的而且历史消息越多token 消耗越大成本越高响应也越慢。20 条是个经验值具体多少要看你的业务场景和模型能力。这里有个容易踩的坑记忆是按会话隔离的。如果你用默认的全局记忆所有用户的对话会混在一起A 用户问的问题 B 用户能看到上下文这是严重的事故。正确做法是用ChatMemoryProvider按用户 ID 或会话 ID 提供独立的记忆实例.chatMemoryProvider(memoryId - MessageWindowChatMemory.withMaxMessages(20))然后在接口方法上用MemoryId标记会话标识String chat(MemoryId String sessionId, UserMessage String message);这样每个 sessionId 对应一份独立的记忆互不干扰。4.2 结构化输出让模型返回 Java 对象让模型返回一段自然语言容易但让模型返回一个能直接反序列化成 Java 对象的 JSON就需要一些技巧了。LangChain4j 提供了结构化输出的支持你只需要把返回值定义成一个 record 或者 POJOrecord PersonInfo(String name, int age, String city) {} interface InfoExtractor { UserMessage(从以下文本中提取人物信息{{it}}) PersonInfo extract(String text); }框架会自动在提示词里加入格式说明要求模型输出符合结构的 JSON然后解析成PersonInfo对象。这个能力在信息抽取、表单填充、意图识别等场景非常有用。不过实测下来结构化输出的稳定性跟模型能力关系很大。能力强的模型基本能稳定输出合法 JSON能力弱的模型偶尔会多输出一段解释文字导致解析失败。我的经验是在系统提示词里明确强调“只输出 JSON不要有任何其他文字”能显著提升成功率。另外字段类型尽量用 String、int 这种简单的避免嵌套过深的结构。4.3 函数调用让模型调用你的 Java 方法函数调用Function Calling是 LangChain4j 里比较高级但非常实用的能力。简单说就是你把一些 Java 方法“注册”给模型模型在需要的时候会告诉你“我要调用这个方法参数是这些”然后框架帮你执行方法并把结果返回给模型模型再基于结果生成最终回复。举个例子用户问“北京今天天气怎么样”模型本身不知道实时天气但它可以调用你提供的getWeather(String city)方法。你只需要在接口方法上标注Toolclass WeatherTools { Tool(查询指定城市的天气) String getWeather(String city) { // 实际调用天气 API return 晴25度; } }然后在构建 AiService 时把工具类注册进去。模型判断需要天气信息时会自动触发这个方法的调用。这个机制让大模型从“只会聊天”变成了“能干活”可以对接数据库、调用外部 API、执行计算想象空间很大。注意函数调用会带来安全风险。模型可能被诱导调用你不希望它调用的方法或者传入恶意参数。生产环境一定要对工具方法做权限校验和参数校验不要直接把敏感操作暴露成 Tool。5. RAG 实战给模型接上你的私有知识库5.1 RAG 要解决的核心问题大模型有两个硬伤一是知识有截止日期训练数据之后的事情它不知道二是它不知道你公司内部的文档、产品手册、业务规则。你问它“我们产品的退款政策是什么”它只能瞎编。RAGRetrieval-Augmented Generation检索增强生成就是来解决这个问题的。RAG 的思路很朴素既然模型不知道那我就先把相关资料找出来连同问题一起发给模型让它基于资料回答。就像开卷考试模型不用背下所有知识只要会查资料、会总结就行。整个流程分两步离线阶段把文档切块、向量化、存进向量库在线阶段把用户问题向量化去向量库检索最相关的几块拼进提示词发给模型。5.2 文档加载、切分与向量化LangChain4j 提供了DocumentLoader来加载各种格式的文档DocumentSplitter来切分。切分是个技术活切得太大检索出来的内容冗余浪费 token切得太小语义不完整模型理解不了。常见的做法是按段落切每块 500 到 1000 个字符块之间留一点重叠避免把一句话从中间切断。向量化就是把文本转成一串浮点数向量语义相近的文本向量距离也相近。LangChain4j 支持多种 Embedding 模型你可以用模型厂商提供的也可以用本地的。向量存进EmbeddingStore开发阶段可以用内存版生产环境建议用专门的向量数据库。EmbeddingStoreTextSegment store new InMemoryEmbeddingStore(); EmbeddingModel embeddingModel ...; Document document FileSystemDocumentLoader.loadDocument( Paths.get(docs/manual.txt)); ListTextSegment segments DocumentSplitters.recursive(500, 50) .split(document); for (TextSegment segment : segments) { Embedding embedding embeddingModel.embed(segment).content(); store.add(embedding, segment); }这段代码做了三件事加载文档、递归切分每块 500 字符重叠 50 字符、逐块向量化并存入。recursive切分器会优先按段落、句子等自然边界切尽量保证语义完整。5.3 把检索内容注入对话检索阶段把用户问题向量化去 store 里找最相似的几块Embedding queryEmbedding embeddingModel.embed(question).content(); ListEmbeddingMatchTextSegment matches store.findRelevant(queryEmbedding, 3);findRelevant的第二个参数是返回条数3 到 5 是比较常用的值。返回太多会稀释重点返回太少可能漏掉关键信息。拿到匹配内容后用ContentRetriever把它们注入到 AiService 的对话流程里模型就能基于这些内容回答了。LangChain4j 有个很方便的EmbeddingStoreContentRetriever直接把它配置到 AiService 上检索和注入全自动完成ContentRetriever retriever EmbeddingStoreContentRetriever.builder() .embeddingStore(store) .embeddingModel(embeddingModel) .maxResults(3) .minScore(0.7) .build(); Assistant assistant AiServices.builder(Assistant.class) .chatLanguageModel(model) .contentRetriever(retriever) .build();minScore是相似度阈值低于这个分数的结果会被过滤掉避免把不相关的内容硬塞给模型。这个值需要根据你的数据和 Embedding 模型调0.7 是个起点实际用的时候多试几次。6. 踩坑记录与常见问题速查6.1 依赖冲突与版本问题LangChain4j 依赖了一些 HTTP 客户端和 JSON 库如果你的项目里已经有其他版本的同类库很容易冲突。我遇到过一次Jackson版本冲突导致响应解析时字段丢失排查了很久。解决办法是用mvn dependency:tree看依赖树把冲突的库统一版本或者用exclusion排除掉传递依赖。6.2 超时与重试策略大模型响应慢是常态尤其是长文本生成。默认超时时间往往不够需要手动调大。但光调超时还不够网络抖动、服务限流都会导致偶发失败所以重试机制也要配上。LangChain4j 支持配置重试次数和间隔建议重试 2 到 3 次间隔用指数退避避免短时间内疯狂重试把对方打挂。6.3 常见问题速查表问题现象可能原因排查方向启动报 NoSuchMethodError模块版本不一致统一所有 langchain4j 依赖版本响应解析失败结构化输出格式不符强化提示词检查模型能力多用户对话串台记忆未按会话隔离使用 ChatMemoryProvider检索结果不相关切分粒度或阈值不当调整切分大小和 minScore请求超时模型响应慢或网络问题调大 timeout加重试Token 消耗过高历史消息或检索内容过多限制记忆条数和检索条数6.4 几个实操心得第一开发阶段一定要打开请求日志看清楚实际发出去的是什么。很多时候问题不在代码而在提示词或者参数配置日志能帮你快速定位。第二提示词要反复打磨。同样的模型提示词写得好和写得差输出质量天差地别。系统提示词里把角色、任务、输出格式、约束条件都写清楚比事后各种补救有效得多。第三成本要提前算。大模型调用是按 token 计费的多轮对话加 RAG 检索token 消耗会成倍增长。上线前估算一下日均调用量和平均 token 数心里有个数别等账单出来才傻眼。第四降级方案要有。大模型服务不是 100% 可用的限流、故障都可能发生。关键业务路径上要准备好降级逻辑比如返回缓存结果、走规则引擎别让整个功能因为模型不可用而瘫痪。我在实际项目里落地 LangChain4j 最大的体会是它确实把 Java 接入大模型的门槛拉低了很多但“能跑通”和“能上线”之间还有不小的距离。提示词工程、成本控制、异常处理、安全校验这些才是真正决定项目成败的地方。框架帮你解决了“怎么调”的问题“调得好不好”还得靠自己在实践中慢慢磨。
Java后端集成大模型实战：LangChain4j核心用法与RAG落地
1. 为什么 Java 后端值得花时间搞明白 LangChain4j做 Java 后端的兄弟这两年应该都有一个共同感受AI 相关的需求像潮水一样涌过来产品经理张口就是“接个大模型”“做个知识库问答”“搞个智能客服”但回头一看手里的技术栈——Spring Boot、MyBatis、Redis、Kafka全是老老实实的业务代码跟大模型八竿子打不着。Python 那边的同事用 LangChain 几行代码就跑通了Java 这边却连个像样的编排框架都找不到这种落差感确实让人焦虑。LangChain4j 就是冲着这个痛点来的。它是 LangChain 生态在 Java 侧的对应实现核心目标很明确让 Java 开发者用自己熟悉的编程范式接口、注解、依赖注入、声明式调用去对接大语言模型而不是被迫去写一堆 HTTP 请求拼 JSON。你可以把它理解成“大模型调用的 Spring 化封装”——底层还是 HTTP 和 JSON但上层给你抽象成了接口和注解写起来跟写一个普通的 Service 没什么区别。这篇文章适合谁看如果你是有 Spring Boot 基础的 Java 后端想快速把大模型能力集成到现有项目里那这篇内容基本可以当作一份实操手册来用。如果你是完全没接触过 AI 的 Java 新手也没关系我会把每个概念都用生活化的类比讲清楚代码部分保证能跑起来。整篇内容围绕 LangChain4j 的核心能力展开重点讲 AiService 声明式接口、Spring Boot 集成、RAG 检索增强这几块最实用的东西最后再聊聊实际落地时踩过的坑。需要提前说明的是LangChain4j 这个生态迭代非常快版本号几个月就跳一次API 偶尔会有调整。我下面给出的代码和配置基于我实际跑通的版本你在自己环境里跑的时候如果遇到方法签名对不上先去官方文档确认一下当前版本这是很正常的事不用慌。2. LangChain4j 到底解决了什么问题从裸调 HTTP 到声明式接口2.1 裸调大模型 API 的三个真实痛点在讲 LangChain4j 之前先说说不用它会是什么样子。假设你要对接一个主流大模型的对话接口最原始的做法是用 Java 的 HttpClient 或者 OkHttp 发 POST 请求请求体里塞一个 JSON包含 model、messages、temperature 这些字段然后解析返回的 JSON 拿到 content。这个做法能跑通但实际项目里会暴露三个问题。第一个问题是请求构造和响应解析的重复劳动。每个业务场景都要拼一遍 JSON字段名写错一个就报错返回结构嵌套好几层取值取到怀疑人生。第二个问题是多模型切换的成本高。今天用 A 家的模型明天老板说换成 B 家的接口地址、鉴权方式、请求格式全不一样你得改一堆代码。第三个问题是缺少高级能力的封装。比如多轮对话的记忆管理、函数调用、结构化输出、检索增强这些如果全靠手写工作量巨大而且容易出 bug。LangChain4j 的价值就在于把这些脏活累活都封装掉了。它定义了一套统一的抽象层你面向接口编程底层换哪个模型对上层代码几乎无感。这跟 JDBC 的思路是一样的——你写 JDBC 代码底层是 MySQL 还是 PostgreSQL换个驱动和连接串就行业务代码不用动。2.2 AiService把大模型调用写成接口LangChain4j 里最让我觉得“Java 味”十足的设计就是AiService。它的核心思想是你只定义一个接口用注解描述这个接口要干什么框架在运行时用动态代理帮你生成实现类。这跟 MyBatis 的 Mapper 接口是一个套路你写UserMapper接口不用写实现MyBatis 帮你生成。举个最直观的例子。你想做一个聊天助手传统写法要处理请求构造、上下文拼接、响应解析。用 AiService你只需要这样interface Assistant { String chat(String userMessage); }然后通过AiServices.builder(Assistant.class).chatLanguageModel(model).build()拿到实例直接调chat(你好)就能得到回复。接口方法名、参数、返回值框架会自动映射成对应的模型调用。这种声明式的写法对 Java 后端来说几乎没有学习成本因为你天天都在写接口。更妙的是AiService 支持在接口方法上加注解来定制行为。比如你想让模型扮演某个角色可以用SystemMessage指定系统提示词想让模型返回结构化对象可以把返回值定义成一个 POJO 或者 record框架会自动做 JSON 解析。这些能力后面会详细展开。2.3 和 Spring Boot 的天然契合Java 后端的主战场是 Spring BootLangChain4j 在这方面做得很到位。它提供了专门的 Spring Boot Starter你只要在pom.xml里加一个依赖在application.yml里配好 API Key 和模型名称剩下的交给自动装配。你的 AiService 接口可以直接用AiService注解标记Spring 容器启动时自动扫描并注册成 Bean然后在任何地方Autowired注入使用。这种集成方式的好处是AI 能力不再是项目里一个孤立的模块而是像普通 Service 一样融入整个依赖注入体系。你可以给它加事务、加切面、加缓存可以注入其他的 Repository 和 Service可以写单元测试。这才是 Java 后端熟悉的开发体验。3. 环境搭建与第一个可运行的 AiService3.1 依赖选型和版本确认动手之前先把依赖理清楚。LangChain4j 的模块划分比较细核心模块和集成模块是分开的。你需要根据自己用的模型厂商选择对应的 starter。以对接 OpenAI 兼容接口为例核心依赖大概是这样dependency groupIddev.langchain4j/groupId artifactIdlangchain4j/artifactId version0.35.0/version /dependency dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-open-ai/artifactId version0.35.0/version /dependency dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-spring-boot-starter/artifactId version0.35.0/version /dependency这里要提醒一句版本号一定要统一。LangChain4j 的各个模块是同步发布的如果核心模块用 0.35.0集成模块用 0.34.0很容易出现类找不到或者方法签名不匹配的问题。我一开始就是随手复制了不同版本的依赖结果启动时报NoSuchMethodError排查了半天才发现是版本不一致。另外如果你用的是国内某些兼容 OpenAI 协议的模型服务langchain4j-open-ai这个模块同样能用只需要把 baseUrl 指向对应的地址即可。这一点很实用因为很多团队出于成本和合规考虑不会直接用海外的服务。3.2 配置文件的关键参数Spring Boot 集成模式下配置写在application.yml里。一个最小可用的配置长这样langchain4j: open-ai: chat-model: base-url: https://api.example.com/v1 api-key: ${AI_API_KEY} model-name: gpt-3.5-turbo temperature: 0.7 timeout: PT60S log-requests: true log-responses: true几个参数值得单独说一下。temperature控制输出的随机性0 到 2 之间值越低越确定、越保守值越高越发散、越有创意。做知识问答、代码生成这类需要准确性的场景建议调到 0.2 到 0.3做文案创作、头脑风暴可以调到 0.8 以上。timeout用的是 ISO-8601 的 Duration 格式PT60S就是 60 秒大模型响应慢的时候这个值别设太小否则容易超时。log-requests和log-responses在开发阶段强烈建议打开能看到实际发出去的请求体和收到的响应排查问题非常方便。但上线前一定要关掉因为请求里可能包含用户隐私数据打到日志里是合规风险。提示API Key 千万不要硬编码在配置文件里提交到代码仓库。用环境变量或者配置中心注入这是基本的安全意识。3.3 定义并注入你的第一个 AiService配置好了之后定义一个接口AiService public interface Assistant { SystemMessage(你是一个专业的 Java 技术助手回答要简洁准确代码示例用 Java。) String chat(UserMessage String message); }注意AiService这个注解它是 Spring Boot Starter 提供的标记之后框架会自动扫描并创建实现。SystemMessage定义系统提示词相当于给模型设定人设和规则UserMessage标记用户输入。启动 Spring Boot 应用然后在 Controller 里注入RestController public class ChatController { private final Assistant assistant; public ChatController(Assistant assistant) { this.assistant assistant; } GetMapping(/chat) public String chat(RequestParam String q) { return assistant.chat(q); } }访问/chat?q什么是依赖注入就能拿到模型的回复。整个过程没有一行手写的 HTTP 代码这就是 AiService 的威力。4. 深入 AiService记忆、结构化输出与函数调用4.1 多轮对话的记忆管理单轮问答很简单但真实场景往往是多轮对话。用户问“Java 的集合有哪些”你回答了 List、Set、Map用户接着问“那它们有什么区别”这时候模型必须知道“它们”指的是前面提到的集合。如果每次请求都是独立的模型没有上下文就会答非所问。LangChain4j 用ChatMemory来解决这个问题。它的原理很直白把历史对话按顺序存起来每次请求时把历史消息一起发给模型。配置方式是在构建 AiService 时指定一个记忆对象Assistant assistant AiServices.builder(Assistant.class) .chatLanguageModel(model) .chatMemory(MessageWindowChatMemory.withMaxMessages(20)) .build();MessageWindowChatMemory是一个滑动窗口实现withMaxMessages(20)表示最多保留 20 条消息超出的旧消息会被丢弃。为什么要限制条数因为模型的上下文长度是有上限的而且历史消息越多token 消耗越大成本越高响应也越慢。20 条是个经验值具体多少要看你的业务场景和模型能力。这里有个容易踩的坑记忆是按会话隔离的。如果你用默认的全局记忆所有用户的对话会混在一起A 用户问的问题 B 用户能看到上下文这是严重的事故。正确做法是用ChatMemoryProvider按用户 ID 或会话 ID 提供独立的记忆实例.chatMemoryProvider(memoryId - MessageWindowChatMemory.withMaxMessages(20))然后在接口方法上用MemoryId标记会话标识String chat(MemoryId String sessionId, UserMessage String message);这样每个 sessionId 对应一份独立的记忆互不干扰。4.2 结构化输出让模型返回 Java 对象让模型返回一段自然语言容易但让模型返回一个能直接反序列化成 Java 对象的 JSON就需要一些技巧了。LangChain4j 提供了结构化输出的支持你只需要把返回值定义成一个 record 或者 POJOrecord PersonInfo(String name, int age, String city) {} interface InfoExtractor { UserMessage(从以下文本中提取人物信息{{it}}) PersonInfo extract(String text); }框架会自动在提示词里加入格式说明要求模型输出符合结构的 JSON然后解析成PersonInfo对象。这个能力在信息抽取、表单填充、意图识别等场景非常有用。不过实测下来结构化输出的稳定性跟模型能力关系很大。能力强的模型基本能稳定输出合法 JSON能力弱的模型偶尔会多输出一段解释文字导致解析失败。我的经验是在系统提示词里明确强调“只输出 JSON不要有任何其他文字”能显著提升成功率。另外字段类型尽量用 String、int 这种简单的避免嵌套过深的结构。4.3 函数调用让模型调用你的 Java 方法函数调用Function Calling是 LangChain4j 里比较高级但非常实用的能力。简单说就是你把一些 Java 方法“注册”给模型模型在需要的时候会告诉你“我要调用这个方法参数是这些”然后框架帮你执行方法并把结果返回给模型模型再基于结果生成最终回复。举个例子用户问“北京今天天气怎么样”模型本身不知道实时天气但它可以调用你提供的getWeather(String city)方法。你只需要在接口方法上标注Toolclass WeatherTools { Tool(查询指定城市的天气) String getWeather(String city) { // 实际调用天气 API return 晴25度; } }然后在构建 AiService 时把工具类注册进去。模型判断需要天气信息时会自动触发这个方法的调用。这个机制让大模型从“只会聊天”变成了“能干活”可以对接数据库、调用外部 API、执行计算想象空间很大。注意函数调用会带来安全风险。模型可能被诱导调用你不希望它调用的方法或者传入恶意参数。生产环境一定要对工具方法做权限校验和参数校验不要直接把敏感操作暴露成 Tool。5. RAG 实战给模型接上你的私有知识库5.1 RAG 要解决的核心问题大模型有两个硬伤一是知识有截止日期训练数据之后的事情它不知道二是它不知道你公司内部的文档、产品手册、业务规则。你问它“我们产品的退款政策是什么”它只能瞎编。RAGRetrieval-Augmented Generation检索增强生成就是来解决这个问题的。RAG 的思路很朴素既然模型不知道那我就先把相关资料找出来连同问题一起发给模型让它基于资料回答。就像开卷考试模型不用背下所有知识只要会查资料、会总结就行。整个流程分两步离线阶段把文档切块、向量化、存进向量库在线阶段把用户问题向量化去向量库检索最相关的几块拼进提示词发给模型。5.2 文档加载、切分与向量化LangChain4j 提供了DocumentLoader来加载各种格式的文档DocumentSplitter来切分。切分是个技术活切得太大检索出来的内容冗余浪费 token切得太小语义不完整模型理解不了。常见的做法是按段落切每块 500 到 1000 个字符块之间留一点重叠避免把一句话从中间切断。向量化就是把文本转成一串浮点数向量语义相近的文本向量距离也相近。LangChain4j 支持多种 Embedding 模型你可以用模型厂商提供的也可以用本地的。向量存进EmbeddingStore开发阶段可以用内存版生产环境建议用专门的向量数据库。EmbeddingStoreTextSegment store new InMemoryEmbeddingStore(); EmbeddingModel embeddingModel ...; Document document FileSystemDocumentLoader.loadDocument( Paths.get(docs/manual.txt)); ListTextSegment segments DocumentSplitters.recursive(500, 50) .split(document); for (TextSegment segment : segments) { Embedding embedding embeddingModel.embed(segment).content(); store.add(embedding, segment); }这段代码做了三件事加载文档、递归切分每块 500 字符重叠 50 字符、逐块向量化并存入。recursive切分器会优先按段落、句子等自然边界切尽量保证语义完整。5.3 把检索内容注入对话检索阶段把用户问题向量化去 store 里找最相似的几块Embedding queryEmbedding embeddingModel.embed(question).content(); ListEmbeddingMatchTextSegment matches store.findRelevant(queryEmbedding, 3);findRelevant的第二个参数是返回条数3 到 5 是比较常用的值。返回太多会稀释重点返回太少可能漏掉关键信息。拿到匹配内容后用ContentRetriever把它们注入到 AiService 的对话流程里模型就能基于这些内容回答了。LangChain4j 有个很方便的EmbeddingStoreContentRetriever直接把它配置到 AiService 上检索和注入全自动完成ContentRetriever retriever EmbeddingStoreContentRetriever.builder() .embeddingStore(store) .embeddingModel(embeddingModel) .maxResults(3) .minScore(0.7) .build(); Assistant assistant AiServices.builder(Assistant.class) .chatLanguageModel(model) .contentRetriever(retriever) .build();minScore是相似度阈值低于这个分数的结果会被过滤掉避免把不相关的内容硬塞给模型。这个值需要根据你的数据和 Embedding 模型调0.7 是个起点实际用的时候多试几次。6. 踩坑记录与常见问题速查6.1 依赖冲突与版本问题LangChain4j 依赖了一些 HTTP 客户端和 JSON 库如果你的项目里已经有其他版本的同类库很容易冲突。我遇到过一次Jackson版本冲突导致响应解析时字段丢失排查了很久。解决办法是用mvn dependency:tree看依赖树把冲突的库统一版本或者用exclusion排除掉传递依赖。6.2 超时与重试策略大模型响应慢是常态尤其是长文本生成。默认超时时间往往不够需要手动调大。但光调超时还不够网络抖动、服务限流都会导致偶发失败所以重试机制也要配上。LangChain4j 支持配置重试次数和间隔建议重试 2 到 3 次间隔用指数退避避免短时间内疯狂重试把对方打挂。6.3 常见问题速查表问题现象可能原因排查方向启动报 NoSuchMethodError模块版本不一致统一所有 langchain4j 依赖版本响应解析失败结构化输出格式不符强化提示词检查模型能力多用户对话串台记忆未按会话隔离使用 ChatMemoryProvider检索结果不相关切分粒度或阈值不当调整切分大小和 minScore请求超时模型响应慢或网络问题调大 timeout加重试Token 消耗过高历史消息或检索内容过多限制记忆条数和检索条数6.4 几个实操心得第一开发阶段一定要打开请求日志看清楚实际发出去的是什么。很多时候问题不在代码而在提示词或者参数配置日志能帮你快速定位。第二提示词要反复打磨。同样的模型提示词写得好和写得差输出质量天差地别。系统提示词里把角色、任务、输出格式、约束条件都写清楚比事后各种补救有效得多。第三成本要提前算。大模型调用是按 token 计费的多轮对话加 RAG 检索token 消耗会成倍增长。上线前估算一下日均调用量和平均 token 数心里有个数别等账单出来才傻眼。第四降级方案要有。大模型服务不是 100% 可用的限流、故障都可能发生。关键业务路径上要准备好降级逻辑比如返回缓存结果、走规则引擎别让整个功能因为模型不可用而瘫痪。我在实际项目里落地 LangChain4j 最大的体会是它确实把 Java 接入大模型的门槛拉低了很多但“能跑通”和“能上线”之间还有不小的距离。提示词工程、成本控制、异常处理、安全校验这些才是真正决定项目成败的地方。框架帮你解决了“怎么调”的问题“调得好不好”还得靠自己在实践中慢慢磨。