为什么不支持sse流式输出？

[cxyxscn]

@GetMapping(value = "/chatStream", produces = {MediaType.TEXT_EVENT_STREAM_VALUE})
    public void getChatMessageStream(@RequestParam String question, HttpServletResponse response) throws Exception {
        // 中文乱码问题
        response.setCharacterEncoding("UTF-8");
        // 获取OpenAi的聊天服务
        IChatService chatService = aiService.getChatService(PlatformType.DEEPSEEK);
        // 创建请求参数
        ChatCompletion chatCompletion = ChatCompletion.builder()
                .model("deepseek-chat")
                .message(ChatMessage.withUser(question))
                .build();
        PrintWriter writer = response.getWriter();
        // 发送chat请求
        SseListener sseListener = new SseListener() {
            @Override
            protected void send() {
                log.info("getCurrData:{}", this.getCurrData());
                writer.write(this.getCurrData());
                writer.flush();
            }
        };
        chatService.chatCompletionStream(chatCompletion, sseListener);
        writer.close();
    }

[LnYo-Cly]

你鼠标往后拉拉，数据应该在一行里面吧。你可以使用getCurrStr，只打印当前content中的内容。

[cxyxscn]

那怎样实现这种格式的输出？

[LnYo-Cly]

this.getCurrData() + '\n'即可

[LnYo-Cly]

那怎样实现这种格式的输出？

你也可以将返回对象修改为SseEmitter :

    @GetMapping("/chatStream2")
    public SseEmitter getChatMessageStream(@RequestParam String question) {
        SseEmitter emitter = new SseEmitter();

        // 获取聊天服务
        IChatService chatService = aiService.getChatService(PlatformType.DEEPSEEK);

        // 创建请求参数
        ChatCompletion chatCompletion = ChatCompletion.builder()
                .model("deepseek-chat")
                .message(ChatMessage.withUser(question))
                .build();

        Executors.newSingleThreadExecutor().submit(() -> {
            try {
                SseListener sseListener = new SseListener() {
                    @Override
                    protected void send() {
                        try {
                            emitter.send(this.getCurrData());
                            System.out.println(this.getCurrData());  // 打印当前发送的内容
                        } catch (IOException e) {
                            emitter.completeWithError(e);
                        }
                    }
                };

                // 发送流式数据
                chatService.chatCompletionStream(chatCompletion, sseListener);

                // 完成后关闭连接
                emitter.complete();
            } catch (Exception e) {
                emitter.completeWithError(e);
            }
        });

        return emitter;
    }

效果图如下：

[luhengyu1]

那怎样实现这种格式的输出？

你也可以将返回对象修改为SseEmitter :

@GetMapping("/chatStream2")
public SseEmitter getChatMessageStream(@RequestParam String question) {
    SseEmitter emitter = new SseEmitter();

    // 获取聊天服务
    IChatService chatService = aiService.getChatService(PlatformType.DEEPSEEK);

    // 创建请求参数
    ChatCompletion chatCompletion = ChatCompletion.builder()
            .model("deepseek-chat")
            .message(ChatMessage.withUser(question))
            .build();

    Executors.newSingleThreadExecutor().submit(() -> {
        try {
            SseListener sseListener = new SseListener() {
                @Override
                protected void send() {
                    try {
                        emitter.send(this.getCurrData());
                        System.out.println(this.getCurrData());  // 打印当前发送的内容
                    } catch (IOException e) {
                        emitter.completeWithError(e);
                    }
                }
            };

            // 发送流式数据
            chatService.chatCompletionStream(chatCompletion, sseListener);

            // 完成后关闭连接
            emitter.complete();
        } catch (Exception e) {
            emitter.completeWithError(e);
        }
    });

    return emitter;
}

效果图如下：

请问下为什么我跑这个代码，postman一直这样子，控制台也什么都没有打印

[luhengyu1]

那怎样实现这种格式的输出？

你也可以将返回对象修改为SseEmitter :

@GetMapping("/chatStream2")
public SseEmitter getChatMessageStream(@RequestParam String question) {
    SseEmitter emitter = new SseEmitter();

    // 获取聊天服务
    IChatService chatService = aiService.getChatService(PlatformType.DEEPSEEK);

    // 创建请求参数
    ChatCompletion chatCompletion = ChatCompletion.builder()
            .model("deepseek-chat")
            .message(ChatMessage.withUser(question))
            .build();

    Executors.newSingleThreadExecutor().submit(() -> {
        try {
            SseListener sseListener = new SseListener() {
                @Override
                protected void send() {
                    try {
                        emitter.send(this.getCurrData());
                        System.out.println(this.getCurrData());  // 打印当前发送的内容
                    } catch (IOException e) {
                        emitter.completeWithError(e);
                    }
                }
            };

            // 发送流式数据
            chatService.chatCompletionStream(chatCompletion, sseListener);

            // 完成后关闭连接
            emitter.complete();
        } catch (Exception e) {
            emitter.completeWithError(e);
        }
    });

    return emitter;
}

效果图如下：

请问下为什么我跑这个代码，postman一直这样子，控制台也什么都没有打印

哦好了，我用key调了真实的DeepSeek可以，调用本地ollama部署的小的1.5b的版本就不行，不知道是为什么。。。