流式返回为何还是接口相应完一次性返回

[chenwenniupi]

No description provided.

[LnYo-Cly]

请问是否有详细的描述，例如问题截图、环境、依赖版本、测试代码等等。

[chenwenniupi]

目前流式返回速度很慢 调用之后都是接口响应完成之后再一次性返回

[chenwenniupi]

[LnYo-Cly]

1. 回复速度慢是因为ollama
2. 前端在流式下一次性或大段内容输出打印，你可以在send函数中添加Thread.sleep(10);

[chenwenniupi]

现在的流式响应是接口调用 一般要等20几秒才开始返回 我的理解是应该是流式返回总共花20多秒

[LnYo-Cly]

现在的流式响应是接口调用 一般要等20几秒才开始返回 我的理解是应该是流式返回总共花20多秒

1. 请使用参数量更小的模型
2. 升级你的计算机配置
3. 使用GPU加载ollama
4. ollama的模型第一次使用会进行预加载，你可以设置参数修改模型保活时间

[LnYo-Cly]

现在的流式响应是接口调用 一般要等20几秒才开始返回 我的理解是应该是流式返回总共花20多秒

上图测试也为llama3.2:1b模型

返回时间慢，和框架无关

[chenwenniupi]

请问你这个ollama是在什么配置的电脑或者服务器上跑的呢？

[MaLoneGitHub]

同样的问题，stream，请求几十秒之后，一下全部打印了。但是用其他SDK（PlexPt/chatgpt-java）的就是一段一段打印的。地址参数都是一摸一样

[LnYo-Cly]

同样的问题，stream，请求几十秒之后，一下全部打印了。但是用其他SDK（PlexPt/chatgpt-java）的就是一段一段打印的。地址参数都是一摸一样

你好，我使用你提到的SDK，二者效果是一样的。

图一是我自己部署的线上环境测试。

图二是我使用您所提到的SDK的测试。

二者均是流式逐字打印。