LightRAG关闭大模型思考模式
0. 前言
LightRAG推荐使用非思考模型,这是因为在其包装发送给大模型的请求体中,没有控制是否开启思考模式,如果配置的是思考模型,如Qwen3.5,就会导致检索时速度特别慢。通过简单修改源码,即可关闭思考模式,显著提升检索速度。
1. 源码修改
我的模型是Qwen3.5,适配的是openai接口,所以我需要修改LightRAG的docker容器中app/lightrag/llm/openai.py文件,通过观察可以发现,其大模型调用接口为:
response = await openai_async_client.chat.completions.parse(
model=api_model, messages=messages, **kwargs
)
也就是说我们需要在kwargs增加标准的思考模式关闭的代码,对于openai格式,思考模式是在请求体的extra_body内容中进行配置的,所以需要添加:
kwargs.update(
{
"extra_body": {
'chat_template_kwargs': {"thinking": False, "enable_thinking": False},
"enable_thinking": False,
"think": False
}
}
)
docker compose down掉LightRAG后,重新up一个,即可实现更改。