LightRAG关闭大模型思考模式

0. 前言

LightRAG推荐使用非思考模型,这是因为在其包装发送给大模型的请求体中,没有控制是否开启思考模式,如果配置的是思考模型,如Qwen3.5,就会导致检索时速度特别慢。通过简单修改源码,即可关闭思考模式,显著提升检索速度。

1. 源码修改

我的模型是Qwen3.5,适配的是openai接口,所以我需要修改LightRAG的docker容器中app/lightrag/llm/openai.py文件,通过观察可以发现,其大模型调用接口为:

response = await openai_async_client.chat.completions.parse(
     model=api_model, messages=messages, **kwargs
)

也就是说我们需要在kwargs增加标准的思考模式关闭的代码,对于openai格式,思考模式是在请求体的extra_body内容中进行配置的,所以需要添加:

kwargs.update(
    {
        "extra_body": {
            'chat_template_kwargs': {"thinking": False, "enable_thinking": False},
            "enable_thinking": False,
            "think": False
        }
    }
)

docker compose down掉LightRAG后,重新up一个,即可实现更改。