聊天机器人在处理文档方面效率显著，但对于健康保险政策、银行对账单等敏感信息，用户上传数据至Google、Anthropic或OpenAI服务器的行为引发了隐私担忧。虽然运行本地大语言模型（LLM）能解决隐私问题，但若模型无法访问本地文件，其价值便大打折扣。理想的配置需兼顾文档导入与本地文件夹指向能力。
选型：支持工具调用的运行器与模型
“运行器”负责加载模型并决定文件传递方式。在尝试十余种运行器后，LM Studio因用户友好及内置工作区功能（如聊天内文档上传按钮）成为首选。若所用运行器缺乏此功能，可借助Cherry Studio或AnythingLLM等本地AI工作区工具，通过服务器接入本地LLM。
在LM Studio中，用户可直接附加PDF、Word及文本文件。模型受限于上下文窗口（Context Window），小文件可全量载入，超大文件则由系统根据问题提取相关片段。针对存储于文件夹中的大批量笔记，文件系统MCP服务器至关重要。MCP作为接入AI应用的标准工具协议，允许模型读取指定文件夹内的多个文件，无需逐个手动附加。
该方案生效的前提是模型具备优秀的工具调用能力，否则模型可能在不打开文件的情况下凭空猜测。LM Studio标记了支持工具调用的模型，其中Qwen 3.5 9B表现最为可靠。此外，基于Qwen 3.5架构构建的Qwythos 9B v2也是优质选择。若硬件允许，建议选用更新、更大的Qwen模型。同时，应设置系统提示词，强制模型严格依据文件作答并注明来源。
突破记忆缺失：构建私有知识库
传统聊天机器人对话从零开始，缺乏长期记忆，导致用户需反复输入背景信息（如保险计划类型、保单细节）。本地模型虽无云端那样的长期记忆功能，但通过建立本地LLM可访问的私有存储空间，可将保单PDF、就诊笔记等历史数据转化为可检索的知识库，避免重复劳动。
超越聊天：跨文档查询与模式挖掘
该配置主要服务于健康和财务文档及个人笔记的处理。文件系统连接使得跨文档操作成为可能，例如比对保险条款与实际理赔金额，无需手动打开多个PDF。此外，模型擅长挖掘分散在不同笔记中的决策逻辑（如更换保险原因、医嘱内容），用户无需知晓确切文件名即可检索相关信息。
模型还能将原始材料转化为新内容，如整理症状与日期列表以供就诊使用。在此类任务中，更大的模型未必表现更优。由于云端模型未接触过这些私有文件，上传数据违背了本地部署的初衷，因此本地处理更具优势。
局限性与云端模型的对比
小型模型偶尔会基于假设而非实际文件内容作答，因此在信任涉及数字的回答前，仍需核查引用源。上下文长度限制导致大型文件夹或长PDF无法全量载入，片段提取可能出现偏差；提及已知术语有助于提高准确性。此外，纯图片格式的扫描版PDF需额外OCR设置才能被读取。
尽管本地模型速度不及云端，但在非紧急任务中，运行在本地硬件上的免费9B参数模型（如Qwen）在工具调用可靠性上表现优异。对于关键文档处理，这种本地化方案比订阅云端AI服务更值得信赖。