Post#开源项目

#开源项目 #人工智能 我正在做的一个开源项目docq：一个基于本地文档的问答引擎。 考虑这样的场景：在本地目录积累了很多私人文档，突然想起来某个问题，又不知道具体在哪个文件（甚至可能是需要结合多个文件）和答案。这时候就可以利用这个本地文档问答引擎来提问。也就是说，这个本地问答引擎，可以基于本地的一大堆文件，提出问题并且得到回答。 市面上有类似的产品吗？比如anythingLLM，它是将一个特定的文档拖到它的UI界面再进行提问，也就是说，此时要求用户清楚知道答案在哪个文档里面再进行提问；再比如开源的 qmd，它更像是一个“语义搜索版本的 grep”，提供的是搜索功能，而不是回答。 除此以外，这个产品是完全离线的，第一次使用时会把需要用到的embedding、reranker、推理模型下载下来，绝不上传用户的文档到云端，保证安全和隐私。默认采用的几类模型是：embedding（Xenova/bge-small-zh-v1.5）、reranker（BAAI/bge-reranker-base）、LLM（Qwen/Qwen2.5-3B-Instruct-GGUF）。 现在我的第一步的 poc 已经跑通，我将我博客上的共识算法和系统模型这两个章节的 markdown 文档放在同一个目录（加起来一共几万字），然后提出了一个问题：“multi paxos 相比 paxos 有哪些改进点”，回答的质量还不错，耗时有点多，花了将近 40 秒才完成回答（不过，里面有相当时间耗费在了加载模型上），我的机器配置是 Mac M1 Max 的 CPU、64GB 内存。