dsh-kb-rag:本地文獻知識庫

DSH 用戶在處理文獻時,通常面臨引用追蹤困難、無法定位具體頁碼或章節的問題。通用 RAG 往往只返回摘要而非原文證據。dsh-kb-rag 解決了這個問題,它將 PDF 文件和 Zotero 庫索引到一個 SQLite 文件中,並返回帶有位置元數據的段落。

插件信息

核心功能

  1. 本地優先的文獻 RAG:所有索引、嵌入和重排序均在本地運行,無需上傳數據,無 API 成本。
  2. 多源索引:支持將 PDF 文件和 Zotero 圖書館索引到單一的 SQLite 數據庫中。
  3. 位置元數據:返回的檢索段落包含章節、物理 PDF 頁碼和可點擊的 DOI 鏈接。
  4. 本地模型:使用本地嵌入和重排序模型。
  5. MCP 支持:提供 MCP 服務器模式,可被 Claude Desktop、Cursor 等工具使用。

安裝與啓用

安裝過程會處理 Python 依賴、引擎測試以及 Node/pnpm 的檢查。

  1. 執行安裝命令:
    npx dsh-kb-rag-install
  1. 首次使用時,插件會下載約 95MB 的嵌入模型和約 1.1GB 的重排序器,因此初始化速度較慢,後續查詢將進入內存緩存,速度會顯著提升。

典型用法

安裝完成後,可通過以下工具進行操作:

  1. kb_rag:檢索證據。用於向知識庫提問,獲取帶有引用的段落。
  2. kb_ingest:批量索引。用於處理文件索引,支持後臺異步任務。
  3. kb_status:查詢狀態。用於輪詢 kb_ingest 的後臺作業狀態。
  4. kb_scope:定義範圍。用於定義查詢的嚴格模式和範圍。

適用場景與注意事項

適用場景:
* 需要基於本地文獻庫進行 RAG 檢索的研究人員。
* 已經有大量 PDF 文獻或 Zotero 庫,希望進行結構化索引的用戶。
* 需要精確引用來源和頁碼的開發者。

注意事項:
* 權限問題:插件以當前 DSH 進程的權限運行,安裝前應檢查源碼與許可證。
* 首用速度:首次使用需要下載模型文件,耗時較長。
* 文件格式限制:無文本層的掃描 PDF 會被跳過。
* 索引內容:圖片本身不索引,僅索引圖片的圖注(caption)爲文本。
* 語言限制:跨語言檢索能力較弱。

結語

dsh-kb-rag 提供了一種本地化、結構化的文獻管理方式。通過 SQLite 存儲和本地模型計算,它能夠在保護數據隱私的同時,提供帶有精確位置信息的檢索結果。更多細節可參考其 GitHub 倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜