dsh-community-listening：面向 DSH 的社交評論研究插件

在 DSH 智能體開發或社區輿情研究中，獲取公開評論數據是常見需求。手動瀏覽或編寫通用爬蟲效率較低。dsh-community-listening 是一個標準 DSH bundle，它將平臺適配、內容發現、語料管理、情感分析及主題聚類整合爲一個服務。

所有者：tyx6661234。類別：聯網工具。許可：MIT。

核心能力¶

插件覆蓋 8 個主流平臺的評論採集，並提供內容發現、語料管理與初步分析能力。

評論採集：支持知乎、B 站、小紅書、微博、抖音、快手、牛客、百度貼吧。
內容發現：支持 B 站、小紅書、微博、抖音、快手的內容搜索，其中抖音支持讀取用戶近期作品。
語料管理：將結果按主題保存爲 JSONL 格式，支持按 URL 與內容去重。
分析與導出：提供語料統計、詞典/LLM 情感分析、SimHash 近似去重、Embedding 或關鍵詞主題聚類，以及 Markdown 報告導出。
狀態監控：維護獨立的節流、冷卻和通道健康狀態，支持主通道降級。

安裝與前置條件¶

安裝前需確認環境滿足以下條件：
* Node.js >= 20。
* 可用的 DSH 或 DSH Desktop 環境。
* 已安裝並可從 PATH 調用的 BrowserSkill CLI（bsk）。

安裝命令如下：

dsh plugin --profile <name> add dsh-community-listening

將 <name> 替換爲目標 profile 名稱。安裝後重啓該 profile 即可加載。

典型用法¶

下面介紹從發現到導出的標準流程。

1. 檢查平臺狀態¶

在採集前，先查看各通道的健康狀態與冷卻情況。

crawler_status()

2. 採集與發現¶

傳入 topic 參數，插件會自動將發現結果寫入該主題的語料目錄。

B 站搜索示例：

collect_bilibili_search({
  keyword: "機械鍵盤",
  topic: "mechanical-keyboards"
})

抖音用戶作品示例：

collect_douyin_user(userUrl, topic, limit)

採集搜索結果中的具體評論：

collect_comments({
  url: "<video-or-post-url>",
  topic: "mechanical-keyboards"
})

3. 分析與導出¶

採集完成後，可對語料進行統計、情感分析、去重和聚類。

corpus_stats({ topic: "mechanical-keyboards" })
mine_sentiment({ topic: "mechanical-keyboards" })
dedupe_similar({ topic: "mechanical-keyboards" })
cluster_topics({ topic: "mechanical-keyboards" })

最後導出 Markdown 報告：

export_report({ topic: "mechanical-keyboards", report: "# Research report\n..." })

配置說明¶

在目標 profile 的插件配置中添加 config 字段。以下是關鍵配置項：

- id: dsh-community-listening
  name: dsh-community-listening
  config:
    bskPath: bsk
    bskTimeoutMs: 120000
    maxCollectConcurrency: 3
    autoLaunchChrome: true
    chromePath: ""
    chromeProfileDir: ""
    corpusDir: ""
    bilibiliCookie: ""
    siliconflowKey: ""
    siliconflowBaseUrl: ""
    embeddingModel: ""

bskPath：BrowserSkill CLI 路徑。
bskTimeoutMs：單次命令超時時間（毫秒）。
maxCollectConcurrency：瀏覽器型採集的全局併發上限。
bilibiliCookie：可選 B 站 Cookie，用於改善 API 可用性。
siliconflowKey：可選 embedding 模型配置。
corpusDir：語料根目錄，也可通過環境變量 DSH_INSIGHT_CORPUS_DIR 設置。

行爲與限制¶

權限與合規：僅處理公開可讀內容，複用用戶自有瀏覽器登錄態。不破解驗證碼、不繞過登錄牆、不僞造設備身份。
小紅書特殊要求：小紅書需登錄態和 xsec_token。若搜索結果中無有效 token，評論採集可能爲空。
平臺變動：平臺策略變化可能導致採集失敗。遇到冷卻或降級時，請通過 crawler_status 查看狀態，避免無效重試。
本地運行：插件以當前 DSH 進程權限運行，請勿提交 Cookie、API Key 或瀏覽器 Profile 到代碼倉庫。

數據存儲¶

默認語料目錄爲當前 DSH 會話工作目錄，結構如下：

<corpus-root>/insight-workspace/<topic>/
  corpus.jsonl     # 搜索結果、頁面與評論語料
  analysis.json    # 分析快照
  report.md        # 導出的報告

生態與貢獻¶

本插件屬於 DSH 生態中的聯網工具。目標平臺內容及其使用仍受各平臺規則與適用法律約束。

更多細節可參考 GitHub 倉庫。