知识星球内容归档与去重工具

面向已授权知识星球的私有归档工具，把帖子、长文和图片持续同步为可检索的本地 Markdown 资料库。

年份:

2026

标签:

数据抓取 / 增量同步 / SQLite / 去重

要解决的问题

历史内容量大、分页边界复杂，日常重复抓取还会产生重复数据和遗漏。

最终产出 / 结果

完成按月全量归档、每日增量同步、SQLite 去重、断点状态、图片下载和 Markdown 结构化保存。

承担的工作

独立完成同步规则、分页保护、内容解析、数据去重、私密凭据隔离和自动化运行。

AI 参与方式

使用 AI 辅助分析接口返回、修正分页边界并把稳定流程封装成可复用 Skill。