Repository: NanmiCoder/MediaCrawler

Stars: 48028

README.md Copy Chapter

🔥 MediaCrawler - 自媒体平台爬虫 🕷️

<div align="center">

<a href="https://trendshift.io/repositories/8291" target="_blank">
<img src="https://trendshift.io/api/badge/repositories/8291" alt="NanmiCoder%2FMediaCrawler | Trendshift" style="width: 250px; height: 55px;" width="250" height="55"/>
</a>

</div>

免责声明：

> 大家请以学习为目的使用本仓库⚠️⚠️⚠️⚠️，爬虫违法违规的案件 <br>

>本仓库的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。

> 点击查看更为详细的免责声明。点击跳转

📖 项目简介 Copy Chapter

一个功能强大的多平台自媒体数据采集工具，支持小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取。

🔧 技术原理 Copy Section

- 核心技术：基于 Playwright 浏览器自动化框架登录保存登录态
- 无需JS逆向：利用保留登录态的浏览器上下文环境，通过 JS 表达式获取签名参数
- 优势特点：无需逆向复杂的加密算法，大幅降低技术门槛

✨ 功能特性 Copy Chapter

<strong>MediaCrawlerPro 重磅发布！开源不易，欢迎订阅支持</strong>

专注于学习成熟项目的架构设计，不仅仅是爬虫技术，Pro 版本的代码设计思路同样值得深入学习！

MediaCrawlerPro 相较于开源版本的核心优势：

#### 🎯 核心功能升级
- ✅ 自媒体内容拆解Agent（新增功能）
- ✅ 断点续爬功能（重点特性）
- ✅ 多账号 + IP代理池支持（重点特性）
- ✅ 去除 Playwright 依赖，使用更简单
- ✅ 完整 Linux 环境支持

#### 🏗️ 架构设计优化
- ✅ 代码重构优化，更易读易维护（解耦 JS 签名逻辑）
- ✅ 企业级代码质量，适合构建大型爬虫项目
- ✅ 完美架构设计，高扩展性，源码学习价值更大

#### 🎁 额外功能
- ✅ 自媒体视频下载器桌面端（适合学习全栈开发）
- ✅ 多平台首页信息流推荐（HomeFeed）
- ✅ AI Agent Skill 支持（OpenClaw 🦞 / Claude Code / Cursor 一键安装，让 Agent 自动爬取数据）
- [ ] 基于评论分析AI Agent正在开发中 🚀🚀

点击查看：MediaCrawlerPro 项目主页 更多介绍

🚀 快速开始 Copy Chapter

💡 如果这个项目对您有帮助，请给个 ⭐ Star 支持一下！

📋 前置依赖 Copy Chapter

🚀 uv 安装（推荐） Copy Section

在进行下一步操作之前，请确保电脑上已经安装了 uv：

- 安装地址：uv 官方安装指南
- 验证安装：终端输入命令 uv --version，如果正常显示版本号，证明已经安装成功
- 推荐理由：uv 是目前最强的 Python 包管理工具，速度快、依赖解析准确

🟢 Node.js 安装 Copy Section

项目依赖 Node.js，请前往官网下载安装：

- 下载地址：https://nodejs.org/en/download/
- 版本要求：>= 16.0.0

📦 Python 包安装 Copy Section

进入项目目录

cd MediaCrawler
使用 uv sync 命令来保证 python 版本和相关依赖包的一致性

uv sync

🌐 浏览器驱动安装（可选） Copy Section

如果使用默认的 CDP 模式（连接已有 Chrome 浏览器），无需安装浏览器驱动。仅在使用标准 Playwright 模式时需要安装。

仅在标准 Playwright 模式下需要安装浏览器驱动

uv run playwright install

🌍 Chrome 浏览器配置（推荐） Copy Section

项目默认使用 CDP 模式连接用户已有的 Chrome 浏览器，可以复用浏览器已有的登录状态、Cookie、扩展等，大幅降低平台风控检测风险。

使用前需要：

1. 安装最新版 Chrome 浏览器（版本 >= 144），下载地址
2. 开启远程调试功能：在 Chrome 地址栏输入 chrome://inspect/#remote-debugging，勾选 "Allow remote debugging for this browser instance"
3. 页面显示 Server running at: 127.0.0.1:9222 表示已就绪

💡 提示：运行爬虫后，Chrome 浏览器会弹出确认对话框，点击"接受"即可。程序会等待用户确认，60秒内操作完成即可。

> 如果不想使用 CDP 模式，可以在 config/base_config.py 中设置 ENABLE_CDP_MODE = False 切换为标准 Playwright 模式。

🚀 运行爬虫程序 Copy Chapter

在 config/base_config.py 查看配置项目功能，写的有中文注释
从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论

uv run main.py --platform xhs --lt qrcode --type search
从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息

uv run main.py --platform xhs --lt qrcode --type detail
打开对应APP扫二维码登录
其他平台爬虫使用示例，执行下面的命令查看

uv run main.py --help

<details>
<summary>🖥️ <strong>WebUI 可视化操作界面</strong></summary>

MediaCrawler 提供了基于 Web 的可视化操作界面，无需命令行也能轻松使用爬虫功能。

#### 启动 WebUI 服务

启动 API 服务器（默认端口 8080）

uv run uvicorn api.main:app --port 8080 --reload
或者使用模块方式启动

uv run python -m api.main

启动成功后，访问 http://localhost:8080 即可打开 WebUI 界面。

#### WebUI 功能特性

- 可视化配置爬虫参数（平台、登录方式、爬取类型等）
- 实时查看爬虫运行状态和日志
- 数据预览和导出

#### 界面预览

<img src="docs/static/images/img_8.png" alt="WebUI 界面预览">

</details>

<details>
<summary>🔗 <strong>使用 Python 原生 venv 管理环境（不推荐）</strong></summary>

#### 创建并激活 Python 虚拟环境

如果是爬取抖音和知乎，需要提前安装 nodejs 环境，版本大于等于：16 即可

进入项目根目录

cd MediaCrawler
创建虚拟环境

我的 python 版本是：3.11 requirements.txt 中的库是基于这个版本的

如果是其他 python 版本，可能 requirements.txt 中的库不兼容，需自行解决

python -m venv venv
macOS & Linux 激活虚拟环境

source venv/bin/activate
Windows 激活虚拟环境

venv\Scripts\activate

#### 安装依赖库

pip install -r requirements.txt

#### 安装 playwright 浏览器驱动

playwright install

#### 运行爬虫程序（原生环境）

项目默认是没有开启评论爬取模式，如需评论请在 config/base_config.py 中的 ENABLE_GET_COMMENTS 变量修改

一些其他支持项，也可以在 config/base_config.py 查看功能，写的有中文注释
从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论

python main.py --platform xhs --lt qrcode --type search
从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息

python main.py --platform xhs --lt qrcode --type detail
打开对应APP扫二维码登录
其他平台爬虫使用示例，执行下面的命令查看

python main.py --help

</details>

💾 数据保存 Copy Chapter

MediaCrawler 支持多种数据存储方式，包括 CSV、JSON、JSONL、Excel、SQLite 和 MySQL 数据库。

📖 详细使用说明请查看：数据存储指南

🚀 MediaCrawlerPro 重磅发布 🚀！更多的功能，更好的架构设计！开源不易，欢迎订阅支持！

💬 交流群组 Copy Chapter

💰 赞助商展示 Copy Chapter

<a href="https://tikhub.io/?utm_source=github.com/NanmiCoder/MediaCrawler&utm_medium=marketing_social&utm_campaign=retargeting&utm_content=carousel_ad">
<img width="500" src="docs/static/images/tikhub_banner_zh.png">
<br>
TikHub.io 提供 900+ 高稳定性数据接口，覆盖 TK、DY、XHS、Y2B、Ins、X 等 14+ 海内外主流平台，支持用户、内容、商品、评论等多维度公开数据 API，并配套 4000 万+ 已清洗结构化数据集，使用邀请码 <code>cfzyejV9</code> 注册并充值，即可额外获得 $2 赠送额度。
</a>

---

🤝 成为赞助者 Copy Chapter

成为赞助者，可以将您的产品展示在这里，每天获得大量曝光！

联系方式：
- 微信：relakkes
- 邮箱：[email protected]
---

☕ 请作者喝杯咖啡 Copy Chapter

如果这个项目对您有帮助，欢迎打赏支持，您的每一份支持都是我持续更新的动力 ❤️

<table>
<tr>
<td align="center" width="33%">
<img src="docs/static/images/wechat_pay.jpeg" width="250" alt="微信赞赏"><br>
<b>微信赞赏</b>
</td>
<td align="center" width="33%">
<img src="docs/static/images/zfb_pay.png" width="250" alt="支付宝"><br>
<b>支付宝</b>
</td>
<td align="center" width="33%">
<a href="https://buymeacoffee.com/relakkes" target="_blank">
<img src="docs/static/images/bmc_button.png" width="250" alt="Buy Me a Coffee">
</a><br>
<b>Buy Me a Coffee</b>
</td>
</tr>
</table>

---

📚 其他 Copy Chapter

⭐ Star 趋势图 Copy Chapter

如果这个项目对您有帮助，请给个 ⭐ Star 支持一下，让更多的人看到 MediaCrawler！


📚 参考 Copy Chapter

- 小红书签名仓库：Cloxl 的 xhs 签名仓库
- 小红书客户端：ReaJason 的 xhs 仓库
- 短信转发：SmsForwarder 参考仓库
- 内网穿透工具：ngrok 官方文档

免责声明

1. 项目目的与性质 Copy Chapter

2. 法律合规性声明 Copy Chapter

3. 使用目的限制 Copy Chapter

4. 免责声明 Copy Chapter

5. 知识产权声明 Copy Chapter

6. 最终解释权 Copy Chapter