首页 实战
收藏

Python 移动端爬虫与自动化全链路实战

手把手跑通采集--解析--存储--分析，助你从“ 小白 ”变身“ App 数据挖掘高手 ”

未完结：每周更新
|
难度：初级
|
时长：共 35 小时
新课榜第 10 名
优惠到手 ￥369
原价￥399.00
满1788减580 满1188减350 满688减180 满488减120 满188减30

更多

距离活动结束
立即购买
加购物车
  • 智能采集解析一体的解决方案
  • 挖掘高价值信息，精准定位
  • 自动化采集，效率翻倍
  • 突破平台限制，稳定采集
  • 多设备协同，批量抓取
  • AI深度洞察，挖掘隐藏机会
试看本节课 07:16
试看本节课 03:17
试看本节课 05:15
1-1 你的APP数据掘金之路，从这里正式开始
2-1 项目效果展示&需求分析
2-4 项目架构设计：模块协作与流程解析

课程预览

检测到您还没有关注慕课网服务号，无法接收课程更新通知。请扫描二维码即可绑定
重新观看
超过 80% 的高价值数据深藏于 App 之中，你是否正苦于不知道从何下手有效获取数据？手动搜集效率低下、难以规模化？面对多App、多设备同时运作的需求感到力不从心？因平台限制频繁受阻，拿到数据后也不知如何整理成直观有用的信息？本课程将提供一套完整破局之道：以“短视频”为实战场景，带你通过 “ 环境搭建 → 自动化控制 → 数据捕获 → 接口解析 → 群控调度 → 数据落地 → 可视化分析 → 反爬应对 ”全链路，系统的帮你从数据获取“ 小白 ”，蜕变为能自动化、多源头、高效率挖掘 App 数据价值，并应用于各类业务决策的 “ 掘金玩家 ”。
展开所有

本章介绍：

课程概览

第1章 课程导学
1 节｜8分钟
展开
  • 视频：
    1-1 你的APP数据掘金之路，从这里正式开始
    试看
    07:16

本章介绍：

本章将介绍课程贯穿项目的项目需求分析与技术选型，、技术框架、项目规模及模块划分。通过分析核心工具（如Appium、mitmproxy、Streamlit）的选型依据，帮助学员理解项目架构设计的关键点。同时，概述项目的功能模块、开发流程及可能遇到的技术挑战。后续课程各阶段会逐步完成项目各个部分

第2章 移动端爬虫项目分析
7 节｜42分钟
收起
  • 视频：
    2-1 项目效果展示&需求分析
    试看
    03:17
  • 视频：
    2-2 项目规模说明：开发范围与复杂度概述
    02:37
  • 视频：
    2-3 模块划分与功能：核心模块及其作用
    04:56
  • 视频：
    2-4 项目架构设计：模块协作与流程解析
    试看
    05:15
  • 视频：
    2-5 技术难点解析：关键问题与解决方案
    13:34
  • 视频：
    2-6 移动端爬虫技术选型：核心工具解析
    06:30
  • 视频：
    2-7 技术规模与成熟度：工具生态与稳定性分析
    05:31

本章介绍：

本章将带领你从零开始搭建高效的开发环境，涵盖开发工具的安装与配置，为后续的自动化测试和数据分析打下坚实基础。通过学习，你将掌握环境配置的核心步骤，解决开发环境中的常见问题，确保后续学习与实践的顺利进行。

第3章 项目环境搭建，打通各类环境的作用与关联
4 节｜38分钟
收起
  • 视频：
    3-1 开发环境搭建：从零开始配置高效开发工具
    11:40
  • 视频：
    3-2 安卓模拟器安装：快速部署虚拟测试设备
    06:55
  • 视频：
    3-3 安卓模拟器设备联调：实现模拟器与开发环境的无缝对接
    07:06
  • 视频：
    3-4 USB调试真实安卓手机：连接真实设备进行高效测试
    11:45

本章介绍：

本章将详细介绍Appium这一移动端自动化的核心工具，包括其工作原理、优势及应用场景。通过学习，你将全面了解Appium在移动端爬虫实现中的重要性，为后续的操作学习和实战项目奠定理论基础。

第4章 移动端爬虫必备自动化工具Appium初探
4 节｜27分钟
展开
  • 视频：
    4-1 Appium 简介：移动端爬虫的核心工具解析
    04:52
  • 视频：
    4-2 Appium 安装与配置：快速搭建移动端爬虫开发环境
    09:58
  • 视频：
    4-3 Appium 架构介绍：深入理解Appium的工作机制
    04:16
  • 视频：
    4-4 Android界面布局工具：Appium-Inspector安装和测试
    07:01

本章介绍：

本章将深入讲解Appium的核心操作技能，包括元素定位、点击、输入、滚动等基础操作，以及手势操作和多点触控等高级功能。通过学习，你将掌握Appium的常用操作方法，轻松实现与移动端应用界面的自动化交互

第5章 熟悉Appium的常用操作，实现与移动端应用界面的自动化交互
11 节｜139分钟
展开
  • 视频：
    5-1 ID定位：基于属性ID，静态页面首选.pptx
    08:32
  • 视频：
    5-2 XPath定位：XML路径表达式，支持动态元素
    13:22
  • 视频：
    5-3 Accessibility ID：移动端及无障碍优化
    07:01
  • 视频：
    5-4 Class定位：批量定位同类元素
    13:29
  • 视频：
    5-5 CSS定位：语法简洁，性能优异
    17:29
  • 视频：
    5-6 Link定位：完全匹配超链接文本
    06:18
  • 视频：
    5-7 Partial Link：模糊匹配链接片段
    09:53
  • 视频：
    5-8 点击操作：显式等待确保可交互
    17:03
  • 视频：
    5-9 文本输入：处理虚拟键盘与加密输入
    21:04
  • 视频：
    5-10 清除文本：快速清理输入框内容的操作方法
    07:34
  • 视频：
    5-11 获取元素属性：提取UI核心值的实用技巧
    16:31

本章介绍：

本章将全面解析Appium的内置功能，包括应用管理、设备控制、日志记录等高级功能。通过学习，你将掌握如何利用Appium的内置工具提升效率，优化自动化流程，提高稳定性。

第6章 掌握Appium的内置功能，提升爬虫的开发效率和稳定性
9 节｜155分钟
展开
  • 视频：
    6-1 长按与拖拽：复合手势链式触发核心技术
    27:46
  • 视频：
    6-2 智能滚动策略：动态加载与边界自适应控制逻辑
    16:48
  • 视频：
    6-3 多点触控同步：多指坐标映射 (1)
    21:11
  • 视频：
    6-4 多点触控同步：多指坐标映射 (2)
    21:32
  • 视频：
    6-5 应用生命周期控制：冷热启动与后台资源调度策略
    07:46
  • 视频：
    6-6 多任务切换逻辑：进程栈管理与应用上下文保活方案
    07:57
  • 视频：
    6-7 屏幕帧捕获技术：渲染层截取与界面状态同步机制
    19:17
  • 视频：
    6-8 通知栏操控模拟：折叠式消息响应与权限穿透方案
    19:17
  • 视频：
    6-9 虚拟定位引擎：地理围栏漂移与多源定位融合策略
    13:20

本章介绍：

本章将通过实战项目，带你将Appium的所学知识应用到真实场景中。你将学习如何设计自动化用例，解决实际问题，并掌握从脚本编写到结果分析的全流程技能。

第7章 爬虫项目之移动端短视频实战【Appium关联实战】
6 节｜117分钟
展开
  • 视频：
    7-1 移动端实战Part01：热门视频信息采集方案解析
    16:23
  • 视频：
    7-2 Appium与XPath协同实现视频元数据高效采集（1）
    25:16
  • 视频：
    7-3 Appium与XPath协同实现视频元数据高效采集（2）
    25:09
  • 视频：
    7-4 本地数据库构建：关系型数据库部署与应用实践
    21:26
  • 视频：
    7-5 数据存储对接：批量数据入库与事务管理机制
    16:39
  • 视频：
    7-6 自动化流程优化：滑动加载与防检测机制集成
    11:31

本章介绍：

本章将介绍MitmProxy这一强大的app爬虫神器，包括其核心功能、应用场景及与其他抓包工具的对比。通过学习，你将了解MitmProxy在网络调试、数据分析中的重要作用的同时，提升抓包技能和对代理网络请求的理解

第8章 熟悉app爬虫神器--MitmProxy核心功能，掌握网络数据获取的关键技能
20 节｜278分钟
展开
  • 视频：
    8-1 mitmproxy 核心原理：中间人攻击与流量解密机制
    09:43
  • 视频：
    8-2 组件架构解析：命令行Web界面脚本引擎协同工作
    04:23
  • 视频：
    8-3 代理工具对比评测：FiddlerCharlesWireshark功能差异
    08:09
  • 视频：
    8-4 环境快速部署：跨平台安装与依赖配置指南
    05:22
  • 视频：
    8-5 HTTPS解密原理：CA证书生成与信任链配置
    15:47
  • 视频：
    8-6 代理策略定制：正向透明反向代理模式实战
    16:24
  • 视频：
    8-7 代理证书配置：Windows、macOS、Linux环境适配
    18:40
  • 视频：
    8-8 服务启动方案：命令行、Web界面、脚本集成模式
    04:00
  • 视频：
    8-9 流量捕获技术：HTTP、HTTPS实时监听与协议解析
    12:36
  • 视频：
    8-10 请求深度解析：Header、Body、Cookie结构拆解（1）
    15:08
  • 视频：
    8-11 请求深度解析：Header、Body、Cookie结构拆解（2）
    14:03
  • 视频：
    8-12 请求篡改技术：Header、Body动态编辑策略（1）
    14:01
  • 视频：
    8-13 请求篡改技术：Header、Body动态编辑策略（2）
    11:37
  • 视频：
    8-14 响应模拟方案：状态码内容实时替换技术（1）
    14:21
  • 视频：
    8-15 响应模拟方案：状态码内容实时替换技术（2）
    13:14
  • 视频：
    8-16 流量筛选机制：正则表达式与逻辑运算符实战
    17:26
  • 视频：
    8-17 高效检索方案：多条件组合搜索技巧
    27:08
  • 视频：
    8-18 流量阻断控制：断点调试与条件拦截策略
    15:39
  • 视频：
    8-19 请求重放机制：定时、批量重放测试（1）
    20:20
  • 视频：
    8-20 请求重放机制：定时、批量重放测试（2）
    19:42

本章介绍：

本章将深入讲解MitmProxy的核心组件及其使用方法，包括代理配置、请求拦截、流量修改等高级功能。通过学习，你将掌握如何利用MitmProxy实现定制化的网络抓包方案，增强移动端爬虫开发的灵活性

第9章 掌握MitmProxy的核心组件应用，增强爬虫开发的灵活性
7 节｜110分钟
展开
  • 视频：
    9-1 mitmdump实战指南：命令行高效流量分析（1）
    16:10
  • 视频：
    9-2 mitmdump实战指南：命令行高效流量分析（2）
    17:12
  • 视频：
    9-3 mitmweb应用解析：Web界面可视化操作实践
    13:47
  • 视频：
    9-4 网络监控全链路：实时流量捕获与诊断技术（1）
    14:55
  • 视频：
    9-5 网络监控全链路：实时流量捕获与诊断技术（2）
    16:34
  • 视频：
    9-6 数据解析实战：抓包数据多维建模与特征提取（1）
    17:13
  • 视频：
    9-7 数据解析实战：抓包数据多维建模与特征提取（2）
    13:11

本章介绍：

本章将讲解MitmProxy高阶开发相关知识。你将学习如何基于mitmproxy进行二次开发及完成自定义，提升爬虫开发能力

第10章 提升MitmProxy的高阶开发能力，拓展爬虫开发的适应性及安全性
11 节｜125分钟
展开
  • 视频：
    10-1 移动端爬虫技巧：抓包技术解析与案例
    11:56
  • 视频：
    10-2 安全分析与漏洞挖掘：抓包工具的安全审计应用
    06:55
  • 视频：
    10-3 数据抓取实践：抓包技术在爬虫中的核心应用
    14:23
  • 视频：
    10-4 插件开发实战指南：mitmproxy功能扩展技巧
    05:57
  • 视频：
    10-5 mitmproxy插件开发：基础流程与实践（1）
    19:49
  • 视频：
    10-6 mitmproxy插件开发：基础流程与实践（2）
    19:47
  • 视频：
    10-7 安全风险防范：抓包工具合规操作指南
    07:47
  • 视频：
    10-8 HTTPS证书信任：常见问题与解决方案
    08:04
  • 视频：
    10-9 代理连接故障诊断：问题定位与修复策略
    10:45
  • 视频：
    10-10 性能调优策略：抓包工具高效运行方法
    06:29
  • 视频：
    10-11 实战场景解析：抓包工具的多领域应用
    13:07

本章介绍：

系统性拆解从接口逆向到数据落地的完整技术链路。通过接口逆向工程破解短视频API请求逻辑，结合参数动态解析实现视频列表精准捕获，并深入讲解元数据提取、直链定位等关键技术点，最终完成视频文件自动化存储优化。

第11章 爬虫项目之移动端短视频实战【短视频热门话题视频采集与存储技术全链路解析】
持续更新

本章介绍：

本项目开发了一套完整的安卓群控系统，实现多模拟器的自动化管理。系统包含设备连接、自动解锁、应用操作等核心模块，采用面向对象设计和Appium服务，支持多实例控制和健康监测，提供从启动到操作的全流程自动化解决方案。

第12章 安卓群控系统架构与自动化项目
持续更新

本章介绍：

本章将介绍Streamlit这一快速构建数据可视化应用的工具，包括其核心功能、安装配置及基本使用方法。通过学习，你将掌握如何利用Streamlit创建交互式数据仪表盘，提升数据展示与分析效率。

第13章 Streamlit可视化数据分析，提效数据展示与分析
持续更新

本章介绍：

本章重点介绍 DeepSeek 模型集成与系统报告生成两大核心模块，涵盖模型交互、Token 管理、流式问答、数据可视化及 PDF 报告导出等关键功能的实现方法。

第14章 【Streamlit实战】AI 交互与系统报告生成平台的设计与实现
持续更新

本章介绍：

本章详细介绍群控日志可视化系统的构建过程，涵盖日志采集、解析筛选、多维度统计分析和图表可视化等核心功能模块，实现对日志数据的高效处理与直观展示。

第15章 【Streamlit实战】群控架构日志文件可视化项目
持续更新

本章介绍：

本章聚焦破解App反爬机制的核心技术介绍，涵盖逆向分析通信协议、模拟高仿真请求、对抗动态加密与设备指纹检测等实战方法，提供从数据解密到行为拟真的全链路解决方案。

第16章 如何应对应用设置的反扒机制
持续更新

本章介绍：

本章将对整个课程内容进行系统回顾，帮助你巩固所学知识与技能。通过学习，你将全面掌握从开发环境搭建到移动端爬虫实现，自动化测试、网络抓包及数据可视化的全流程技能。

第17章 课程总结
持续更新
每周更新直至完结
适合人群
需高效获取App数据的运营、产品、市场、研究者
希望入门或深耕数据采集与分析领域的学习者
对自动化测试、RPA与系统架构感兴趣的技术人员
技术储备
无需移动端开发经验
具备 Python 基础编程能力
对 HTTP 协议和命令行有基础认知
环境参数
Python 3.9+
Android SDK platform-tools
Windows 7+
CPU 要开启 VT-x/AMD-V
内存 ≥16 G
小布_老师
全栈 Python工程师， 已有1012个学生
其他课程： 《Python爬虫系统入门与多领域实战》 《Python高级爬虫实战-系统掌握破解反爬技能 挑战高薪》、 《Python入门与实践 覆盖5大领域 12大场景》、
全部
不为别的，只为提升面试通过率
尽管课程时间很长，
但没关系，我们有老师的陪伴，
还有同学之间互相鼓励，彼此帮助，
完成学习后，还能获得慕课网官方认证的证书。
立即购买
查看更多
数据加载中...
查看更多好课
《Python 移动端爬虫与自动化全链路实战》的真实评价
综合评分：分，共 人参与
篇幅原因，只展示最近100条评价
优惠到手¥399.00
立即购买
加购物车

学习咨询

选课、学习遇到问题？

扫码添加指导老师 1V1 帮助你！

添加后老师会第一时间解决你的问题

微信客服

购课补贴
联系客服咨询优惠详情

 帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

 公众号

扫描二维码
关注慕课网微信公众号