← 实验室|🕸️ Python网络情报爬虫 · 公开数据侦察

加载中关卡/6

🕸️ 真实网页源码输入

粘贴我们网站公开页面的 HTML 源码，例如首页、冒险、实验室、作品页。留空则使用本站公开导航样本。

📖 学员手册

代码讲解已合并到高亮预览的代码注释里

第二季第6课：Python网络情报爬虫 · 学员手册

一、本节课作品：公开数据情报雷达

本节课不是做演示图，而是做一个能读取数据、计算指标、生成网页预览的 Python 工具原型。

二、新模块 / 新语法

html.parser.HTMLParser
csv.DictWriter
StringIO
robots.txt 合法边界
class 自定义解析器

三、6 个实验室关卡

关卡	训练目标
1	读取或创建原始数据
2	提取关键字段
3	统计核心指标
4	排序、过滤或识别风险
5	生成建议或判断结果
6	发布完整 HTML_PREVIEW 网页作品

四、代码讲解方式

点击实验室顶部 高亮预览，再点 全屏查看。新版预览只显示代码本身和代码里的有效注释，不再重复生成无意义解释。

五、作品标准

能运行第 1-6 关。
至少修改 3 处数据，让结果发生变化。
第 6 关能生成完整的公开数据情报雷达。
能说清楚用到了哪些模块、哪些数据、哪条判断规则。

六、合法边界

只采集公开授权网页。
不绕过登录、付费、会员或隐私保护。
不下载盗版电影、音乐、游戏资源。

七、进化舱升级方向

进入进化舱，选择或输入“公开数据情报雷达”，把实验室原型升级成更完整的可交互应用。

真实练习：用我们自己的网站练爬虫

本课不再只看模拟页面。课堂练习请使用 AI少年冒险团网站的公开页面：

首页：https://ai-adventure-squad.vercel.app/
冒险课件：/adventure
实验室：/lab
进化舱：/upgrade
作品广场：/works

操作步骤

打开我们网站任意公开页面。
复制页面 HTML 源码或老师准备好的 HTML 片段。
粘贴到实验室顶部的“真实网页源码输入”。
运行第 2 关看标题，运行第 3 关看所有链接，运行第 4 关看哪些链接被拦截。

为什么不是直接自动抓网页？

浏览器实验室运行在安全沙箱里，直接跨站请求会遇到 CORS、安全策略、登录权限等问题。课堂先练核心能力：

HTML 是什么结构；
<title>、<h1>、<a href> 怎么被解析；
哪些链接属于公开学习页面；
哪些链接如 /api/、/admin、/teacher 不应该采集。

这比一上来教学生绕限制更重要。真正项目里，爬虫的第一课永远是合法边界。

Ctrl+/ 注释 · ▶ 运行

# 🕸️ 第二季第6课：Python网络情报爬虫
# 目标：只分析公开网页内容，不绕登录、不抓盗版，把网页标题和链接整理成情报报告

# HTMLParser 是 Python 标准库里的网页解析器，不需要额外安装
# 从 html.parser 模块导入 HTMLParser 网页解析基类
from html.parser import HTMLParser
# csv 用来把抓到的信息保存成表格格式，内置模块，处理逗号分隔表格数据
import csv
# StringIO 可以把字符串当成文件来读写，在内存中模拟文件，不用创建本地文件
from io import StringIO

# 选择关卡：1-6，直接回车默认运行完整作品
# input()接收用户输入字符串；or "6"表示用户直接回车时自动使用第6关
# int()把输入文本转为数字
RUN_LEVEL = int(input("请选择关卡 1-6：") or "6")

# 模拟 robots.txt 里的规则：Allow 代表允许学习抓取，Disallow 代表不要访问
# robots.txt 是网站用来告诉爬虫哪些页面可以抓取、哪些禁止抓取的协议文本
robots_txt = """
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /teacher/
"""

# 默认使用我们平台的公开页面片段做练习；课堂中也可以粘贴真实网页 HTML
# 浏览器安全限制下，实验室不直接跨站抓取，先练“分析公开网页源码”的核心能力
public_html = """
<html><head><title>AI少年冒险团</title></head>
<body>
<h1>AI少年冒险团 · Python创造营</h1>
<a href="/adventure">冒险课件</a>
<a href="/lab">实验室</a>
<a href="/upgrade">进化舱</a>
<a href="/works">作品广场</a>
<a href="/dodo">豆豆助手</a>
<a href="/training-map">练级地图</a>
<a href="/api/dodo/chat">接口地址</a>
<a href="/admin">后台管理</a>
<a href="https://example.com/external">外部链接</a>
</body></html>
"""

# 从实验室真实数据输入框读取网页 HTML：有粘贴就分析真实页面，没粘贴就分析上面的本站样本
real_html = input("粘贴网页HTML源码，直接回车用本站样本：")
if real_html.strip():
    public_html = real_html

# 自定义解析器：遇到 title、h1、a 标签时，把有用信息存起来
# 创建自己的解析类，继承系统自带 HTMLParser
class IntelParser(HTMLParser):
    # 构造方法，创建对象时自动执行
    def __init__(self):
        # 调用父类 HTMLParser 的初始化方法，必须写
        super().__init__()
        # 标记：是否正在 <title> 标签内部
        self.in_title = False
        # 标记：是否正在 <h1> 标签内部
        self.in_h1 = False
        # 临时保存当前 <a> 标签的链接地址
        self.current_link = ""
        # 保存网页标题文本
        self.title = ""
        # 保存 h1 大标题文本
        self.heading = ""
        # 列表，存放所有提取出来的链接，每个元素是字典 {文字, 地址}
        self.links = []

# 回调函数：解析器读到开始标签时自动执行，例如 <title> <a> <h1>
    # tag 是标签名称，attrs 是属性元组列表，例如 [('href','xxx')]
    def handle_starttag(self, tag, attrs):
        # 如果读到 <title>，说明后面的文字是网页标题
        if tag == "title":
            self.in_title = True
        # 如果读到 <h1>，说明后面的文字是页面主标题
        if tag == "h1":
            self.in_h1 = True
        # 如果读到 <a>，说明这是超链接标签
        if tag == "a":
            # 将属性列表转为字典，方便通过键取值
            attrs_dict = dict(attrs)
            # 获取 href 链接，如果不存在就返回空字符串
            self.current_link = attrs_dict.get("href", "")

# 回调函数：读到标签中间的文字内容时自动执行
    def handle_data(self, data):
        # 去除文字前后空格和换行符
        text = data.strip()
        # 如果处理后是空文本，直接退出函数
        if not text:
            return
        # 如果当前在 title 标签内，保存页面标题
        if self.in_title:
            self.title = text
        # 如果当前在 h1 标签内，保存一级标题
        elif self.in_h1:
            self.heading = text
        # 如果当前有链接地址，说明这段文字是链接文字
        elif self.current_link:
            # 将链接文字和地址打包成字典，存入 links 列表
            self.links.append({"text": text, "href": self.current_link})

# 回调函数：读到闭合标签时自动执行，例如 </title> </a> </h1>
    def handle_endtag(self, tag):
        # 遇到 </title>，关闭标题标记
        if tag == "title":
            self.in_title = False
        # 遇到 </h1>，关闭主标题标记
        if tag == "h1":
            self.in_h1 = False
        # 遇到 </a>，清空临时链接，防止污染下一条链接
        if tag == "a":
            self.current_link = ""

# 判断某个链接是否允许分析：允许本站公开页面，拒绝接口、后台、教师管理和外部站点
def allowed_by_robots(url):
    # 空链接、页内锚点、脚本协议、邮箱链接都不作为网页情报采集目标
    if not url or url.startswith("#") or url.startswith("javascript:") or url.startswith("mailto:"):
        return False
    # 只允许本站域名或本站相对路径，外部网站先不抓，避免课堂误导
    if url.startswith("https://ai-adventure-squad.vercel.app"):
        path = url.replace("https://ai-adventure-squad.vercel.app", "") or "/"
    elif url.startswith("/"):
        path = url
    else:
        return False
    # 后台、接口、教师工具属于非学生公开练习目标
    blocked = ["/api/", "/admin", "/teacher"]
    return not any(path.startswith(prefix) for prefix in blocked)

# 解析网页，返回标题、主标题、公开链接、被拦截链接
# 参数 html：网页源代码字符串
def parse_public_page(html):
    # 创建我们自定义的解析器实例
    parser = IntelParser()
    # 传入 html 文本，开始解析网页
    parser.feed(html)
    # 列表推导式：筛选所有符合 robots 规则、允许抓取的链接
    allowed = [link for link in parser.links if allowed_by_robots(link["href"])]
    # 筛选不允许抓取的链接
    blocked = [link for link in parser.links if not allowed_by_robots(link["href"])]
    # 返回4组解析结果
    return parser.title, parser.heading, allowed, blocked

# 把允许抓取的链接保存成 CSV 文本，像真实数据采集结果一样可导出
def links_to_csv(links):
    # 在内存创建文本流，模拟文件，不需要生成本地文件
    output = StringIO()
    # 创建 csv 写入器，指定表头名称
    writer = csv.DictWriter(output, fieldnames=["text", "href"])
    # 写入表头第一行：text,href
    writer.writeheader()
    # 循环每一条链接，写入内存中的 csv
    for link in links:
        writer.writerow(link)
    # 取出内存流里面全部文本，返回字符串
    return output.getvalue()

# 拼装网页预览，让实验室右侧显示成情报雷达
# 拼接 html 字符串，生成带样式的可视化面板
def html_page(title, body):
    # 长字符串拼接，返回完整 HTML 页面代码
    return "<html><head><meta charset='utf-8'><style>body{margin:0;background:#edf7ff;font-family:Arial,Microsoft YaHei;color:#102033}.screen{padding:18px}.hero{background:white;border:1px solid #cde3ff;border-radius:18px;padding:16px}.grid{display:grid;grid-template-columns:repeat(3,1fr);gap:10px;margin-top:12px}.card{background:white;border:1px solid #dbeafe;border-radius:14px;padding:12px}.num{font-size:28px;font-weight:900;color:#2563eb}.item{background:white;border-left:5px solid #22c55e;border-radius:12px;padding:10px;margin-top:8px}.bad{border-left-color:#ef4444}</style></head><body><div class='screen'><div class='hero'><b>公开数据侦察</b><h1>" + title + "</h1></div>" + body + "</div></body></html>"

# 调用解析函数，解析模拟网页，接收4个返回值
page_title, heading, allowed_links, blocked_links = parse_public_page(public_html)
# 将合法链接转为 csv 文本
csv_text = links_to_csv(allowed_links)

# 根据选择的关卡，执行对应逻辑
if RUN_LEVEL == 1:
    print("第1关：查看 robots.txt 规则")
    print(robots_txt)
    HTML_PREVIEW = html_page("robots.txt 合法边界", "<div class='item'>Allow: /public/ 可以抓取公开区</div><div class='item bad'>Disallow: /private/ 不访问内部区</div>")
elif RUN_LEVEL == 2:
    print("第2关：解析网页标题")
    print("title =", page_title)
    print("h1 =", heading)
    HTML_PREVIEW = html_page("网页标题识别", "<div class='grid'><div class='card'><b>title</b><div class='num'>" + page_title + "</div></div><div class='card'><b>h1</b><div class='num'>" + heading + "</div></div></div>")
elif RUN_LEVEL == 3:
    print("第3关：提取全部链接")
    # 打印允许链接 + 被拦截链接，方便对比过滤前后的差异
    for link in allowed_links + blocked_links:
        print(link)
    HTML_PREVIEW = html_page("链接提取", "".join("<div class='item'>" + link["text"] + " -> " + link["href"] + "</div>" for link in allowed_links + blocked_links))
elif RUN_LEVEL == 4:
    print("第4关：过滤不允许抓取的链接")
    print("允许：", len(allowed_links), "拦截：", len(blocked_links))
    HTML_PREVIEW = html_page("合法链接过滤", "<div class='grid'><div class='card'><b>允许链接</b><div class='num'>" + str(len(allowed_links)) + "</div></div><div class='card'><b>拦截链接</b><div class='num'>" + str(len(blocked_links)) + "</div></div></div>")
elif RUN_LEVEL == 5:
    print("第5关：导出 CSV")
    print(csv_text)
    HTML_PREVIEW = html_page("CSV 情报表", "<pre class='card'>" + csv_text + "</pre>")
elif RUN_LEVEL == 6:
    print("第6关：发布公开数据情报雷达")
    body = "<div class='grid'><div class='card'><b>网页标题</b><div class='num'>" + page_title + "</div></div><div class='card'><b>公开链接</b><div class='num'>" + str(len(allowed_links)) + "</div></div><div class='card'><b>拦截风险</b><div class='num'>" + str(len(blocked_links)) + "</div></div></div>"
    # 拼接所有合法链接展示区块
    body += "".join("<div class='item'>" + link["text"] + "：允许采集 " + link["href"] + "</div>" for link in allowed_links)
    # 添加合规提示
    body += "<div class='item bad'>合法边界：只采公开授权信息，不绕登录，不抓付费影视音乐游戏。</div>"
    HTML_PREVIEW = html_page("Python公开数据情报雷达", body)
else:
    # 用户输入不是1~6，提示错误
    print("关卡不存在，请输入 1-6。")

点击 ▶ 运行或按 Ctrl+Enter

预览区（HTML / turtle 输出）

📋 任务卡

1robots 合法边界

分析我们网站哪些页面适合作为公开练习数据，哪些接口、后台、教师页不应该采集。

💡运行第1关，先看本站采集边界+10 XP

2解析本站标题

用 HTMLParser 从我们网站页面源码里找 title 和 h1，理解网页结构。

💡粘贴网站HTML后运行第2关+10 XP

3提取本站链接

从 a 标签提取 href 和文字，得到网站导航情报表。

💡运行第3关，看冒险/实验室/作品链接+10 XP

4过滤非公开目标

自动保留公开学习页面，拦截 /api、/admin、/teacher 和外部链接。

💡运行第4关，比较允许和拦截+10 XP

5导出 CSV 情报表

把我们网站公开链接整理成 CSV，后面可接入数据分析或课程地图。

💡运行第5关，复制结果+10 XP

6发布本站情报雷达

Boss关：用真实网站页面源码生成公开数据侦察报告。

💡运行第6关，截图保存+10 XP

🎁 完成全部 +30 XP

加载中

▶ 🧩 扩展

📦numpy

📦matplotlib

📦pillow

📦requests

📦sympy

📦pandas

📦scipy

📦beautifulsoup4

📦pygame

📦flask

📦opencv-python

📦nltk

📦sqlalchemy

📦plotly