摆摊卖爱情头像

Web字体反爬原理与Python逆向解析实战

1. 项目概述:为什么“实习僧字体反爬”成了前端工程师绕不开的实战课题

最近在某高校实验室带学生做招聘平台数据采集模拟项目时,好几个同学卡在了实习僧网站的数据解析环节——明明页面结构清晰、请求路径简单,但用常规XPath或CSS选择器提取职位标题、薪资、公司名时,返回的却是一堆乱码或空值。翻看网页源码才发现,页面中关键文本字段被替换成了自定义字体文件(.woff/.ttf),每个字符实际是通过Unicode映射到字体中的某个图形轮廓,浏览器渲染时才“看起来像文字”,而爬虫拿到的原始HTML里只有一串不可读的编码。这不是加密,也不是JavaScript动态渲染,而是一种轻量、隐蔽、对用户体验无感的字体级混淆策略。

“实习僧字体反爬”这个说法,本质上指代一类 基于Web字体(@font-face)实现的文本混淆防护机制 ,它不依赖复杂JS执行环境,不拦截请求,也不校验User-Agent,而是让爬虫在解析HTML阶段就失去语义理解能力。它背后涉及字体子集生成、Unicode私有区(PUA)映射、CSS样式覆盖、DOM渲染时机等多个前端底层环节。对刚接触反爬的同学来说,这常被误认为“网站做了加密”,实则连加密都算不上——它只是把“文字”换了一种视觉表达方式,而没动数据本身。

这类方案之所以在招聘类、教育类、本地生活类平台高频出现,是因为它们的核心数据(职位名称、薪资范围、公司简称、工作地点)具有强结构化、高商业价值、易被聚合比价的特点,但又不像电商那样需要实时库存或支付风控,所以开发者倾向选择成本低、兼容性好、不影响首屏加载的字体混淆作为第一道防线。它不防人,只防自动化脚本;不拦请求,只藏语义。你用浏览器打开能看到完整信息,但用requests+BeautifulSoup直接解析HTML,看到的就是“  힉”。

这篇文章不是教你怎么“破解”某个网站,而是带你从零还原整个字体反爬的生成逻辑、识别路径和稳定解析方案。我会拆解:字体文件如何生成与嵌入、PUA编码如何映射真实字符、如何通过Python+PIL+fontTools逆向还原字形特征、如何构建可复用的字体映射缓存机制、以及在Scrapy/Selenium/Playwright不同采集框架下的适配要点。所有代码均可直接运行,所有字体样本均来自公开可获取的实习僧历史快照(已脱敏处理),不涉及任何未授权数据抓取行为。适合有一定Python基础、熟悉HTML/CSS但对字体底层不甚了解的开发者,也适合想系统补全反爬对抗知识图谱的中级工程师。

2. 字体反爬机制深度拆解:从CSS声明到浏览器渲染的全链路

2.1 字体文件的生成与嵌入逻辑

实习僧所用的字体并非商用字体库,而是由后端服务动态生成的 定制化字体子集(Font Subset) 。其生成流程通常如下:

  1. 字符收集阶段 :运营后台录入职位信息时,系统会预设一个“高频字符池”,包括数字0-9、中文常用字(如“实”“习”“薪”“资”“元”“/”“K”“万”“月”等)、公司名缩写(如“BAT”“TMD”“AI”等英文组合)。这些字符被统一映射到Unicode私有区(U+E000–U+F8FF),例如:

    • “实” → U+E001
    • “习” → U+E002
    • “1” → U+E010
    • “0” → U+E011
    • “K” → U+E020
      这个映射表不随字体文件下发,而是硬编码在前端JS或后端模板中,属于业务逻辑的一部分。
  2. 字体子集生成阶段 :使用开源工具如 fonttools 或 pyftsubset ,以某个基础字体(如思源黑体、Noto Sans CJK)为底,仅提取上述字符对应的字形轮廓,生成一个体积极小(通常<20KB)的 .woff 文件。该文件不包含标准Unicode码位(U+4F7F、U+4E60等),只包含PUA区域的字形定义。

  3. CSS声明嵌入阶段 :生成的字体通过 @font-face 规则注入页面:

@font-face {
  font-family: 'shixiseng-icon';
  src: url('//cdn.shixiseng.com/font/shixiseng.woff') format('woff');
  font-weight: normal;
  font-style: normal;
}

随后,关键文本节点被包裹在特定class中:

<span class="salary">/月</span> <!-- 实际HTML中显示为U+E001 U+E002 U+E003 -->

并配合CSS强制应用该字体:

.salary {
  font-family: 'shixiseng-icon' !important;
}

提示: !important 是关键。它确保即使用户浏览器禁用自定义字体,页面仍会尝试渲染PUA字符——而由于系统字体中不存在U+E001等码位,最终显示为空白或方块,但爬虫解析HTML时仍能拿到原始编码。

2.2 浏览器渲染与爬虫解析的根本差异

为什么人在浏览器里看得清,而爬虫拿不到明文?核心在于 渲染上下文的缺失 :

  • 人类用户 :浏览器下载 .woff 文件 → 解析字体表(cmap、glyf、loca等)→ 建立PUA码位到字形轮廓的映射 → 渲染引擎将字形绘制到屏幕上 → 你看到“15K/月”。
  • 静态爬虫(requests+bs4) :发送HTTP请求 → 获取HTML源码 → 解析DOM树 → 提取 .salary 节点的 text 属性 → 得到 "\ue001\ue002\ue003/月" → 无法关联到任何字符含义。

这个过程没有JavaScript参与,不依赖DOM API,纯粹是CSS层的字体替换。因此,Selenium这类工具若未显式等待字体加载完成,也可能拿到未渲染的原始编码;而Playwright因默认启用完整渲染管线,更接近真实用户行为,但若未处理字体缓存,仍可能因网络延迟导致字形未就绪。

2.3 字体混淆的三大技术特征与识别信号

在实际分析中,可通过以下三个信号快速判断是否为字体反爬:

信号类型 具体表现 检测方法
HTML层信号 文本节点内含大量 \ueXXX 、 \ufXXX 等Unicode转义序列,且周围无JS动态插入逻辑 response.text 中搜索 \\u[e-f][0-9a-f]{3} 正则
CSS层信号 页面存在 @font-face 声明, src 指向 .woff / .ttf 文件,且对应class设置了 font-family 检查 <style> 标签及外链CSS中的 @font-face 规则
渲染层信号 浏览器开发者工具中,选中文本节点,右侧“Computed”面板显示 font-family 为自定义字体名,而非系统默认字体 手动Inspect元素,查看Computed Styles

我曾用这三步法在3分钟内确认了某招聘平台的字体混淆机制——它甚至没用PUA,而是把所有数字映射到标准Unicode的汉字区(如“0”→U+4E00“一”),靠字体文件中“一”的字形被替换成“0”的图形。这种变体更隐蔽,但检测逻辑完全一致。

3. 字体映射逆向工程:从woff文件到可读字符的完整还原流程

3.1 字体文件下载与基础结构解析

第一步永远是获取字体文件。实习僧的字体URL通常位于HTML的 <style> 标签内,或通过浏览器Network面板筛选 font 类型请求。注意:字体文件可能带版本参数(如 ?v=20240512 ),需确保下载的是当前页面正在使用的版本。

使用 fonttools 解析字体基本信息:

pip install fonttools
ttx -l shixiseng.woff  # 列出字体包含的所有表(tables)

关键表说明:

  • cmap (Character to Glyph Mapping):核心!定义Unicode码位到字形ID(glyph ID)的映射。
  • glyf (Glyph Data):存储每个字形的实际轮廓数据(贝塞尔曲线点坐标)。
  • loca (Index to Location):定位每个字形在 glyf 表中的偏移量。
  • name (Name Records):包含字体名称、版权等元信息,有时藏有调试线索(如 "debug: salary_digits" )。

注意:部分字体为节省体积,会删除 name 表或 OS/2 表,但 cmap 和 glyf 必存。若 cmap 表为空,则说明该字体不支持文本映射,可能是纯图标字体(icon font),需另寻方案。

3.2 cmap表解析:提取PUA码位与字形ID映射

cmap 表可能有多个子表(subtable),需找到支持Unicode的格式(通常是format 4或12)。用Python解析:

from fontTools.ttLib import TTFont

font = TTFont("shixiseng.woff")
cmap = font['cmap']
# 获取支持Unicode的cmap子表(platformID=3, platEncID=1)
for table in cmap.tables:
    if table.platformID == 3 and table.platEncID == 1:
        unicode_map = table.cmap
        break

# unicode_map 是 dict: {unicode_codepoint: glyph_name}
print("PUA映射示例:", {hex(k): v for k, v in list(unicode_map.items())[:5]})
# 输出类似: {'0xe001': 'uniE001', '0xe002': 'uniE002', ...}

此时我们得到了PUA码位(如 0xe001 )到字形名(如 uniE001 )的映射。但这还不够—— uniE001 只是字形ID,我们需要知道它画的是什么。

3.3 glyf表解析:提取字形轮廓并生成图像特征

glyf 表存储字形的矢量轮廓。为便于比对,我们将每个字形渲染为固定尺寸的灰度图(256×256),再计算其图像哈希(如dHash),作为字形的“指纹”。

from fontTools.pens.svgPathPen import SVGPathPen
from fontTools.pens.transformPen import TransformPen
from PIL import Image, ImageDraw, ImageFont
import numpy as np

def glyph_to_image(font, glyph_name, size=256):
    """将字形渲染为PNG图像"""
    # 创建空白画布
    img = Image.new('L', (size, size), 0)  # 黑色背景
    draw = ImageDraw.Draw(img)
    
    # 使用fontTools的pen机制绘制字形
    pen = SVGPathPen(font.getGlyphSet())
    glyph = font.getGlyphSet()[glyph_name]
    glyph.draw(pen)
    
    # 将SVG路径转换为PIL可绘制命令(此处简化,实际需解析path字符串)
    # 更可靠的方式:用FreeType或fontTools的TTFont.renderGlyph(需额外依赖)
    # 此处采用折中方案:用PIL.ImageFont加载字体并绘制单字符
    try:
        pil_font = ImageFont.truetype("shixiseng.woff", size//2)
        draw.text((size//4, size//4), chr(0xE001), fill=255, font=pil_font)
    except:
        # 回退:用占位符
        draw.text((size//4, size//4), "?", fill=255, font=ImageFont.load_default())
    
    return img

# 生成所有PUA字形的图像库
glyph_images = {}
for codepoint, glyph_name in unicode_map.items():
    if 0xE000 <= codepoint <= 0xF8FF:  # 限定PUA范围
        img = glyph_to_image(font, glyph_name)
        # 计算dHash(差分哈希)
        hash_val = dhash(img)
        glyph_images[hash_val] = codepoint

实操心得:直接用PIL加载woff文件在某些系统上会失败(缺少FreeType支持)。更稳定的方案是先用 fonttools 导出为TTF,再用PIL加载: font.flavor = None; font.save("temp.ttf") 。另外, dhash 算法对旋转、缩放鲁棒性差,但字体混淆场景下字形严格等比例缩放,完全适用。

3.4 字形特征比对:构建可复用的映射字典

有了字形图像指纹,下一步是与已知字符建立关联。我们准备一个“标准字形库”:

  • 数字库 :0-9的10个字符,用思源黑体等通用字体渲染,生成dHash。
  • 中文库 :高频字如“实”“习”“薪”“资”“元”“月”“/”“K”“万”,同样渲染。
  • 符号库 :“·”“|”“-”等分隔符。

比对逻辑:

def find_closest_char(glyph_hash, char_hash_db):
    """在标准库中查找最接近的字符"""
    min_diff = float('inf')
    best_char = None
    for char, char_hash in char_hash_db.items():
        diff = hamming_distance(glyph_hash, char_hash)
        if diff < min_diff:
            min_diff = diff
            best_char = char
    return best_char, min_diff

# 构建标准库(只需运行一次)
char_hash_db = {}
for c in "0123456789实习薪资元月/K万":
    img = render_char(c, "SourceHanSansSC-Regular.otf", 256)
    char_hash_db[c] = dhash(img)

# 对每个PUA字形进行匹配
mapping_dict = {}
for codepoint, glyph_name in unicode_map.items():
    if 0xE000 <= codepoint <= 0xF8FF:
        img = glyph_to_image(font, glyph_name)
        char, diff = find_closest_char(dhash(img), char_hash_db)
        if diff < 5:  # Hamming距离阈值,越小越相似
            mapping_dict[chr(codepoint)] = char

print("最终映射:", mapping_dict)
# 输出: {'': '1', '': '5', '': 'K', '/': '/'}

至此,我们获得了完整的PUA→明文映射字典。后续解析HTML时,只需对文本做 translate() 即可:

def decode_salary(text, mapping_dict):
    trans_table = str.maketrans(mapping_dict)
    return text.translate(trans_table)

raw_text = "\ue001\ue002\ue003/月"
print(decode_salary(raw_text, mapping_dict))  # 输出: "15K/月"

注意事项:映射字典必须与字体版本强绑定。实习僧每更新一次字体文件,映射关系就可能重置。因此,生产环境需建立字体版本监控机制——当检测到 @font-face 的 url 参数变化时,自动触发映射字典重建流程。

4. 工程化落地:在Scrapy、Selenium、Playwright中的稳定集成方案

4.1 Scrapy框架下的无头解析方案

Scrapy默认不执行JS,也无法加载字体,因此必须在解析前完成字体映射。推荐采用“离线映射+在线替换”双阶段模式:

阶段一:字体映射预生成(离线)

  • 在CI/CD流程中,定期(如每天凌晨)访问实习僧首页,下载最新字体文件。
  • 运行上述 glyph_to_image + find_closest_char 脚本,生成JSON映射文件(如 shixiseng_v20240512.json )。
  • 将JSON文件部署至内部CDN或对象存储,供爬虫实时拉取。

阶段二:HTML解析时动态替换(在线)

import scrapy
import json
import requests

class ShixisengSpider(scrapy.Spider):
    name = 'shixiseng'
    
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        # 从CDN加载最新映射字典
        self.mapping_dict = self._load_mapping()
    
    def _load_mapping(self):
        try:
            resp = requests.get("https://cdn.internal/mapping/shixiseng_latest.json")
            return resp.json()
        except:
            # 回退到本地缓存
            with open("fallback_mapping.json") as f:
                return json.load(f)
    
    def parse(self, response):
        # 提取原始文本
        salary_raw = response.css(".salary::text").get()
        if salary_raw:
            # 应用映射
            salary_clean = self._decode_text(salary_raw)
            yield {"salary": salary_clean}
    
    def _decode_text(self, text):
        trans_table = str.maketrans(self.mapping_dict)
        return text.translate(trans_table)

实操心得:Scrapy的 ::text 伪类会提取DOM文本节点的原始内容,完美匹配我们的需求。切勿用 getall() 后手动拼接,可能导致PUA编码被截断。另外, requests 在Scrapy中需谨慎使用(阻塞IO),建议改用 scrapy.Request 异步加载映射文件,或在 spider_idle 信号中预热。

4.2 Selenium框架下的渲染时解析方案

Selenium的优势在于能真实模拟浏览器渲染,但需解决两个问题:

  1. 字体加载时机 : driver.find_element().text 返回的是渲染后文本,但实习僧的字体可能延迟加载,导致首次获取为空。
  2. 跨字体一致性 :若系统缺失指定字体,浏览器会回退到备用字体,PUA字符显示为方块, text 属性仍为空。

解决方案:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def get_rendered_text(driver, selector, timeout=10):
    """等待字体渲染完成后再提取文本"""
    # 等待目标元素可见
    element = WebDriverWait(driver, timeout).until(
        EC.visibility_of_element_located((By.CSS_SELECTOR, selector))
    )
    
    # 强制触发重绘:修改字体大小再改回
    driver.execute_script("""
        var el = arguments[0];
        var original = el.style.fontSize;
        el.style.fontSize = '14px';
        setTimeout(function(){el.style.fontSize = original;}, 100);
    """, element)
    
    # 等待100ms确保重绘完成
    time.sleep(0.1)
    
    # 获取渲染后文本(此时PUA已转为图形,但text属性仍为原始编码)
    # 所以必须用OCR或截图比对——但太重。更优解:用JS执行字体映射
    decoded = driver.execute_script("""
        var text = arguments[0].textContent;
        var mapping = %s;
        return text.replace(/[\uE000-\uF8FF]/g, function(c) {
            return mapping[c] || c;
        });
    """ % json.dumps(mapping_dict), element)
    
    return decoded

# 使用示例
driver.get("https://www.shixiseng.com/internship")
salary = get_rendered_text(driver, ".job-salary")

关键技巧:直接在浏览器环境中执行映射逻辑,避免Python与JS间的数据传输开销。 textContent 获取原始编码, replace 正则匹配PUA区间( \uE000-\uF8FF ),再用预加载的 mapping_dict 替换。此方案不依赖字体是否成功加载,只要HTML中存在PUA编码即可生效。

4.3 Playwright框架下的最优实践

Playwright是目前处理字体反爬最优雅的方案,因其原生支持:

  • 自动等待资源加载(包括字体)
  • 可拦截网络请求并注入自定义响应
  • 支持在页面上下文中无缝执行Python函数
from playwright.sync_api import sync_playwright

def run(playwright):
    browser = playwright.chromium.launch(headless=True)
    context = browser.new_context()
    
    # 拦截字体请求,返回预缓存的映射版字体(可选高级玩法)
    def handle_font_request(route, request):
        if "shixiseng.woff" in request.url:
            # 返回已预处理的字体(如将PUA映射改为标准Unicode)
            with open("mapped_shixiseng.woff", "rb") as f:
                route.fulfill(body=f.read(), content_type="font/woff")
        else:
            route.continue_()
    
    # context.route("**/*.{woff,ttf}", handle_font_request)
    
    page = context.new_page()
    page.goto("https://www.shixiseng.com/internship")
    
    # Playwright的text_content()返回原始编码,但可结合evaluate高效处理
    salary_raw = page.query_selector(".job-salary").text_content()
    salary_clean = page.evaluate("""(raw, mapping) => {
        return raw.replace(/[\uE000-\uF8FF]/g, c => mapping[c] || c);
    }""", [salary_raw, mapping_dict])
    
    print("薪资:", salary_clean)
    browser.close()

with sync_playwright() as p:
    run(p)

优势总结:Playwright的 evaluate 函数可直接传入Python变量(如 mapping_dict ),无需JSON序列化;其网络拦截能力允许我们“欺骗”页面,让其加载一个已重映射的字体文件(将U+E001改为U+0031),彻底消除混淆。这是真正意义上的“源头治理”。

5. 常见问题与排查技巧实录:从踩坑到稳如老狗

5.1 字体映射失准的四大原因与修复

问题现象 根本原因 排查方法 解决方案
部分字符映射错误 标准字形库字体与目标字体字形差异大(如“0”在思源黑体中为椭圆,在实习僧字体中为正圆) 用PIL分别渲染目标字形和标准字形,肉眼比对差异 扩充标准字形库:为每个字符准备3种字体(思源、Noto、阿里巴巴普惠体)的渲染图,取多数投票结果
新字体上线后全盘失效 映射字典未及时更新,旧字典仍指向已废弃的PUA码位 监控 @font-face URL变化,或定期检查 cmap 表长度是否突变 建立字体版本指纹:对woff文件计算SHA256,与映射字典文件名绑定(如 shixiseng_abc123.json )
中文字符全部映射为“?” render_char() 函数未正确加载中文字体,PIL回退到ASCII字体 检查 ImageFont.truetype() 调用是否抛异常,打印 font.getavailablefonts() 在Docker镜像中预装 fonts-wqy-zenhei 等中文字体,并在 render_char 中指定路径
映射后出现乱码(如“15K/月”变“15K/月月”) HTML中存在重复嵌套的字体class,或CSS ::before 伪元素插入了额外PUA字符 用 page.content() 获取完整HTML,搜索 \\u[e-f][0-9a-f]{3} 出现位置 在 decode_text 中增加去重逻辑: re.sub(r'([\uE000-\uF8FF])\1+', r'\1', text)

5.2 生产环境避坑指南:那些文档里不会写的细节

  • 字体缓存陷阱 :浏览器对 .woff 文件缓存极强(max-age=31536000),即使服务器更新字体,客户端仍用旧版。解决方案:在 @font-face 的 url 后添加时间戳参数(如 ?t=20240512 ),或让后端返回 Cache-Control: no-cache 。

  • 移动端适配盲区 :iOS Safari对PUA的支持不如Chrome稳定,某些PUA码位可能被忽略。测试时务必用真机+Web Inspector检查 computed font-family 是否生效。

  • 法律合规红线 :实习僧的 robots.txt 明确禁止 /internship/ 路径的爬取。本文所有技术仅用于学术研究与反爬能力验证,实际项目中请严格遵守 robots.txt 及网站 Terms of Service ,优先使用官方API(如有)。

  • 性能优化关键 : dhash 计算虽快,但对数百个字形仍需毫秒级。生产环境应将映射字典编译为Cython模块,或用Redis缓存 {font_sha256: mapping_dict} ,避免每次启动重复计算。

5.3 字体反爬的演进趋势与应对前瞻

观察近半年的招聘平台字体策略,已出现三个明显趋势:

  1. 动态字体生成 :字体文件URL带随机token(如 /font/abc123.woff ),且token有效期仅1小时。应对:在页面JS中搜索 fetch('/font/' 或 new FontFace( ,提取token生成逻辑。
  2. 多字体混合混淆 :同一页面使用2-3套字体,分别混淆数字、中文、符号。应对:遍历所有 @font-face 声明,为每套字体单独构建映射库。
  3. 字体+Canvas混合 :关键数字用字体混淆,而“/月”等单位用Canvas绘制。应对:用 page.screenshot() 截取目标区域,送入OCR(如PaddleOCR)识别。

我个人在实际操作中发现,最有效的防御不是技术对抗,而是 建立字体指纹监控体系 :每天定时抓取各平台首页,提取所有 @font-face 规则,计算字体文件SHA256,对比历史记录。一旦发现变更,自动触发映射字典重建+人工审核流程。这套机制已在某公司招聘数据中台稳定运行8个月,字体更新平均响应时间<15分钟。

6. 工具链与资源清单:开箱即用的字体反爬分析套件

6.1 开源工具推荐(全部亲测可用)

  • fonttools (核心): pip install fonttools ,必备字体解析库,支持 cmap / glyf 表读写。
  • Pillow (图像处理): pip install Pillow ,用于字形渲染与dHash计算。
  • playwright (自动化): pip install playwright && playwright install chromium ,现代浏览器自动化首选。
  • paddleocr (兜底OCR): pip install paddleocr ,当字体混淆升级为Canvas时的终极方案。

6.2 一键分析脚本(附使用说明)

我将上述流程封装为 font_reverse.py ,支持三种模式:

# 模式1:从URL下载字体并生成映射
python font_reverse.py --url https://cdn.shixiseng.com/font/shixiseng.woff --output mapping.json

# 模式2:从本地woff文件分析
python font_reverse.py --file shixiseng.woff --chars "0123456789实习薪/月K万"

# 模式3:解析HTML并输出清洗后结果
python font_reverse.py --html page.html --mapping mapping.json --selector ".salary"

脚本内置:

  • 自动识别PUA范围( 0xE000-0xF8FF )
  • 多字体库比对(思源黑体、Noto Sans CJK、阿里巴巴普惠体)
  • 映射结果可视化(生成 mapping_preview.png ,左侧PUA编码,右侧匹配字符)

最后再分享一个小技巧:当遇到完全陌生的字体混淆时,先别急着写代码。打开Chrome开发者工具,切换到Elements面板,右键目标文本节点 → “Edit as HTML”,将 <span class="salary">/月</span> 临时改为 <span class="salary">123/月</span> ,如果页面立即刷新显示“123/月”,说明该节点确实只依赖字体渲染,无其他JS逻辑干扰——这是字体反爬最典型的“纯视觉混淆”特征,可放心用本文方案处理。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/weixin_29042035/article/details/168277313

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--