C#爬虫实战：深度解析Javascript渲染与正则数据清洗的避坑指南

兄弟们，最近在零点博客捣鼓的一个 EMLOG 博客数据统计工具又遇到问题了。原本以为只要用 HttpClient 拿到 HTML 就能搞定的东西，结果发现全是动态渲染的 DOM。今天就来复盘一下，我是怎么用 C# 配合 Javascript 解决这个动态页面抓取难题，并最终把数据稳稳存入 MySQL 的。

一、核心痛点：为什么普通的请求拿不到数据？

在做接口开发的时候，很多网站为了反爬，页面内容都是通过 JavaScript 异步加载的。简单的 GetAsync 请求你只能看到一堆骨架代码，根本找不到我们需要的文章标题和摘要。这时候，就需要祭出我们的重武器——模拟浏览器渲染。

二、方案落地：Puppeteer + Javascript 渲染

我选用了 Puppeteer（C# 有对应的 PuppeteerSharp 库），这玩意儿本质上就是个无头浏览器。它的作用就是像人一样打开网页，跑一遍 JS 逻辑，把 DOM 树渲染出来。

1. 安装与基础配置

首先得安装 NuGet 包 PuppeteerSharp。初始化比较简单，不用像 C# 后端开发那样写一大堆配置，它默认配置就能跑。

var browser = await Puppeteer.LaunchAsync(new LaunchOptions { Headless = true });
var page = await browser.NewPageAsync();
await page.GoToAsync("https://example.com");
// 关键点：等待 JS 执行完毕，避免数据还没出来就抓取
await page.WaitForSelectorAsync(".content");

2. 结合正则表达式提取数据

拿到渲染后的 HTML 字符串后，虽然结构清晰了，但未必是纯文本。比如有些接口返回的是 JSON 格式的字符串包在 HTML 里面，这时候 正则表达式 就派上用场了。我要从复杂的 HTML 结构中精准提取出 Meta 标签里的描述信息。

string html = await page.GetContentAsync();
var regex = new System.Text.RegularExpressions.Regex(@"<meta name="description" content="([^"]+)" />");
var match = regex.Match(html);
if (match.Success) {
    string desc = match.Groups[1].Value;
    Console.WriteLine($"抓取成功: {desc}");
}

三、防坑指南：SQL注入与数据清洗

数据提取出来了，别急着存库。这里有两个大坑一定要踩到。

1. SQL注入防护

这是做后端开发最忌讳的。千万别用字符串拼接 SQL。一定要使用 预处理语句（Parameterized Queries）。

// 错误示范
string sql = $"INSERT INTO data VALUES ('{title}')";

// 正确示范
string sql = "INSERT INTO data (title) VALUES (@Title)";
using (var cmd = new MySqlCommand(sql, conn)) {
    cmd.Parameters.AddWithValue("@Title", title); // 自动转义特殊字符
    await cmd.ExecuteNonQueryAsync();
}

2. JSON/XML 解析

有时候爬虫抓到的是 JSON 字符串，而不是 HTML。如果你在后端直接用 System.Text.Json 解析，发现属性名不对？那是因为前端 Javascript 经常会有下划线命名法（snake_case），而 C# 默认是帕斯卡命名法。这时候可以用 JS 的 JSON.parse 转一下，或者 C# 后端写个映射转换。

四、总结与复盘

这次实战让我深刻体会到，单纯的 HTML/CSS/JS 前端逻辑配合 C# 后端能力，才是爬虫开发的王道。从模拟浏览器执行 Javascript 渲染，到用正则提取，再到利用 MySQL 的预处理语句保证安全，每一步都不能省。

如果你在开发在线工具或者爬虫时也遇到类似问题，欢迎在零点博客留言，我们一起讨论代码里的那些坑！