C#爬虫实战：零点博主教你用HtmlAgilityPack解析HTML数据，并杜绝MySQL注入风险

引言：爬虫开发里的 HTML 解析与数据安全

大家好，我是零点博主。最近在折腾 EMLOG 系统的一个数据同步工具，核心需求是抓取目标网站的数据并存入本地数据库。在这个过程中，我深刻体会到HTML 解析的重要性，以及SQL 注入防护的必要性。很多人做爬虫只顾着快，往往忽略了代码的安全性。今天就把这套实战经验复盘一下，手把手教大家如何用 C# 结合 HtmlAgilityPack 优雅地解析 HTML，并安全地写入 MySQL。

第一步：搞定 HTML 数据抓取与解析

面对目标网站千奇百怪的 HTML 结构，正则表达式虽然好用，但维护成本太高。作为一名后端开发，我强烈推荐使用 HtmlAgilityPack。这个库就像一把铲子，能帮我们从 HTML 沙土里把我们需要的数据挖出来。

比如我们要获取列表页面的标题和链接：

// 初始化 HtmlDocument
var htmlDoc = new HtmlAgilityPack.HtmlDocument();
htmlDoc.LoadHtml(htmlContent);

// XPath 是解析 HTML 的神兵利器
var nodes = htmlDoc.DocumentNode.SelectNodes("//div[@class='post-list']//h3/a");

if (nodes != null)
{
    foreach (var node in nodes)
    {
        var title = node.InnerText.Trim();
        var href = node.Attributes["href"].Value;

        // 输出抓取到的信息
        Console.WriteLine($"标题: {title}, 链接: {href}");
    }
}

这段代码非常直观，直接利用 XPath 对 HTML 进行定位。需要注意的是，处理非标准 HTML 时，HtmlAgilityPack 的容错性比正则好太多。

第二步：清洗数据与 JSON 转换

抓取到的 HTML 字符串有时候包含多余空格或乱码，我们需要预处理。同时，为了方便后端接口调用，通常会将解析后的数据封装成 JSON 格式。

// 简单的数据模型
public class SpiderItem
{
    public string Title { get; set; }
    public string Url { get; set; }
    public DateTime CrawlTime { get; set; }
}

var item = new SpiderItem
{
    Title = title,
    Url = href,
    CrawlTime = DateTime.Now
};

// 转换为 JSON 字符串
var jsonData = Newtonsoft.Json.JsonConvert.SerializeObject(item);
Console.WriteLine(jsonData);

在 JSON 处理中，务必注意空值的判断，避免输出 null 字符串污染数据。

第三步：MySQL 交互与 SQL 注入防护（重中之重）

拿到数据不能直接拼接 SQL，这是大忌！很多新手在写 PHP 或 C# 时，喜欢直接拼接字符串，这极易引发 SQL 注入攻击。

我们在零点博客的代码库中，始终坚持使用预处理语句（Parameterized Queries）。来看看这段“安全模式”的代码：

using (var connection = new SqlConnection(connectionString))
{
    connection.Open();
    string sql = "INSERT INTO crawler_data (title, url, create_time) VALUES (@Title, @Url, @Time)";

    using (var cmd = new SqlCommand(sql, connection))
    {
        // 绝不拼接字符串，而是使用参数化
        cmd.Parameters.AddWithValue("@Title", item.Title);
        cmd.Parameters.AddWithValue("@Url", item.Url);
        cmd.Parameters.AddWithValue("@Time", item.CrawlTime);

        cmd.ExecuteNonQuery();
    }
}

看到了吗？使用 `@Title` 这样的参数占位符，数据库引擎会自动处理转义。这不仅防止了 SQL 注入，还能利用数据库自身的执行计划优化查询性能。

实战总结与避坑指南

解析策略： 在处理复杂的 HTML 时，优先使用 XPath 或 CSS 选择器，不要死磕正则表达式，维护起来太痛苦。
数据清洗： 从 HTML 提取的文本往往包含换行符或多余空格，记得用 `.Trim()` 方法清洗。
安全第一： 无论前后端如何开发，只要涉及数据库操作，预处理语句是标配，永远不要自己写转义函数。

这套流程下来，一个具备解析能力且安全的爬虫框架就搭好了。如果你在 EMLOG 二次开发或者自定义工具中遇到问题，欢迎在零点博客留言讨论。毕竟，代码的世界没有银弹，只有不断的踩坑和填坑。