零点博客复盘：C#实战爬虫开发避坑指南，从数据采集到MySQL存储全流程拆解

说实话，最近为了给零点博客补充数据，我硬是逼着自己折腾了一把C#爬虫开发。之前总觉得这玩意儿离我很远，直到真上手才发现，细节全是坑。今天咱们就来聊聊怎么用C#结合MySQL，做一个既能跑得动又安全的爬虫系统。

一、为什么选择C#做爬虫？底层逻辑是什么？

做爬虫开发，选对工具真的很重要。相比于PHP的脚本运行限制，C#在处理高并发请求和复杂的数据清洗上优势明显。我们的核心思路很简单：HttpClient + HtmlAgilityPack + MySQL预处理。这就是一个典型的前后端分离思想在数据采集中的应用：前端负责抓，后端负责存。

二、 HTML与JSON解析：数据清洗的必修课

拿到网页源码别急着存数据库，那是找死。首先得解析。我这次用HtmlAgilityPack来处理HTML文档节点，这玩意儿就像解析XML一样方便。

// 简单的XPath节点提取示例
var nodes = doc.DocumentNode.SelectNodes("//div[@class='content']");
foreach (var node in nodes)
{
    var text = WebUtility.HtmlDecode(node.InnerText); // 解码防止乱码
    var jsonStr = Newtonsoft.Json.JsonConvert.SerializeObject(text);
    // 这里可以对接后续的接口开发
}

别忘了，很多网站返回的是JSON格式的数据，这时候得用到JSON/XML数据解析。解析完的字符串，往往还需要用正则表达式做二次清洗，把多余的空格、换行符干掉，不然存进数据库全是垃圾数据。

三、爬虫开发的安全红线：SQL注入防护与预处理

这是今天要敲黑板的地方！很多新手写代码，喜欢直接拼接SQL语句：

// ❌ 错误示范：极度危险！
string sql = $"INSERT INTO posts (title, content) VALUES ('{title}', '{content}')";

一旦title里带了单引号或者脚本代码，你的数据库就挂了（SQL注入防护失效）。我们一定要用预处理语句（Parameterized Queries）。

// ✅ 正确做法：使用SqlCommand参数化
string sql = "INSERT INTO posts (title, content, create_time) VALUES (@Title, @Content, @Time)";
using (SqlCommand cmd = new SqlCommand(sql, conn))
{
    cmd.Parameters.AddWithValue("@Title", title);
    cmd.Parameters.AddWithValue("@Content", content);
    cmd.Parameters.AddWithValue("@Time", DateTime.Now);
    cmd.ExecuteNonQuery();
}

这样，即便输入了恶意代码，数据库也会把它当成普通的字符串处理，安全系数直接拉满。

四、实操案例：一套完整的落地代码

咱们直接看代码。这是一个整合了获取网页内容、解析数据、过滤非法字符并最终存入MySQL的完整函数。你可以直接复制到你的.NET项目里跑。

public void StartCrawler(string url)
{
    // 1. 建立连接
    string connStr = "Server=localhost;Database=crawler_db;User=root;Password=123456;";
    using (MySqlConnection conn = new MySqlConnection(connStr))
    {
        conn.Open();

        // 2. 发起HTTP请求
        using (var httpClient = new HttpClient())
        {
            var html = await httpClient.GetStringAsync(url);
            var doc = new HtmlAgilityPack.HtmlDocument();
            doc.LoadHtml(html);

            // 3. 提取数据
            var dataList = doc.DocumentNode.SelectNodes("//li");

            foreach (var item in dataList)
            {
                string title = Regex.Match(item.InnerText, "[\u4e00-\u9fa5]+").Value; // 正则提取中文
                string content = item.SelectSingleNode(".//p").InnerText;

                // 4. 执行SQL（必须预处理！防止注入）
                string sql = "INSERT INTO articles (title, content) VALUES (@Title, @Content)";
                using (MySqlCommand cmd = new MySqlCommand(sql, conn))
                {
                    cmd.Parameters.AddWithValue("@Title", title);
                    cmd.Parameters.AddWithValue("@Content", content);
                    cmd.ExecuteNonQuery();
                }
            }
        }
    }
}

五、避坑指南与总结

封IP问题： 爬虫不是单线程任务，记得加Sleep或用队列控制频率，别把对方服务器搞崩了。
编码问题： 中文网页很多时候是GBK，记得在HttpClient或者LoadHtml里指定Encoding。
工具开发： 如果你在做在线工具开发，可以把这段解析逻辑封装成API，前端直接调。

这套流程跑通后，你会发现，所谓的爬虫开发其实就是“胶水代码”的组装。把HTML变成结构化数据，再把数据安全地存进数据库，中间穿插着无数的正则和JSON操作。希望这篇基于零点博客实战经验的复盘，能帮你省下熬夜Debug的时间。有啥问题，欢迎在评论区交流，咱们下期见！