写在前面：做爬虫不只是抓数据，更是为了更安全的开发

大家好，我是零点博客的博主。最近在做一个基于 EMLOG 的数据聚合工具时，我遇到了不少坑。很多初学者只关注怎么把网页上的标题抓下来，却忽略了接口开发中的安全性问题，特别是SQL注入防护。今天这篇文章，我将用最真实的复盘口吻，结合我手头的 C# 项目，把爬虫开发和代码案例拆解开来，给大家看一套真正能落地的方案。

一、 需求背景与目标

我们的目标是做一个在线工具，能实时读取 EMLOG 主题的文章列表。这里涉及到两个核心环节：前端 HTML/CSS/JS 展示和 C# 后端 抓取。为了不让百度和必应索引到乱码数据，我决定在后端直接把 HTML 转成 JSON 返回给前端，而不是依赖复杂的正则表达式去拼凑。

二、 爬虫开发的底层拆解与代码案例

很多人问，用 C# 写爬虫用哪些库？其实微软自带的 HtmlAgilityPack 就足够用了。下面这个代码案例展示了我如何实现抓取：

using System;
using System.Net.Http;
using System.Text;
using HtmlAgilityPack;
using System.Threading.Tasks;
using System.Text.Json;

public class EmlogCrawler
{
    private static readonly HttpClient client = new HttpClient();

    public async Task<string> FetchArticleListAsync(string url)
    {
        // 模拟浏览器头，避免被简单的反爬虫拦截
        client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)...");

        var response = await client.GetStringAsync(url);
        var doc = new HtmlDocument();
        doc.LoadHtml(response);

        // 提取文章数据
        var articles = new System.Collections.Generic.List<dynamic>();

        // 这是一个假设的 XPath，需要根据实际 EMLOG 模板结构调整
        var nodes = doc.DocumentNode.SelectNodes("//div[@class='article-list']//h2"); 

        foreach (var node in nodes)
        {
            articles.Add(new {
                Title = node.InnerText.Trim(),
                Link = node.SelectSingleNode("a").GetAttributeValue("href", "")
            });
        }

        // 序列化为 JSON
        return JsonSerializer.Serialize(articles);
    }
}

避坑指南： 刚开始我直接用正则表达式去匹配标题，结果一升级 EMLOG 版本，模板结构变了，正则就崩了。后来改用 HtmlAgilityPack 的 XPath，维护性提升了十倍。大家在做JSON/XML 数据解析时，首选稳定的库，少写手搓的正则。

三、 SQL 注入防护：为什么预处理语句是底线？

抓取下来的数据存到 MySQL 怎么存？很多新人会直接字符串拼接，这是大忌。下面这个代码案例专门演示如何使用预处理语句。

using (MySqlConnection conn = new MySqlConnection("ConnectionStringHere"))
{
    conn.Open();
    // 注意：SQL 中的参数用 @Param 标记，而不是直接把变量塞进去
    string sql = "INSERT INTO articles (title, content, create_time) VALUES (@Title, @Content, @Time)";

    using (MySqlCommand cmd = new MySqlCommand(sql, conn))
    {
        // 绑定参数，而不是拼接字符串
        cmd.Parameters.AddWithValue("@Title", "抓取到的标题");
        cmd.Parameters.AddWithValue("@Content", "抓取到的内容");
        cmd.Parameters.AddWithValue("@Time", DateTime.Now);

        cmd.ExecuteNonQuery();
    }
}

在这里，C# 的 `AddWithValue` 方法会自动帮你转义特殊字符。只要你的前端输入经过了这一层，哪怕有人注入 ``，MySQL 也会把它当成普通文本处理，而不是执行代码。这就是我们常说的SQL注入防护。

四、 总结与源码获取

开发一个工具，逻辑只是冰山一角，重点在于如何优雅地处理 HTML 解析，以及如何安全地操作数据库。这套流程从后端 C# 的 HTTP 请求，到前端的 HTML 渲染，再回到数据库的存储，形成一个闭环。

如果你想看完整的**源码案例**，欢迎在零点博客下载。希望这篇包含底层拆解的文章，能帮你少走弯路。如果有关于 PHP 后端配合或者正则表达式优化的疑问，欢迎在评论区交流。