零点博客实战：C# 爬虫开发全流程拆解与数据安全防护

大家好，我是零点。在做零点博客开发的过程中，经常需要做数据采集。很多新手写爬虫只顾着把网页抓下来，却忽略了数据入库时的安全隐患。今天我结合自己踩过的坑，给大家分享一篇关于爬虫开发的实战复盘。

一、环境搭建与基础抓取

要开发一个高效的爬虫，我们需要准备好开发环境。对于C#后端开发，.NET 的生态非常成熟。我们主要用到HttpClient 发起请求，配合正则表达式提取数据。

using System;
using System.Net.Http;
using System.Text.RegularExpressions;

public class SpiderHelper
{
    public static void FetchData(string url)
    {
        var client = new HttpClient();
        var html = client.GetStringAsync(url).Result;

        // 模拟真实场景：提取文章标题
        string pattern = @"<title>(.*?)</title>";
        var match = Regex.Match(html, pattern);

        if (match.Success)
        {
            Console.WriteLine("抓取成功，标题是：" + match.Groups[1].Value);
        }
    }
}

二、数据清洗与正则实战

网页结构千变万化，写正则需要耐心。在爬虫开发中，我们不仅要匹配目标数据，还要过滤掉广告和脚本。比如，我们需要从一堆链接中提取出真实的 URL：

string linkPattern = @"href="([^"]*?)"";
foreach (Match m in Regex.Matches(html, linkPattern))
{
    string link = m.Groups[1].Value;
    // 进一步过滤非 http 链接
    if (link.StartsWith("http")) 
    {
        ProcessLink(link);
    }
}

三、致命坑点：SQL注入与防护

这是我要重点说的。拿到数据后，我们要把它存入MySQL数据库。很多新手喜欢直接拼接 SQL 语句，这在爬虫开发中是极度危险的。如果抓取的数据里包含恶意代码，数据库直接就被脱裤了。

下面是错误的写法和正确的预处理语句写法对比：

// ❌ 错误示范：拼接字符串，极易遭受 SQL 注入
string sql = "INSERT INTO articles (title, content) VALUES ('" + title + "', '" + content + "');";
// 一旦 title 是 "'); DROP TABLE articles; --，数据库就挂了

// ✅ 正确做法：使用 SqlParameter 参数化查询
using (var connection = new SqlConnection(connString))
using (var command = new SqlCommand("INSERT INTO articles (title, content) VALUES (@Title, @Content)", connection))
{
    command.Parameters.AddWithValue("@Title", title);  // 程序会自动转义特殊字符
    command.Parameters.AddWithValue("@Content", content);
    connection.Open();
    command.ExecuteNonQuery();
}

四、集成到 EMLOG 与工具开发

当数据安全入库后，我们就可以在零点博客里进行二次开发了。比如开发一个“自动投稿工具”，将爬取的数据直接格式化为 EMLOG 的 RSS 格式，或者通过 API 接口返回 JSON 数据给前端调用。

通过这次爬虫开发的实战，我们不仅掌握了 HTML 正则解析，更最重要的是建立了数据库安全的意识。如果你在开发中遇到问题，欢迎在评论区留言。