实战 C# 爬虫开发:从 SQL 注入防护到正则解析,手把手教你搭建自动化数据抓取站
最近在零点博客折腾一个小项目,打算利用 EMLOG 博客系统做自动聚合。作为一个 C# 后端开发者,虽然 PHP 也能做,但 C# 处理并发和多线程爬虫逻辑确实有一手。今天不想扯那些虚头巴脑的理论,直接复盘一下这周踩坑的真实过程。
一、 项目背景与架构思路
目标很简单:利用 C# 编写一个控制台程序,抓取第三方网站的公开数据,清洗后存入 MySQL,并同步到我们的 EMLOG 博客中。这里的核心难点在于反爬虫机制的数据交互以及数据入库时的安全防护。
二、 核心开发:C# 爬虫实战
爬虫开发中最头疼的往往不是获取网页源码,而是如何处理动态加载的数据。在接触了一些新的 Javascript 框架后,我发现纯文本解析往往不够用。为了保证代码的可维护性,我采用了 HtmlAgilityPack 配合自定义逻辑。
1. 获取数据与处理响应
直接上代码,底层逻辑是固定的。这里为了演示,我屏蔽了部分验证逻辑。
using System;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;
namespace SpiderDemo
{
class Program
{
static void Main(string[] args)
{
// 1. 创建 HttpClient,注意复用而非频繁创建
using (var client = new HttpClient())
{
// 2. 模拟浏览器头,防止被简单的拦截
client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...");
// 假设目标接口返回的是 JSON 或 HTML
var response = client.GetStringAsync("https://target-site.com/api/data").Result;
ParseData(response);
}
}
static void ParseData(string htmlContent)
{
// 使用正则表达式提取核心数据
// 这是一个非常经典且稳健的 HTML 提取方式
var pattern = @""title":"(?.+?)"";
MatchCollection matches = Regex.Matches(htmlContent, pattern);
foreach (Match match in matches)
{
string title = match.Groups["title"].Value;
Console.WriteLine($"抓取到标题:{title}");
// 这里可以调用保存方法
SaveToEmlog(title);
}
}
}
}
2. 正则表达式的避坑指南
很多新手写 正则表达式 容易写死,导致抓取失败。我的经验是,先在开发者工具里 F12 查看元素结构,然后写一个简单的正则测试工具跑通。注意转义字符,尤其是 HTML 里的双引号和斜杠。
三、 数据安全:SQL 注入防护是红线
数据存入 MySQL 是最危险的一步。千万不要拼字符串!不管你的 PHP 后端还是 C# 后端,**预处理语句(PreparedStatement)** 是标配。
// 错误示范:严重的安全漏洞
// string sql = "INSERT INTO emlog_blog VALUES ('" + title + "')";
// 正确示范:使用参数化查询
string sql = "INSERT INTO emlog_blog (title, content, date) VALUES (@pTitle, @pContent, @pDate)";
SqlCommand cmd = new SqlCommand(sql, connection);
cmd.Parameters.AddWithValue("@pTitle", title); // 参数化,自动过滤恶意 SQL
// ... 执行插入
这点必须刻在脑子里,我在调试阶段差点因为没做防护,把博客数据库给干废了。
四、 前端交互:Javascript 与在线工具整合
爬回来的数据要在博客前端展示,离不开 HTML/CSS/JS 的配合。为了让抓取的数据更直观,我开发了一个简单的在线工具,允许用户直接在博客页面上调试 Javascript 代码,实时预览正则提取效果。
JS 前端校验示例:
function validateUrl(input) {
// 使用 JS 校验格式,再提交给后端
const regex = new RegExp('^(https?:\/\/).*$', 'i');
return regex.test(input);
}
// 在 jQuery 中绑定事件
$('#submit-btn').click(function(){
if(validateUrl($('input').val())) {
// 发起 AJAX 请求到你的 C# 后端接口
$.post('/api/save', { data: ... }, function(res){ ... });
}
});
五、 底层复盘与避坑指南
- 反爬虫处理: 如果遇到 403 错误,检查 Header 是否完整,必要时配置代理池。
- 数据库连接: EMLOG 使用 MySQL,连接池设置要合理,避免频繁打开关闭导致数据库压力过大。
- 代码规范: 把爬虫逻辑单独抽离成 Service 层,不要写在一个 Main 方法里,方便后期维护。
整个开发过程大概耗时两天,虽然代码量不多,但涉及到前端交互、后端解析和安全防护的细节还是挺多的。希望这篇实战复盘能帮到正在搞爬虫和 EMLOG 二次开发的朋友们。



评论一下吧
取消回复