C#后端接口开发实战:从爬虫抓取到SQL注入防护的避坑复盘
在做零点博客功能迭代的时候,我发现很多博主都有“定时获取热点文章”的需求。单纯靠人肉去翻网页效率太低,于是决定动用代码。今天这篇后端接口开发实战复盘,就带你用C#搞定一个带数据清洗、安全入库功能的爬虫接口,顺便聊聊我在开发EMLOG插件和在线工具时遇到的那些坑。
一、 需求与架构设计
我们需要一个通用的数据采集接口:
- 输入:目标网站的URL。比如一些技术资讯站。输出
- 输出:结构化的JSON数据,包含标题、摘要、链接。
- 安全:直接存库?不行,必须防注入。必须清洗?不行,HTML标签太乱。
二、 核心逻辑:HTTP请求与JSON解析
这里用的是C#配合HttpClient进行异步抓取。记得在Program.cs里把HttpClient注册为单例,不然高并发下服务器会挂。
public async Task<ResultModel> FetchDataAsync(string url)
{
// 模拟发送请求
var response = await _httpClient.GetAsync(url);
if (!response.IsSuccessStatusCode) return null;
// 直接读取字符串
var content = await response.Content.ReadAsStringAsync();
// 这里会用到正则表达式提取核心数据
var title = Regex.Match(content, <title>(.+?)</title>).Groups[1].Value;
return new ResultModel { Title = title, Content = content };
}
这部分看似简单,但实操中发现HttpClient的Keep-Alive机制有时候会导致目标站封IP,所以加个随机User-Agent是必备操作。
三、 数据安全:SQL注入防护与预处理语句
拿到数据后,要把它们存进MySQL数据库。这是最容易被忽视的环节。很多新手直接把拼接的字符串塞进SQL,这是SQL注入防护的大忌。
在Repository层,我必须强制使用预处理语句:
public void SaveArticle(string title, string link)
{
using (var conn = new MySqlConnection(_connString))
using (var cmd = new MySqlCommand("INSERT INTO articles (title, link) VALUES (@title, @link)", conn))
{
// 关键点:参数化查询
cmd.Parameters.AddWithValue("@title", title);
cmd.Parameters.AddWithValue("@link", link);
conn.Open();
cmd.ExecuteNonQuery();
}
}
通过这种方式,哪怕传进来的是恶意SQL语句,数据库也会把它当成普通字符串处理,直接绕过了常规的字符注入攻击。
四、 底层避坑:爬虫开发中的反爬策略
在实际爬虫开发中,你会发现很多网站有反爬机制。比如我的EMLOG论坛数据抓取,遇到了503错误。解决思路如下:
- Headers伪装:在请求头里带上User-Agent和Referer,假装我是Chrome浏览器。
- 随机延迟:使用
Thread.Sleep或Async延迟,不要像打字机一样狂按回车。 - 验证码:如果遇到验证码,这是无解的,除非引入OCR识别接口。
五、 前端落地:在线工具开发
接口写好了,还得让前端调起来。我写了一个简单的HTML/JS前端页面来展示数据。
$.ajax({
url: '/api/Spider/GetData',
type: 'GET',
dataType: 'json',
success: function(data) {
$('#result').html(data.Title);
}
});
这其实就是一套标准的接口开发流程:后端REST API -> 数据库存储 -> 前端JSON解析。
总结
这次后端接口开发实战不仅让我掌握了C#的高并发处理能力,更让我对SQL注入防护有了深刻理解。在零点博客做开源工具分享时,我发现一个安全无漏洞的代码才是经得起推敲的。如果你想看更详细的源码案例,可以关注我,下期视频我打算拆解一下如何用C#写一个可视化的在线工具来辅助测试这些接口。



评论一下吧
取消回复