C#后端接口开发实战:从爬虫抓取到SQL注入防护的避坑复盘

在做零点博客功能迭代的时候,我发现很多博主都有“定时获取热点文章”的需求。单纯靠人肉去翻网页效率太低,于是决定动用代码。今天这篇后端接口开发实战复盘,就带你用C#搞定一个带数据清洗、安全入库功能的爬虫接口,顺便聊聊我在开发EMLOG插件和在线工具时遇到的那些坑。

一、 需求与架构设计

我们需要一个通用的数据采集接口:

  • 输入:目标网站的URL。比如一些技术资讯站。输出
  • 输出:结构化的JSON数据,包含标题、摘要、链接。
  • 安全:直接存库?不行,必须防注入。必须清洗?不行,HTML标签太乱。

二、 核心逻辑:HTTP请求与JSON解析

这里用的是C#配合HttpClient进行异步抓取。记得在Program.cs里把HttpClient注册为单例,不然高并发下服务器会挂。

public async Task<ResultModel> FetchDataAsync(string url)
{
    // 模拟发送请求
    var response = await _httpClient.GetAsync(url);
    if (!response.IsSuccessStatusCode) return null;

    // 直接读取字符串
    var content = await response.Content.ReadAsStringAsync();

    // 这里会用到正则表达式提取核心数据
    var title = Regex.Match(content, <title>(.+?)</title>).Groups[1].Value;
    return new ResultModel { Title = title, Content = content };
}

这部分看似简单,但实操中发现HttpClient的Keep-Alive机制有时候会导致目标站封IP,所以加个随机User-Agent是必备操作。

三、 数据安全:SQL注入防护与预处理语句

拿到数据后,要把它们存进MySQL数据库。这是最容易被忽视的环节。很多新手直接把拼接的字符串塞进SQL,这是SQL注入防护的大忌。

在Repository层,我必须强制使用预处理语句:

public void SaveArticle(string title, string link)
{
    using (var conn = new MySqlConnection(_connString))
    using (var cmd = new MySqlCommand("INSERT INTO articles (title, link) VALUES (@title, @link)", conn))
    {
        // 关键点:参数化查询
        cmd.Parameters.AddWithValue("@title", title);
        cmd.Parameters.AddWithValue("@link", link);
        conn.Open();
        cmd.ExecuteNonQuery();
    }
}

通过这种方式,哪怕传进来的是恶意SQL语句,数据库也会把它当成普通字符串处理,直接绕过了常规的字符注入攻击。

四、 底层避坑:爬虫开发中的反爬策略

在实际爬虫开发中,你会发现很多网站有反爬机制。比如我的EMLOG论坛数据抓取,遇到了503错误。解决思路如下:

  • Headers伪装:在请求头里带上User-Agent和Referer,假装我是Chrome浏览器。
  • 随机延迟:使用Thread.Sleep或Async延迟,不要像打字机一样狂按回车。
  • 验证码:如果遇到验证码,这是无解的,除非引入OCR识别接口。

五、 前端落地:在线工具开发

接口写好了,还得让前端调起来。我写了一个简单的HTML/JS前端页面来展示数据。

$.ajax({
    url: '/api/Spider/GetData',
    type: 'GET',
    dataType: 'json',
    success: function(data) {
        $('#result').html(data.Title); 
    }
});

这其实就是一套标准的接口开发流程:后端REST API -> 数据库存储 -> 前端JSON解析。

总结

这次后端接口开发实战不仅让我掌握了C#的高并发处理能力,更让我对SQL注入防护有了深刻理解。在零点博客做开源工具分享时,我发现一个安全无漏洞的代码才是经得起推敲的。如果你想看更详细的源码案例,可以关注我,下期视频我打算拆解一下如何用C#写一个可视化的在线工具来辅助测试这些接口。