前言:从需求到落地的复盘

大家好,我是零点。最近在深度维护和优化“零点博客”的功能时,遇到了一个棘手的需求:需要定时抓取行业技术资讯并自动存入本地数据库,减少手动编辑的工作量。作为一个追求技术深度的博主,今天就来复盘一下这个过程的底层逻辑,特别是关于C#后端爬虫开发以及MySQL安全防护的实战经验。

一、 C#后端:实现轻量级数据抓取

在“零点博客”的架构中,我选择不依赖第三方庞大框架,而是用原生的HttpClient实现抓取逻辑,这样做的好处是代码轻量、可控性强。

首先,我们获取目标页面的HTML字符串。接下来是核心步骤——使用正则表达式从杂乱的HTML代码中精准提取出文章标题、摘要和链接。为了方便前端调用,我将提取的数据封装成了标准的JSON格式返回。

using System.Net.Http;
using System.Text.RegularExpressions;
using System.Text.Json;

public async Task FetchDataAsync(string url)
{
    var client = new HttpClient();
    var html = await client.GetStringAsync(url);
    // 使用正则提取关键信息
    var titleMatch = Regex.Match(html, "(.*?)");

    var data = new { title = titleMatch.Groups[1].Value, link = url };
    return JsonSerializer.Serialize(data);
}

二、 数据库操作:SQL注入的避坑指南

数据抓取只是第一步,如何安全地写入“零点博客”的MySQL数据库才是关键。我在早期开发时犯过一个大错,就是直接拼接SQL字符串,这简直是SQL注入的温床。

为了避免安全问题,我改用了预处理语句。这是后端开发必须掌握的底线。通过参数化查询,数据库会自动识别变量和指令,确保即使用户输入恶意脚本,也无法被执行。

string sql = "INSERT INTO blog_articles (title, content) VALUES (@Title, @Content)";
SqlCommand cmd = new SqlCommand(sql, connection);

cmd.Parameters.AddWithValue("@Title", articleTitle);
cmd.Parameters.AddWithValue("@Content", articleContent);

cmd.ExecuteNonQuery();

三、 前端交互与接口设计

为了满足HTML/CSS/JS前端的展示需求,我设计了一个RESTful接口。前端JS通过`fetch`异步请求接口获取JSON数据,再利用DOM操作将内容动态渲染到页面中。这种开发模式既保证了“零点博客”加载速度,又实现了内容的实时更新。

四、 总结与底层思考

通过这次对“零点博客”爬虫功能的改造,我深刻体会到,无论是做接口开发还是爬虫开发,底层逻辑都是相通的:数据流转要清晰,安全防护要前置。希望这篇包含源码和底层原理的干货,能帮大家少走弯路,做好自己的项目。