C# 实操教程：用爬虫自动采集数据，一键发布到 EMLOG 博客源码解析

大家好，我是零点博客。最近在做一个数据采集项目，单纯靠手写代码去模拟点击太繁琐了。于是我想到了用 C# 结合 HtmlAgilityPack 写一个轻量级爬虫，直接把数据解析出来，通过 MySQL 插入到我的 EMLOG 博客系统中。这不仅仅是代码的堆砌，更是一次从接口开发到后端数据处理的完整复盘。今天分享这份 C# 实操教程，希望能帮大家避坑。

一、环境搭建与需求分析

我们的目标很明确：抓取第三方网站的标题和内容，转换成 JSON 格式，最终存入 EMLOG 的数据库中。在开发前，我特意去研究了 EMLOG 的表结构，发现博客文章主要存储在 emlog_blog 表，附件在 emlog_attachment 表。为了保证数据安全，我们必须使用预处理语句，这能杜绝 SQL 注入防护 中常被忽视的隐患。

二、核心逻辑：从网页抓取到数据清洗

在之前的 后端开发 经验中，我习惯先获取原始 HTML。在 C# 中，我们使用 HttpClient 请求目标 URL。拿到数据后，别急着存库，先用正则表达式把没用的标签（如 <script>、<style>）剔除。

// 这是一个简化的抓取与清洗逻辑示例
string html = await httpClient.GetStringAsync(url);
var doc = new HtmlDocument();
doc.LoadHtml(html);

// 使用正则提取标题
string title = Regex.Match(html, <title>.*?</title>).Value;

// 提取正文内容（示例）
string content = Regex.Replace(html, <div.*?>.*?</div>, "", RegexOptions.IgnoreCase);

三、安全写入：MySQL 与 SQL 预处理

拿到了干净的数据，怎么存？很多人喜欢直接拼接字符串，这是大忌。作为 零点博客 的技术分享，我必须强调 SQL 注入防护。这里我们要用到 MySQL 的 MySql.Data 包。

通过创建 MySqlCommand 并传入 parameters，数据库引擎会自动转义特殊字符。这部分属于底层拆解的范畴，理解了它，你的 后端开发 安全性就上一个台阶。

string sql = "INSERT INTO emlog_blog (title, content, date) VALUES (@title, @content, NOW())";
using (MySqlCommand cmd = new MySqlCommand(sql, conn))
{
    cmd.Parameters.AddWithValue("@title", title);
    cmd.Parameters.AddWithValue("@content", content);
    cmd.ExecuteNonQuery();
}

四、实战中的避坑指南与接口对接

在实际操作中，我发现两个容易踩的坑： 1. 编码问题：爬回来的中文如果是乱码，千万记得设置 WebUtility.UrlDecode 或指定 UTF-8 编码。 2. 接口格式：如果对方提供的是 JSON 接口，记得使用 JSON/XML 数据解析 库反序列化成对象，这样比正则解析 XML 更优雅。

此外，为了方便测试，我编写了一个简易的在线工具开发 脚本，能实时生成上传到 EMLOG 的接口 URL。对于想要搭建个人技术站的朋友，这种数据联动是非常实用的。

希望这篇 实操教程 能帮你理清思路。如果你对爬虫抓取或 前端开发 混合数据渲染感兴趣，欢迎在零点博客留言讨论！