实战复盘:从C#爬虫获取JSON数据到SQL预处理存储的避坑指南

大家好,我是零点博客的主理人。前几天在开发一个自动采集财经数据的工具时,遇到了不少坑。特别是Json数据的解析与MySQL存储安全问题,很多新手直接拼接SQL语句,结果被SQL注入一抓一个准。

今天咱们就抛开那些虚头巴脑的理论,结合实战经验,聊聊C#如何处理JSON数据,以及为什么我们必须使用SQL预处理语句。这篇教程绝对实战,抄作业都没问题。

1. 环境准备:数据从哪来?

在做接口开发和爬虫开发时,第一步永远是搞到数据。咱们假设目标网站提供了一个公开的接口,返回格式是标准的JSON。

// 模拟获取到的JSON字符串数据
string jsonStr = "{ \"code\": 200, \"data\": \"需要入库的敏感字段\", \"user\": \"admin\" }";

拿到这个Json数据后,很多人直接用字符串截取,非常不优雅。在.NET开发中,我强烈建议使用 Newtonsoft.Json 或者 System.Text.Json 进行转换。

2. JSON数据清洗与解析(正则登场)

爬下来的数据往往不干净,可能带有换行符、空格或者一些无关的HTML标签。这时候就需要正则表达式出马了。

比如我们只想提取用户名,可以把Json中的字段提取出来:

string pattern = @"\"user\":\s*\"([^\"]*)\"";
Regex rg = new Regex(pattern);
Match match = rg.Match(jsonStr);
if (match.Success)
{
    string userName = match.Groups[1].Value;
    Console.WriteLine("提取成功:" + userName);
}

这一步做完,我们手里就握着干净的数据了,可以进行后续处理。

3. 核心避坑:SQL注入与预处理语句

这是本文的重点!在将Json数据存入MySQL时,绝对严禁使用字符串拼接SQL。

错误示范(千万不能这么写):

string sql = $"INSERT INTO users (name, content) VALUES ('{userName}', '{jsonStr}')";

如果我们的jsonStr里包含 admin' OR '1'='1,数据库就炸了。

正确姿势:使用预处理语句

C#连接MySQL通常使用MySql.Data。务必使用 MySqlCommand 的参数化查询:

string sql = "INSERT INTO users (name, content) VALUES (@Name, @Content);";

using (MySqlConnection conn = new MySqlConnection(connectionString))
{
    conn.Open();
    using (MySqlCommand cmd = new MySqlCommand(sql, conn))
    {
        // 参数化赋值,数据库会把@Name当成普通字符处理,而不是执行代码
        cmd.Parameters.AddWithValue("@Name", userName);
        cmd.Parameters.AddWithValue("@Content", jsonStr);

        cmd.ExecuteNonQuery();
    }
}

这样无论你的Json数据里包含什么特殊字符,都不会执行SQL注入攻击。

4. 底层拆解:MySQL与C#的数据类型映射

在做PHP后端转C#开发的朋友,经常会遇到类型不匹配的问题。

  • JSON字符串在C#中通常对应 string 或 dynamic 类型。
  • 数字ID在Json里可能是字符串,但存入MySQL INT 字段时,一定要用 Convert.ToInt32() 或者参数化赋值(MySql会自动转换)。
  • 日期时间:注意时区问题,C#的 DateTime 和MySQL的 datetime 最好统一转换成 yyyy-MM-dd HH:mm:ss 格式的字符串存入,避免报错。

5. 总结与实战建议

通过这次复盘,我总结了三条黄金法则:

  1. 解析即清洗:拿到Json数据别急着存,先用正则把垃圾数据干掉。
  2. 存库即参数化:凡是用户输入的数据,哪怕是接口返回的JSON,只要是存进数据库的,统统走预处理语句。
  3. 日志监控:开发在线工具或后台时,多记录异常日志,SQL报错往往能暴露出数据结构的问题。

如果你在开发C#项目或EMLOG插件时遇到数据处理难题,欢迎在零点博客评论区留言交流!