零点博客实战：用C#开发EMLOG爬虫在线工具，附完整代码案例与避坑指南

一、需求与架构：为什么选择C#?

我们的目标是做一个在线工具，输入 URL，返回解析后的 JSON 数据（包含标题、描述、图片）。考虑到正则表达式匹配的复杂性和并发需求，C# 的 System.Net.Http 和 Regex 库效率极高。

技术栈： ASP.NET Core (后端) + Vanilla JS (前端) + MySQL (日志存储)。

二、C# 后端开发与正则实战

在 EMLOG 的扩展目录下，我们可以创建一个独立的 API 接口，或者如果你有独立服务器，直接部署一个 WebAPI 也是可以的。这里核心是利用 HttpClient 获取网页源码。

很多新手在处理爬虫时，遇到乱码就直接崩溃。切记，发送请求时一定要指定 Accept-Encoding: gzip, deflate，并在读取流时指定 UTF-8 编码。下面是处理网页标题和描述的 代码案例：

using System;
using System.Net.Http;
using System.Text.RegularExpressions;
using System.Threading.Tasks;

public class UrlParser
{
    private static readonly HttpClient client = new HttpClient();
    private static readonly string UrlPattern = @"(?<="meta" name="description" content=")[^"]*(?=")";

    public async Task<string> GetPageContent(string url)
    {
        try
        {
            var response = await client.GetAsync(url);
            // 关键点：指定编码，防止中文乱码
            response.EnsureSuccessStatusCode();
            var content = await response.Content.ReadAsStringAsync();
            return content;
        }
        catch (Exception ex)
        {
            return $"Error: {ex.Message}";
        }
    }

    public (string Title, string Desc) ParseMetaTags(string html)
    {
        var titleMatch = Regex.Match(html, @"<title>([^<>]*)</title>", RegexOptions.IgnoreCase);
        var descMatch = Regex.Match(html, UrlPattern, RegexOptions.IgnoreCase);

        return (
            titleMatch.Success ? titleMatch.Groups[1].Value : "未找到标题",
            descMatch.Success ? descMatch.Value : "未找到描述"
        );
    }
}

三、SQL注入防护与日志存储

为了保证 MySQL数据库 的安全，工具每使用一次，我们最好记录一下用户的请求日志（IP、URL、解析耗时）。这是最容易被忽略的 SQL注入防护 教育环节。

绝对不要使用字符串拼接 SQL！请使用参数化查询（预处理语句）：

public void SaveLog(string url, int duration)
{
    string sql = "INSERT INTO tool_logs (url, create_time) VALUES (@Url, @Time)";
    // 使用参数化查询防止SQL注入
    using (var command = new MySqlCommand(sql, connection))
    {
        command.Parameters.AddWithValue("@Url", url);
        command.Parameters.AddWithValue("@Time", DateTime.Now);
        command.ExecuteNonQuery();
    }
}

四、前端交互：JS处理JSON数据

后端返回 JSON 后，前端只需一步操作。为了提升体验，我使用了原生的 fetch API，不需要 jQuery。

async function fetchUrlData() {
    const url = document.getElementById('urlInput').value;
    const res = await fetch(`/api/parse?url=${encodeURIComponent(url)}`);
    const data = await res.json();

    if(data.error) {
        alert(data.error);
        return;
    }

    // 渲染数据到页面
    document.getElementById('resultTitle').innerText = data.title;
    document.getElementById('resultDesc').innerText = data.description;
}

五、底层拆解与避坑指南

复盘这次开发，我踩了两个坑，拿出来和大家分享：

• 正则回溯爆炸： 在解析复杂的 HTML 时，尽量避免使用贪婪匹配。如果遇到 `<.*?>` 这种非贪婪匹配，依然要小心 HTML 注释和 script 标签带来的干扰。
• 并发限制： 如果你调用 API 的频率过高，会被目标网站封禁 IP。C# 的 HttpClient 是复用的，但如果是高频并发，最好使用 SemaphoreSlim 做限流控制。