文本去重

在线文本去重工具

这是 HyperGrad Text 提供的免费在线文本去重工具，按行或段落去除重复内容，保留首次出现顺序， 可选大小写不敏感与去前后空白。所有去重在浏览器本地完成，原始数据与结果均不上传服务器， 适合处理手机号、邮箱、客户名单、商品 ID、URL 等敏感数据。

支持两种去重粒度

• 按行去重：每行视为一条记录，逐行比对。适合名单、邮箱、URL、ID 列表。
• 按段落去重：以空行分隔段落，逐段比对。适合去重文章段落、FAQ 条目、邮件正文。

三个关键选项

• 大小写不敏感：开启后 Apple 与 apple 被视为重复，只保留首次出现的。处理不区分大小写的列表时建议开启。
• 去前后空白：开启后比较前先 trim，避免行末空格导致「实际相同」的两行被误判为不同。
• 忽略空行/空段：空行在去重前先全部移除，不参与比较；多个连续空行合并为一个。

保留首次出现顺序

本工具默认保留首次出现顺序，即「先进先出」——删除后续重复的，保留第一次出现的行。 这是大多数去重场景期望的行为，方便你对照原数据查看哪些被去掉了。 去重后给出输入条数、输出条数与去除条数，让结果可量化。

与 Excel 去重的区别

Excel 的「删除重复项」需要导入数据、选择列、点按钮，多步操作。本工具粘贴即得结果，并保留原顺序。 对纯文本列表（每行一条）去重效率比 Excel 高得多，且不暴露数据给任何第三方。