苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 5710|回复: 7

[毕业生提问] 如何去除txt文档中重复的内容

[复制链接]
发表于 2017-6-21 20:18:11 | 显示全部楼层 |阅读模式
求 详细代码  有点思路 但是不会写代码  



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2017-6-22 08:42:46 | 显示全部楼层
可以使用正则表达式。
或者循环的方式
 楼主| 发表于 2017-6-22 09:17:57 | 显示全部楼层
站长苏飞 发表于 2017-6-22 08:42
可以使用正则表达式。
或者循环的方式

能给下详细代码吗?忘记代码怎么敲了!!
发表于 2017-6-22 10:29:04 | 显示全部楼层
你这个问题说的不太清
你是要指定一个关键字然后再找所有一样的重点,还是说什么都不指定,直接检索整个文本,发现有任何重复的都直接去掉。
如果是后者会比较麻烦,有一个字重复的,还有两个字的三个字的,,,标点等等。
 楼主| 发表于 2017-6-23 10:15:38 | 显示全部楼层
站长苏飞 发表于 2017-6-22 10:29
你这个问题说的不太清
你是要指定一个关键字然后再找所有一样的重点,还是说什么都不指定,直接检索整个文 ...

是后一种。其实我的想法是存入数组去比较的 。一样的就删除 不一样的就留下。 但是我不怎么会敲代码了
发表于 2017-6-23 10:19:38 | 显示全部楼层
存数组好办,直接截取一个字符存储到一个数组范围内,最后直接去重复
 楼主| 发表于 2017-6-23 11:06:14 | 显示全部楼层
站长苏飞 发表于 2017-6-23 10:19
存数组好办,直接截取一个字符存储到一个数组范围内,最后直接去重复

txt 内容多了会不会奔溃啊 还有 存入数组是刚加载的时候 循环到删除的那个 程序会不会炸了
发表于 2017-6-23 11:24:25 | 显示全部楼层
你文件有多大,只要不超过内存空间应该没事
最好是写个程序在存储的时候检查一下重复

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-27 19:16

© 2014-2021

快速回复 返回顶部 返回列表