建议万能框架加入采集常用的方法

Monn

通过万能框架的功能，发现做小偷程序，或者做采集程序非常牛X。。建议把常用的方法封装进去，不用每次用到的时候，都要自己写了。
如：从获取到的html截取需要的部分，如下：

[C#] 纯文本查看 复制代码

/// <summary>
        /// GetSubString截取字符串
        /// </summary>
        /// <param name="strSource">原始字符</param>
        /// <param name="strIndexOf">开始字符</param>
        /// <param name="strLastOf">结束字符</param>
        /// <returns></returns>
        private string GetSubString(string strSource, string strIndexOf, string strLastOf)
        {
            string strResult = string.Empty;
            int indexOf = strSource.IndexOf(strIndexOf);
            if (indexOf > -1)
            {
                string strTemp = strSource.Substring(indexOf + strIndexOf.Length);
                if (!string.IsNullOrEmpty(strTemp))
                {
                    strResult = strTemp.Substring(0, strTemp.IndexOf(strLastOf));
                }
            }
            return strResult;
        }

还有其他的如正则提取的方法等等。。

站长苏飞

Monn 发表于 2014-9-23 11:29
我简单的贴上两个方法，其实就是做小偷或者采集程序，常常用到的一些处理html的一些方法。我这也不是很全 ...

恩挺好的，我写的时候看看，能加的就加上，不过我打算开发一套Html的Xpath出来，这样更方便，或者是把Html当到Xml处理，这 两种我正在做测试。肯定会选择一种，如果单纯的集成方法那我们集成千万个方法恐怕也是不够用，只有搞个引擎出来，让大家根据语法自己搞才是正道 ，对于这方面如果有什么好的建议可以提提

站长苏飞

这个方法可以加，你说的其他可以具体化一下。能加的一定加

Monn

站长苏飞 发表于 2014-9-23 11:20
这个方法可以加，你说的其他可以具体化一下。能加的一定加

我简单的贴上两个方法，其实就是做小偷或者采集程序，常常用到的一些处理html的一些方法。我这也不是很全，贴几个，站长有其他好的代码，一定要加进框架里啊。。

[C#] 纯文本查看 复制代码

/// <summary>
        /// 执行正则提取出值
        /// </summary>
        /// <param name="RegexString">正则表达式</param>
        /// <param name="RemoteStr">HtmlCode源代码</param>
        /// <returns></returns>
        public string  GetRegValue(string RegexString, string RemoteStr)
        {
            string MatchVale = "";
            Regex r = new Regex(RegexString);
            Match m = r.Match(RemoteStr);
            if (m.Success)
            {
                MatchVale = m.Value;
            }
            return MatchVale;
        }

[C#] 纯文本查看 复制代码

/// <summary>
        /// 替换HTML源代码
        /// </summary>
        /// <param name="HtmlCode">html源代码</param>
        /// <returns></returns>
        public string RemoveHTML(string HtmlCode)
        {
            string MatchVale = HtmlCode;
            foreach (Match s in Regex.Matches(HtmlCode, "<.+?>"))
            {
                MatchVale = MatchVale.Replace(s.Value, "");
            }
            return MatchVale;
        }

[C#] 纯文本查看 复制代码

/// <summary>
        /// 替换通过正则获取字符串所带的正则首尾匹配字符串
        /// </summary>
        /// <param name="RegValue">要替换的值</param>
        /// <param name="regStart">正则匹配的首字符串</param>
        /// <param name="regEnd">正则匹配的尾字符串</param>
        /// <returns></returns>
        public string RegReplace(string RegValue, string regStart, string regEnd)
        {
            string s = RegValue;
            if (RegValue != "" && RegValue != null)
            {
                if (regStart != "" && regStart != null)
                {
                    s = s.Replace(regStart, "");
                }
                if (regEnd != "" && regEnd != null)
                {
                    s = s.Replace(regEnd, "");
                }
            }
            return s;
        }

还有获取a连接和图片连接的就不贴了。框架已经有了。

Monn

站长苏飞 发表于 2014-9-23 11:37
恩挺好的，我写的时候看看，能加的就加上，不过我打算开发一套Html的Xpath出来，这样更方便，或者是把Htm ...

牛啊 期待中。。有建议一定会提的，不过俺比较菜。嘿嘿。。

azon

我一直在想，站长能不能把HtmlAgilityPack这个开源的功能集成在万能框架里？
HAP还是比较牛的。

站长苏飞

azon 发表于 2014-9-24 21:42
我一直在想，站长能不能把HtmlAgilityPack这个开源的功能集成在万能框架里？
HAP还是比较牛的。

这个我正在努力中。。。

无心释途

我一直用的SgmlReader转xml，但是很多复杂的网页都报超时错误，转不了

ching126

强烈支持楼主ing……

追风年代

不要搞得大而全。专业的事用专业的库即可。比如 HAP。