http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 5614|回复: 4
打印 上一主题 下一主题

[官方动态] 源码的储存格式统一为utf8?

[复制链接]
跳转到指定楼层
楼主
发表于 2014-1-8 16:27:06 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
建议能否将 svn 下的源码档都用 utf8 或unicode 储存,
目前看到有的用utf8, 有的用ansi, 用 ansi的档在繁体作业系统下,
开启没问题,但是所有中文说明都变乱码,用utf8的就没问题。

图片位置










1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
沙发
发表于 2014-1-8 16:30:26 | 只看该作者
有吗?呵呵,可以,我检查下,然后改改,你发现那个乱码可以发一下类名我尽快修改。
板凳
 楼主| 发表于 2014-1-8 22:03:04 | 只看该作者
呵呵,交作业了,共26个。
判断文档编码的类,是从网上找的,我觉得也应放到版主的类库下。
因为这应是很实用的类, 试想如果不知文件的编码类型如何正确的开启文件呢?

原链结  C#获取文本文件的编码,自动区分GB2312和UTF8

DotNet.Utilities\Api\ResourcesApi.cs
DotNet.Utilities\Api\Win32Private.cs
DotNet.Utilities\Config\ConfigHelper.cs
DotNet.Utilities\Convert\StringPlus.cs
DotNet.Utilities\Cookie&Session&Cache\DataCache.cs
DotNet.Utilities\Date\CNDate.cs
DotNet.Utilities\DEncrypt\DEncrypt.cs
DotNet.Utilities\DEncrypt\DESEncrypt.cs
DotNet.Utilities\DEncrypt\Encrypt.cs
DotNet.Utilities\DEncrypt\HashEncode.cs
DotNet.Utilities\DEncrypt\RSACryption.cs
DotNet.Utilities\Excel\DataToExcel.cs
DotNet.Utilities\File\INIFileHelper.cs
DotNet.Utilities\FTP\FTPClient.cs
DotNet.Utilities\FTP\FTPOperater.cs
DotNet.Utilities\GridView\GridViewHelper.cs
DotNet.Utilities\Internet&Url\UrlOper.cs
DotNet.Utilities\Mail\MailSender.cs
DotNet.Utilities\Page\HttpProc.cs
DotNet.Utilities\Page\Utility.cs
DotNet.Utilities\PinYin\PinYin.cs
DotNet.Utilities\ResourceManager\AppMessage.cs
DotNet.Utilities\ResourceManager\ResourceManagerWrapper.cs
DotNet.Utilities\Rmb\RMB.cs
DotNet.Utilities\SegList\SegList.cs
DotNet.Utilities\Video\VideoConvert.cs


地板
发表于 2014-1-8 22:06:13 | 只看该作者
gdmk01 发表于 2014-1-8 22:03
呵呵,交作业了,共26个。
判断文档编码的类,是从网上找的,我觉得也应放到版主的类库下。
因为这应是很 ...

谢谢,不过现在不能自动识别编码的软件应该很少了吧,我是真没见过哈哈,这个我回头处理下,谢谢你
5
 楼主| 发表于 2014-1-8 22:08:34 | 只看该作者
承上   转帖 C#获取文本文件的编码,自动区分GB2312和UTF8

[C#] 纯文本查看 复制代码
using System;
using System.Text;
using System.IO;

/// <summary>
/// FileEncoding 的摘要说明
/// </summary>
namespace FileEncoding
{
    /// <summary>
    /// 获取文件的编码格式
    /// </summary>
    public class EncodingType
    {
        /// <summary>
        /// 给定文件的路径,读取文件的二进制数据,判断文件的编码类型
        /// </summary>
        /// <param name="FILE_NAME">文件路径</param>
        /// <returns>文件的编码类型</returns>
        public static System.Text.Encoding GetType(string FILE_NAME)
        {
            FileStream fs = new FileStream(FILE_NAME, FileMode.Open, FileAccess.Read);
            Encoding r = GetType(fs);
            fs.Close();
            return r;
        }

        /// <summary>
        /// 通过给定的文件流,判断文件的编码类型
        /// </summary>
        /// <param name="fs">文件流</param>
        /// <returns>文件的编码类型</returns>
        public static System.Text.Encoding GetType(FileStream fs)
        {
            byte[] Unicode = new byte[] { 0xFF, 0xFE, 0x41 };
            byte[] UnicodeBIG = new byte[] { 0xFE, 0xFF, 0x00 };
            byte[] UTF8 = new byte[] { 0xEF, 0xBB, 0xBF }; //带BOM
            Encoding reVal = Encoding.Default;

            BinaryReader r = new BinaryReader(fs, System.Text.Encoding.Default);
            int i;
            int.TryParse(fs.Length.ToString(), out i);
            byte[] ss = r.ReadBytes(i);
            if (IsUTF8Bytes(ss) || (ss[0] == 0xEF && ss[1] == 0xBB && ss[2] == 0xBF))
            {
                reVal = Encoding.UTF8;
            }
            else if (ss[0] == 0xFE && ss[1] == 0xFF && ss[2] == 0x00)
            {
                reVal = Encoding.BigEndianUnicode;
            }
            else if (ss[0] == 0xFF && ss[1] == 0xFE && ss[2] == 0x41)
            {
                reVal = Encoding.Unicode;
            }
            r.Close();
            return reVal;

        }

        /// <summary>
        /// 判断是否是不带 BOM 的 UTF8 格式
        /// </summary>
        /// <param name="data"></param>
        /// <returns></returns>
        private static bool IsUTF8Bytes(byte[] data)
        {
            int charByteCounter = 1; //计算当前正分析的字符应还有的字节数
            byte curByte; //当前分析的字节.
            for (int i = 0; i < data.Length; i++)
            {
                curByte = data[i];
                if (charByteCounter == 1)
                {
                    if (curByte >= 0x80)
                    {
                        //判断当前
                        while (((curByte <<= 1) & 0x80) != 0)
                        {
                            charByteCounter++;
                        }
                        //标记位首位若为非0 则至少以2个1开始 如:110XXXXX...........1111110X 
                        if (charByteCounter == 1 || charByteCounter > 6)
                        {
                            return false;
                        }
                    }
                }
                else
                {
                    //若是UTF-8 此时第一位必须为1
                    if ((curByte & 0xC0) != 0x80)
                    {
                        return false;
                    }
                    charByteCounter--;
                }
            }
            if (charByteCounter > 1)
            {
                throw new Exception("非预期的byte格式");
            }
            return true;
        }

    }


}

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-15 22:20

© 2014-2021

快速回复 返回顶部 返回列表