正文之前

好久没写了，以后写点日常总结吧，感觉不写下来，会容易忘掉少量。

很喜欢的一张壁纸，希望后面买了相机也可以拍这么好看~

正文

首先直接把我对数据预解决的少量收获贴出来：

1. jieba比清华的好用，不过清华的更注重整体性，比方说在一个《》包含的文件内，不会分割

• 清华的： http://thulac.thunlp.org/

2. 最终还是选择了简单粗暴的只留下汉字，unicode编码真是简单粗暴

• https://www.linuxhub.org/?p=3196 第一个方法，极其爽

3. jieba和thulac都无法去掉，。、“”这些符号，很奇怪，所以我才选择的第二种方式

4. 当然还有另外的方法

import rer1 = '[a-zA-Z0-9’!"，：#$%&\'(（）)*+,-—./:;；<=>?@。?★、…【】《》？“”‘’！[\\]^_`{|}~]+●「」『』〖〗?????～????〝〞????□'i  = re.sub(r1,"",i)

5. python操作路径： https://www.cnblogs.com/wei-li/p/2502735.html

6. python with的用法：

• 而使用with的话，能够减少冗长，还能自动解决上下文环境产生的异常。如下面代码：

with open("2.txt") as file:    data = file.read()

上面是对清华的那个文本分类数据集做预解决的时候的少量踩的坑，八十多万个txt文件，真的搞死我。耗时最长的是删除那些零散的txt。。两个小时，我滴妈。。

下面是我读取txt文件并且转化为csv文件的踩坑：

1. 超大文本写入CSV文件的时候，可以扩容 _csv.Error: field larger than field limit (131072)

import sysimport csvcsv.field_size_limit(sys.maxsize)

2. python open()打开文件之后假如用readlines（），那么会直接到文件底部，再调用这个函数就得不到任何数据了。。这个坑。。我他么，看下面代码的精妙之处：

    file = open(x, 'r', encoding='utf8')    fileLength = len(file.readlines())    file.close()    file = open(x, 'r', encoding='utf8')    fReader = csv.reader(file)    print("Now the file length is: " + str(fileLength))    for i in fReader:        if fReader.line_num ==1:            continue        if(fReader.line_num<0.6*fileLength):            trResult.append(i)        elif (fReader.line_num >= 0.6*fileLength and fReader.line_num<0.8*fileLength ):            teResult.append(i)        else:            vaResult.append(i)    file.close()

要取得文本长度，那么直接开关一次，与后面彻底脱节，这样就OK了
而后的话，csv的reader内置的line_num貌似会自动迭代。不过我没去测试假如在一次循环体里面没有调用item 能否会跳转到下一行。毕竟你不用，循环个锤子哦。（随机采样表示不关我的事，）

至于之前把所有的txt文件写到对应分类的csv里面去，我看看，放一部分代码吧~ 一律的丢上来就涉及到少量不能说的秘密了。

def clearTHU():    nowWorkingDirectory = os.getcwd()    nowWorkingDirectory = 'G:\启动盘外的文件\THUCNews'    directoryNames = ['彩票','科技','社会','时尚','时政','星座','游戏','娱乐']    allDataPath = []    #@TODO 后面到了linux的机器上可以开启并行分词    filtrate = re.compile(XXX)#非中文    for i in directoryNames:        allDataPath.append(os.path.join(nowWorkingDirectory,i))    for i in range(len(allDataPath)):        #现在是在分类的文件夹下，读取每个文件夹下的所有文件丢到一个csv文件里面去        csvWFile = open(os.path.join(nowWorkingDirectory,  directoryNames[i]+ '.csv'), 'w', encoding='utf8', newline='')        csvWFile.truncate()        writer = csv.writer(csvWFile)        index = [XXXX]        writer.writerow(index)        files = os.listdir(allDataPath[i])        result = []        print(allDataPath[i])        resultLength = 0        for file in files:            if(file.find('txt')==-1):                continue            item = []            with open(os.path.join(allDataPath[i],file), 'r', encoding='utf8') as f:                x = "".join([line.strip() for line in f.readlines()])                item.append(allDataPath[i][-2:])                item.append(x)                x = filtrate.sub(r'', x)                ss= ""                for s in XXX:                    ss+= (XXX)                item.append(ss.strip())                if len(x)<10:                    continue                item.append(str(XXX))            result.append(item)            if len(result) > 1000:                writer.writerows(result)                resultLength += len(result)                print("length of result: " + str(resultLength)+ "/"+str(len(files)))                result = []                # print("================"+os.path.join(allDataPath[i],file)+"=================\n" + " ".join(jieba.cut(x)))        if len(result) > 0:            writer.writerows(result)        csvWFile.close()if __name__ == '__main__':    clearTHU()

正文之后

觉得自己的代码真的写的美极了~