漂泊的云,停留的心!
人的头脑太复杂,时间过得久……

Python开源代码txt文本文件拆分写入到多个txt文本文件的操作方法说明

Python由荷兰数学和计算机科学研究学会的吉多·范罗苏姆 于1990 年代初设计,作为一门叫做ABC语言的替代品。Python提供了高效的高级数据结构,还能简单有效地面向对象编程。Python语法和动态类型,以及解释型语言的本质,使它成为多数平台上写脚本和快速开发应用的编程语言,随着版本的不断更新和语言新功能的添加,逐渐被用于独立的、大型项目的开发。
Python解释器易于扩展,可以使用C语言或C++(或者其他可以通过C调用的语言)扩展新的功能和数据类型。Python 也可用于可定制化软件中的扩展程序语言。Python丰富的标准库,提供了适用于各个主要系统平台的源码或机器码。

引言

将一个txt文本文件中的内容行拆分固定的行数,自动分批写入到多个文本文件。
比如:一个源txt文件有510000行数据,每10000行插入到一个txt文件,最后获得51个txt文件(51个文本文件有10000行数据,第6个文本文件有100行数据)。

步骤

1、先建立一个目录用于存放分割后的txt文件(这里的目录名为:dataText)
2、修改拆分的数目(这里是每10000行数据存入一个txt文件)
3、运行python文件,查看生成的txt文件

##代码:

open_diff = open('data.txt', 'r') # 源文本文件
diff_line = open_diff.readlines()

line_list = []
for line in diff_line:
    line_list.append(line)

count = len(line_list) # 文件行数
print('源文件数据行数:',count)
# 切分diff
diff_match_split = [line_list[i:i+10000] for i in range(0,len(line_list),10000)]# 每个文件的数据行数

# 将切分的写入多个txt中
for i,j in zip(range(0,int(count/10000+1)),range(0,int(count/10000+1))): # 写入txt,计算需要写入的文件数
    with open('./dataText/ImageData%d.txt'% j,'w+') as temp:
        for line in diff_match_split[i]:
            temp.write(line)
print('拆分后文件的个数:',i+1)

结果:


应用:

将txt文件中的数据拆分成多个文本文件,可以解决由于文本文件数据过大而无法导入某些软件的问。
这里是将一个url文本文件(约15M)导入idm下载url中的内容,但由于文本文件过大,数据量过多,就拆分成多个文本文件分批次导入idm。

注意:

1、程序中的10000为写入每个文件的数据行数,最后一个文件的行数不足10000,也用一个文本文件存储。
2、根据需要,修改存储数据的行数(两个地方的10000都需要修改)。

赞(0)
未经允许不得转载:飘云 » Python开源代码txt文本文件拆分写入到多个txt文本文件的操作方法说明
分享到: 更多 (0)