在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直接导入模型然后indexword即可。
因为这是一个txt大文件,尝试了DataFrame,np.loadtxt等,都没有成功,其中主要遇到的问题是:
- 如何读取完整的大文件,而不会出现内存不足memery error等问题
- 将读取出来的文件,保存为npy文件
- 根据词找到对应的向量
解决办法:
尝试使用的代码:
代码1: try: lines=np.loadtxt(filepath) catch: 感觉这块不会写了咦,,, print(ValueError) 但这样的话,它就不会继续循环去读上边的txt了呢
代码2: lines=[] with open(filepath) as f: for line in f: lines.append(line) np.save(filepath,lines)
代码3 def readEmbedFile(embedFile): # embedId = {} # input = open(embedFile,'r',encoding="utf-8") # lines = [] # a=0 # for line in input: # lines.append(line) # a=a+1 # print(a) # nwords = len(lines) - 1 # splits = lines[1].strip().split(' ') # 因为第一行是统计信息,所以用第二行 # dim = len(splits) - 1 # embeddings=[] # # embeddings = [[0 for col in range(dim)] for row in range(nwords)] # b=0 # for lineId in range(len(lines)): # b=b+1 # print(b) # splits = lines[lineId].split(' ') # if len(splits) > 2: # # embedId赋值 # embedId[splits[0]] = lineId # # embeddings赋值 # emb = [float(splits[i]) for i in range(1, 300)] # embeddings.append(emb) # return embedId, embeddings
代码4: def load_txt(filename): lines=[] vec_dict={} with open(filename,r) as f: for line in f: list=line.strip() lines.append(line) for i, line in emuate(lines): if i=0: continue line=line.split(" ") wordID=line[0] wordvec=[float line[i] for i in range(1,300)] vec_dict[wordId]=np.array(wordvec) return vec_dict
具体内存不足主要的原因是:
我的虚拟机中确实内存不太够,后来使用实验室32G的主机后,可以得到idvec,而得不到向量的,报的错还是memory error.
另一个原因,是需要把词向量转换为float形式,在python中str 占的内存>float类型,如代码所示:
print("str",sys.getsizeof("")) print("float",sys.getsizeof(1.1)) print("int",sys.getsizeof(1)) print("list",sys.getsizeof([])) print("tuple",sys.getsizeof(())) print("dic",sys.getsizeof([]))
str 49 float 24 int 28 list 64 tuple 48 dic 64
在我的电脑,64位操作系统,64位的python, 所占内存大小排序为:
dic=list>str>tuple>int>float
读取时候可以用np.load().item就可以复原原来的字典,主要参照下述文件:
然后通过python的字典操作就可以遍历得到每个词的词向量了,dic[vocab]
心得:
距离完全解决项目的问题还有5~6的大关卡,但静下心来,一步步地做总会突破的呀!
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
暂无评论...
更新日志
2024年11月25日
2024年11月25日
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]