伏龙阁资源网

win10子系统python开发环境准备及kenlm和nltk的使用教程
站长资源 2024/11/25 佚名
2 0

前言

因为NLP作业需要用到kenlm，而kenlm在linux下更为方便。本人win10之前开启了子系统，所以就打算在子系统下进行相关作业的完成。

首先开启win10子系统，网上教程挺多，照着做就成。我当前安装版本是Ubuntu16.04。终端输入cat /etc/lsb-release或uname可以查看版本。子系统开启后，win10的盘符挂载在mnt下，可以执行ls -al /mnt查看。

Python的下载

Linux中自带python2，不过Pyhton软件基金会宣布到2020年元旦不在为py2任何分支提供支持。所以我们下载安装py3。在后面的编译操作中需要用到make和cmake工具，需要提前下载安装。make和cmake的使用，需要gcc的支持。在这里就不介绍gcc的安装了，可自行百度解决。

make是一个命令工具,它解释 Makefile 中的指令。在Makefile文件中描述了整个工程所有文件的编译顺序、编译规则。make依据Makefile文件来批处理编译，因为编写Makefile文件太繁琐复杂，就出现了cmake工具，它能读入所有源文件之后，自动生成makefile。

在进行下面步骤前，先执行sudo apt update更新，防止出现一些错误

1.make的下载和安装

wget http://ftp.gnu.org/gnu/make/make-4.2.tar.gz
tar -zxvf make-4.2.tar.gz
cd make-4.2
./configure #生成 Makefile，为下一步的编译做准备
make     #进行源代码编译
sudo make install #安装,这一步会将编译好的make文件转移到/usr/local/make目录下，该目录需要root权限
ln -s -f /usr/local/bin/make /usr/bin/make
make --version #查看版本

2.cmake的下载和安装

wget https://cmake.org/files/v3.3/cmake-3.5.1.tar.gz
tar xzvf cmake-3.5.1.tar.gz
yum install gcc-c++ # 安装gcc等程序包(安装过就忽略)
cd cmake-3.5.1
./bootstrap
make
make install
cmake --version #查看版本

cmake 会默认安装在 /usr/local/bin 下面

也可以直接安装build-essential软件包,该软件包中包含了编译c/c++所需要的软件包。sudo apt-get install build-essential

3.Python下载

wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz

4.解压

tar zxvf Python-3.7.3.tgz
cd Python-3.7.3

5.编译

./configure --with-ssl
make
sudo make install

注意：–with-ssl必须加上，否则使用pip安装第三方包时，会引发ssl错误。导致无法使用。如果执行pip install出错，重新编译安装即可。

一些错误问题：

ZipError：

sudo apt install zlib*

ImportError:'_ctypes'

sudo apt-get install python-dev python-setuptools python-pip python-smbus build-essential libncursesw5-dev libgdbm-dev libc6-dev zlib1g-dev libsqlite3-dev tk-dev libssl-dev openssl libffi-dev

6.创建软链接

# 添加python3的软链接
sudo ln -s /usr/local/bin/python3.7 /usr/bin/python3
# 添加 pip3 的软链接
sudo ln -s /usr/local/bin/pip3.7 /usr/bin/pip3

kenlm的安装

1.boost

在boost官网下载boost,本人下载了boost_1_70_0。

cd boost_1_70_0
./bootstrap.sh
./b2 install

2.xz

wget http://tukaani.org/xz/xz-5.2.2.tar.gz
tar xzvf xz-5.2.2.tar.gz
cd xz-5.2.2
./configure
make
make install

3.zlib

wget http://zlib.net/zlib-1.2.11.tar.gz
tar xzf zlib-1.2.11.tar.gz
cd zlib-1.2.11
./configure
make
make install

4.bzip

wget https://fossies.org/linux/misc/bzip2-1.0.6.tar.gz
tar xzvf bzip2-1.0.6.tar.gz
cd bzip2-1.0.6/
make
make install

5.libbz2-dev

apt-get install libbz2-dev

6.kenlm

在github上有详细的说明，https://github.com/kpu/kenlm。下载解压后

cd kenlm
mkdir -p build
cd build
cmake ..
make -j 4 # 启用4个cpu去编译。提高编译速度
cd ..
python setup.py install

测试,在python环境中导入kenlm无报错，说明kenlm安装成功。或者运行\kenlm\python\example.py文件

nltk安装

nltk直接用pip下载就行，nltk_data文件较大，可以离线下载后添加进路径。win10下使用nltk_data，直接放进D盘中就行，nltk会自动查找到。但是在Linux下需要将nltk_data路径添加到data，或者移动到下面输出的路径中。为了方便，我个人是建立了个软链接sudo ln -s /mnt/d/nltk_data /usr/local/nltk_data

import nltk
nltk.data.find(".")

# Searched in:
#   - '/root/nltk_data'
#   - '/usr/local/nltk_data'
#   - '/usr/local/share/nltk_data'
#   - '/usr/local/lib/nltk_data'
#   - '/usr/share/nltk_data'
#   - '/usr/local/share/nltk_data'
#   - '/usr/lib/nltk_data'
#   - '/usr/local/lib/nltk_data'

在当前会话下添加路径到data

from nltk import data
data.path.append(r"你下载的nltk_data所在路径")

添加完路径，使用nltk.data.path查看当前已添加路径

简单测试

from nltk.tokenize import word_tokenize
sentence = "since the 1890s , and beginning in france , the term ''libertarianism '' has often been used as an synonym for anarchism and was used almost exclusively in this sense until the 1950s in the united states ; its use as an synonym is still common outside the united states ."
print(word_tokenize(sentence))

总结

以上所述是小编给大家介绍的win10子系统python开发环境准备及kenlm和nltk的使用教程,希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
www.wwsws.com 伏龙阁资源网
39,976影音资源
44,792技术资源
21,817软件资源
651,128站长资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接