Windows下谷歌机器学习环境搭建

CPU+GPU环境

Posted by 逸杯久 on January 10, 2019

“Learn to walk before you run. ”

[TOC]

1 Windows下谷歌机器学习环境搭建

在 Windows 上安装并运行 Jupyter

1.1 CPU版本环境搭建方法一

  1. https://www.anaconda.com/download 安装最新版本的 Anaconda。

  2. 安装完毕后,从“开始”菜单中打开 Anaconda Prompt,然后输入以下命令添加清华mirror,加快下载速度(有VPN的土豪忽略此步骤):

1
2
3
4
5
# 添加conda的清华镜像,配置文件在C:\Users\用户名\.condarc
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

# 设置搜索时显示通道地址
conda config --set show_channel_urls yes
  1. 输入以下命令创建环境,环境名:“mlcc”:
1
2
3
4
5
6
7
8
9
10
11
# 创建名叫“mlcc”的Python3.6环境
conda create -n mlcc pip python=3.6

# 进入“mlcc”环境,同理把“activate”替换成“deactivate”是离开该环境
conda activate mlcc

# 使用pip 安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --ignore-installed --upgrade tensorflow matplotlib pandas sklearn scipy seaborn

# 更新所有安装包,避免安装包之间版本不匹配。比如我久碰到各种包报错。
conda update -c anaconda --all
  1. 当所有软件包安装完毕后,从“开始”菜单中打开 Anaconda Navigator。在 Navigator 中:

    1. 切换到 mlcc 环境,如以下屏幕截图所示。每次打开 Jupyter 时,都必须选择 mlcc 环境。 Anaconda Navigator 的屏幕截图,此时环境下拉列表中已选择“mlcc”

    2. mlcc 环境中安装 notebook,如下所示: Anaconda Navigator 的屏幕截图,此时箭头指向 Jupyter 的“安装”按钮
    3. 安装 notebook 后,点击 Launch。此时将打开一个网络浏览器。

    接下来,运行练习

1.2 CPU版本环境搭建方法二

  1. https://www.anaconda.com/download 安装最新版本的 Anaconda。
  2. 安装完毕后,从“开始”菜单中打开 Anaconda Prompt,然后输入以下命令添加清华mirror,加快下载速度(有VPN的土豪忽略此步骤):
1
2
3
4
5
6
# 添加conda的清华镜像,配置文件在C:\Users\用户名\.condarc
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

# 设置搜索时显示通道地址
conda config --set show_channel_urls yes
  1. 去百度网盘下载博主个人的env配置文件

    下载地址:https://pan.baidu.com/s/1-Y1mr26qp-8eWMqckR9Xtw

    提取密码:dq9m

    该压缩包包含 environment_mlcc_20190113_01.yaml 文件

  2. 运行Anaconda Prompt,输入“conda env create -f {{environment_mlcc_20190113_01.yaml文件的绝对路径}}”,比如

1
conda env create -f E:\environment_mlcc_20190113_01.yaml
  1. 当所有软件包安装完毕后,从“开始”菜单中打开 Anaconda Navigator。在 Navigator 中:

  2. 切换到 mlcc 环境,如以下屏幕截图所示。每次打开 Jupyter 时,都必须选择 mlcc 环境。 Anaconda Navigator 的屏幕截图,此时环境下拉列表中已选择“mlcc”
  3. mlcc 环境中找到 notebook 后,点击 Launch。此时将打开一个网络浏览器。

接下来,运行练习

1.3 GPU环境部署

common sense: GPU比CPU更适合tensor的计算,如果你电脑上有一块不错的显卡,那么用GPU计算,会更快得到结果。网上其他的安装方案太麻烦了,需要自己匹配显卡驱动,找对应的cuda和cudnn。

前提:先安装好CPU版本的环境

  1. 从“开始”菜单中打开 Anaconda Prompt,然后输入以下命令:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    
    # 安装GPU版本tensorflow
    conda install -c aaronzs tensorflow-gpu
       
    # 安装cuda
    conda install -c anaconda cudatoolkit
       
    # 安装cudnn
    conda install -c anaconda cudnn
       
    # 更新所有的库
    conda update -c anaconda --all
    
  2. 安装完成后运行一下程序进行测试:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    
    # encoding = utf-8
       
    import tensorflow as tf
        
    with tf.device('/cpu:0'):
        a = tf.constant([1.0,2.0,3.0],shape=[3],name='a')
        b = tf.constant([1.0,2.0,3.0],shape=[3],name='b')
    with tf.device('/gpu:1'):
        c = a+b
          
    #注意:allow_soft_placement=True表明:计算设备可自行选择,如果没有这个参数,会报错。
    #因为不是所有的操作都可以被放在GPU上,如果强行将无法放在GPU上的操作指定到GPU上,将会报错。
    sess = tf.Session(config=tf.ConfigProto(allow_soft_placement=True,log_device_placement=True))
    #sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
    sess.run(tf.global_variables_initializer())
    print(sess.run(c))
       
    

    结果:

    [ 2. 4. 6.]

    输出中如果有类似以下字样(出现“GPU”),则表示GPU参与计算,环境布置成功

    1
    
    add: (Add)/job:localhost/replica:0/task:0/device:GPU:0
    

接下来,运行练习

参考资料:

1