Xshell+docker镜像/容器+tensorflow环境下的模型训练全过程
首先介绍实验背景,需要在远程服务器上搭建tensorflow1.0版本环境并训练一个实体识别模型
xshell
首先,看看本地服务器是否有需要的镜像
docker images
可以看到我所用的服务器有我所需要的tensorflow1.0版本镜像
如果本地没有所需镜像可以输入
-
docker search tensorflow
-
或
-
docker search tensorflow1.12
可以在docker hub 公共仓库中找到相关镜像
接着
docker pull 镜像名
就可以将镜像拉到本地了
然后就可以依赖本地已有的或者刚pull下来的镜像启动容器了
-
-
docker run -it --name xxx -v /data1/home/test/bert-bilstm-crf-ner-master-new:/work votiethuy/tensorflow1.12-gpu-base:latest bash
-
其中
-
1、xxx是给这个容器起一个名字
-
-
2、/data1/home/test/bert-bilstm-crf-ner-master-new是我上传到服务器的全部代码(代码本地路径)
-
-
3、/work votiethuy/tensorflow1.12-gpu-base:latest是在votiethuy/tensorflow1.12-gpu-base这个镜像下的work文件路径(代码容器路径),latest是镜像的tag(版本号,一般是几点几)
-
-
这样其实是做了一个映射,当容器启动后在work文件夹内就会有我保存在服务器中的代码,而且当服务器中的代码改变时,容器中的代码会同步变化
这里遇到了一个问题就是bert-bilstm-crf-ner-master-new这个文件夹名一开始是有大写字母的,导致每次启容器都失败,后来我全改成小写才成功
当出现上图时就意味着启动容器成功
接着进入到work文件夹中找到代码直接python3 run.py就开始训练了
本地代码更新
如果要进行调参或者该模型时在服务器终端直接看代码会很费劲,本机的pycharm或者vscode这些专业的IDE就会方便很多,这就需要将本地的IDE与服务器进行连接,以pycharm为例
在马赛克的位置输入服务器地址,接着进入Mappings
local path不用填,这是你本机的代码路径
需要填写的是deployment path 这是之前传到服务器的代码地址,填写相应地址即可连接
(这里需要注意的一点是connection中的root path和deployment path两个路径加起来才是整个服务器的路径,如果都填很容易出错,我的建议是root path不写,将绝对路径填入deployment path就完事了)
等到在本地修改完代码,只需要单击右键upload即可完成服务器和容器中的代码更新
结束~
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhejjfhi
系列文章
更多
同类精品
更多
-
TypeError: Argument `fetch` = None has invalid type “NoneType“. Cannot be None
-
TensorFlow 深度学习第二版6~10
-
腾讯云ubuntu20服务器安装tensorflow以和使用docker运行tensorflow
-
在Apple M1芯片上安装PyTorch和TensorFlowGPU版
-
已解决Try using tf.compat.v1.experimental.output_all_intermediates(True).
-
tensorboard : 没办法“tensorboard”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。
-
微信小程序没声音怎么办
PHP中文网 06-15 -
excel图片置于文字下方的方法
PHP中文网 06-27 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
微信人名旁边有个图标有什么用
PHP中文网 03-11 -
微信提示登录环境异常是什么意思原因
PHP中文网 04-09 -
微信获取用户openid失败怎么办
PHP中文网 03-26 -
photoshop怎么把印章抠出并放在另一张图上
PHP中文网 06-15 -
EhViewer(E绅士)最新版_ehviewer白色版彩色版_Ehviewer显示网络错误怎么办?e站进不去了怎么办
Evanpatchouli 09-19 -
Excel筛选和排序是灰色的怎么办
PHP中文网 06-22 -
photoshop蒙版画笔没反应怎么办
PHP中文网 06-24