rl-policies-attacks 代码 Debug 记录

2023-10-10 06:30

本文主要是介绍rl-policies-attacks 代码 Debug 记录,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Dependencies(探索出可行的版本)

cuda==11.0

pytorch==1.7.0

torchvision==0.8.0

torchaudio==0.7.0

cudatoolkit=11.0

python==3.8.13

advertorch==0.2.3

tianshou==0.3.1

atari-py==0.2.9

gym==0.18.0

(atari-py需要导入Rom)

1、环境配置BUG

项目地址:https://github.com/davide97l/rl-policies-attacks-defenses。GitHub没有写环境版本,项目GitHub的issues里有人问环境版本,但是作者没有回答。


用xshell连接Ubuntu服务器,安装了Anaconda3,配置CUDA环境变量,安装Pytorch,配置jupyter notebook。xftp修改代码不方便,于是找了教程用vscode连接实验室的服务器。连好服务器后,在jupyter notebook中运行代码。


error:cannot import name ‘zero_gradients’ from ‘torch.autograd.gradcheck’ ,网上说是旧版的pytorch有这个函数,但是新版pytorch没有,可以在新版中添加这个函数,但是添加了也太行,那就更换pytorch的版本。


尝试在base环境中更换pytorch版本为1.7.0,然后:

error:failed with initial frozen solve. Retrying with flexible solve.

https://blog.csdn.net/weixin_38419133/article/details/115863940

所以新建了一个conda虚拟环境,在新虚拟环境中先把cuda环境变量改成了10.1,然后装了pytorch1.7.0


conda切换虚拟环境之后:

error:Command ‘jupyter’ not found, but can be installed with:

安装nb_conda后能打开jupyter notebook


pip安装了requirements(默认安装的都是最新版的):

advertorch,gym,opencv-python,atari-py


然后在jupyter notebook运行代码遇到如下问题:

error:cannot import name ‘ListReplayBuffer’ from 'tianshou.data’

更换tianshou版本:https://pypi.org/project/tianshou/#history


error:TqdmWarning: IProgress not found. Please update jupyter and ipywidgets.

https://blog.csdn.net/buluxianfeng/article/details/123316251


error:NameNotFound: Environment PongNoFrameskip doesn’t exist.

https://stackoverflow.com/questions/69442971/error-in-importing-environment-openai-gym

pip install gym==0.18.0


Exception: ROM is missing for pong, see https://github.com/openai/atari-py#roms for instructions

python -m atari_py.import_roms jupyter/Roms work!

2、如何指定GPU

查看GPU情况:https://blog.csdn.net/dcrmg/article/details/78146797。

pytorch指定gpu:https://blog.csdn.net/LLY_A_/article/details/119488452

https://blog.csdn.net/weixin_43402775/article/details/109223794


UserWarning:NVIDIA GeForce RTX 3080 Ti with CUDA capability sm_86 is not compatible with the current PyTorch installation.The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_61 sm_70 sm_75 compute_37.

https://blog.csdn.net/weixin_44120025/article/details/121747212

算力为8.x的显卡使用的cuda版本应该大于等于11.0


有的函数要用到相对路径,因此要:%cd jupyter/rl-policies-attacks-defenses-master


代码中指定GPU:device = 'cuda:1' if torch.cuda.is_available() else 'cpu’


查看、关闭当前服务器上进程:https://blog.csdn.net/jiangyu1013/article/details/82984210

3、用PPO训练chopper command

Train PPO agent to play ChopperCommand.

(14:35~19:12,训练了5h左右;19:55测试完,测试用了1h左右;用的GPU1)

python atari_a2c_ppo.py --env-name "ChopperCommandNoFrameskip-v4" --algo ppo --use-gae --lr 2.5e-4 --clip-param 0.1 --value-loss-coef 0.5 --num-processes 8 --num-steps 128 --num-mini-batch 4 --log-interval 1 --use-linear-lr-decay --entropy-coef 0.01 --cuda-deterministic


Test PPO agent playing ChopperCommand:python atari_a2c_ppo.py --env-name "ChopperCommandNoFrameskip-v4" --algo ppo --resume_path "log/ChopperCommandNoFrameskip-v4/ppo/policy.pth" --watch --test_num 10


测试1:
在这里插入图片描述
在这里插入图片描述


最终测试:

在这里插入图片描述

后来上paperswithcode看sota,最好的模型的Score竟可以上万!不过这里的mean reward和score真的一样吗?paperswithcode.com/task/atari-games


经常出现警告:Visual Studio Code is unable to watch for file changes in this large workspace。应该2个程序一起训练vscode看不过来了?


还有error:Bus error (core dumped)

Train DQN agent to play ChopperCommand.

(用的GPU2)

python atari_dqn.py --task ChopperCommandNoFrameskip-v4

在这里插入图片描述

vscode 连接服务器,为什么跑一会程序就自己中断了?休眠时间更改为“永不”、断国外VPN、改用流量……都不行。应该是图书馆wifi又差了,经过1个小时又连上了。


Test DQN agent playing ChopperCommand:.python atari_dqn.py --resume_path "log/ChopperCommandNoFrameskip-v4/dqn/policy.pth" --watch --test_num 10 --task "PongNoFrameskip-v4”

生成GIF动画

方法:

  • https://blog.csdn.net/qq_33361420/article/details/112471755

  • https://blog.csdn.net/m0_59019651/article/details/124894736

  • https://aistudio.baidu.com/aistudio/projectdetail/4824545

  • https://blog.csdn.net/sailist/article/details/79502007

  • 报错:https://stackoverflow.com/questions/53472940/nameerror-name-base-is-not-defined-openai-gym

  • 改版本:https://github.com/pyglet/pyglet/tags?after=v2.0.dev2

  • Cannot connect to "None”

    https://stackoverflow.com/questions/40195740/how-to-run-openai-gym-render-over-a-server

  • https://github.com/openai/atari-py/blob/master/atari_py/ale_interface/src/ale_interface.cpp

这篇关于rl-policies-attacks 代码 Debug 记录的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/178615

相关文章

SpringCloud集成AlloyDB的示例代码

《SpringCloud集成AlloyDB的示例代码》AlloyDB是GoogleCloud提供的一种高度可扩展、强性能的关系型数据库服务,它兼容PostgreSQL,并提供了更快的查询性能... 目录1.AlloyDBjavascript是什么?AlloyDB 的工作原理2.搭建测试环境3.代码工程1.

Java调用Python代码的几种方法小结

《Java调用Python代码的几种方法小结》Python语言有丰富的系统管理、数据处理、统计类软件包,因此从java应用中调用Python代码的需求很常见、实用,本文介绍几种方法从java调用Pyt... 目录引言Java core使用ProcessBuilder使用Java脚本引擎总结引言python

Java中ArrayList的8种浅拷贝方式示例代码

《Java中ArrayList的8种浅拷贝方式示例代码》:本文主要介绍Java中ArrayList的8种浅拷贝方式的相关资料,讲解了Java中ArrayList的浅拷贝概念,并详细分享了八种实现浅... 目录引言什么是浅拷贝?ArrayList 浅拷贝的重要性方法一:使用构造函数方法二:使用 addAll(

JAVA利用顺序表实现“杨辉三角”的思路及代码示例

《JAVA利用顺序表实现“杨辉三角”的思路及代码示例》杨辉三角形是中国古代数学的杰出研究成果之一,是我国北宋数学家贾宪于1050年首先发现并使用的,:本文主要介绍JAVA利用顺序表实现杨辉三角的思... 目录一:“杨辉三角”题目链接二:题解代码:三:题解思路:总结一:“杨辉三角”题目链接题目链接:点击这里

SpringBoot使用注解集成Redis缓存的示例代码

《SpringBoot使用注解集成Redis缓存的示例代码》:本文主要介绍在SpringBoot中使用注解集成Redis缓存的步骤,包括添加依赖、创建相关配置类、需要缓存数据的类(Tes... 目录一、创建 Caching 配置类二、创建需要缓存数据的类三、测试方法Spring Boot 熟悉后,集成一个外

Servlet中配置和使用过滤器的步骤记录

《Servlet中配置和使用过滤器的步骤记录》:本文主要介绍在Servlet中配置和使用过滤器的方法,包括创建过滤器类、配置过滤器以及在Web应用中使用过滤器等步骤,文中通过代码介绍的非常详细,需... 目录创建过滤器类配置过滤器使用过滤器总结在Servlet中配置和使用过滤器主要包括创建过滤器类、配置过滤

轻松掌握python的dataclass让你的代码更简洁优雅

《轻松掌握python的dataclass让你的代码更简洁优雅》本文总结了几个我在使用Python的dataclass时常用的技巧,dataclass装饰器可以帮助我们简化数据类的定义过程,包括设置默... 目录1. 传统的类定义方式2. dataclass装饰器定义类2.1. 默认值2.2. 隐藏敏感信息

opencv实现像素统计的示例代码

《opencv实现像素统计的示例代码》本文介绍了OpenCV中统计图像像素信息的常用方法和函数,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 统计像素值的基本信息2. 统计像素值的直方图3. 统计像素值的总和4. 统计非零像素的数量

IDEA常用插件之代码扫描SonarLint详解

《IDEA常用插件之代码扫描SonarLint详解》SonarLint是一款用于代码扫描的插件,可以帮助查找隐藏的bug,下载并安装插件后,右键点击项目并选择“Analyze”、“Analyzewit... 目录SonajavascriptrLint 查找隐藏的bug下载安装插件扫描代码查看结果总结Sona

正则表达式高级应用与性能优化记录

《正则表达式高级应用与性能优化记录》本文介绍了正则表达式的高级应用和性能优化技巧,包括文本拆分、合并、XML/HTML解析、数据分析、以及性能优化方法,通过这些技巧,可以更高效地利用正则表达式进行复杂... 目录第6章:正则表达式的高级应用6.1 模式匹配与文本处理6.1.1 文本拆分6.1.2 文本合并6