2020国际新一代信息技术合作大会召开
2020年11月28日,2020国际新一代信息技术合作大会在深圳市人才研修院智汇中心召开。大会由中国电子学会、深圳市科学技术协会、深圳市南山区人民政府、深圳市工
译者:AI研习社(宋怡然)
双语原文链接:Deep Reinforcement Learning Nanodegree Algorithms
在这里,您可以找到几个致力于“深度强化学习”方法的项目。 项目以矩阵形式部署:[env x model],其中env是要解决的环境,而model是解决该环境的模型/算法。 在某些情况下,可以通过几种算法来解决同一环境。 所有项目均以包含培训日志的Jupyter笔记本的形式呈现。
支持以下环境:
AntBulletEnv, Bipedalwalker, CarRacing, CartPole, Crawler, HalfCheetahBulletEnv, HopperBulletEnv, LunarLander, LunarLanderContinuous, Markov Decision 6×6, Minitaur, Minitaur with Duck, Pong, Navigation, Reacher, Snake, Tennis, Waker2DBulletEnv.
在Udacity深度强化学习学位计划的框架内解决了四个环境(导航,爬虫,到达者,网球)。
– 蒙特卡洛方法
在蒙特卡洛(MC)中,我们玩游戏的情节直到到达终点,我们从途中获得了奖励然后返回情节的开始。 我们重复此方法至足够的次数,然后平均每个状态的值。
– 时差方法与Q学习
– 连续空间中的强化学习(深度Q网络)
– 函数逼近和神经网络
通用逼近定理(UAT)规定,只要满足有关激活函数形式的轻微假设,就可以使用包含具有有限数量节点的单个隐藏层的前馈神经网络来近似任何连续函数。
– 基于策略的方法,爬山,模拟退火
在许多情况下,随机重启爬山是一种出奇的有效算法。 模拟退火是一种很好的概率技术,因为它不会偶然错误地将局部极值作为全局极值。
– 策略渐变方法,REINFORCE,PPO
定义一个性能指标J(\ theta)以使其最大化。 通过近似梯度上升来学习策略参数\ theta。
– 关键行为法,A3C,A2C,DDPG,TD3,SAC
A3C与A2C的主要区别在于异步部分。 A3C由具有权重的多个独立代理(网络)组成,它们与环境的不同副本并行进行交互。 因此,他们可以在更少的时间内探索状态-行动空间的更大部分。
项目,模型和方法
AntBulletEnv, Soft Actor-Critic (SAC)
BipedalWalker, Twin Delayed DDPG (TD3)
BipedalWalker, PPO, Vectorized Environment
BipedalWalker, Soft Actor-Critic (SAC)
BipedalWalker, A2C, Vectorized Environment
CarRacing with PPO, Learning from Raw Pixels
CartPole, Policy Based Methods, Hill Climbing
CartPole, Policy Gradient Methods, REINFORCE
Cartpole, DQN
Cartpole, Double DQN
HalfCheetahBulletEnv, Twin Delayed DDPG (TD3)
HopperBulletEnv, Twin Delayed DDPG (TD3)
HopperBulletEnv, Soft Actor-Critic (SAC)
LunarLander-v2, DQN
LunarLanderContinuous-v2, DDPG
Markov Decision Process, Monte-Carlo, Gridworld 6×6
MinitaurBulletEnv, Soft Actor-Critic (SAC)
MinitaurBulletDuckEnv, Soft Actor-Critic (SAC)
Pong, Policy Gradient Methods, PPO
Pong, Policy Gradient Methods, REINFORCE
Snake, DQN, Pygame
Udacity Project 1: Navigation, DQN, ReplayBuffer
Udacity Project 2: Continuous Control-Reacher, DDPG, environment Reacher (Double-Jointed-Arm)
Udacity Project 2: Continuous Control-Crawler, PPO, environment Crawler
Udacity Project 3: Collaboration_Competition-Tennis, Multi-agent DDPG, environment Tennis
Walker2DBulletEnv, Twin Delayed DDPG (TD3)
Walker2DBulletEnv, Soft Actor-Critic (SAC)
DQN和Double DQN的项目
Cartpole, DQN
Cartpole, Double DQN
LunarLander-v2, DQN
Navigation, DQN
Snake, DQN, Pygame
PPO的项目
Pong, 8个并行代理
CarRacing, 单一代理,从像素中学习
2020 年 4 个最值得推荐的 VS Code 插件
在2020年底,我卸载了40多个不必要的扩展,剩下的这4个对我来说最有用。
C r a w l e r , 12 个并行代理
BipedalWalker, 16 个并行代理
TD3的项目
BipedalWalker
HalfChhetahBulletEnv
HopperBulletEnv
Walker2DBulletEnv
Soft Actor-Critic (SAC) 的项目
AntBulletEnv
BipedalWalker
HopperBulletEnv
MinitaurBulletEnv
MinitaurBulletDuckEnv
Walker2dBulletEnv
BipedalWalker,与不同模型的混合
BipedalWalker, Twin Delayed DDPG (TD3)
BipedalWalker, PPO, Vectorized Environment
BipedalWalker, Soft-Actor-Critic (SAC)
BipedalWalker, A2C, Vectorized Environment
CartPole与不同模型的混合
CartPole, Policy Based Methods, Hill Climbing
CartPole, Policy Gradient Methods, REINFORCE
Cartpole with Deep Q-Learning
Cartpole with Doouble Deep Q-Learning
更多链接
有关Policy-Gradient Methods策略梯度方法,参见 1, 2, 3.
有关 REINFORCE,参见 1, 2, 3.
有关 PPO,参见 1, 2, 3, 4, 5.
有关 DDPG,参见 1, 2.
有关 Actor-Critic Methods和A3C,参见 1, 2, 3, 4.
有关 TD3,参见 1, 2, 3
有关 SAC,参见 1, 2, 3, 4, 5
有关 A2C,参见 1, 2, 3, 4, 5
TowardsDataScience网站上的文章
贝尔曼方程式在深度强化学习中如何工作?
深度Q网络中一对相互关联的神经网络
深度强化学习的三个方面:噪声,高估和探索
我在上述项目中开发的相关视频
Four BipedalWalker Gaits
BipedalWalker by Training Stages
CarRacing by Training Stages
Lucky Hopper
Martian Ant
Lunar Armada
Wooden Snake
Walking through the chess fields
Artificial snake on the way
Learned Long Snake
Such a fast cheetah
Four stages of Minitaur training
AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作,通过提供学习、实战和求职服务,为AI学术青年和开发者的交流互助和职业发展打造一站式平台,致力成为中国最大的科技创新人才聚集地。
如果,你也是位热爱分享的AI爱好者。欢迎与译站一起,学习新知,分享成长。
风情信息版权文章,未经授权禁止转载。详情见转载须知。
最强通用棋类AI,AlphaZero强化学习算法解读
AlphaZero,一个能够在双方零和博弈的棋盘游戏中战胜世界冠军的强化学习算法。