UCT算法初探

最新推荐文章于 2021-07-26 20:15:40 发布
最新推荐文章于 2021-07-26 20:15:40 发布
阅读量3.1k 收藏 7
点赞数 1
分类专栏： 【014】井字棋
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuaizi888/article/details/51754191
版权

又是一年高考出分时，感慨颇多。
两年前的我高考失利，比平时成绩差了许多，所谓的“一定能上一本A”也成了一个笑话，固然是抹不去的伤痛，高考是我前二十年受到的最大的一次打击，可以说是唯一的一次打击，只能说 ，太顺了不好。
幸好学的是喜欢的专业，至少不会厌烦，程序的创新、调试总是充满惊喜。生活总要继续，高考画上了前二十年的残缺的句号，总不能影响未来十年的黄金拼搏期。以前老师总是说，高考是一个选择，选择和更优秀的人在一起，无论在哪一个圈子，总有优秀的人，也许在别人眼中，我也是其一，，只有努力，表里如一，比他们更好。

感慨结束、今天正事：继续学习UCT

总结一下知网一篇关于UCT论文：
UCT算法分成四个部分：
a 选择节点
b 展开节点
c 棋局模拟
d 回馈更新

a 若有未被访问过的子节点，则优先以随机方式选择其中一个子节点然后执行模拟棋局 -> c， 否则继续使用节点选择公式UCB1选择子节点。当被选中的子节点为叶节点并且这个子节点被访问的次数未达到指定的次数时，则选择该子节点落子然后 ->c .当被选中的子节点为叶节点并且这个节点被访问的次数达到指定的次数，则需先展开该子节点，否则重复此步骤直到找到被访问的次数未达到指定的次数或未被访问过的叶节点为止。

b 展开
当节点为叶节点并且该节点被访问的次数达到指定的次数时，进行展开子节点。展开时对候选步做筛选，去除不合适的候选步，再将筛选后的候选步展开成子节点并随机选择其中一个节点。

c棋局模拟
当被选择的叶节点落子后执行模拟棋局，在模拟中检查是否有棋串少于四气，若有则尝试逃跑，如果有符合简单的模式库的棋型，执行库模式匹配，攻击少气的棋串，都没有就随机。

d回馈更新
将模拟棋局的结果回溯到更新游戏树节点的信息

MeepoB
关注
专栏目录
UCT算法
大菜包
04-26 1万+
UCT算法
ICCV2017 UCT:学习统一卷积网络进行实时可视化跟踪---论文笔记
计算机视觉
05-30 424
相关博客：https://blog.csdn.net/ms961516792/article/details/81462102 《UCT: Learning Unified Convolutional Networks forReal-time Visual Tracking》 摘要 Convolutional neural networks (CNN) based tracking ap...
蒙特卡洛树搜索算法（UCT）: 一个程序猿进化的故事
weixin_30725467的博客
10-26 851
前言： 本文是根据的文章Introduction to Monte Carlo Tree Search by Jeff Bradberry所写。 Jeff Bradberry还提供了一整套的例子，用python写的。 board game server board game client Tic Tac Toe board AI implementation of Tic Tac Toe 阿袁工作...
C++程设实验项目三：黑白棋与基于UCT算法的AI
weixin_34014277的博客
06-20 1728
在这篇博客里，我将总结一下在这次实验中学到的UCT算法实现原理。 首先是参考文章： https://blog.csdn.net/u014397729/article/details/27366363 这是一篇用UCT算法实现四子棋AI的博客。这里给出了UCT的完整伪代码，而且有现成的可运行代码以供参考 https://blog.csdn.net/yw2978777543/article...
uct的延伸-RAVE
08-08
不围棋中常用算法就是UCT ，但是UCT前期有着模拟次数低，性能差的缺点，在UCT中加入RAVE ，可以很好地解决上述问题，这也是参加国际比赛的选手的心得！
引入了UCT算法的围棋AI程序代码.rar_UCT算法c实现_uct算法源码_围棋_围棋 UCT_棋类代码
09-20
UCT（Upper Confidence bounds applied to Trees，上界置信区间应用于树）算法是一种在决策树中进行探索与利用之间平衡的策略，尤其适用于强化学习中的马尔科夫决策过程（MDP）。这个算法由Shun-ichi Gelly和Toby ...
井字棋基于UCT算法实现代码，亲测无敌
10-28
**UCT（Upper Confidence bounds applied to Trees）算法**是一种在强化学习中用于决策的搜索策略，特别适用于蒙特卡洛树搜索（MCTS）。它是由Kocsis和Szepesvári在2006年提出的，目的是在有限的计算时间内找到尽...
UCT算法的实现,,,[文].pdf
10-12
"UCT 算法的实现和 Monto Carlo 搜索" UCT 算法（Upper Confidence bounds applied to Trees）是一种monte carlo 搜索算法的自然扩展，它通过搜索树来选择最优的走法，从而提高搜索效率。下面是 UCT 算法的详细介绍...
基于改进UCT算法的国际跳棋博弈系统研究_张家铭1
08-04
【基于改进UCT算法的国际跳棋博弈系统研究】 在国际跳棋博弈系统中，UCT（Upper Confidence bounds applied to Trees）算法是一种广泛应用的决策策略，它结合了探索与利用的平衡，尤其在游戏树搜索中表现出色。UCT...
引入了UCT算法的围棋AI程序代码
12-27
说是围棋程序，但是直接编译是按五子棋下的。
UC广播代码生成器。一个给UC聊天室做的广播代码生成软件。
06-03
一个给UC聊天室做的广播代码生成软件。有好多人喜欢和使用的。希望你也能喜欢。
四子棋AI UCT实现
06-01
四子棋AI 的UCT实现。卡时间4.5s. 主要部分在strategy文件中
UCT-RAVE扑克中应用
ZhengJingXueXiRen的专栏
10-17 846
UCT-RAVE Algorithm Applied to Multi-player Games with Imperfect Information中关于扑克的中的一些描述，基本讨论UCT和RAVE的结合。一些方法在之前的论文中见到过，新意不大。但是有一点，其中提到了多次蒙特卡洛抽样来完成转换。原文如下：      The combination of UCT-RAVE with Monte-
计算机博弈点格棋规则,点格棋博弈中UCT算法的研究与实现
weixin_35403151的博客
07-26 1757
点格棋博弈中UCT算法的研究与实现【摘要】：2016年3月谷歌AlphaGo击败世界围棋冠军李世石九段,使人工智能、机器博弈再次成为大众焦点。人工智能是计算机科学的重要研究方向,主要研究用机器来模拟和执行人脑的智力功能,开发相关的理论和技术,从而达到让机器可以能像人一样进行学习、思考、判断等各种脑力活动的目标。机器博弈因使用计算机解决博弈问题而得名,它将博弈思想和计算机科学相融合,希望计算机能像人...
蒙特卡洛搜索树python_python实现的基于蒙特卡洛树搜索(MCTS)与UCT RAVE的五子棋游戏...
weixin_39902107的博客
12-15 1385
更新2017.2.23有更新，见文末。MCTS与UCT下面的内容引用自徐心和与徐长明的论文《计算机博弈原理与方法学概述》：蒙特卡洛模拟对局就是从某一棋局出发，随机走棋。有人形象地比喻，让两个傻子下棋，他们只懂得棋规，不懂得策略，最终总是可以决出胜负。这个胜负是有偶然性的。但是如果让成千上万对傻子下这盘棋，那么结果的统计还是可以给出该棋局的固有胜率和胜率最高的着法。蒙特卡洛树搜索通过迭代来一步步地扩...
上限置信度区间算法(UCT)
weixin_41656557的博客
04-25 5852
算法来源文章《Bandit based Monte-Carlo Planning》，06年的ECML。建议想做游戏人机玩家的同学看看。 1.多臂老虎机 多臂老虎机问题，简单来说，我有很多个老虎机，虽然都是老虎机但它们的中奖率采取的是不同的概率分布，现在我希望在有限次的摇臂过程中，获得最大的收益，我该怎么做呢？ 最简单的想法肯定是，我对每一个老虎机都摇N次，根据大数定律，频率最终会等于概率。然后我就...
c语言蒙特卡洛树搜索代码,uct-gobang
weixin_32074113的博客
05-23 746
UCT算法实现五子棋AI环境Java 1.8 (界面使用的是1.8内置的JavaFx)运行方式运行UI类 src.mcts.ui.GoBangUI.java(目前UI类功能比较简单，仅仅实现AI对局功能)UCT基本思想(本图来自于维基百科[蒙特卡洛树搜索]页面)大多数当代蒙特卡洛树搜索的实现都是基于UCT的一些变形。[1] selection(选择)从根节点开始，选择连续的子节点向下至叶子节点，选...
Monte Carlo蒙特卡洛算法经验与UCB算法与UCT算法
qq_276982536的博客
08-28 4465
此算法具体流程就不说了，说一下此算法的精度问题。一般来说此算法的优点即是可应付维数灾难。 假如在一维情况下随便找个函数给定范围是0到100，随机1000次可能很容易找到与最优值误差小于0.1以内的最优解。但是你只循环100次你的结果与最优值的平均误差会很大。可能有人会说你只要循环次数说一些就好了，但是假如你给定的范围是0到1000，你随机1000次可能和范围0到100随机100次误差是一样的。所
用python实现UCT算法
最新发布
05-11
好的，下面是一个简单的Python实现UCT算法的示例代码： ```python import math import random class Node: def __init__(self, state, parent=None): self.state = state self.parent = parent self.children = [] self.wins = 0 self.visits = 0 def is_leaf(self): return len(self.children) == 0 def is_fully_expanded(self): return all(child.visits > 0 for child in self.children) def add_child(self, child_state): child_node = Node(child_state, self) self.children.append(child_node) return child_node class UCT: def __init__(self, state, exploration_constant=1.4): self.root = Node(state) self.exploration_constant = exploration_constant def select(self): node = self.root while not node.is_leaf(): node = self._uct_select(node) return node def expand(self, node): untried_actions = [action for action in self._get_actions(node.state) if not any(child.state == action for child in node.children)] if untried_actions: action = random.choice(untried_actions) child_node = node.add_child(action) return child_node else: return None def simulate(self, state): while not self._is_terminal(state): action = random.choice(self._get_actions(state)) state = self._get_next_state(state, action) return self._get_reward(state) def backpropagate(self, node, reward): while node is not None: node.visits += 1 node.wins += reward node = node.parent def run(self, num_iterations): for i in range(num_iterations): node = self.select() child = self.expand(node) if child: reward = self.simulate(child.state) self.backpropagate(child, reward) else: reward = self.simulate(node.state) self.backpropagate(node, reward) best_child = None best_score = float('-inf') for child in self.root.children: score = child.wins / child.visits + self.exploration_constant * math.sqrt(2 * math.log(self.root.visits) / child.visits) if score > best_score: best_child = child best_score = score return best_child.state def _uct_select(self, node): best_child = None best_score = float('-inf') for child in node.children: score = child.wins / child.visits + self.exploration_constant * math.sqrt(2 * math.log(node.visits) / child.visits) if score > best_score: best_child = child best_score = score return best_child def _get_actions(self, state): # Return a list of possible actions from the given state pass def _get_next_state(self, state, action): # Return the next state given the current state and action pass def _get_reward(self, state): # Return the reward for the given state pass def _is_terminal(self, state): # Return True if the given state is a terminal state, False otherwise pass ``` 要使用这个算法，需要在 `UCT` 类中实现 `_get_actions`、`_get_next_state`、`_get_reward` 和 `_is_terminal` 方法。这些方法需要根据具体的问题实现。 例如，如果我们想使用 UCT 算法解决一个棋盘游戏，可以实现这些方法如下： ```python class Board: def __init__(self): self.board = [[0] * 3 for _ in range(3)] def is_valid_move(self, row, col): return self.board[row][col] == 0 def make_move(self, row, col, player): self.board[row][col] = player def is_win(self, player): for i in range(3): if self.board[i][0] == player and self.board[i][1] == player and self.board[i][2] == player: return True if self.board[0][i] == player and self.board[1][i] == player and self.board[2][i] == player: return True if self.board[0][0] == player and self.board[1][1] == player and self.board[2][2] == player: return True if self.board[0][2] == player and self.board[1][1] == player and self.board[2][0] == player: return True return False def is_full(self): return all(self.board[i][j] != 0 for i in range(3) for j in range(3)) class TicTacToeUCT(UCT): def __init__(self): super().__init__(Board()) def _get_actions(self, state): actions = [] for i in range(3): for j in range(3): if state.is_valid_move(i, j): actions.append((i, j)) return actions def _get_next_state(self, state, action): row, col = action player = 1 if state.is_full() or state.is_win(2) else 2 next_state = Board() next_state.board = [row[:] for row in state.board] next_state.make_move(row, col, player) return next_state def _get_reward(self, state): if state.is_win(1): return 1 elif state.is_win(2): return 0 else: return 0.5 def _is_terminal(self, state): return state.is_full() or state.is_win(1) or state.is_win(2) ``` 这个例子中，我们使用 UCT 算法解决井字棋游戏。对于 `_get_actions` 方法，我们返回一个包含所有空位置的列表。对于 `_get_next_state` 方法，我们先判断当前玩家是谁，然后创建一个新的棋盘状态，并在新状态上执行该动作。对于 `_get_reward` 方法，我们返回 1（玩家1赢）、0（玩家2赢）或0.5（平局）中的一个。对于 `_is_terminal` 方法，我们检查棋盘是否已满或某个玩家已经赢了。 使用这个算法的示例代码如下： ```python game = TicTacToeUCT() for i in range(10000): game.run(1) best_move = game.run(100) print(best_move) ``` 这个例子中，我们在 UCT 算法中运行 10000 次迭代，然后再运行 100 次迭代来选择下一步最佳动作。在这个例子中，UCT 算法将选择最有可能导致胜利的行动。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值