用Python实现跳一跳自动跳跃

经由前两期的介绍，对于「跳一跳」自动化的实现，基本差不多了。

 

本期就来完整的跑一遍，快乐学习。

 

1.  OpenCV：模板匹配。   获得小跳棋中心位置

2.  OpenCV：边缘检测。   获得下一方块中心位置

 

 

Python+ADB+OpenCv，实现「跳一跳」自动化。

 

 

/ 01 / ADB

 

ADB工具即Android Debug Bridge(安卓调试桥) tools。

 

ADB是一个命令行窗口，用于通过电脑端与模拟器或者真实设备交互。

 

与之前小F接触过的Appium有点相似。

 

ADB的安装很简单，就是将安装包解压后，将路径添加到系统的环境变量中即可。

 

然后使用Python的os模块执行ADB命令。

 

def get_screenshot():
    # 截取手机的屏幕
    os.system('adb shell /system/bin/screencap -p /sdcard/screencap.png')
    # 把模拟器里面的文件或文件夹传到电脑上
    os.system('adb pull /sdcard/screencap.png screencap.png')


def jump(distance):
    # 设置按压时间,系数为1.35
    press_time = int(distance * 1.35)

    # 生成随机手机屏幕模拟触摸点,防止成绩无效
    # 生成随机整数(0-9),最终数值为(0-90)
    rand = random.randint(0, 9) * 10

    # adb长按操作,即在手机屏幕上((320-410),(410-500))坐标处长按press_time毫秒
    cmd = ('adb shell input swipe %i %i %i %i ' + str(press_time)) % (320 + rand, 410 + rand, 320 + rand, 410 + rand)

    # 输出adb命令
    print(cmd)

    # 执行adb命令
    os.system(cmd)

 

本次涉及到的ADB命令，就只有三个，不多。

 

一个截屏，一个推送手机截图到电脑上，最后模拟长按手机屏幕。

 

 

/ 02 / 跳动实现

 

先检测游戏结束画面。

 

判断是否需要结束游戏程序。

 

# 游戏结束的模板图像
temp_end = cv2.imread('end.jpg', 0)


def game_over(img):
    """
    模板匹配,检测是否要将程序结束
    """
    # 如果在游戏截图中匹配到带"再玩一局"字样的模板，则循环中止
    res_end = cv2.matchTemplate(img, temp_end, cv2.TM_CCOEFF_NORMED)
    if cv2.minMaxLoc(res_end)[1] > 0.95:
        print('Game over!')
        return True

 

模板匹配原理图如下。

 

 

当返回的最大矩阵值大于0.95时，则认为原始图像中肯定出现了再玩一局字样。

 

则游戏结束，程序也随之结束。

 

小跳棋的模板匹配代码如下。

 

主要是获取小跳棋的位置，即「跳一跳」起点位置参数。

 

# 读取小跳棋模板图像
temple = cv2.imread('temple.png', 0)
# 获取小跳棋模板图像的高和宽
th, tw = temple.shape[:2]


def get_start(img):
    """
    模板匹配,获取跳一跳起点的位置参数(小跳棋)
    """
    # 使用标准相关系数匹配,1表示完美匹配,-1表示糟糕的匹配,0表示没有任何相关性
    result = cv2.matchTemplate(img, temple, cv2.TM_CCOEFF_NORMED)
    # 使用函数minMaxLoc,确定匹配结果矩阵的最大值和最小值(val)，以及它们的位置(loc)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
    # 得到小跳棋的中心位置参数
    return max_loc[0] + 47, max_loc[1] + 208

 

得到结果如下。

 

 

下面通过OpenCV的边缘检测获取「跳一跳」的终点位置。

 

def get_end(img):
    """
    边缘检测,获取跳一跳终点的位置参数(方块)
    """
    # 高斯模糊
    img_rgb = cv2.GaussianBlur(img, (5, 5), 0)
    # 边缘检测
    canny_img = cv2.Canny(img_rgb, 1, 10)
    # 获得边缘检测图像的高和宽
    H, W = canny_img.shape

    # 第一个顶点的高度
    y_top = np.nonzero([max(row) for row in canny_img[400:]])[0][0] + 400
    # 第一个顶点的宽度
    x_top = int(np.mean(np.nonzero(canny_img[y_top])))

    # 跳过小白圈,然后遍历
    y_bottom = y_top + 80
    for row in range(y_bottom, H):
        if canny_img[row, x_top] != 0:
            y_bottom = row
            break

    # 得到方块的中心点
    x_center, y_center = x_top, (y_top + y_bottom) // 2
    return x_center, y_center

 

边缘检测原理图如下。

 

 

最后便是主程序啦。

 

# 循环直到游戏失败结束
for i in range(10000):
    # 将安卓手机上的截图移到电脑当前文件夹下
    get_screenshot()
    # 读取截图图像
    img = cv2.imread('screencap.png', 0)

    # 游戏结束
    if game_over(img):
        break

    # 得到起点位置参数
    x_start, y_start = get_start(img)
    # 获取终点位置参数
    x_end, y_end = get_end(img)

    # 将起点位置绘制出来,一个圆
    cv2.circle(img, (x_start, y_start), 10, 255, -1)
    # 将终点位置绘制出来,一个圆
    img_end = cv2.circle(img, (x_end, y_end), 10, 255, -1)
    # 保存图片
    cv2.imwrite('end.png', img_end)

    # 计算起点和终点的直线距离,勾三股四弦五
    distance = (x_start - x_end) ** 2 + (y_start - y_end) ** 2
    distance = distance ** 0.5

    # 根据获得的距离来设置按压时长
    jump(distance)
    time.sleep(1.3)

 

下面就来看一下「跳一跳」自动跳跃的视频。

 

https://v.qq.com/x/page/e0887dhjvux.html

 

轻轻松松得分，毫无问题。

 

 

/ 03 / 总结

 

相关工具及代码已上传网盘，公众号回复「跳一跳」即可获取。

 

安装好ADB工具，然后通过数据线将安卓手机和电脑连接。

 

最后运行代码，亲测有效。

 

当然代码还是有待优化的，如下图~

 

 

一方面是得分不高，另一方面就是会被检测到作弊...

 

所以还有待改进呢！！！