解决树莓派原装libcamera(csi)摄像头无法通过opencv读取数据的问题

解决树莓派原装libcamera(csi)摄像头无法通过opencv读取数据的问题

1. 环境

1.1 硬件

树莓派4B

树莓派原装CSI摄像头IMX219（libcamera Camera Raspberry Pi）

1.2 软件

64位树莓派arrch64，Debian 11(bullseye)

Python3.9

OpenCv

2. 遇到的问题

import cv2
cap = cv2.VideoCapture(0)
ret, frame = cap.read()

此时返回的ret,frame = (False, None)

继续执行下面这条语句

img=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)

报错如下

cv2.error: OpenCV(4.5.0-dev) /home/pi/opencv/modules/imgproc/src/color.cpp:182: error: (-215:Assertion failed) !_src.empty() in function 'cvtColor'

若直接执行

cv2.imshow("frame", frame)

则报错如下

error: (-215)size.width>0&&size.height>0 

出现上述情况，应该是opencv读取不到摄像头数据所致

接下来排查摄像头是否存在问题

执行下面指令

libcamera-hello --qt-preview

发现摄像头可以成功打开

接下来尝试了网上所有的解决方法，都未能奏效。于是放弃opencv直接调用。

3. 解决方法

使用Python的picamera2库调用摄像头，其直接输出的numpy.ndarray数据类型与opencv无缝衔接，完美替换上述opencv直接调用的方案。

树莓派镜像在Bullseye版本之后，底层的树莓派驱动由Raspicam切换成libcamera。libcamera是一个开源的软件栈，方便于第三方移植和开发自己的摄像头驱动。官方已经针对libcamera提供了pycamera2库，方便用户使用Python程序调用。

3.1 picamera2安装

sudo apt install -y python3-picamera2

3.2 例程

from picamera2 import Picamera2
import cv2
import time

#初始化
picam2 = Picamera2()	#创建摄像头对象开启摄像头，只能创建一次
picam2.start()	#开启摄像头，无需重复开启
time.sleep(1)

#抓拍
array = picam2.capture_array("main")	#捕获一帧相机数据，输出为numpy.ndarray类型，与opencv无缝连接

#使用opencv显示图像
cv2.imshow('test', array)
cv2.waitKey(0)	#按任意键关闭预览窗口
cv2.destroyWindow('test')

4. 参考资料

Picamera2 Python摄像头库，基于libcamera开源框架、适用于树莓派 - CNX Software中文站 (cnx-software.cn)

picamera2官方文档The Picamera2 Library (raspberrypi.com)

微雪官网资料RPi Camera V2 - Waveshare Wiki