ARKit

转载:https://blog.csdn.net/u013263917/article/details/72903174

     ARSessionConfiguration:（会话追踪配置）
     主要目的就是负责追踪相机在3D世界中的位置以及一些特征场景的捕捉ARSessionConfiguration是一个父类，为了更好的看到增强现实的效果，苹果官方建议我们使用它的子类ARWorldTrackingSessionConfiguration,少了会话追踪配置，AR会话是无法独立工作的
     主要作用是跟踪设备的方向和位置,以及检测设备摄像头看到的现实世界的表面。它的内部实现了一系列非常庞大的算法计算以及调用了你的iPhone必要的传感器来检测手机的移动及旋转甚至是翻滚计算出相机在3D世界中的位置时，它本身并不持有这个位置数据，而是将其计算出的位置数据交给ARSession去管理（与前面说的session管理内存相呼应），而相机的位置数据对应的类就是ARFrame
    注意：该类还有一个子类：ARWorldTrackingSessionConfiguration，它们在同一个API文件中
    @interface ARSessionConfiguration : NSObject <NSCopying>
    当前设备是否支持，一般A9芯片以下设备不支持
    @property(class, nonatomic, readonly) BOOL isSupported;
    会话的对其方式，这里的对其指的是3D世界的坐标。枚举值见下方
    @property (nonatomic, readwrite) ARWorldAlignment worldAlignment;
    是否需要自适应灯光效果，默认是YES
    @property (nonatomic, readwrite, getter=isLightEstimationEnabled) BOOL lightEstimationEnabled;
    @end
    世界会话追踪配置，苹果建议我们使用这个类，这个子类只有一个属性，也就是可以帮助我们追踪相机捕捉到的平地
    @interface ARWorldTrackingSessionConfiguration : ARSessionConfiguration
    侦查类型。枚举值见下方（默认侦查平地）
    @property (nonatomic, readwrite) ARPlaneDetection planeDetection;
    @end
 
     ARSession:
     ARSession搭建沟通桥梁的参与者主要有两个ARFrame 和 ARWorldTrackingSessionConfiguration,ARSession类一个属性叫做currentFrame，维护的就是ARFrame这个对象,开启AR和关闭AR都是靠它
     一个会话有一个ARWorldTrackingSessionConfiguration和可以多个ARFrame
    @interface ARSession : NSObject
     代理
    @property (nonatomic, weak) id <ARSessionDelegate> delegate;
    指定代理执行的线程（主线程不会有延迟，子线程会有延迟），不指定的话默认主线程
    @property (nonatomic, strong, nullable) dispatch_queue_t delegateQueue;
    相机当前的位置（是由会话追踪配置计算出来的）
    @property (nonatomic, copy, nullable, readonly) ARFrame *currentFrame;
    会话追踪配置
    @property (nonatomic, copy, nullable, readonly) ARSessionConfiguration *configuration;
    运行会话（这行代码就是开启AR的关键所在）
    - (void)runWithConfiguration:(ARSessionConfiguration *)configuration NS_SWIFT_UNAVAILABLE("Use run(_:options:)");
    运行会话，只是多了一个参数ARSessionRunOptions：作用就是会话断开重连时的行为。ARSessionRunOptionResetTracking：表示充值追踪  ARSessionRunOptionRemoveExistingAnchors：移除现有锚点
    - (void)runWithConfiguration:(ARSessionConfiguration *)configuration options:(ARSessionRunOptions)options NS_SWIFT_NAME(run(_:options:));
    暂停会话
    - (void)pause;
    添加锚点
    - (void)addAnchor:(ARAnchor *)anchor NS_SWIFT_NAME(add(anchor:));
    移除锚点
    - (void)removeAnchor:(ARAnchor *)anchor NS_SWIFT_NAME(remove(anchor:));
    @end
    session代理分类两部分，一个是观察者（KVO） 一个是委托者（代理）
    #pragma mark - ARSessionObserver//session KVO观察者@protocol ARSessionObserver <NSObject>@optional/**session失败
    - (void)session:(ARSession *)session didFailWithError:(NSError *)error;
    相机改变追踪状态
    - (void)session:(ARSession *)session cameraDidChangeTrackingState:(ARCamera *)camera;
    session意外断开（如果开启ARSession之后，APP退到后台就有可能导致会话断开）
    - (void)sessionWasInterrupted:(ARSession *)session;
    session会话断开恢复（短时间退到后台再进入APP会自动恢复）
    - (void)sessionInterruptionEnded:(ARSession *)session;
    @end
    #pragma mark - ARSessionDelegate@protocol ARSessionDelegate <ARSessionObserver>
    @optional
    相机当前状态（ARFrame：空间位置，图像帧等）更新
    - (void)session:(ARSession *)session didUpdateFrame:(ARFrame *)frame;
    添加锚点
    - (void)session:(ARSession *)session didAddAnchors:(NSArray<ARAnchor*>*)anchors;
    刷新锚点
    - (void)session:(ARSession *)session didUpdateAnchors:(NSArray<ARAnchor*>*)
    anchors;
    移除锚点
    - (void)session:(ARSession *)session didRemoveAnchors:(NSArray<ARAnchor*>*)anchors;
    @end
 
 
 
    ARCamera:
     只负责捕捉图像，不参与数据的处理。它属于3D场景中的一个环节，每一个3D Scene都会有一个Camera，它决定了我们看物体的视野,摄像机的方向就是z轴的方向向前是-z,每一个ARSession在启动时，摄像头的位置就是3D世界的原点而且这个原点不再随着摄像头的移动而改变，是第一次就永久固定的
    @interface ARCamera : NSObject <NSCopying>
    4x4矩阵表示相机位置，同ARAnchor
    @property (nonatomic, readonly) matrix_float4x4 transform;
    相机方向（旋转）的矢量欧拉角分别是x/y/z
    @property (nonatomic, readonly) vector_float3 eulerAngles;
    相机追踪状态（在下方会有枚举值介绍）
    @property (nonatomic, readonly) ARTrackingState trackingState NS_REFINED_FOR_SWIFT;
    追踪运动类型
    @property (nonatomic, readonly) ARTrackingStateReason trackingStateReason NS_REFINED_FOR_SWIFT;
    相机曲率（笔者有点费解，反复揣摩应该是与焦距相关参数）3x3矩阵fx 0   px0  fy  py0  0   1
    @property (nonatomic, readonly) matrix_float3x3 intrinsics;
    摄像头分辨率@property (nonatomic, readonly) CGSize imageResolution;
    投影矩阵@property (nonatomic, readonly) matrix_float4x4 projectionMatrix;
    创建相机投影矩阵
    - (matrix_float4x4)projectionMatrixWithViewportSize:(CGSize)viewportSize orientation:(UIInterfaceOrientation)orientation zNear:(CGFloat)zNear zFar:(CGFloat)zFar;
    @end
    相机追踪状态枚举
    typedef NS_ENUM(NSInteger, ARTrackingState) {
        不被允许
        ARTrackingStateNotAvailable,
        最小
        ARTrackingStateLimited,
         正常.
        ARTrackingStateNormal,
    } NS_REFINED_FOR_SWIFT;追踪运动类型API_AVAILABLE(ios(11.0)) API_UNAVAILABLE(macos, watchos, tvos)
    typedef NS_ENUM(NSInteger, ARTrackingStateReason) {
         无.
        ARTrackingStateReasonNone,
        运动.
        ARTrackingStateReasonExcessiveMotion,
         脸部捕捉.
        ARTrackingStateReasonInsufficientFeatures,
    } NS_REFINED_FOR_SWIFT;
 
     ARSCNView:
     一旦创建，系统会帮我们创建一个场景Scene和相机搭建沟通桥梁的参与者主要有两个 ARSCNView:3D ARSKView:2D虚拟增强现实视图
 
     ARFrame:
     表示的也是物体的位置和方向，但是ARFrame通常表示的是AR相机的位置和方向以及追踪相机的时间，还可以捕捉相机的帧图片,ARFrame主要是追踪相机当前的状态，这个状态不仅仅只是位置，还有图像帧及时间等参数
     @interface ARFrame : NSObject <NSCopying>
     时间戳.
     @property (nonatomic, readonly) NSTimeInterval timestamp;
     缓冲区图像帧
     @property (nonatomic, readonly) CVPixelBufferRef capturedImage;
     相机（表示这个ARFrame是哪一个相机的，iPhone7plus有两个摄像机
     @property (nonatomic, copy, readonly) ARCamera *camera;
     返回当前相机捕捉到的锚点数据（当一个3D虚拟模型加入到ARKit中时，锚点值得就是这个模型在AR中的位置
     @property (nonatomic, copy, readonly) NSArray<ARAnchor *> *anchors;
     灯光，详情可见本章节ARLightEstimate类介绍（指的是灯光强度 一般是0-2000，系统默认1000
     @property (nonatomic, copy, nullable, readonly) ARLightEstimate *lightEstimate;
     特征点（应该是捕捉平地或者人脸的，比较苹果有自带的人脸识别功能）
     @property (nonatomic, nullable, readonly) ARPointCloud *rawFeaturePoints;
     根据2D坐标点搜索3D模型，这个方法通常用于，当我们在手机屏幕点击某一个点的时候，可以捕捉到这一个点所在的3D模型的位置，至于为什么是一个数组非常好理解。手机屏幕一个是长方形，这是一个二维空间。而相机捕捉到的是一个由这个二维空间射出去的长方体，我们点击屏幕一个点可以理解为在这个长方体的边缘射出一条线，这一条线上可能会有多个3D物体模型point：2D坐标点（手机屏幕某一点）ARHitTestResultType：捕捉类型  点还是面(NSArray<ARHitTestResult *> *)：追踪结果数组  详情见本章节ARHitTestResult类介绍
     - (NSArray<ARHitTestResult *> *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;
     相机窗口的的坐标变换（可用于相机横竖屏的旋转适配）
     - (CGAffineTransform)displayTransformWithViewportSize:(CGSize)viewportSize orientation:(UIInterfaceOrientation)orientation;
     @end
 
     ARAnchor:
     表示一个物体在3D空间的位置和方向（ARAnchor通常称为物体的3D锚点，有点像UIKit框架中CALayer的Anchor）也就是说ARFrame用于捕捉相机的移动，其他虚拟物体用ARAnchor
 
     ARError:
     作用域，一般会表示是哪一个类出现问题NSString *const ARErrorDomain;
     错误码描述  100：不支持会话追踪配置，主线由于A9芯片以下的机型会报错   101：失活状态 102：传感器故障  200：追踪失败
     typedef NS_ERROR_ENUM(ARErrorDomain, ARErrorCode) {
        /Unsupported session configuration.
        ARErrorCodeUnsupportedConfiguration   = 100,
        /A sensor required to run the session is not available.
        ARErrorCodeSensorUnavailable          = 101,
        /A sensor failed to provide the required input.
        ARErrorCodeSensorFailed               = 102,
        /World tracking has encountered a fatal error.
        ARErrorCodeWorldTrackingFailed        = 200,
     };
 
 
 
     ARHitTestResult:
     ARHitTestResult：点击回调结果，这个类主要用于虚拟增强现实技术（AR技术）中现实世界与3D场景中虚拟物体的交互。 比如我们在相机中移动。拖拽3D虚拟物体，都可以通过这个类来获取ARKit所捕捉的结果
     捕捉类型枚举
     typedef NS_OPTIONS(NSUInteger, ARHitTestResultType) {
      点.
    ARHitTestResultTypeFeaturePoint              = (1 << 0),
      水平面 y为0.
     ARHitTestResultTypeEstimatedHorizontalPlane  = (1 << 1),    已结存在的平面.
     ARHitTestResultTypeExistingPlane             = (1 << 3),
     已结存在的锚点和平面.
     ARHitTestResultTypeExistingPlaneUsingExtent  = (1 << 4),}
     NS_SWIFT_NAME(ARHitTestResult.ResultType);
     捕捉类型
     @property (nonatomic, readonly) ARHitTestResultType type;
     3D虚拟物体与相机的距离（单位：米）
     @property (nonatomic, readonly) CGFloat distance;
     本地坐标矩阵（世界坐标指的是相机为场景原点的坐标，而每一个3D物体自身有一个场景，本地坐标就是相对于这个场景的坐标）
     类似于frame和bounds的区别
     @property (nonatomic, readonly) matrix_float4x4 localTransform;
     世界坐标矩阵
     @property (nonatomic, readonly) matrix_float4x4 worldTransform;
     锚点（3D虚拟物体，在虚拟世界有一个位置，这个位置参数是SceneKit中的SCNVector3：三维矢量），而锚点anchor是这个物体在AR现实场景中的位置，是一个4x4的矩阵
     @property (nonatomic, strong, nullable, readonly) ARAnchor *anchor;@end
 
     ARLightEstimate:
     ARLightEstimate是一个灯光效果，它可以让你的AR场景看起来更加的好
     @interface ARLightEstimate : NSObject <NSCopying>
     灯光强度  范围0-2000 默认1000
     @property (nonatomic, readonly) CGFloat ambientIntensity;
     @end
 
 
     ARPlaneAnchor:
     ARPlaneAnchor是ARAnchor的子类，笔者称之为平地锚点。ARKit能够自动识别平地，并且会默认添加一个锚点到场景中，当然要想看到真实世界中的平地效果，需要我们自己使用SCNNode来渲染这个锚点 锚点只是一个位置
     平地类型，目前只有一个，就是水平面
     @property (nonatomic, readonly) ARPlaneAnchorAlignment alignment;
     3轴矢量结构体，表示平地的中心点  x/y/z
     @property (nonatomic, readonly) vector_float3 center;
     3轴矢量结构体，表示平地的大小（宽度和高度）  x/y/z
     @property (nonatomic, readonly) vector_float3 extent;
     @end
     
     
 
 
    ARPointCloud:
    点状渲染云，主要用于渲染场景
    @interface ARPointCloud : NSObject <NSCopying>
     点的数量
    @property (nonatomic, readonly) NSUInteger count;
    每一个点的位置的集合（结构体带*表示的是结构体数组）
    @property (nonatomic, readonly) const vector_float3 *points;
    @end