ios增强现实开发,iOS高级开发

iPhone8上的AR功能到底是什么样的呢

苹果在WWDC 2017的发布会推出了针对iOS 11的ARkit,正式宣布迈向增强现实(AR)领域的第一步。

成都创新互联公司专注于企业成都营销网站建设、网站重做改版、玉屏网站定制设计、自适应品牌网站建设、H5建站商城网站制作、集团公司官网建设、成都外贸网站建设公司、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为玉屏等各大城市提供网站开发制作服务。

这是苹果推出开发增强现实(AR)应用的基础平台,包含大量硬件和操作系统的算法以及一整套原生态开发工具包(SDK)。意味着开发者可以直接在苹果iPhone和iPad上开发增强现实(AR) 游戏、营销、购物、教育、装修等应用。

在开发者大会的演示中,苹果只是演示了一个简单的放置茶杯的Demo。对于ARkit的可能性,则留给了开发者。

9月12日,苹果在秋季新品iPhone发布会上展示了一批ARkit开发者的作品。

iPhone 8、iPhone 8 Plus和iPhone X都使用了新款陀螺仪和通过A11 Bionic生物芯片进行校准的摄像头来提升增强现实(AR)效果。这也是苹果第一次在硬件层面支持该功能。

增强现实(AR)的视觉效果更加逼真,苹果演示细节丰富的机器人在篮球场上进行格斗。或者当夜晚星空密布,使用手机在实际的天空中查看星象。

同样是在空无一物的桌子上演示,这一次苹果让团队办公地点位于上海的Directive Games展示了最新的增强现实(AR)游戏《The Machines》。

手机屏幕上,桌面变成了像星际争霸一样的战场,玩家可以指挥机器军队进行进攻,也可以用第一视角进行瞄准射击。

由于芯片升级带来的画质提升,新的游戏在桌面上的效果更加清晰,细节更加丰富。通过摄像头的距离移动来缩放游戏画面更加流畅。

我们用iPhone 8 Plus对比了7 Plus以及6s Plus。6S以上的手机只要升级到iOS 11后就可以使用基于ARKit开发的应用。

我们选择了5款苹果在App Store中推荐的应用,这其中包括苹果在推出ARKit时宣布和宜家合作开发的增强现实(AR)应用IKEA Place,可以测量房间距离的工具应用Plnar以及iOS 11发布后由网易游戏开发的首批增强现实(AR)游戏悠梦 。

捕捉现实空间中的表面信息,比如桌面、地面,让虚拟物体在视觉上和现实世界产生联系是苹果ARKit主要提升的部分。

无论是测量工具Plnar还是在现实空间中放置家具的IKEA Place都需要先识别地面后才能开启功能。但识别桌面和地面的成功率就是最先遇到的问题。

在我们的测试中,花纹比较少或者颜色较浅的地面识别率会明显低一些。如果在较暗的环境下,几乎很难识别出来,Plnar会不断提醒你增强周围的光亮,而且识别时间会很长,这和ARKit需要从图像中识别更多的信息有关。

昏暗的环境下读取地面的时间增长

在正常光照情况下,iPhone 8 Plus的识别速度比7 Plus以及6s Plus明显更快。除了A11芯片带来的提升之外,iPhone 8感光元件进光量相比iPhone 7多了83% 也是关键。

一旦识别成功后,Plnar和IKEA Place的效果都很流畅。你可以用Plnar标记出要测量边线的两端,距离会自动出现在线条上,和实际用尺子测量出来的误差在1 cm以内。测量完整个房间后还可以生成3D的视图。

而宜家的IKEA Place里提供了目前宜家热销的家具商品模型。你可以选择合适的家具摆放在制定的位置,家具会从空中落到检测到的地面上。

从实际的效果来看,家具和地面结合的效果很自然。无论是椅子腿还是沙发和实际地面几乎完全接触,没有太大的漂移,加上模拟光影的效果,如果只是想粗略看一下这个家具在实际中的样子,效果是可以接受的。

同样是放置家具,Housecraft的模型还还原了物体表面的效果,譬如选择沙发后可以看到布材沙发的褶皱,在视觉上要比更加逼真。

在7 Plus上,模型动画效果已经有一点帧数下降的现象,整体使用还比较流畅,但是6s Plus就明显出现了轻微的卡顿,载入模型的等待时间也偏长。

在游戏上,除了苹果在发布会上展示的The Machines,Stack AR和悠梦都是比较出色的增强现实(AR)游戏。

Stack是垒积木的小游戏,随着积木越搭越高,可以放置积木的面积也随之减少。失败后,应用会自动从现实的地面上升起一座同等比例的积木塔,你可以从各种角度欣赏你的作品。

悠梦的整体画面风格,以及解密模式都和纪念碑谷很像。在应用内,需要识别出展开场景的平面,整个世界会在桌面上铺开。

和以往通过手指滑动屏幕拉近场景不同,你只能通过移动摄像头来查看整个场景中隐藏的线索。

场景的模型并没有苹果发布会上展示的The Machines那么精细,但无论是围着悬崖飞翔的海鸟还是旋转的灯塔,都让整个场景有一种不同于普通游戏的真实感。

虽然增强现实(AR)游戏的效果的确让人感觉新鲜,但和VR一样,在新鲜感过去之后,每次开始游戏前都需要扫描桌面变成一件很繁琐的事情。

而同样出现在三台手机上的问题都是发热,区别只是发热快慢的问题。iPhone 8大约在玩悠梦十几分钟后摄像头和芯片位置就会变得很烫。而7 Plus和6s Plus几分钟之内温度就开始升高。

就目前体验来说,增强现实(AR)这种交互方式的改变是很新鲜的,显示的效果也明显得到了更大的提升。但实用性的问题始终没有解决。

库克曾在采访中表示增强现实(AR)会彻底改变传统的购买体验。在IKEA Place中,每一款家具都标注了价格,可以在线下单。但是购买家具并不是频繁的需求,而且逛宜家商场也是挺有乐趣的事情。

无论是苹果在发布会上演示ARkit的Demo,还是在App Store中推荐的应用,这些在苹果看来最好的增强现实(AR)功能在实际生活中是否真的有用?

也许新鲜感过去后,你依然还是会选择游戏更多的PS4、XBOX,躺在沙发上玩。增强现实(AR)功能是否能成为库克心中颠覆传统应用体验的变革,并留在手机中融入到用户日常生活中,通过技术挖掘出更加实用的功能才是重要的。

iOS设备的态度增强现实问题,怎么解决

iOS11Beta1更新了什么在WWDC17上,iOS11新增了ApplePay个人间转账、Siri声音更自然和智能、控制中心设计大改、地图和导航更新、AppStore迎来全新变革。iOS11中,苹果增加了对AR增强现实的支持,开发者可以推出更有创意的游戏。当然本次iOS11

iOS增强现实(ARKit)简单介绍

跟踪是ARKit的核心组件之一,其提供了设备在物理世界中的位置与方向信息,并对物体进行跟踪,如人脸。

场景理解通过学习更多关于环境的属性,以对水平平面进行检测,如地面或桌面;iOS 11.3开始还支持检测垂直平面。这些在场景中平面可用于放置虚拟物体。此外,场景理解还会了解当前环境的光照情况,以提供光照信息用于在虚拟场景中反映真实环境,避免过亮或过暗。

通过ARKit可以很容易地集成你所选的渲染引擎。ARKit可通过SceneKit和SpriteKit渲染。Xcode中还提供了Metal模板,方便快速地开始你的增强现实体验(augmented reality experience)项目。此外,Unity和Unreal也已经集成ARKit完整的功能集到他们主流的游戏引擎中,因此你可以通过这些引擎开始使用ARKit。

AR技术叫做 虚拟增强现实技术 ,也就是在相机捕捉到的现实世界的图像中显示一个虚拟的 3D 模型。

这一过程可以分为两个步骤:

下图是一个ARKit 与 SceneKit 框架的关系图,通过下图可以看出:

ARSCNView 与 ARCamera 两者之间并没有直接的关系,它们之间是通过AR会话,也就是ARKit框架中非常重量级的一个类ARSession来搭建沟通桥梁的

要想运行一个 ARSession 会话,你必须要指定一个称之为会话追踪配置的对象: ARSessionConfiguration , ARSessionConfiguration 的主要目的就是负责追踪相机在3D世界中的位置以及一些特征场景的捕捉(例如平面捕捉),这个类本身比较简单却作用巨大

ARSessionConfiguration 是一个父类,为了更好的看到增强现实的效果,苹果官方建议我们使用它的子类 ARWorldTrackingSessionConfiguration ,该类只支持A9芯片之后的机型,也就是iPhone6s之后的机型

ARWorldTrackingConfiguration (会话追踪配置)的作用是跟踪设备的方向和位置,以及检测设备摄像头看到的现实世界的表面。

它的内部实现了一系列非常庞大的算法计算以及调用了你的 iPhone 必要的传感器来检测手机的移动及旋转甚至是翻滚。

当 ARWorldTrackingConfiguration 计算出相机在 3D 世界中的位置时,它本身并不持有这个位置数据,而是将其计算出的位置数据交给 ARSession 去管理,而相机的位置数据对应的类就是 ARFrame 。 ARSession 类有一个属性叫做 currentFrame ,维护的就是 ARFrame 这个对象。

ARCamera 只负责捕捉图像,不参与数据的处理。它属于3D场景中的一个环节,每一个3D Scene都会有一个Camera,它决定了我们看物体的视野

他们三者之间的关系看起来如下图:

ARCamera 在 3D 世界的位置看起来是这样的:

首先,ARKit 利用摄像头拍摄现实场景的画面,然后 SceneKit 用来建立虚拟世界。

建立好了以后,ARKit 负责将现实世界和虚拟世界的信息融合,并渲染出一个 AR 世界。

在渲染的同时,ARKit 要负责以下三件事:

由此可见,ARKit 主要做的事是:捕捉现实世界信息、将现实和虚拟世界混合渲染、并且时刻处理新的信息或者进行互动。

效果:

ARConfiguration :提供 3DOF 追踪

ARWorldTrackingConfiguration :提供 6DOF 追踪

对于 3DOF 追踪,我们旋转设备时可以看到虚拟的飞机视角有所变化;但当平移时,我们可以看到飞机是随着设备进行移动的。

对于 6DOF 追踪,我们旋转设备时可以看到虚拟的飞机视角有所变化(这点与 3DOF 追踪没有区别);平移时,我们可以看到飞机的不同位置,例如向上平移看到了飞机的上表面,围着飞机平移可以看到飞机的四周,而 3DOF 没有提供这种平移的追踪。

可以通过 [ARWorldTrackingConfiguration isSupported] 判断设备是否支持 ARWorldTrackingConfiguration 。

Hit-testing 是为了获取当前捕捉到的图像中某点击位置有关的信息(包括平面、特征点、ARAnchor 等)。

[图片上传失败...(image-ba8a3e-1554264132836)]

当点击屏幕时,ARKit 会发射一个射线,假设屏幕平面是三维坐标系中的 xy 平面,那么该射线会沿着 z 轴方向射向屏幕里面,这就是一次 Hit-testing 过程。此次过程会将射线遇到的所有有用信息返回,返回结果以离屏幕距离进行排序,离屏幕最近的排在最前面。

ARHitTestResultTypeFeaturePoint :表示此次 Hit-testing 过程希望返回当前图像中 Hit-testing 射线经过的 3D 特征点。

ARHitTestResultTypeEstimatedHorizontalPlane :表示此次 Hit-testing 过程希望返回当前图像中 Hit-testing 射线经过的预估平面。预估平面表示 ARKit 当前检测到一个可能是平面的信息,但当前尚未确定是平面,所以 ARKit 还没有为此预估平面添加 ARPlaneAnchor。

ARHitTestResultTypeEstimatedVerticalPlane :同上,区别仅是预估竖面。

ARHitTestResultTypeExistingPlane :表示此次 Hit-testing 过程希望返回当前图像中 Hit-testing 射线经过的无限大小的平面。

ARHitTestResultTypeExistingPlaneUsingExtent :表示此次 Hit-testing 过程希望返回当前图像中 Hit-testing 射线经过的有大小范围的平面。

ARHitTestResultTypeExistingPlaneUsingGeometry :表示此次 Hit-testing 过程希望返回当前图像中 Hit-testing 射线经过的有大小范围和形状的平面。


当前名称:ios增强现实开发,iOS高级开发
标题网址:http://hbruida.cn/article/dsssgic.html