使用Metal shader在IOS上渲染交织3D视频
在android和ios上,一直都是系统播放器硬解+opengles shader解决图像显示到屏幕上。渲染部分使用c++实现,2个平台可同一份代码。省心。
最近闲暇之余尝试用metal+swift实现,毕竟metal号称是opengl的10-30倍性能提升。之前没有接触过swift和metal,一边学习swift一边看metal。
demo代码
Metal 是一个兼顾图形与计算功能的,面向底层、低开销的硬件加速应用程序接口(API),其相似于将 OpenGL 与 OpenCL 的功能集成到了同一个API上,最初支持它的系统是 iOS 8。Metal 使得 iOS 可以实现其余平台的相似功能,例如 Khronos Group 的跨平台 Vulkan 与 Microsoft Windows 上的 Direct3D 12。(来自维基百科)
整体流程:
1、通过AVPlayer解码视频,注册CADisplayLink到当前主循环,每次刷新的时候,会调用CADisplayLink的回调函数。
2、CADisplayLink回调的时间戳与AVPlayerItemVideoOutput的时间戳进行比照,决定能否显示当前视频帧。
3、从AVPlayerItemVideoOutput 复制CVPixelBuffer,并送到metalView渲染显示到屏幕。
4、渲染时,分为2次渲染,第一次渲染将yuv转化成rgb, 第二次渲染用算法对图像进行解决并显示到屏幕。可以选择AVPlayerItemVideoOutput的输出图像格式为rgba,可以省去第一步渲染。
详细流程:
一、播放器部分
播放器不需要增加view layer,我们把图像送到MTKView来显示。
m_displayLink = CADisplayLink(target: self, selector: #selector(displayLinkCallback)) m_displayLink.add(to: .current, forMode: .default) m_displayLink.isPaused = true //图像格式 let pixelBufferAttributes = [ kCVPixelBufferPixelFormatTypeKey as String : NSNumber(value: kCVPixelFormatType_420YpCbCr8BiPlanarFullRange)] m_videoOutput = AVPlayerItemVideoOutput(pixelBufferAttributes: pixelBufferAttributes) @objc func displayLinkCallback(sender: CADisplayLink){ let nextVSync = sender.timestamp + sender.duration let outputItemTime = self.m_videoOutput.itemTime(forHostTime: nextVSync) if(self.m_videoOutput.hasNewPixelBuffer(forItemTime: outputItemTime)){ var pixelBuffer: CVPixelBuffer! = nil pixelBuffer = self.m_videoOutput.copyPixelBuffer(forItemTime: outputItemTime, itemTimeForDisplay: nil) //通过代理商发送给metalView self.delegate?.videoBuffer(pixelBuffer) } }二、metal部分
2次渲染封装成2个render,分别进行yuv2rgb、Render3D。
yuv2rgb的结果会存放到一个texture中,作为第二次渲染的输入。
1.MetalView
MetalView继承自MTKView,在storyboard上,对应的view class指向这个这个view。
负责管理metal设施、render等。
//if true, 不会自动调用draw进行刷新,只有在主线程调用setNeedsDisplay()后,才会执行draw //self.enableSetNeedsDisplay = true //for compute shader self.framebufferOnly = false //self.autoResizeDrawable = false _metalLayer = self.layer as? CAMetalLayer device = MTLCreateSystemDefaultDevice() commandQueue = device?.makeCommandQueue()2.yuv2rgb
创立顶点buffer、纹理坐标buffer、颜色转换矩阵,load shader都是标准流程。关键点在创立RenderPassDescriptor,设置一个我们创立的纹理,渲染的结果会存到这个纹理中。
_rgbTexture = device!.makeTexture(descriptor: descriptor) _rgbDescriptor = MTLRenderPassDescriptor() _rgbDescriptor.colorAttachments[0].texture = _rgbTextureshader部分就一个yuv转rgb的公式,参数有点问题,颜色微微有点偏红
3.Render3D
交织的时候需要通过纹理的方式传递交织参数,每个像素一个单独参数。这个例子只是用的隔列交织(也可以在shader上直接判断奇偶列来实现),实际应用中,映射数据非常复杂计算才能得出,通过提前计算存储在硬盘上,具体的涉及到光栅之类的。
通过MTKTextureLoader可以很容易的加载图片或者者UIImage到纹理中。但是假如是二进制数据或者者一个数组就需要少量额外操作。
var data1 = Array<UInt8>(repeating: 0, count: size)...let descriptor = MTLTextureDescriptor.texture2DDescriptor(pixelFormat: .r8Unorm, width: width, height: height, mipmapped: false)interTexture1 = device?.makeTexture(descriptor: descriptor)let region = MTLRegionMake2D(0, 0, width, height)interTexture1?.replace(region: region, mipmapLevel: 0, withBytes: data1, bytesPerRow: width)通过replace来将数据加载到纹理。不像opengl可以直接加载内存数据到一个空的纹理里面。
shader部分就是一个列交错算法。
工作多年,第一次写这个。
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 使用Metal shader在IOS上渲染交织3D视频