AVFoundation编程指南02-概述

2024-05-04 03:32

本文主要是介绍AVFoundation编程指南02-概述,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

https://www.jianshu.com/p/09e3bd52a58e

 

AVFoundation编程指南02-概述

0.1922019.05.13 16:14:10字数 2410阅读 126

写在前面

喜欢AVFoundation资料的同学可以关注我的专题:《AVFoundation》专辑
也可以关注我的简书账号

正文

AVFoundationiOS开发者可以用来播放和创建基于时间的视听媒体的几个框架之一。它提供了一个Objective-C接口(当然,Swift也可以使用),用于在基于时间的视听数据的详细级别上工作。例如,你可以使用它来检查,创建,编辑或重新编码媒体文件。你还可以在实时捕获和回放期间从设备获取输入流并操纵视频。图I-1显示了iOS上的体系结构。

 

图I-1 iOS上的AVFoundation的堆栈结构


I-2显示了OS X上相应的媒体体系结构

图I-2 OS X上的AVFoundation堆栈结构

 

不过,咱们一般都是只会使用最上层的接口。

  • 如果你只想播放视频,使用AVKit框架就足够了。
  • iOS上,如果只是简单地录制视频并且对格式没有什么要求的话,请使用UIKit框架中的UIImagePickerController

请注意,你在AVFoundation中使用的一些原始数据结构(包括与时间相关的数据结构和opaque对象来承载和描述媒体数据)在Core Media框架中声明。

简述

AVFoundation框架有两个方面 - 与视频相关的API和仅与音频相关的API。较旧的音频相关类提供了处理音频的简便方法。

  • 要播放声音文件,你可以使用AVAudioPlayer
  • 要录制音频,你可以使用AVAudioRecorder

你还可以使用AVAudioSession配置应用程序的音频行为;Audio Session Programming Guide中对此进行了描述。

关于AVAudioPlayerAVAudioRecorder以及Audio Session Programming Guide,我会在后面提供详细的资料。

使用AVFoundation表示和使用媒体

AVFoundation框架用于表示媒体的主要类是AVAsset。框架的设计在很大程度上受到这种表示的指导。了解其结构将有助于你了解框架的工作原理。 AVAsset实例是一个或多个媒体数据(音频和视频轨道)的集合的聚合表示。它提供有关整个集合的信息,例如标题,持续时间,自然表示大小等。 AVAsset与特定数据格式无关。 AVAsset是用于从URL处的媒体创建资产实例的其他类的超类(请参阅AVFoundation编程指南03-Assets使用)和创建新的合成(请参阅AVFoundation编程指南05-编辑)。

Asset中的每个媒体数据都是统一类型并称为track(轨道)。在典型的简单情况下,一个track代表音频组件,另一个track代表视频组件;然而,在复杂的构图中,可能存在多个重叠的音频和视频track(轨道)。Asset也可能包含metadata(元数据)。

AV Foundation的一个重要概念是:初始化assettrack并不一定意味着它已经可以使用了。甚至可能需要一些时间来计算项目的持续时间(MP3文件,例如,可能不包含摘要信息)。不是在计算值时阻塞当前线程,而是通过使用block定义的回调异步请求值并获得回调。

相关章节:AVFoundation编程指南03-Assets使用, AVFoundation编程指南08-时间和媒体表示

Playback

AVFoundation允许你以复杂的方式管理Asset的播放。为了支持这一点,它将asset的表示状态与asset本身分开。例如,这允许你在不同分辨率下同时播放同一asset的两个不同片段。asset的呈现状态由player item对象管理;asset内每个track的呈现状态由player item track对象管理。例如,使用player itemplayer item tracks,你可以设置播放器呈现item的可视部分的大小,设置要在播放期间应用的音频混合参数和视频组成设置,或禁用组件播放期间的asset

相关章节:AVFoundation编程指南04-Playback

读取,写入和重编码Assets

AVFoundation允许你以多种方式创建Asset的新的表示方式。你只需重新编码现有asset,或者在iOS 4.1及更高版本中 - 你可以对asset内容执行操作并将结果另存为新的asset

你可以使用export session将现有asset重新编码为由少量常用预设之一定义的格式。如果你需要对转换进行更多控制,那么在iOS 4.1及更高版本中,你可以串联asset readerasset writer对象,将asset从一种表示转换为另一种表示。例如,使用这些对象,你可以选择要在输出文件中表示哪些tracks,指定自己的输出格式,或在转换过程中修改asset

要生成波形的直观表示,请使用asset reader读取assettrack

相关章节: AVFoundation编程指南03-Assets使用

缩略图

要创建视频演示文稿的缩略图图像,请使用要从中生成缩略图的资源初始化AVAssetImageGenerator的实例。 AVAssetImageGenerator使用默认启用的video tracks(视频轨道)来生成图像。

相关章节: AVFoundation编程指南03-Assets使用

编辑

AVFoundation使用compositions(组合)来从现有媒体(通常是一个或多个视频和音频tracks)创建新的assets。你使用可变组合来添加和删除tracks,并调整其时间顺序。你还可以设置音轨的相对volumesramping;并设置视频轨道的opacityopacity ramps。合成是存储在记忆中的媒体的集合。使用export session导出composition时,它会折叠为文件。

你还可以使用asset writer从媒体(如样本缓冲区或静止图像)创建asset

相关章节:AVFoundation编程指南05-编辑

图像和视频媒体捕获

来自摄像机和麦克风的录制输入由capture session管理。Capture session协调从输入设备到输出(例如电影文件)的数据流。即使会话正在运行,你也可以为单个会话配置多个输入和输出。你将消息发送到会话以启动和停止数据流。

此外,你还可以使用preview layer(预览图层)的实例向用户显示摄像头正在录制的内容。

相关章节:AVFoundation编程指南06-静态图像和视频媒体捕获

使用AVFoundation进行并发编程

来自AVFoundation``blocksKVO和通知回调不能保证在任何特定线程或队列上进行。相反,AVFoundation在执行其内部任务的线程或队列上调用这些处理程序。

就通知和线程而言,有两个一般准则:

  • UI相关的通知发生在主线程上。
  • 需要你创建和/或指定队列的类或方法将返回该队列上的通知。

除了这两个指南(并且有一些例外,在参考文档中有说明),你不应该假设将在任何特定线程上返回通知。

如果你正在编写多线程应用程序,则可以使用NSThread方法isMainThread或[[NSThread currentThread] isEqual:<#A stored thread reference#>]来测试调用线程是否是您希望执行工作的线程。您可以使用诸如performSelectorOnMainThread:withObject:waitUntilDone:和performSelector:onThread:withObject:waitUntilDone:modes:等方法将消息重定向到适当的线程。你还可以使用dispatch_async“弹回”到适当队列上的块,可以是UI任务的主队列,也可以是并发操作的队列。有关并发操作的更多信息,请参阅Concurrency Programming Guide;有关块的更多信息,请参阅块Blocks Programming Topics。 AVCam-iOS: Using AVFoundation to Capture Images and Movies示例代码被认为是所有AVFoundation功能的主要示例,可以参考AVFoundation的线程和队列使用示例。

先决条件

AVFoundation是一个先进的Cocoa框架。想要有效地使用它,你必须:

  • 对基本Cocoa开发工具和技术的扎实理解。
  • blocks有基本的掌握。
  • KVCKVO有基本的了解。
  • 对于playback,基本了解核心动画(参见Core Animation Programming Guide,或者,对于于basic playback,请参阅AVKit Framework Reference

参考

下面有几个AVFoundation示例,其中两个是理解和实现Camera捕获功能的核心代码:

AVCam-iOS: Using AVFoundation to Capture Images and Movies是用于实现使用相机功能的任何程序的规范示例代码。它是一个完整的Demo,文档齐全,涵盖了大多数功能。

AVCamManual: Extending AVCam to Use Manual Capture APIAVCam的配套应用程序。它使用手动相机控件实现相机功能。它也是一个完整的Demo,有详细记录,应该被视为创建利用手动控制的相机应用程序的规范示例。

RosyWriter是一个演示实时帧处理的示例,特别是如何将过滤器应用于视频内容。这是一个非常常见的开发人员要求,此示例涵盖了该功能。

AVLocationPlayer: Using AVFoundation Metadata Reading APIs演示使用metadata API

这篇关于AVFoundation编程指南02-概述的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/958249

相关文章

使用Java发送邮件到QQ邮箱的完整指南

《使用Java发送邮件到QQ邮箱的完整指南》在现代软件开发中,邮件发送功能是一个常见的需求,无论是用户注册验证、密码重置,还是系统通知,邮件都是一种重要的通信方式,本文将详细介绍如何使用Java编写程... 目录引言1. 准备工作1.1 获取QQ邮箱的SMTP授权码1.2 添加JavaMail依赖2. 实现

Nginx实现动态封禁IP的步骤指南

《Nginx实现动态封禁IP的步骤指南》在日常的生产环境中,网站可能会遭遇恶意请求、DDoS攻击或其他有害的访问行为,为了应对这些情况,动态封禁IP是一项十分重要的安全策略,本篇博客将介绍如何通过NG... 目录1、简述2、实现方式3、使用 fail2ban 动态封禁3.1 安装 fail2ban3.2 配

Java中String字符串使用避坑指南

《Java中String字符串使用避坑指南》Java中的String字符串是我们日常编程中用得最多的类之一,看似简单的String使用,却隐藏着不少“坑”,如果不注意,可能会导致性能问题、意外的错误容... 目录8个避坑点如下:1. 字符串的不可变性:每次修改都创建新对象2. 使用 == 比较字符串,陷阱满

python使用fastapi实现多语言国际化的操作指南

《python使用fastapi实现多语言国际化的操作指南》本文介绍了使用Python和FastAPI实现多语言国际化的操作指南,包括多语言架构技术栈、翻译管理、前端本地化、语言切换机制以及常见陷阱和... 目录多语言国际化实现指南项目多语言架构技术栈目录结构翻译工作流1. 翻译数据存储2. 翻译生成脚本

使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

《使用sql-research-assistant进行SQL数据库研究的实战指南(代码实现演示)》本文介绍了sql-research-assistant工具,该工具基于LangChain框架,集... 目录技术背景介绍核心原理解析代码实现演示安装和配置项目集成LangSmith 配置(可选)启动服务应用场景

关于最长递增子序列问题概述

《关于最长递增子序列问题概述》本文详细介绍了最长递增子序列问题的定义及两种优化解法:贪心+二分查找和动态规划+状态压缩,贪心+二分查找时间复杂度为O(nlogn),通过维护一个有序的“尾巴”数组来高效... 一、最长递增子序列问题概述1. 问题定义给定一个整数序列,例如 nums = [10, 9, 2

SQL Server数据库迁移到MySQL的完整指南

《SQLServer数据库迁移到MySQL的完整指南》在企业应用开发中,数据库迁移是一个常见的需求,随着业务的发展,企业可能会从SQLServer转向MySQL,原因可能是成本、性能、跨平台兼容性等... 目录一、迁移前的准备工作1.1 确定迁移范围1.2 评估兼容性1.3 备份数据二、迁移工具的选择2.1

C#多线程编程中导致死锁的常见陷阱和避免方法

《C#多线程编程中导致死锁的常见陷阱和避免方法》在C#多线程编程中,死锁(Deadlock)是一种常见的、令人头疼的错误,死锁通常发生在多个线程试图获取多个资源的锁时,导致相互等待对方释放资源,最终形... 目录引言1. 什么是死锁?死锁的典型条件:2. 导致死锁的常见原因2.1 锁的顺序问题错误示例:不同

在 Windows 上安装 DeepSeek 的完整指南(最新推荐)

《在Windows上安装DeepSeek的完整指南(最新推荐)》在Windows上安装DeepSeek的完整指南,包括下载和安装Ollama、下载DeepSeekRXNUMX模型、运行Deep... 目录在www.chinasem.cn Windows 上安装 DeepSeek 的完整指南步骤 1:下载并安装

nginx-rtmp-module构建流媒体直播服务器实战指南

《nginx-rtmp-module构建流媒体直播服务器实战指南》本文主要介绍了nginx-rtmp-module构建流媒体直播服务器实战指南,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. RTMP协议介绍与应用RTMP协议的原理RTMP协议的应用RTMP与现代流媒体技术的关系2