FFmpegAndroid Documentation

Technical Documentation: xufuji456/FFmpegAndroid

ℹ️ Provenance: Multi-Tier Ingestion · CodeWiki Reference

Overview (`README.md`) Copy Section

FFmpegAndroid

[FFmpeg官方文档](https://ffmpeg.org/) Copy Section

[FFmpeg编译流程](https://github.com/xufuji456/FFmpegAndroid/blob/master/doc/FFmpeg_compile_shell.md) Copy Section

[FFmpeg常用命令行](https://github.com/xufuji456/FFmpegAndroid/blob/master/doc/FFmpeg_command_line.md) Copy Section

[FFmpeg源码分析](https://github.com/xufuji456/FFmpegAndroid/blob/master/doc/FFmpeg_sourcecode.md) Copy Section

[JNI与NDK开发](https://github.com/xufuji456/FFmpegAndroid/blob/master/doc/JNI_develop_practice.md) Copy Section

[音视频知识汇总](https://github.com/xufuji456/FFmpegAndroid/blob/master/doc/multimedia_knowledge.md) Copy Section

[ijkplayer播放器架构](https://github.com/xufuji456/FFmpegAndroid/blob/master/doc/player_framework.md) Copy Section

常见的流媒体传输协议包括：RTP、RTMP、RTCP、RTSP，流媒体应用协议有HLS、DASH，
WebRTC设计传输协议有SDP、ICE、NAT、STUN等，常用视频编码协议有H264、HEVC、VVC，
常用的视频封装格式有mp4，关于C/C++语言标准有C11、C20++等，书籍包括音视频编解码等。
详细列表可以查阅：多媒体协议与书籍

音视频工作方向包括:直播、短视频、流媒体传输、视频播放器、音乐播放器、音视频算法、
流媒体后端、音视频编辑、图像处理(个人概括，具体方向不限于此)。
详情可查阅：音视频工作方向

音视频基础知识: Copy Section

音视频进阶成长: Copy Section

音视频开源库: Copy Section

Joining the group to learn FFmpeg: Copy Section

Doc FFmpeg Command Line (`doc/FFmpeg_command_line.md`) Copy Section

前言

FFmpeg多媒体库支持的命令行调用分为三个模块：ffmpeg、ffprobe、ffplay。
其中ffmpeg命令行常用于音视频剪切、转码、滤镜、拼接、混音、截图等；
ffprobe用于检测多媒体流格式；ffplay用于播放视频,包括本地与网络视频。
详情可查阅FFmpeg官方文档：ffmpeg Documentation
更详细命令行处理可查看博客：FFmpeg命令行汇总

一、ffmpeg命令行

1、命令行参数介绍 Copy Chapter

命令行整体格式：以ffmpeg开头，参数之间用空格隔开，每个参数key以"-"开头，后面跟着参数value，输出文件放在命令行最后。

2、音频常见操作 Copy Chapter

2.1 音频转码 Copy Section

直接转码：
ffmpeg -i input.mp3 output.m4a
指定编码器、采样率、声道数转码：
ffmpeg -i input.mp3 -acodec aac -ac 2 -ar 44100 output.m4a

2.2 音频剪切 Copy Section

-ss 10指定从第10秒开始，-t 20代表剪切20秒
ffmpeg -i input.mp3 -ss 10 -t 20 cut.mp3

2.3 音频拼接 Copy Section

ffmpeg -i concat:"hello.mp3|world.mp3" -acodec copy -vn concat.mp3

2.4 音频混音 Copy Section

使用amix，参数inputs代表输入流个数，duration有longest、shortest、first三种模式，weights设置每条流音量权重占比：
ffmpeg -i hello.mp3 -i world.mp3 -filter_complex amix=inputs=2:duration=first -vn mix.mp3
使用amerge，合并成多声道输出：
ffmpeg -i hello.mp3 -i world.mp3 -filter_complex [0:a][1:a]amerge=inputs=2[aout] -map [aout] merge.mp3

2.5 空灵音效 Copy Section

aecho接收4个参数：in_gain (0, 1]；out_gain (0, 1]；delays (0 - 90000]；decays (0 - 1.0]
ffmpeg -i input.mp3 -af aecho=0.8:0.8:1000:0.5 echo.mp3

2.6 惊悚音效 Copy Section

tremolo接收2个参数：frequency [0.1, 20000.0]；depth (0, 1]
ffmpeg -i input.mp3 -af tremolo=5:0.9 tremolo.mp3

2.7 搞笑音效 Copy Section

搞笑音效通过调节音速实现，使用atempo：
ffmpeg -i input.mp3 -filter_complex atempo=0.5 atempo.mp3

2.8 静音检测 Copy Section

ffmpeg -i input.mp3 -af silencedetect=noise=0.0001 -f null -

2.9 修改音量 Copy Section

ffmpeg -i input.mp3 -af volume=0.5 volume.mp3

2.10 抽取音频 Copy Section

从视频抽取音频，直接disable视频流：
ffmpeg -i input.mp4 -vn out.mp3
从视频抽取音频，disable视频流，音频进行转码：
ffmpeg -i input.mp4 -acodec aac -vn out.m4a
从视频抽取音频，如果存在多音轨，可指定某个音轨：
ffmpeg -i input.mp4 -map 0:1 -vn out.mp3

3、视频常见操作 Copy Chapter

3.1 视频剪切 Copy Section

基本剪切，指定起始时间、剪切时长：
ffmpeg -i input.mp4 -ss 10 -t 20 -codec copy cut.mp4
精确剪切，包含多音轨，-map 0代表所有track流进行剪切，-accurate_seek代表精确seek：
ffmpeg -i input.mp4 -ss 10 -accurate_seek -t 20 -map 0 -codec copy cut.mp4

3.2 视频转码 Copy Section

使用-vcodec指定视频编码，-acodec指定音频编码，-s 640x480指定视频分辨率，
-b 200k指定码率，-r 20指定帧率，这样达到视频压缩效果：
ffmpeg -i input.mp4 -vcodec libx264 -acodec aac -s 640x480 -b 200k -r 20 transcode.mp4

3.3 视频截图 Copy Section

使用-vframes指定截图数量，-ss指定起始时间放在-i前面，这样保证先seek到指定位置再截图。
如果是先-i指定输入文件再-ss，是从时间0开始解码，直到指定时间再截图，这样效率太低：
ffmpeg -ss 10 -i input.mp4 -f image2 -vframes 1 -an screenshot.jpg

3.4 图片水印 Copy Section

使用-filter_complex指定位置overlay=x:y，如下所示：
ffmpeg -i input.mp4 -i logo.png -filter_complex overlay=10:20 pic_watermark.mp4
如果要灵活设置左上角、右上角、左下角、右下角位置，可以使用case语句，其中main_w代表视频宽度，
main_h代表视频高度，overlay_w代表水印宽度，overlay_h代表水印高度：

public static String obtainOverlay(int offsetX, int offsetY, int location) {
    switch (location) {
        case 2:
            return "overlay='(main_w-overlay_w)-" + offsetX + ":" + offsetY + "'";
        case 3:
            return "overlay='" + offsetX + ":(main_h-overlay_h)-" + offsetY + "'";
        case 4:
            return "overlay='(main_w-overlay_w)-" + offsetX + ":(main_h-overlay_h)-" + offsetY + "'";
        case 1:
        default:
            return "overlay=" + offsetX + ":" + offsetY;
    }
}

public static String[] addWaterMarkImg(String inputPath, String imgPath, int location,
                                           int offsetXY, String outputPath) {
    String overlay = obtainOverlay(offsetXY, offsetXY, location);
    String waterMarkCmd = "ffmpeg -i %s -i %s -filter_complex %s -preset:v superfast %s";
    waterMarkCmd = String.format(waterMarkCmd, inputPath, imgPath, overlay, outputPath);
    return waterMarkCmd.split(" ");
}

3.5 GIF水印 Copy Section

使用-ignore_loop 0代表GIF循环显示，其他操作与图片水印一致：
ffmpeg -i input.mp4 -ignore_loop 0 -i logo.gif -filter_complex overlay=10:20 gif_mark.mp4

3.6 去除水印 Copy Section

使用delogo命令，然后指定水印位置：
ffmpeg -i input.mp4 -filter_complex delogo=x=10:y=20:w=90:h=30 delogo.mp4

3.7 视频拼接 Copy Section

视频拼接分为垂直拼接、水平拼接，还有前后拼接，这里主要介绍垂直与水平拼接，其中使用hstack做水平拼接，vstack做垂直拼接：
ffmpeg -i input1.mp4 -i input2.mp4 -filter_complex hstack out.mp4

3.8 视频翻转 Copy Section

使用reverse实现视频翻转，但是处理比较耗时：
ffmpeg -i input.mp4 -vf reverse -an output.mp4

3.9 视频降噪 Copy Section

使用-nr代表noise reduction，进行视频降噪：
ffmpeg -i in.mp4 -nr 500 out.mp4

3.10 视频抽帧 Copy Section

ffmpeg -ss 20 -accurate_seek -t 10 -i input.mp4 -an -r 5 %3d.jpg

3.11 播放速度 Copy Section

使用setpts设置视频速度，atempo设置音频速度：
ffmpeg -i in.mp4 -filter_complex [0:v]setpts=%.2f*PTS[v];[0:a]atempo=%.2f[a] -map [v] -map [a] out.mp4

3.12 黑白视频 Copy Section

ffmpeg -i in.mp4 -vf lutyuv='u=128:v=128' out.mp4

二、ffplay命令行

ffplay主要用于播放视频，也可以播放网络流，示例如下：
ffplay -i beyond.mp4

三、ffprobe命令行

ffprobe主要用于检测多媒体信息，包括时长、视频分辨率、帧率、音频采样率、声道数、每个stream流信息等等。
支持显示形式包括：json和xml，例如-print_format json
ffprobe -i input.mp4 -show_streams -show_format -print_format json

如果要显示每帧数据信息，使用-show_frames可以显示pts、packet_size、duration、frame_type等信息：
ffprobe -i input.mp4 -show_frames

如果只要显示视频流，使用-select_streams v。其中v代表video，a代表audio，s代表subtitle。
ffprobe -i input.mp4 -show_frames -select_streams v

Doc FFmpeg Compile Shell (`doc/FFmpeg_compile_shell.md`) Copy Section

前言

FFmpeg是一个跨平台的多媒体库，也是目前音视频领域应用最广泛的库。包括libavcodec、libavformat、libavutil、
libavdevice、libavfilter、libswscale、libswresample、libpostproc等模块。其中avcodec用于编解码，
avformat用于解封装，avutil是提供工具类，avdevice用于各平台的设备接入，avfilter提供滤镜操作，
swscale提供图像缩放与像素格式转换，swresample提供音频重采样，postproc提供高级处理。
更详细编译脚本可查看博客：FFmpeg编译脚本分析

一、准备工作

1、下载ffmpeg源码 Copy Chapter

使用git命令：git clone https://github.com/FFmpeg/FFmpeg.git。

2、下载ndk源码 Copy Chapter

在Android开发者文档可以下载到ndk源码，ndk下载链接。
根据实际需求选择对应ndk版本，建议下载ndk-r20b稳定版。mac电脑配置ndk系统环境变量步骤如下：
(1)、在命令行输入vim ~/.bash_profile
(2)、输入i进行编辑模式
(3)、编写export NDK_PATH=xxx/xxx/android-ndk-r20b
(4)、按下esc退出编辑模式，输入:wq保存并退出

二、编译ffmpeg源码

1、分析configure结构 Copy Chapter

在FFmpeg源码目录有个configure配置脚本，使用./configure --help进行查看，可以看到如下结构的编译选项：

2、修改so后缀 Copy Chapter

默认编译出来的so库包括avcodec、avformat、avutil、avdevice、avfilter、swscale、
avresample、swresample、postproc，编译出来so是个软链接，真正so名字后缀带有一长串主版本号与子版本号，
这样的so名字在Adnroid平台无法识别。所以我们需要修改一下，打开该文件并搜索SLIBNAME，找到如下命令行：

SLIBNAME_WITH_MAJOR='$(SLIBNAME).$(LIBMAJOR)'

LIB_INSTALL_EXTRA_CMD='$$(RANLIB)"$(LIBDIR)/$(LIBNAME)"'

SLIB_INSTALL_NAME='$(SLIBNAME_WITH_VERSION)'

SLIB_INSTALL_LINKS='$(SLIBNAME_WITH_MAJOR)$(SLIBNAME)'

替换为：

SLIBNAME_WITH_MAJOR='$(SLIBPREF)$(FULLNAME)-$(LIBMAJOR)$(SLIBSUF)'

LIB_INSTALL_EXTRA_CMD='$$(RANLIB)"$(LIBDIR)/$(LIBNAME)"'

SLIB_INSTALL_NAME='$(SLIBNAME_WITH_MAJOR)'

SLIB_INSTALL_LINKS='$(SLIBNAME)'

3、修改hevc_mvs.c Copy Chapter

在linux或者mac平台交叉编译过程中，可能在libavcodec/hevc_mvs.c报错：

libavcodec/hevc_mvs.c: In function 'derive_spatial_merge_candidates':
libavcodec/hevc_mvs.c:208:15: error: 'y0000000' undeclared (first use in this function)
((y ## v) >> s->ps.sps->log2_min_pu_size))
^
libavcodec/hevc_mvs.c:204:14: note: in definition of macro 'TAB_MVF'
tab_mvf[(y) * min_pu_width + x]
^
libavcodec/hevc_mvs.c:274:16: note: in expansion of macro 'TAB_MVF_PU'
(cand && !(TAB_MVF_PU(v).pred_flag == PF_INTRA))
^
libavcodec/hevc_mvs.c:368:23: note: in expansion of macro 'AVAILABLE'
is_available_b0 = AVAILABLE(cand_up_right, B0) &&
^
libavcodec/hevc_mvs.c:208:15: note: each undeclared identifier is reported only once for each function it appears in
((y ## v) >> s->ps.sps->log2_min_pu_size))
^
libavcodec/hevc_mvs.c:204:14: note: in definition of macro 'TAB_MVF'
tab_mvf[(y) * min_pu_width + x]
^
libavcodec/hevc_mvs.c:274:16: note: in expansion of macro 'TAB_MVF_PU'
(cand && !(TAB_MVF_PU(v).pred_flag == PF_INTRA))

原因是hevc_mvs.c会引用libavutil/timer.h文件(参考：ijkplayer#issues#4093)

#if CONFIG_LINUX_PERF
#ifndef _GNU_SOURCE
#define _GNU_SOURCE
#endif
#include <unistd.h>
#include <sys/ioctl.h>
#include <asm/unistd.h>
#include <linux/perf_event.h>
#endif

在sys/ioctl.h中最终会引用asm/termbits .h文件有#define B0 0000000，导致与hevc_mvs.c的B0命名冲突。
解决方法有2种：把B0改为b0、xB0改为xb0、yB0改为yb0。
或者在脚本添加：export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --disable-linux-perf"

4、编译脚本 Copy Chapter

在ffmpeg源码根目录创建一个shell脚本，比如命名为build_ffmpeg.sh，以mac编译环境为例，
ndk旧版本已经过时，google官方放弃了gcc交叉编译工具链，转而使用clang编译工具链，因为clang编译速度快、效率高。
下面例子是采用ndk新版的clang进行编译(如果是使用虚拟机在linux环境交叉编译FFmpeg，下面的darwin改为linux)。具体如下：

/* Detailed source-code truncated for AI context efficiency. */

按照上面shell脚本分为4段。第一段make clean清除缓存，set -e设置编译出错后马上退出，archbit=xx指定cpu架构是32位还是64位。
第二段if...else...fi用来条件编译不同cpu架构对应字段的值。第三段用export关键字声明宏定义，其中PREFIX是指定输出文件路径。
第四段是一个执行函数，按照ffmpeg的configure规范进行编写。函数里面的enable代表开启，disable代表关闭，也就是对ffmpeg进行剪裁，
根据我们需要的功能进行enable。make命令是执行编译，make install命令是执行安装。最后的build_android是执行函数。
初次执行shell脚本，需要修改脚本权限，使用linux命令：chmod 777 build_ffmpeg.sh。执行脚本只需要一行命令，
即在命令行输入./build_ffmpeg.sh。编译过程中，命令行会不断打印编译日志，等待命令行输出INSTALL xxx关键字代表编译完成。

5、编译问题分析 Copy Chapter

编译过程中，可能会出现这样那样的问题，比如ndk配置不对、脚本语法不对。但不用慌，编译输出窗口会描述出错原因，
在ffbuild/config.log会告诉你问题的具体原因所在，顺着思路一般可以找到问题的答案。

三、so库剪裁

ffmpeg强大之处在于支持按需编译，进行弹性剪裁。可以使用--disable-everything关闭所有模块，
可以使用enable/disable来开启关闭某个模块，或者某个编解码器、某个封装器、某个协议。

1、encoders与decoders Copy Chapter

encoder和decoder在libavcodec模块，可以用./configure --list-encoders或者ffmpeg --encoders查看支持的编码器。
同样地，可以用./configure --list-decoders或者ffmpeg --decoders查看支持的解码器。我们可以先--disable-encoders，
--enable-encoder=aac,h264 其中lib开头的表示第三方库。

2、muxers与demuxers Copy Chapter

muxer和demuxer在libavformat模块，可用./configure --list-muxers或者ffmpeg --muxers查看支持的封装器。
同样地，可用./configure --list-demuxers或者ffmpeg --demuxers查看支持的解封装器。先--disable-muxers，再--enable-muxer=mp3

3、protocols Copy Chapter

protocol也是在libavformat模块中，./configure --list-protocols或者ffmpeg --protocols查看支持的协议，

4、parsers Copy Chapter

parser在libavfilter模块中，提供各种filter，比如音频：amix、atempo，视频：rotate、hflip，
我们可以根据需求--enable-parser来开启，可使用./configure --list-parsers查看具体列表。

四、编译过程分析

编译过程包括：预编译、编译、汇编、链接。详细可以查阅书籍<程序员的自我修养>

1、预编译 Copy Chapter

预编译处理(.c/.cpp->.i)，对源文件的伪指令进行处理。
伪指令包括：宏定义(#define)、条件编译指令(#ifdef #elseif #endif)、头文件包含指令(#include)

2、编译 Copy Chapter

编译(.i->.s)，对经过预编译处理文件进行语法分析，编译为汇编文件。

3、汇编 Copy Chapter

汇编(.i->.o)，把汇编代码翻译为机器码，也就是二进制的目标文件。

4、链接 Copy Chapter

链接(.o->.so/.a/.lib)，把所有目标文件链接成动态库、静态库文件。

5、FFmpeg的makefile分析 Copy Chapter

makefile主要发生在汇编阶段，把所有依赖的目标文件添加进去。以FFmpeg的AVFilter模块makefile为例(有省略)：

/* Detailed source-code truncated for AI context efficiency. */

Doc FFmpeg Sourcecode (`doc/FFmpeg_sourcecode.md`) Copy Section

前言

FFmpeg是一个跨平台的多媒体库，也是目前音视频领域应用最广泛的库。包括libavcodec、libavformat、libavutil、
libavdevice、libavfilter、libswscale、libswresample、libpostproc等模块。其中avcodec用于编解码，
avformat用于解封装，avutil是提供工具类，avdevice用于各平台的设备接入，avfilter提供滤镜操作，
swscale提供图像缩放与像素格式转换，swresample提供音频重采样，postproc提供高级处理。
在这里，按照每个模块功能进行分析，如有错漏不当之处，敬请指出。

1：AVIOContext、IO模型与协议 Copy Section

AVIOContext结构体

2：AVFormatContext连接FFmpeg的桥梁 Copy Section

AVFormatContext

3：AVCodecContext编解码器上下文 Copy Section

AVCodecContext

4：AVStream码流 Copy Section

码流数组

5：AVFrame与AVPacket Copy Section

AVFrame与AVPacket

6：avformat_open_input()打开媒体流 Copy Section

打开媒体流

7：avformat_find_stream_info分析码流信息 Copy Section

分析码流信息

8：av_read_frame()读取音视频帧 Copy Section

读取音视频帧

9：av_parser_parse2()解析数据包 Copy Section

解析数据包

10：av_register_all()注册封装器与解封装器 Copy Section

注册封装器与解封装器

11：avdevice_register_all()注册设备 Copy Section

注册设备

12：avfilter_register_all()注册AVFilter Copy Section

注册AVFilter

13：avcodec_register_all()注册编解码器 Copy Section

注册编解码器

14：avcodec_find_decoder()查找编解码器 Copy Section

查找编解码器

15：log日志系统分析 Copy Section

log日志系统

16：内存管理系统 Copy Section

内存管理系统

17：图像常用操作 Copy Section

图像常用操作

18：SwsContext图像转换上下文 Copy Section

SwsContext

19：sws_scale图像缩放与图像转换 Copy Section

sws_scale

20：音频采样格式相关API Copy Section

音频采样格式

Doc JNI Develop Practice (`doc/JNI_develop_practice.md`) Copy Section

前言

JNI是Java本地接口，定义Android从应用代码(以Java或kotlin编程语言编写)到本地代码(C/C++编写)交互编译成字节码的一种方式。
文档Java Native Interface Specification

NDK编译脚本 Copy Section

Android.mk与CMake编译

相关介绍文章如下： Copy Section

NDK编译脚本
JNI开发规范
JNI全面介绍与最佳实践

Doc NDK Compile Shell (`doc/NDK_compile_shell.md`) Copy Section

前言

Android NDK以前默认使用Android.mk与Application.mk进行构建，但是在Android Studio2.2之后推荐使用CMake进行编译。
CMake是跨平台编译工具，全称为cross platform make，内建c、c++、java自动相依性分析功能。NDK通过工具链支持CMake，
工具链文件是用于自定义交叉编译工具链的CMake文件。用于NDK的工具链位于/build/cmake/android.toolchain.cmake，
关于CMake更多详情请参考官网：cmake官网。下面对比下Android.mk与CMakeLists.txt的语法。
更详细脚本分析可查看博客：NDK编译脚本分析

一、Android.mk语法

以动态库编译hello模块为例，完整脚本如下：

WORKING_DIR := $(call my-dir)
LOCAL_PATH := $(WORKING_DIR)

include $(CLEAR_VARS)
LOCAL_ARM_MODE  := arm
LOCAL_MODULE    := libffmpeg
LOCAL_SRC_FILES := $(LOCAL_PATH)/ffmpeg/$(TARGET_ARCH_ABI)/lib$(LOCAL_MODULE).so
LOCAL_EXPORT_C_INCLUDES := $(LOCAL_PATH)/ffmpeg/include
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_ARM_MODE  := arm
#模块名称
LOCAL_MODULE    := hello
#源文件
LOCAL_SRC_FILES := hello.c
#头文件路径
LOCAL_C_INCLUDES := $(LOCAL_PATH)
#系统库依赖
LOCAL_LDLIBS    := -llog -lz -lm -landroid
#第三方动态库
LOCAL_SHARED_LIBRARIES := libffmpeg
#以动态库形式编译
include $(BUILD_SHARED_LIBRARY)

1、LOCAL_MODULE Copy Chapter

声明模块名称，例如这里编译出来的动态库名称为libhello.so。

2、LOCAL_SRC_FILES Copy Chapter

声明源文件列表，文件之间用空格分开，需要换行时使用''换行符。

3、LOCAL_C_INCLUDES Copy Chapter

声明头文件路径，例如$(LOCAL_PATH)/xxx

4、LOCAL_CPP_EXTENSION Copy Chapter

指定C++源文件除.cpp以外的文件扩展名，例如这样LOCAL_CPP_EXTENSION := .cpp .cxx .cc

5、LOCAL_CPP_FEATURES Copy Chapter

指定依赖c++的某些功能，例如RTTI(运行时类型信息)：
LOCAL_CPP_FEATURES := rtti
使用c++异常检测：
LOCAL_CPP_FEATURES := exceptions

6、LOCAL_CFLAGS Copy Chapter

在编译c和c++源文件时编译系统要传递的编译器标记，即指定额外的宏定义或编译选项。
LOCAL_CFLAGS += -I

7、LOCAL_STATIC_LIBRARIES Copy Chapter

共享静态库，作为第三方库被引用
LOCAL_STATIC_LIBRARIES := libavcodec libavutil libavformat libavfilter

8、LOCAL_SHARED_LIBRARIES Copy Chapter

共享动态库，与共享静态库一样作为第三方库被引用
LOCAL_SHARED_LIBRARIES := libffmpeg

9、LOCAL_LDLIBS Copy Chapter

额外链接器，一般为系统库，使用-l来引用
LOCAL_LDLIBS := -lz -lm

10、 LOCAL_ARM_MODE Copy Chapter

ndk默认使用thumb模式来生成目标二进制文件，每条指令为16位宽。也可以指定为ARM模式，来生成32位ARM的目标文件：
LOCAL_ARM_MODE := arm

11、LOCAL_ARM_NEON Copy Chapter

用于开启NEON指令加速，仅对armeabi-v7a平台有效。为模块开启NEON：
LOCAL_ARM_NEON := true
为单独源文件开启NEON：
LOCAL_SRC_FILES := hello.c.neon

12、TARGET_ARCH Copy Chapter

用于指向CPU架构，包括x86、x86_64、armeabi-v7a、 arm64-v8a

13、TARGET_PLATFORM Copy Chapter

目标平台，对应Android API级别号，例如Android5.0系统镜像对应Android API级别21：android-21

14、打印信息 Copy Chapter

可用warning、debug、info、error级别来打印信息，如果是打印error信息，会终止编译。以warning为例：
$(warning 'This is a test')

15、if条件判断 Copy Chapter

采用ifeq关键字，然后左右变量放在括号体内，用逗号分隔：

ifeq($(TARGET_ABI), arm64-v8a)
$(debug 'This is arm64-v8a')
endif

二、Application.mk语法

Android.mk依赖Application.mk文件进行编译，一般Application.mk脚本如下所示：

APP_STL      := c++_static
APP_DEBUG    := false
APP_OPTIM    := release
APP_CPPFLAGS := -frtti
APP_PLATFORM := android-16
APP_ABI      := armeabi-v7a arm64-v8a

1、APP_ABI Copy Chapter

与Android.mk的TARGET_ABI对应，包括CPU架构有：x86、x86_64、armeabi-v7a、arm64-v8a，支持所有平台这样表示：
APP_ABI := all

2、APP_BUILD_SCRIPT Copy Chapter

指向编译脚本的路径，一般Android.mk和Application.mk都位于jni目录，默认指向jni/Android.mk路径，如果是其他路径，
需要使用此变量来指定绝对路径：
APP_BUILD_SCRIPT := /xx/xx/Android.mk

3、APP_OPTIM Copy Chapter

编译优化选项，调试模式为debug，发布模式为release。在调试模式下，会保留symbol符号表；在发布模式下，会开启优化，去掉symbol符号表。

4、APP_PLATFORM Copy Chapter

指定编译平台，面向于Android API级别，对应gradle声明的minSdkVersion。如果不声明，默认为ndk支持的最低API版本

5、APP_STL Copy Chapter

声明使用c++的标准库，默认为system STL。其他选项包括c++_static、c++_shared和none

三、CMakeLists.txt语法

以编译hello模块以及依赖ffmpeg模块为例：

cmake_minimum_required(VERSION 3.4.1)
#添加动态库，包含源文件路径
add_library( hello
             SHARED
             src/main/jni/hello.c)
#添加第三方动态库
add_library( ffmpeg
             SHARED
             IMPORTED )
#指定第三方库路径
set_target_properties( ffmpeg
                       PROPERTIES IMPORTED_LOCATION
                       ../../../../libs/${CMAKE_ANDROID_ARCH_ABI}/libffmpeg.so )
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=gnu++11")
#指定头文件路径
include_directories(src/main/cpp)
if(${CMAKE_ANDROID_ARCH_ABI} MATCHES "armeabi-v7a")
    include_directories(src/main/cpp/include/armeabi-v7a)
    message("This is armeabi-v7a")
elseif(${CMAKE_ANDROID_ARCH_ABI} MATCHES "arm64-v8a")
    include_directories(src/main/cpp/include/arm64-v8a)
    message("This is arm64-v8a")
endif()
#查找系统库
find_library( # Sets the name of the path variable.
              log-lib
              log )
#链接目标库
target_link_libraries( hello
                       ffmpeg
                       ${log-lib} )

1、add_library Copy Chapter

传递三个参数，第一个参数是模块名称，第二个参数是SHARED或者STATIC。如果是源文件模块，第三个参数是源文件列表；
如果是第三方库，第三个参数是IMPORTED。

2、set_target_properties Copy Chapter

用于指定第三方库路径，IMPORT_LOCATION一般是指向src/main/cpp目录

3、include_directories Copy Chapter

用于指定头文件路径，头文件路径可以有多个

4、find_library Copy Chapter

用于查找系统库，比如Android系统的log日志库

5、target_link_libraries Copy Chapter

链接目标库，把依赖库都链接到目标库中

6、if条件判断 Copy Chapter

与Android.mk稍有差异，CMake采用if...MATCHES形式，例如：
if(${CMAKE_ANDROID_ARCH_ABI} MATCHES "armeabi-v7a")
......
endif()

7、打印日志 Copy Chapter

与Android.mk不同的是，CMake采用message函数来打印日志，括号体传入msg内容
message("hello, cmake")

8、命令行参数 Copy Chapter

命令行参数前面统一加上-D，常用的参数：

• -DANRDOID_ABI :android的ABI架构平台

• -DANDROID_NDK :ndk路径

• -DANDROID_ARM_MODE :arm模式/thumb模式

• -DANDROID_ARM_NEON :是否开启arm neon加速，针对armeabi-v7a平台

• -DANDROID_TOOLCHAIN :编译工具链

• -DANDROID_NATIVE_API_LEVEL :与ANDROID_PLATFORM相同，对应minSdkVersion

• -DCMAKE_BUILD_TYPE :编译类型，debug或release

• -DCMAKE_MAKE_PROGRAM :编译程序

• -DCMAKE_TOOLCHAIN_FILE :编译文件

9、命令行编译 Copy Chapter

以cmake作为关键字，后面带着指定参数，示例如下：

cmake \
    -DANDROID_ABI=armeabi-v7a \
    -DANDROID_NDK=${HOME}/Android/Sdk/ndk-bundle \
    -DCMAKE_BUILD_TYPE=Debug \
    -DCMAKE_MAKE_PROGRAM=${HOME}/Android/Sdk/cmake/3.6.3155560/bin/ninja \
    -DCMAKE_TOOLCHAIN_FILE=${HOME}/Android/Sdk/ndk-bundle/build/cmake/android.toolchain.cmake \
    -DANDROID_NATIVE_API_LEVEL=23 \
    -DANDROID_TOOLCHAIN=clang

四、ndk编译配置

1、Android.mk方式配置 Copy Chapter

在gradle的defaultConfig配置ndk：

defaultConfig {
    ......
    ndk {
        moduleName "hello"
        abiFilters "armeabi-v7a", "arm64-v8a"
    }
}

然后配置jni源文件路径：

sourceSets {
    main {
        jniLibs.srcDir 'src/main/libs' // Enable to use libs
        jni.srcDirs 'src/main/jni' // Enable the automatic ndk-build
    }
}

另外配置Android.mk文件绝对路径：

externalNativeBuild {
    ndkBuild {
        "src/main/jni/Android.mk"
    }
}

2、CMake方式配置 Copy Chapter

前两步与Android.mk方式一样，配置脚本路径稍有差异：

externalNativeBuild {
    cmake {
        path "CMakeLists.txt"
    }
}

另外在defaultConfig设置cppFlags:

externalNativeBuild {
    cmake {
        cppFlags ""
    }
}

五、ndk编译过程

1、ndk-build编译 Copy Chapter

在命令行输入ndk-build后，会根据声明所支持的平台依次编译。首先是armeabi-v7a平台架构，把hello.c源文件编译成hello
目标文件，然后链接成libhello.so动态库，最终安装到libs/armeabi-v7a目录下。

2、cmake在Gradle中编译 Copy Chapter

编译arm64-v8a平台架构的hello模块。首先把hello.c源文件编译成hello.c.o目标文件，然后链接成libhello.so动态库。
生成的debug模式动态库在/build/intermediates/cmake/debug/obj/arm64-v8a目录下。

Doc Multimedia Knowledge (`doc/multimedia_knowledge.md`) Copy Section

前言

音视频多媒体涉及语音信号处理、数字图像处理、信息论、封装协议、编解码、渲染、网络传输、视频特效、音频特效等等。在特定场景，
还会结合AI、机器学习ML、计算机视觉CV、自然语言理解NLP。比如AI智能编码，抽取视频帧用计算机视觉做人脸识别，用NLP做语音理解。

1、音视频基本概念 Copy Section

基本概念

2、视频封装格式 Copy Section

视频封装

3、音频封装格式 Copy Section

音频封装

4、音视频编码 Copy Section

编码器介绍

5、音视频解码 Copy Section

解码解码器介绍

6、音效(均衡器、混响、重低音) Copy Section

基本音效

7、杜比音效AC3与AC4 Copy Section

杜比音效

8、杜比视觉Dolby-Vision与HDR Copy Section

杜比视觉

9、Matroska封装格式 Copy Section

Matroska封装格式上
Matroska封装格式下

10、新一代视频AV1编码器 Copy Section

AV1编码器

11、Android图像渲染框架 Copy Section

Android图像渲染

Doc Multimedia Protocol (`doc/multimedia_protocol.md`) Copy Section

多媒体协议与书籍 Copy Chapter

多媒体开发涉及非常多的多媒体协议，在这里整理一些常用的多媒体协议与多媒体书籍，
欢迎大家补充其他相关协议与书籍，共同维护良好的开源社区。

多媒体协议 Copy Section

常见的流媒体传输协议包括：RTP、SRTP、RTMP、RTCP、RTSP，流媒体应用协议有HLS、DASH，
WebRTC网络传输协议有SDP、ICE、NAT、STUN、TURN等，常用视频编码协议有H264，
常用的视频封装格式有mp4，关于C语言标准有C11、C17等，详细列表如下：

多媒体书籍 Copy Section

音频开发书籍包括：音乐理论、音频信号处理与编码、DSP语音降噪、3D声音环绕，
视频开发书籍包括：数字图像与视频处理、视频编码全角度详解，
渲染方面是OpenGL，硬件加速指令有neon，详细列表如下：

Doc Multimedia Work (`doc/multimedia_work.md`) Copy Section

音视频工作方向概要 Copy Section

音视频工作方向包括:直播、短视频、流媒体传输、视频播放器、音乐播放器、音视频算法、
流媒体后端、音视频编辑、图像处理(个人概括，具体方向不限于此)。

Doc Player Framework (`doc/player_framework.md`) Copy Section

前言

ijkplayer是一款跨平台的播放器，支持Android与iOS端，核心部分基于ffmpeg，
支持Android的mediacodec硬解与iOS的videotoolbox硬解，视频图像采用OpenGL进行渲染。
许多主流播放器都使用ijkplayer作为播放方案。

1、ijkplayer的API详细介绍 Copy Chapter

API介绍

2、ijkplayer的时序图与状态图分析 Copy Chapter

时序图与状态图

3、ijkplayer自定义协议播放加密视频 Copy Chapter

自定义协议

4、ijkplayer音频解码播放架构分析 Copy Chapter

音频解码播放

5、ijkplayer视频解码播放架构分析 Copy Chapter

视频解码播放

6、ijkplayer播放器架构从原型到升级 Copy Chapter

播放器整体架构

7、ijkplayer音视频同步策略分析 Copy Chapter

音视频同步

--- METRICS ---

• Files Extracted: 10
• Estimated Token Budget: ~9495 tokens
• Canonical Reference: https://codewiki.google/github.com/xufuji456/FFmpegAndroid