树莓派三代相机模块上线-IMX708

今天冲浪我看见了：

OMG！上新啦！

我招的设计师不知道有没有这设计的本领，黑色是视角变宽的版本

静态质量的提升，自动对焦模块，120°视角，NOR可选项

索尼IMX708是一块1/2.43英寸CMOS图像传感器，，像素为4608*2592（12MP），最高可以拍摄1080P/50P、720P/100P、480P/120P视频，以及支持通过Quad Bayer技术实现HDR模式输出，获得更好动态范围，但像素会降低到3MP，此外它还支持相位差对焦（PDAF）。我找不到数据手册（肯定找不到），但是可以知道是2020年发布的OPPO Find2 上面是有一颗708，被称之为电影镜头（超广），首先是成像的素质高，且作为广角镜头出现，其次就是小对焦距离（只要像素密度够高就可以实现）.

Find2

这个是简单的数据罗列，不管怎么看都是质的跨越

提供标准视场（FOV）和宽视场（FOV）

看这个是最详细的

1.等效焦距为29毫米，光圈为F1.8，最近对焦距离为10厘米，定价25美元

2.等效焦距为17毫米，光圈为F2.2，最近对焦距离为5厘米，定价35美元

这就是动态范围范围，不过像素变低了

然后这个是双核对焦，最早好像是佳能的相位对焦发布的

另外值得一说的是相机模组有了自动对焦，首先开启的是相位对焦，在失效的情况下变成传统的反差对焦模式。

最简单的对焦过程是：随着对焦镜片开始移动，画面逐渐清晰，对比度开始上升，当画面最清晰，对比度最高时，其实已经处于合焦状态，但相机并不知道，所以会继续移动镜头，当发现对比度开始下降。进一步移动镜片，发现对比度进步下降，相机知道已经错过焦点;镜片回退至对比度最高的位置，完成对焦。

相位对焦原理：根据CIS不同像素的相位差信息，判断出当前镜头位置离相对焦清晰状态（即图2 相位差为零状态）的位置，从而得到镜头应该移动的向量。

以后我详细的出文章说这个

这是佳能的一个专利图，注意看两个组件之间的狭缝

这种取材于单反的对焦方式的原理是通过感光元件上预留出一些遮蔽像素点来充当自动对焦传感器，专门用来进行相位检测。通过比对左右两侧像素点的距离及其变化等来决定对焦的偏移值从而实现准确对焦。在整体相位检测焦点位置之后，镜头驱动模块会将镜片组进行移动合焦，因此在时间花费上会更短。也就是说，直接是给出驱动器驱动的指令。

由于PDAF对焦方式需要单独像素进行检测，因此对光照条件要求更高。在暗光环境下，由于对焦采样区域光线不足，所以PDAF对焦速度往往会减慢。

在PDAF对焦方式不适用时，手机就会自动切换到反差对焦：

这样的对焦方式容易出现拉风箱的抽动感，只有抽过才知道最佳对焦在哪里。即便是中间已经找到了合焦点，但摄像头模组还是会继续完成移动记录，因此整体对焦过程要更加缓慢。

不过这种对焦方式并不需要PDAF那样单独放出相位监测像素点，所以在成本上要更低。而在对比度比较明显的情况下，反差对焦也能取得不错的效果。

所以这种对焦方式需要感光元件实时获取影响，并传递给图像处理器，然后计算反差量，对比筛选出反差最大的，并根据反差量最大的值确定是否合焦。

这种判断能获得非常高的对焦精度，实际使用也是如此。这个我是看过一嘴，具体的讨论我并没有看到。

反差式对焦不存在预设的对焦点，或者说，满屏任意部分都可用于对焦，它更适合于一些新的技术结合使用，例如:配合触摸屏技术快速更改对焦区域。也可以看到松下的一些机型都是可以AF拍照的。因为全CMOS都可以计算，指哪打哪。

聊这个反差对焦不得不说松下了：

松下应该是把反差对焦玩到登峰造极的厂家了，一直是躲避SONY的相位对焦

相比反差式的需要来回多次“错过”准确焦点的位置来对焦的方式，相位式对焦在一开始的时候就可以通过相位检测的信号来判断当前的焦点位置是靠前还是靠后。并且准确的告诉镜头驱动模块，应该将镜片向哪个方向移动而且在准确焦点位置的时候，相位检测系统可以准确的知道当前已经处于合焦状态。不需要再重复来回移动对焦镜片组。所以在速度上会比反差式对焦快很多。

简单来说相位侦测对焦更快但是对光线要求较高，对比侦测对焦结构简单硬件少、光线要求低但会“犹豫”对焦慢。两者各有其优势。

还有一种是双核对焦：双核对焦与PDAF对焦在本质上是相同的，不过由于传统传感器单像素只有一个光电二极管，也就是一半像素是被遮蔽的。而全像素双核传感器在每个像素点的位置有两个光电二极管—光电二极管A和B。在对焦时，两个光电二极管分别检测出A像和B像的新号，在完成合焦状态下两个像将重合；而未完成合焦状态时，两个像是模糊且相互错开的。

合焦的原理还是通过相对检测，通过检测偏差量（信号差）和偏差方向（A像和B像分别位于中心的哪一侧），就能计算出对焦镜片组应当朝什么方向移动多少距离，因此对焦速度会进一步提升。

佳能官网的图

总结一下：cmos上每个像素都可分为左右两部分，分别成像。这时候生成的两张图像就像我们人眼的左右眼存在视差，利用这个视差完成测距，并以此驱动镜头对焦。

其实我觉得静态区别不是很大，但是在录像的时候，PDAF 的一个好处是它允许在视频录制期间连续运行自动对焦算法，在相机和场景中的物体移动时保持最佳对焦。就是录像的时候好很多了。

另外我今天玩我妈的手机，发现居然有峰值对焦的功能！！！

小米10S，专业模式打开

需要自己来调节

可以看到边缘最红最大的时候完成合集，牛逼

相机搭配的软件系统：

其次树莓派在64位系统全新的编写了相机的使用库，称为lib2，我以前写过一个文章就是讨论这个的：关于树莓派新系统二三事（Bullseye）。

libcamera是一个新的软件库，旨在直接从 Linux 操作系统支持复杂的相机系统。就 Raspberry Pi 而言，使我们能够直接从运行在 ARM 处理器上的开源代码驱动摄像头系统。在 Broadcom GPU 上运行且用户根本无法访问的专有代码几乎被完全绕过。这也是最重要的，就是完全的脱离ARM内核的控制。

libcamera向应用程序提供 C++ API，并在配置相机的级别工作，然后允许应用程序请求图像帧。这些图像缓冲区驻留在系统内存中，可以直接传递给静态图像编码器（如 JPEG）或视频编码器（如 h.264），尽管编码图像或显示图像等辅助功能完全超出了它们libcamera本身的范围.

在核心之下libcamera，Raspberry Pi 提供了一个自定义管道处理程序，这是libcamera用于驱动 Raspberry Pi 本身上的传感器和 ISP（图像信号处理器）的层。这其中还有一部分是众所周知的控制算法的集合，或者说是IPA（图像处理算法）libcamera，例如 AEC/AGC（自动曝光/增益控制）、AWB（自动白平衡）、ALSC（自动镜头阴影校正） ） 等等。

所有这些代码都是开源的，现在可以在 Raspberry Pi 的 ARM 内核上运行。GPU 上只有一层非常薄的代码，将 Raspberry Pi 自己的控制参数转换为 Broadcom ISP 的寄存器写入。

Raspberry Pi 的实现libcamera不仅支持四个标准 Raspberry Pi 摄像头（OV5647 或 V1 摄像头、IMX219 或 V2 摄像头、IMX477 或 HQ 摄像头以及 IMX708 或摄像头模块 3），还支持第三方传感器，如 IMX290、IMX327 , OV9281, IMX378。Raspberry Pi 热衷于与希望看到其传感器直接受libcamera.

此外，Raspberry Pi 为这些传感器中的每一个提供了一个调整文件，可以对其进行编辑以更改 Raspberry Pi 硬件对从图像传感器接收到的原始图像执行的处理，包括颜色处理、噪声抑制量或控制算法的行为。

这块代码有些复杂，希望今年可以有类似的文章写出来。

全新的相机构件，其实就是软件实现的ISP

推荐的采样格式

另外前几日的Github上面已经在固件里面推送了

IMX477，是有M12和CS两个口的，一定要买这个，三代是没有的

这个是CSI的电路图

目前就是国外三个店可以买到，国内还没有开卖，之后买来学习一下。

https://www.raspberrypi.com/products/camera-module-3/

https://tech.sina.cn/digi/dc/2010-08-17/detail-iavxeafs4043611.d.html

https://tech.sina.com.cn/mobile/n/c/2019-05-11/doc-ihvhiqax7957743.shtml

https://github.com/raspberrypi/firmware/commit/master?diff=split

https://www.gsmarena.com/sony_imx708_specs_leak_will_output_48_mp_images-news-41129.php