Posts

encoder 从 CRTC 拿到 pixel data，并将其转化为 connector 需要的 format。 encoder 通过 drm_encoder_init() 初始化，drm_encoder_cleanup() 清除。 struct drm_encoder_funcs { void (*reset)(struct drm_encoder *encoder); void (*destroy)(struct drm_encoder *encoder); int (*late_register)(struct drm_encoder *encoder); void (*early_unregister)(struct drm_encoder *encoder); void (*debugfs_init)(struct drm_encoder *encoder, struct dentry *root); }; reset: reset encoder destroy: drm_encoder_cleanup late_register: 和 crtc 相关接口类似 early_unregister: 同上 debugfs_init: 注册 debugfs_init struct drm_encoder { struct drm_device *dev; struct list_head head; struct drm_mode_object base; char *name; int encoder_type; /// DRM_MODE_ENCODER_<foo> unsigned index; uint32_t possible_crtcs; uint32_t possible_clones; struct list_head bridge_chain; const struct drm_encoder_funcs *funcs; const struct drm_encoder_helper_funcs *helper_private; struct dentry *debugfs_entry; }; possible_clones: 用于定义哪些 encoder 可以与当前 encoder 同时工作，在多显示输出的场景中有用，比如需要在多个显示器上显示相同内容时。如果单显示输出置为 0 即可。...

DRM connector 是对显示接收器 (display sink) 的抽象，包括固定的 panels, 或者其他任何可以显示像素的东西。 通过 drm_connector_init() 和 drm_connector_register() 初始化和注册。 connector 使用前必须 attach 到 encoder 上，对于 encoder 和 connector 1:1 的情况，在初始化流程中调用 drm_connector_attach_encoder(). Data Structure struct drm_connector { struct drm_device *dev; struct device *kdev; struct device_attribute *attr; struct fwnode_handle *fwnode; struct list_head head; struct list_head global_connector_list_entry; struct drm_mode_object base; char *name; struct mutex mutex; unsigned index; int connector_type; /// DRM_MODE_CONNECTOR_<foo> int connector_type_id; /// index into connector type enum bool interlace_allowed; bool doublescan_allowed; bool stereo_allowed; bool ycbcr_420_allowed; enum drm_connector_registration_state registration_state; struct list_head modes; enum drm_connector_status status; struct list_head probed_modes; struct drm_display_info display_info; const struct drm_connector_funcs *funcs; struct drm_property_blob *edid_blob_ptr; struct drm_object_properties properties; struct drm_property *scaling_mode_property; struct drm_property *vrr_capable_property; struct drm_property *colorspace_property; struct drm_property_blob *path_blob_ptr; struct drm_property *max_bpc_property; struct drm_privacy_screen *privacy_screen; struct notifier_block privacy_screen_notifier; struct drm_property *privacy_screen_sw_state_property; struct drm_property *privacy_screen_hw_state_property; uint8_t polled; const struct drm_connector_helper_funcs *helper_private; struct drm_cmdline_mode cmdline_mode; enum drm_connector_force force; const struct drm_edid *edid_override; struct mutex edid_override_mutex; u64 epoch_counter; u32 possible_encoders; struct drm_encoder *encoder; #define MAX_ELD_BYTES 128 uint8_t eld[MAX_ELD_BYTES]; bool latency_present[2]; int video_latency[2]; int audio_latency[2]; struct i2c_adapter *ddc; int null_edid_counter; unsigned bad_edid_counter; bool edid_corrupt; u8 real_edid_checksum; struct dentry *debugfs_entry; struct drm_connector_state *state; struct drm_property_blob *tile_blob_ptr; bool has_tile; struct drm_tile_group *tile_group; bool tile_is_single_monitor; uint8_t num_h_tile, num_v_tile; uint8_t tile_h_loc, tile_v_loc; uint16_t tile_h_size, tile_v_size; struct llist_node free_node; struct hdr_sink_metadata hdr_sink_metadata; }; polled: 有三个宏，DRM_CONNECTOR_POLL_HPD: connector 能主动 detect 到 hotplug 并发出 hotplug event。DRM_CONNECTOR_POLL_CONNECT：需要 polling 是否发生了 connect。DRM_CONNECTOR_POLL_DISCONNECT：需要 polling 是否发生了 disconnect。如果 polled 设置为 0，表示不支持检测 connection status 变化。...

Overview CRTC 代表整个 display pipeline。它接收来自 drm_plane 的像素数据并将它们混合在一起。drm_display_mode 也附加在 CRTC 上， 用于指定显示时序。在输出端，数据被送入一个或多个 drm_encoder，然后每个 encoder 都连接到一个 drm_connector 上。 crtc 使用drm_crtc_init_with_planes() 来初始化。 数据结构 drm_crtc struct drm_crtc { struct drm_device *dev; struct device_node *port; struct list_head head; char *name; struct drm_modeset_lock mutex; struct drm_mode_object base; unsigned index; const struct drm_crtc_funcs *funcs; const struct drm_crtc_helper_funcs *helper_private; struct drm_object_properties properties; struct drm_property *scaling_filter_property; struct drm_crtc_state *state; struct list_head commit_list; spinlock_t commit_lock; struct dentry *debugfs_entry; struct drm_crtc_crc crc; unsigned int fence_context; spinlock_t fence_lock; unsigned long fence_seqno; char timeline_name[32]; struct drm_self_refresh_data *self_refresh_data; }; drm_crtc_state struct drm_crtc_state { struct drm_crtc *crtc; bool enable; bool active; bool planes_changed : 1; bool mode_changed : 1; bool active_changed : 1; bool connectors_changed : 1; bool zpos_changed : 1; bool color_mgmt_changed : 1; bool no_vblank : 1; u32 plane_mask; u32 connector_mask; u32 encoder_mask; struct drm_display_mode adjusted_mode; struct drm_display_mode mode; struct drm_property_blob *mode_blob; struct drm_property_blob *degamma_lut; struct drm_property_blob *ctm; struct drm_property_blob *gamma_lut; u32 target_vblank; bool async_flip; bool vrr_enabled; bool self_refresh_active; enum drm_scaling_filter scaling_filter; struct drm_pending_vblank_event *event; struct drm_crtc_commit *commit; struct drm_atomic_state *state; }; enable: gate all other state。控制 crtc 是否需要 enable，控制 resource assignment...

Modeset Base Object Abstraction 所有 KMS objects 的 base structure 是 struct drm_mode_object, 用来追踪 property. property 可以通过 drm_object_attach_property() attach 到不同的 object 上。 Object 每个 drm mode 包括 drm_crtc, drm_connector, drm_framebuffer 等结构体中都会有一个 drm_mode_object 数据结构，其中保存了该 crtc/connector/fb/plane 的 id, 用于 id tracking. 还有对应的 property 属性等。 drm_mode_object 结构体： struct drm_mode_object { uint32_t id; uint32_t type; struct drm_object_properties *properties; struct kref refcount; void (*free_cb)(struct kref *kref); } id: 用户空间操作的 id. type: DRM_MODE_OBJECT_XXX, 包括 DRM_MODE_OBJECT_CRTC/CONNECTOR/ENCODER/MODE/PROPERTY/FB/BLOB/PLANE/ANY Userspace 只能对 CONNECTOR, CRTC, PLANE 三种 type 的 object property 进行设置 properties: drm object 用来追踪 property 的结构体。...

Atomic Mode Setting 在 DRM 子系统中，atomic mode setting 是指一种用于显示配置更新的机制，它允许将多个显示参数的变更作为一个原子性的操作一次性提交和应用。 整个更新作为一个单元被处理，不会出现部分应用的情况，所有显示参数的变更在同一个垂直消隐期间同步生效。 drm_atomic_state - 包含整个显示状态的快照 drm_crtc_state, drm_plane_state, drm_connector_state - 各组件的状态对象 crtc, plane, connector object 都包含一个 state，drm_plane_state, drm_crtc_state, drm_connector_state，这些 state 是在 atomic 过程中用户可见并且设置的。 在 driver 内部，如果需要保存一些内部状态，可以 subclass 这些 state，或者一个整体的 drm_private_state. Handling Driver Private State 通常 DRM objects (connector, crtc, plane) 不能与硬件完全的匹配映射。 比如在 planes, crtc 等之间一些共享的资源，shared clock, scaler units, bandwidth, fifo limits. 这时候我们需要创建一个仅内部可见的 private state. struct drm_private_state { struct drm_atomic_state *state; struct drm_private_obj *obj; }; state: backpointer，指向 atomic state...

Kernel Mode Setting (KMS) driver 通过 drmm_mode_config_init() 来初始化 mode setting. Overview KMS pipeline: 一个 crtc 可以有多个 encoder, 一个 encoder 对应一个 connector, 并且中间可以接任意个 bridge. 通常对于有 bridge 的 driver, encoder 层不需要任何代码。 Data Structure and api struct drm_mode_config_funcs mode setting functions, 该结构体需要在底层 driver 中初始化。 struct drm_mode_config_funcs { struct drm_framebuffer *(*fb_create)(struct drm_device *dev, struct drm_file *file_priv, const struct drm_mode_fb_cmd2 *mode_cmd); const struct drm_format_info *(*get_format_info)(const struct drm_mode_fb_cmd2 *mode_cmd); enum drm_mode_status (*mode_valid)(struct drm_device *dev, const struct drm_display_mode *mode); int (*atomic_check)(struct drm_device *dev, struct drm_atomic_state *state); int (*atomic_commit)(struct drm_device *dev,struct drm_atomic_state *state, bool nonblock); }; fb_create: 创建 framebuffer 的回调函数，在 userspace 调用 drmModeAddFB2() 之后会调用到。....

Overview 一篇关于垂直同步 V-Sync 解释的文章：https://daily.elepover.com/2021/03/27/vsync/index.html 当 GPU 渲染的速度 > 显示器刷新的速度时，GPU 在显示器还来不及完成渲染完一帧时，就切换了 framebuffer，会导致出现撕裂现象。 帧率大于显示器刷新率时，启用垂直同步。 帧率小于显示器刷新率时，禁用垂直同步。 为了支持 vblank，底层 drvier 需要调用 drm_vblank_init()初始化，另外需要实现 drm_crtc_funcs.enable_vblank 和 drm_crtc_funcs.disable_vblank 两个回调函数，并且在 vblank 中断中调用 drm_crtc_handle_vblank()。 数据结构 struct drm_vblank_crtc { struct drm_device *dev; wait_queue_head_t queue; struct timer_list disable_timer; seqlock_t seqlock; atomic64_t count; ktime_t time; atomic_t refcount; u32 last; u32 max_vblank_count; unsigned int inmodeset; unsigned int pipe; int framedur_ns; int linedur_ns; struct drm_display_mode hwmode; bool enabled; struct kthread_worker *worker; struct list_head pending_work; wait_queue_head_t work_wait_queue; }; pipe: 表示第几个 crtc，在 drm_vblank_init 中初始化。...

在扫描输出过程中，一个平面（plane）代表一个图像源，CRTC 可以对平面进行混合（blend）或叠加（overlaid）显示。plane 从 drm_framebuffer 获取输入数据。平面本身定义了图像的裁剪（cropping）和缩放（scaling）方式，以及它在 display pipeline 可见区域中的位置。平面还可以具有额外的属性来指定平面像素的定位和混合方式，比如旋转（rotation）或 Z 轴位置（Z-position）。所有这些属性都存储在 drm_plane_state 中。 plane 由 struct drm_plane 表示，使用drm_universal_plane_init() 初始化。 每个 plane 都有一个类型，参考 enum drm_plane_type。 每个 CRTC 都必须要有一个 primary plane。 Data structure and api struct drm_plane { struct drm_device *dev; struct list_head head; char *name; struct drm_modeset_lock mutex; struct drm_mode_object base; uint32_t possible_crtcs; uint32_t *format_types; unsigned int format_count; uint64_t *modifiers; unsigned int modifier_count; const struct drm_plane_funcs *funcs; struct drm_object_properties properties; enum drm_plane_type type; unsigned index; const struct drm_plane_helper_funcs *helper_private; struct drm_plane_state *state; struct drm_property *alpha_property; struct drm_property *zpos_property; struct drm_property *rotation_property; struct drm_property *blend_mode_property; struct drm_property *color_encoding_property; struct drm_property *color_range_property; struct drm_property *scaling_filter_property; struct drm_property *hotspot_x_property; struct drm_property *hotspot_y_property; }; struct drm_plane_state { struct drm_plane *plane; // backpointer 指向 plane struct drm_crtc *crtc; // 通过 drm_atomic_set_crtc_for_plane 绑定的 crtc struct drm_framebuffer *fb; // 通过 drm_atomic_set_fb_for_plane 绑定的 fb struct dma_fence *fence; int32_t crtc_x; int32_t crtc_y; uint32_t crtc_w, crtc_h; uint32_t src_x; uint32_t src_y; uint32_t src_h, src_w; int32_t hotspot_x, hotspot_y; u16 alpha; uint16_t pixel_blend_mode; unsigned int rotation; unsigned int zpos; unsigned int normalized_zpos; enum drm_color_encoding color_encoding; enum drm_color_range color_range; struct drm_property_blob *fb_damage_clips; bool ignore_damage_clips; struct drm_rect src, dst; bool visible; enum drm_scaling_filter scaling_filter; struct drm_crtc_commit *commit; struct drm_atomic_state *state; bool color_mgmt_changed : 1; }; crtc_x/y/w/h: 设置该 plane 可见区域的起始位置和大小。...

Framebuffer 帧缓冲区是抽象的内存对象，提供了扫描到 CRTC 的像素源。应用程序通过 IOCTLDRM_IOCTL_MODE_ADDFB(2)来创建 framebuffer，会返回一个不透明句柄，该句柄可以传递给 KMS CRTC、来控制 plane configuration 和 page flip 功能。 framebuffer 依赖底层的内存管理器来分配内存。创建 framebuffer 时，app 需要通过struct drm_mode_fb_cmd2传入一个 memory handle。 Data structures and apis struct drm_framebuffer { struct drm_device *dev; struct list_head head; // framebuffer 链表，可能有多个 fb struct drm_mode_object base; char comm[TASK_COMM_LEN]; // allocate fb 的进程名 const struct drm_format_info *format; // fb pixel format const struct drm_framebuffer_funcs *funcs; // 一行多少 bytes, 会从用户空间的 drm_mode_fb_cmd2 拷贝过来 unsigned int pitches[DRM_FORMAT_MAX_PLANES]; // framebuffer 和 actual pixel data 的 offset，也从 drm_mode_fb_cmd2 拷贝过来 unsigned int offsets[DRM_FORMAT_MAX_PLANES]; uint64_t modifier; // 从 drm_mode_fb_cmd2 的 modifier 拷贝过来，DRM_FORMAT_MOD_XXX unsigned int width; // framebuffer 宽 unsigned int height; // framebuffer 高 int flags; // DRM_MODE_FB_INTERLACED, DRM_MODE_FB_MODIFIERS struct list_head filp_head; struct drm_gem_object *obj[DRM_FORMAT_MAX_PLANES]; }; struct drm_framebuffer_funcs { void (*destroy)(struct drm_framebuffer *framebuffer); int (*create_handle)(struct drm_framebuffer *fb, struct drm_file *file_priv, unsigned int *handle); // 有些硬件在 fb 内容更新后不会主动刷新内容到屏幕上。 // userspace 需要通过 DRM_IOCTL_MODE_DIRTYFB ioctl 调用到 dirty 函数来刷新屏幕的某块区域。 int (*dirty)(struct drm_framebuffer *framebuffer, struct drm_file *file_priv, unsigned flags, unsigned color, struct drm_clip_rect *clips, unsigned num_clips); }; 注册 framebuffer 流程 用户空间通过 drmModeAddFB2() 或 drmModeAddFB2WithModifiers() 函数来注册 framebuffer。...

预备知识 场的概念 在视频传输协议中，“场”（field）是指构成一帧完整图像的两个半幅图像之一。在传统的隔行扫描视频系统中，一帧完整的图像由两个场组成：上场（top field）和下场（bottom field）。这种扫描方式主要用于模拟电视信号中，以减少带宽需求并提高图像质量。 场的基本概念： 隔行扫描：在隔行扫描中，屏幕上的像素不是一次性全部刷新，而是分成两个阶段来完成。首先刷新所有偶数行（上场），然后刷新所有奇数行（下场），这样就完成了一帧图像的显示。 上场与下场：上场包含所有偶数行，下场包含所有奇数行。这两个场结合在一起组成一帧完整的图像。 帧与场： 在隔行扫描中，每两场构成一帧。帧是完整的图像，而场则是帧的一半。因此，在模拟电视系统中，每秒显示的场数通常是帧数的两倍。 隔行扫描与逐行扫描的区别： 隔行扫描：每一帧图像分成两个场显示，每个场包含一半的扫描线。这种方式减少了带宽需求，但也可能导致运动图像出现闪烁或交错现象（interlacing effect）。 逐行扫描：每一帧图像的所有扫描线一次性显示完毕。这种方式可以提供更平滑的图像，但需要更大的带宽。 应用场景： 模拟电视系统：在 PAL 和 NTSC 等模拟电视标准中，使用隔行扫描技术来传输视频信号。例如，NTSC 系统的帧率为每秒 30 帧，但实际上是以每秒 60 场的速度传输。 PAL,NTSC,SECAM 三者都是模拟电视信号标准。 NTSC: 全称为 National Television Standards Committee。视频格式为一张 NTSC 的图片包含 525 个交错行(interlaced lines), 每秒 29.97 帧。 PAL: 全称为 Phase Alternate Line。视频格式为一张 PAL 图片 625 个交错行，每秒 25 帧。 SECAM: 全称为 Sequential Color and Memory。视频格式和 PAL 一样，一张 SECAM 图片 625 个交错行，每秒 25 帧。但是 SECAM 处理颜色信息的方式和 PAL 不同。...