SSD268G，一颗真正满足多模态产品形态的AI芯片

Comake Online

点击蓝字 关注我们


“智能终端的变化带来了交互方式的变革，语音、图像、视频、手势等多模态的交互将成为未来交互的主流方式。”在多模态交互场景下，星宸科技不断探索，推出了AI芯片SSD268G，一颗真正满足多模态产品形态的芯片。


关于SSD268G

Introduction

星宸科技SigmaStar推出的高整合度，多功能一体化智能AI芯片SSD268G，丰富的接口和内置Ip可以满足各种不同的应用场景和产品形态，该芯片具备多摄像头输入、4K@30fps、双屏异显带HDMI输出、CORTEX-A53双核、IPU AI 大算力、多路解码等特点。


臻彩图像处理引擎（包括3A、3DNR、色彩真实还原、星光夜视、HDR、细节增强、Sensor坏点补偿等）、低延迟影音处理技术，多路编码及动态编码、镜头畸变矫正技术、多Sensor接入和高能耗比IPU，广泛应用于直播像机、视频会议、工业相机、新零售等新兴领域，是一颗真正满足多模态产品形态的芯片。


总体系统框架


主要特点

 Main features

安防级别的多摄像头输入，最高4K@30fps



"双屏异显"，点屏加HDMI扩展，同时呈现不同画面


CA53双核，IPU加速AI，强大的算力支撑



多路语音输入和输出



各种外设接口包括：

网口/USB3.0/BT1120/SDIO/SPI 

SSD268G在多种场景下ISP效果表现

ISP

暗房开灯场景

相同码率和分辨率，SStar机型清晰度更高，整体画面更通透。


暗房低照场景

低照下SStar机型成像效果更好，整体亮度和清晰度更高，暗处可见度更高。


逆光场景

室内保持一致的前提下，室外效果更好；伪彩更少；在密集纹理场景下，方向性判断更好；去除color noise能力大幅提升；NR下，运动噪声和收敛速度快；ISP对长帧数据与短帧数据进行融合，生成一副高动态范围图像。

编、解码能力

Encoding and decoding capabilities

Vdec 解码能力

1

H265/HEVC：Main Profile，Level 5.0 Profile，分辨率从8×8到8192×8192，支持I/P/B帧，Deblocking

2

H264/AVC：Baseline/Main/

High Profile，Level5.1 decode，分辨率从8×8 到8192×8192，支持I/P/B帧，Deblocking

3

JPEG/MJPEG：YUV422/YUV420，最大分辨率8192×8192

Venc 编码能力

1

H265/HEVC：Main Profile，Level 5.0 Profile

2

H264/AVC：Baseline/Main/

High Profile，Level5.1 decode，¼像素搜索预测，自定义QP Map，最大能力集 4K 45FPS，ROI感兴趣区域设置

3

JPEG：最大分辨率8192×8192，支持实时帧编码流程

Venc 码控算法

1

支持CBR/VBR/AVBR/FIXQP/

QPMAP 多种编码模式

→可变码率，确保画质
→固定码率，波动在10%，确保传输效率

→基于芯片内置AI引擎，分析前后前后两张图像，侦测场景动静变化，自动调整码率

2

安防级别的码率控制算法

显示模块

 Display module

视频输出接口

  1. 同时支持两个显示设备，每个设备支持多种接口。

  2. 对于每一个设备，可以独立输出HDMI/VGA，CVBS、MIPI、TTL、BT1120/656、sRGB、MCU等不同的接口设备。


基本功能

  1. Mipi DSI最大2560×1440 60fps；

  2. BT1120最大可支持1080P@60fps，BT656最大可支持1080P@30fps；

  3. HDMI 最大分辨率4K 30fps；

  4. 每个Dev有两个硬件图层：1个全屏的GUI图形层+1个硬件鼠标层，做专用鼠标图层，或者硬件图层叠加；

  5. 两DISP设备分别显示不同的画面；

  6. 支持1个回写通道（WBC），可用于两个DISP设备做多屏同源显示。


特色功能

  1. 画中画模式：每个Dev支持16路视频+1路PIP(画中画)同时显示；

  2. 支持异屏双显功能，每个设备可以输出不能的内容；

  3. 横屏竖显或者竖屏横显。


ACE Lite PQ引擎

  1. 每个Dev都有独立的图像处理模块；

  2. 多维度图像画质调整。

音视频模块

Audio and video module

Audio Codec支持的输入输出设备及采样率


RX

Mic in/

Line in

8/16/32/48K

Dmic

I2S/PCM

TX

Line out

 8/11.025/12/16/

 22.05/24/32/

 44.1/48K

I2S/PCM

 8/16/32/48K

HDMI

8/11.025/12/16/

22.05/24/32/

44.1/48K


  • 支持常用的音频接口和协议，如模拟麦克风、数字麦克风、Lineout、I2S/PCM等。

  • 支持多个输入输出设备同时工作。


SRC同步近端与远端数据

  • 近端数据和远端数据经过SRC来做同步处理，3rd-party语音算法开发，不需要增加额外的MIC来采集参考数据。


ACE同步近端与远端数据


NR前后对比


EQ前后对比


AGC前后对比


IPU介绍

IPU introduction

整体框架


IPU特色

  1. 兼容性好。支持 Caffe & ONNX & TensorFlow三大主流 AI 开发平台。

  2. 覆盖面广。支持   4，8，16bit混合量化，总体数据量比8bit要小，满足不同场景下的精度需求。

  3. 容易开发。提供 C Model 验证与完整的开发工具链。

  4. 效率极高。支持N batch，多张图片并行处理；支持离线模型压缩，降低内存使用量，自研调度算法，大幅降低内存和频宽使用率。

  5. 后处理算子硬件加速。YOLOV2 & YOLOV3 & SSD 等常用网络的后处理部分提供完整IPU 加速方案，最大限度释放CPU算力

硬件介绍

Hardware introduction

硬件模块

基本规格

  • Body Size: 15x15mm

  • Ball Pitch: 0.65（中心距离）PCB 4L

  • MIU:2×16bit/32bit

  • 支持多种启动方式

         Boot SPINAND

         Boot SPINOR

         Boot eMMC

         Boot SD Card

设计简单

  • 简单的电源设计，无需复杂的电源时序控制电路，或者PMU

  • 内置RTC计时模块，电路设计简单，无需外挂RTC芯片

  • 展频功能，EMI整改容易

接口丰富

  • USB3.1 Device / USB2.0 Host

  • SD Card3.0

  • SDIO3.0/ eMMC

  • UART *4+1

  • SPI *3

  • PWM *10

  • GPIO *80 以上

工业标准

  • 工业级设计标准

  • -40～85

  • 2Kv ESD耐压



SSC展频功能

  • 对于高速信号，Panel的clock，DDR数据和Clock，在对输出频率做轻微以及有序的抖动后，可以大幅降低频域中的能量，在实际的测试中最高可以降低9dB的能量。

  • 对于工规、医疗产品极大的降低了EMI的整改难度。


温度范围

  • 芯片工作温度在-40~85°达到工业级要求

  • 芯片存储温度在-40~150°且符合MSL-3等级标准，真空包装

  • 芯片结温设计在-40~125°

  • 芯片内置温度传感器，软件可实时监测芯片内部温度

  • 封装材料无铅，绿色环保。

软件架构介绍

Software architecture introduction

Linux 操作系统

  • 4.9.227版本

  • 完善的开源社区

  • 系统稳定，多任务支持


软件架构特点

  • 模块独立

  • 完善的文档和Demo

  • 简单的软件流程

  • 完善的调试手段


开发者社区

SSD268G基本规格

SSD268G开发文档


相关推荐

Display Cam SSD268G应用场景介绍

工业相机

新课堂智能台灯方案

SSD268G环境搭建(编译/烧写) 异屏双显 多摄像头输入


更多详情


扫码进入SSD268G频道

新浪微博

@ComakeOnline

视频号

ComakeOnline


SSD268G也将在本次安博会上与大家见面，敬请关注！


X 提交 下一题

查看更多