课程内容
第一、演示FPGA AI项目的视频文件和Vitis AI软件开发原理与环境搭建。
1.演示FPGA AI项目视频文件,让学员对FPGA AI项目的应用范围和实现方法有一个直观的认识。
2.FPGA AI环境搭建。
3.FPGA AI开发原理和流程。介绍深度学习处理单元DPU、AI优化器、AI量化器、AI编译器、运行时XRT、DPU指令集等Vitis AI主要概念、开发流程、专有命令和API接口。
4.FPGA AI开发板介绍和使用。
5.Kria KV260 AI开发板加速原理和自带例程详解。
第二、yolov3 & yolov3_tiny口罩训练移植全流程与yolov2_tiny & yolov4_tiny目标识别与跟踪例程。
1.KV260 Smartcam硬件平台制作。
2.口罩识别yolov3和yolov3-tiny模型训练、PC验证和移植KV260全流程。
3.Ultra96 yolov2-tiny Vitis AI 1.3模型转换与固化、量化与编译、开发板图像预处理程序、DPU AI调用命令集和DPU输出后处理程序(包括目标阈值筛选、非最大值抑制 NMS和目标框绘制)和目标跟踪算法程序,掌握yolo模型目标识别后处理程序和用户算法程序的编写。
第三、Gstreamer主流AI模型全流程的设计、训练与FPGA转化。
1.介绍多媒体GStreamer框架和插件,包括Element、Queue、Tee、Pad、Bin等基本元素,filesrc、v4l2src、kmssink、h264parse、x264enc等主要模块,和qp、leaky、control-rate、target-bitrate、periodicity-idr、gop-length等主要参数,并在PC虚拟机上进行pipeline编程练习。
2.介绍Xilinx基于Gstreamer框架的视频开发套件Vitis Video Analytics SDK (VVAS),包括硬件与软件对应的层次结构,主要组件omxh264enc、omxh264dec、ivas_xfilter、ivas_xmetaaffixer等的作用与命令格式,并以框图上逐次增加功能模块的方式讲解VVAS pipeline语言如何编写,掌握用这种高度集成和方便的工具实现FPGA AI视觉应用编程。
3.利用在前面的课程中编译得到的yolov2-tiny xmodel模型,使用VVAS编程语言讲解编写目标识别pipeline, 实现在KV260上的视频文件读取、图像预处理、DPU运行、后处理、视频输出和存盘的所有功能。
4.基于KV260的自带人脸识别模型和人物跟踪模型,分别讲解编写VVAS pipeline人脸识别和人物跟踪,输出显示在HDMI上,同时改变Gstreamer VVAS参数直观感受不同的参数对视频带来的影响,讲解如何正确设置Gstreamer VVAS参数。
如果您想学习本课程,请
预约报名
如果没找到合适的课程或有特殊培训需求,请
订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请
服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。
专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获