(1)赛题介绍
本赛题要求选手利用多模态感知信息的环境感知能力,在网联智能车联网/低空经济场景下,实现高精度、低通信开销的最佳波束选择。如图2-0所示,输入数据包含车联网场景(分岔路口高车流量场景、超宽车道低车流量场景、超宽车道高车流量场景)和低空经济场景(超宽车道低车流量密度)的多模态感知数据,输出为每种场景条件下接收信噪比最高的K个波束预测索引。本项任务将在车联网/低空经济两个场景中分别进行测试,选手的总分为两个场景测试得分的均值。值得注意的是,为了考验选手模型应对实际应用中的感知数据异常情况(比如意外遮挡、数据缺失)的适应能力,车联网场景的训练集和测试集中以一定比例向感知数据中引入意外遮挡、数据缺失和GPS定位误差三种数据异常处理:
1)数据缺失:每帧中每种感知模态的数据有10%概率缺失;
2)意外遮挡:RGB图和深度图约10%帧数的数据被随机遮盖部分区域,LiDAR和毫米波雷达点云约10%帧数的数据随机缺失了部分角度范围的点云;
3)GPS定位误差:为方便选手处理,车辆的GPS信息以二维坐标信息的格式给出,并添加了均值为0、方差为5的高斯噪声,以模拟实际应用场景中GPS的定位误差。
以下是本赛题任务输入输出的详细介绍:
任务输入:每种场景条件下路端设备(RSF,road side facility)采集的多模态感知数据。对于车联网场景,输入包含RGB相机图像、深度相机图像、LiDAR点云、毫米波雷达点云和车辆GPS信息;对于低空经济场景,输入包含RGB相机图像、深度相机图像和LiDAR点云。
任务输出:每种场景条件下,路端通信设备到车端通信设备之间接收信噪比从高到低的K个波束的序号(以下简称波束序号)。在预定义码本的128个波束中,top1_index, top2_index, top3_index为实现接收信噪比从高到低依次排列的三个波束的序号。结果提交的详细格式请到“仿真结果提交”标签页查看。
图2-0 赛题二输入输出示意图
(2)参赛指南
我们使用Top-k prediction accuracy指标作为评分标准,评分细则请见下方。
选手应以csv格式上传结果,细则请见“仿真结果提交”标签页,请选手严格按照格式提交结果,否则无法参加测评!
请您遵守比赛规则,文明参赛!
请在测试结果提交截止时间之前提交您的结果!
(3)评分标准
车联网/低空经济场景评估最优波束预测准确度的指标均为Top-k prediction accuracy:
其中:
,
m:预测的前m个最优波束,
:第k个sample前m个最优波束索引预测值,
:前m个最优波束索引真值,
σ:惩罚因子(取5),
N:测试集总数据量,
i:车联网场景序号,j:链路序号,
C:码本波束数量(128)。
车联网场景与低空经济场景的预测准确度均为预测Top-1、Top-2、Top-3最优波束预测准确度的加权平均
最后,取两组场景预测准确度测试得分的平均值作为选手的最终得分:
(4) 选手须知
1)所提交结果应与所提交代码运行结果相符,严禁造假,违者将被取消参与排名资格;
2)选手应基于所提供的数据集开发算法,禁止私自增加训练集;
3)应严格按照格式要求提交结果,格式不符者无法参与结果评测;
4)请在截止日期前提交您的结果,过期提交将被视为无效!
(5) 数据说明:
本届复杂交通场景通信与感知算法挑战赛将发布面向车联网与低空经济的混合通信与多模态感知仿真数据集供选⼿使⽤。其中,低空经济场景为城镇(超宽车道)场景,车联网场景同时包含了城镇(超宽车道)场景和郊区(分岔路口)场景。
数据集利⽤了Wireless InSite仿真软件来采集⽆线通信信道数据。通信频段包含了毫⽶波频段(载波频率为28 GHz和带宽为2 GHz)和sub-6 GHz频段(载波频率为5.9 GHz和带宽20 MHz)。为了采集多模态感知数据,我们利⽤了3D游戏引擎Unreal Engine®、AirSim仿真软件和WaveFarer®仿真软件。其中,路端和车端均搭载了多模态感知设备,包括RGB相机、深度相机、激光雷达(LiDAR)和毫米波雷达。数据集中的⽆线通信信道数据和多模态感知数据均包含了多车和多路端信息,涵盖了高、低车流量密度和上升、平飞、下降三种空中出租车飞行轨迹。
文件格式说明:
1)RGB图像文件(png格式),深度图像文件(png格式),LiDAR点云文件(txt格式):每⾏为⼀个浮点数,每3⾏为⼀组,依次代表⼀个点的三维坐标(x,y,z),毫米波雷达点云文件(mat格式):每个mat点云包含了N个点,每个点通过距离、角度和功率三个标量描述。
2)车辆GPS信息文件(position.txt)内容依次为车辆x轴坐标和y轴坐标,浮点值,⽤空格分隔;波束序号⽂件(beam_index.txt)内容依次为接收信噪⽐从⾼到低的前三个波束对应的码本序号,为1-128之间的整数值,⽤空格分隔。
3)本赛题共包含两大场景:车联网场景与低空经济场景。其中车联网场景包含高车流量分岔路口场景、低车流量超宽车道场景、高车流量超宽车道场景;低空经济场景主要为低车流量超宽车道到空中出租车的通信场景。
场景一:车联网场景
赛题二车联网场景中的数据文件夹共有四级目录,如图2-1所示,每个通信链路的每帧包括五种模态的感知数据(包括RGB图、深度图、LiDAR点云、毫米波雷达点云、GPS信息)和最佳波束序号(ground truth)。每个场景涵盖的具体链路信息请参考图2-2。为了选手更好地利用“position.txt”中的车辆GPS信息,图2-3、图2-4和图2-5分别给出了高车流量密度分岔路口场景、低车流量密度超宽车道场景和高车流量密度超宽车道场景中路端设备的具体位置信息。选手需注意,每一帧的文件夹下包含了若干对输入(一张RGB图,一张深度图,一个激光雷达点云、一个毫米波雷达点云、车辆的GPS数据)与输出(该通信链路的前三个最佳波束序号),以图2-1为例,车路方向超宽车道低车场景的路端设备RSF1的第1000帧数据文件夹下包含了三对输入和输出,每一对数据包含RGB数据、深度图数据、激光雷达点云数据、毫米波雷达点云数据、车辆[Car 13、Car 14、Car 19]的GPS数据和通信链路RSF1-车辆[Car 13、Car 14、Car 19]的前三个最佳波束序号。
图2-1 赛题二文件夹目录(车联网场景)
图2-2 三种场景涵盖的具体通信链路信息。例如,RSF(6, 7) * Car(4, 7, 9, 10)表示RSF 6、RSF 7和Car 4、Car 7、Car 9、Car 10两两构成的共8条通信链路
图2-3 高车流量密度分岔路口场景中路端设备的位置,单位:m(注:所提供的坐标是通信设备的位置,路端设备上通信设备和感知设备之间会有⼀定的距离间隔,下同)
图2-4 低车流量密度超宽车道场景中路端设备的位置,单位:m
图2-5 高车流量密度超宽车道场景中路端设备的位置,单位:m
值得注意的是,为了考验选手开发的模型对于实际车联网应用中可能出现的感知数据异常情况(比如意外遮挡、数据缺失)的适应能力,并使得感知数据更贴近于真实情况,车联网三种场景下的训练集和测试集均做了如下处理:
数据缺失:所有感知模态随机缺失约10%帧数的数据;
意外遮挡:RGB图和深度图约10%帧数的数据被随机遮盖部分区域;LiDAR和毫米波雷达点云约10%帧数的数据随机缺失了部分角度范围的点云;
GPS定位误差:为方便选手处理,车辆的GPS信息以二维坐标信息的格式给出,并添加了方差为5的高斯噪声,以模拟实际应用场景中GPS的定位误差。
场景二:低空经济场景
赛题二空中出租车-路场景中的数据文件夹共有四级目录,如图2-6所示,每个通信链路的每帧包括三种模态的感知数据(包括RGB图、深度图、LiDAR点云)和最佳波束序号(ground truth)。空中出租车-路场景涵盖的具体链路信息与地面路端设备位置信息请分别参考图2-7、2-8。
图2-6 赛题二文件夹目录(低空经济场景)
图2-7 低空经济场景的具体通信链路信息。例如,RSF 1 * AT表示RSF 1和6架空中无人车AT之间的通信链路,路端RSF根据需求对场景中的AT进行波束预测与追踪。数据集中包含各个RSF到所有AT的链路信息
图2-8 低空经济场景中地面路端设备的位置,单位:m
IVFC大赛已成功举办了十三届,大赛通过设置各类真实场景,测试和考察无人驾驶车辆的动态驾驶能力,通过建立赛道机制促进国内智能车技术的进步