大模型自然语言生成自动驾驶可编辑仿真场景（其一 共十篇）

自动驾驶场景仿真。目前的场景仿真方法一般可以分为三类：图形引擎、图像生成和场景渲染。图形引擎，例如 CARLA、AirSim、OpenScenario 编辑器， 51Sim-One和 RoadRunner，创建一个虚拟世界来模拟各种驾驶场景。然而，虚拟世界和现实之间存在着巨大的领域差距。图像生成方法可以基于不同的控制信号生成逼真的场景图像，例如高清地图、草图布局、边界框、文本编辑和驾驶行.然而，这些方法很难保持场景的一致性。 为了获得连贯的驾驶场景，需要基于场景渲染的方法对3D场景进行重构。使用点云并使用 U-Net 渲染图像。随着神经辐射场（NeRF）的快速发展，还利用 NeRF 在户外环境中对汽车和静态街道背景进行建模。此外，UniSim 等著名和MARS配备一套场景编辑工具。 然而，这些方法需要大量用户参与中间编辑步骤，并且它们不支持外部数字资产进行数据扩展。 在这项工作中，我们提出了ChatSim，它通过语言命令实现自动模拟编辑，并集成外部数字资产以增强真实感和灵活性。在 ChatSim 中，我们集成了 McNeRF，这是一种新型神经辐射场，旨在利用多摄像机输入实现高保真渲染。

照明估算。照明估算侧重于评估真实环境的照明条件，以无缝集成数字对象。早期方法对于户外环境，使用明确的提示，例如在地面上检测到的阴影。最近的工作通常采用基于学习的方法通过预测不同的光照表示，如球形波瓣、光探头环境 地图， HDR天空模型和照明量.但是，他们中很少有人考虑多摄像头输入，这在驾驶场景中很常见。在本文中，我们提出了一种新颖的多摄像机照明估计方法McLight，结合McNeRF，以估计更广泛的照明范围，并获得资产的空间变化照明效果。

3用于编辑的协作 LLM-Agents

ChatSim 中的代理包括两个关键组件：大型语言模型 （LLM） 和相应的角色功能。LLM 负责理解接收到的命令，而角色函数处理接收到的数据。每个代理都配备了独特的 LLM 提示和角色功能，这些提示和角色功能是根据他们在系统中的特定职责量身定制的。为了完成任务，代理首先在提示的帮助下使用 LLM 将收到的命令转换为结构化配置。 然后，角色函数利用结构化配置作为参数来处理接收到的数据并产生所需的结果;请参阅图 2 右侧的代理示例。此工作流赋予座席语言解释能力和精确执行能力。

项目经理代理。项目经理代理将直接命令分解为清晰的自然语言指令，并分派给其他编辑代理。 为了让项目经理代理具备命令分解的能力，我们为其 LLM 设计了一系列提示。提示的核心思想是描述动作集，给出总体目标，并用示例定义输出形式; 角色函数将分解后的指令发送给其他代理进行编辑。项目经理代理的存在增强了系统在解释各种输入方面的稳健性，并简化了操作，以实现清晰和精细的粒度。

用于视图调整的技术代理。视图调整代理生成合适的外部相机参数。代理中的 LLM 将用于视点调整的自然语言指令转换为目标视点位置和角度的运动参数。在角色函数中， 这些运动参数被转换为外在所需的变换矩阵，然后将其乘以原始参数以产生新的视点。

用于后台渲染的技术代理。后台渲染代理根据多机位图像渲染场景背景。LLM 接收 rendering 命令，然后操作角色函数进行 rendering。值得注意的是，在角色函数中，我们专门集成了一种新颖的神经辐射场法 （McNeRF），该方法采用多摄像机输入并考虑曝光时间，解决了多摄像机渲染中的模糊和亮度不一致问题。

车辆拆卸技术代理。车辆删除代理从背景中删除指定的车辆。它首先从给定的场景信息或场景感知模型（如）中识别当前车辆属性，如 3D 边界框和颜色，例如LLM 收集车辆的属性并执行与用户请求的匹配。在确认目标载体后，它采用每帧修复模型作为角色函数，例如潜在扩散方，以有效地将它们从场景中删除。

用于 3D 资产管理的技术代理。3D资产管理代理根据用户规格选择和修改3D数字资产。它构建并维护一个 3D 数字资产库;请参阅附录中的银行详细信息。为了方便添加各种对象，代理首先使用 LLM 通过匹配需求的关键属性（例如颜色和类型）来选择最合适的资产。如果匹配不完美，代理可以通过其角色函数（如更改颜色）修改资产。

车辆运动的技术代理。车辆运动代理根据请求创建车辆的初始位置和后续运动。现有的车辆运动生成方法不能纯粹从文本和场景地图直接生成运动。为了解决这个问题，我们提出了一种新颖的文本到动态方法。其关键思想是将作为角色函数的放置和规划模块与 LLM 链接起来，以提取运动属性并将其转换为坐标。 运动属性包括位置属性（例如距离、方向）和运动属性（例如速度、动作）。 对于放置模块，我们赋予车道地图中的每个车道节点以匹配其属性以匹配位置属性。规划模块规划车辆的近似目的地车道节点，然后通过拟合贝塞尔曲线来规划中间轨迹。 我们还添加了轨迹跟踪适应车辆动力学;更多详细信息请参阅附录。

前景渲染的技术代理。前景渲染代理集成了摄像机外部信息、3D 资源和运动信息，以渲染场景中的前景对象。值得注意的是，为了将外部资产与当前场景无缝集成，我们设计了一种多摄像机照明估计方法（McLight）到角色函数中，并与McNeRF耦合。然后，Blender API 利用估计的照明来生成前景图像。