小鹏：面向AI2.0智能座舱开发

baoshijie

小鹏汽车最近做了一份技术交流，面向AI2.0的智能座舱开发的介绍，里面有些内容可能对大家有启发，我们在这里给大家摘录一些有价值的内容。



AI的背景

一开始，主要讲一些背景知识。



智能座舱化主要交互能力

语音能力: 语音体验演进的核心准则和方向是直观、迅捷、无缝、灵活和情感化。

视觉能力: 当前主要应用在驾驶员监控系统、座舱监控系统、手势等人机交互的检测和识别中。

音频能力: 座舱音频技术的发展主要往拾音降噪、音质声效、主动降噪、空间音频方向演进。

多模态交互阶段，方式逐渐拓展丰富，视觉、语音、触觉、生物识别及新上车的嗅觉交互相互结合，成就更精准、更便捷的交 互体系，多方联动为用户打造车内覆盖全感官的沉浸式体验。











在ISSCC 2023，AMD 提出系统级创新概念，即从整体设计的上下游多个环节协同设计来完成芯片性能的提升，并给出使用该概念实现数量级的效率提升案例。MI300X是针对大语言模型(LLM)专用的卡，包含12 个 5nm chiplets ，1530亿个晶体管，192GB的HBM3内存，内存带宽达到5.2TB/s，Infinity Fabric带宽达到896GB/s。单芯片运行400亿参数大模型。将存算一体、Chiplet(芯粒)、3D封装等技术同步使用，很有可能带来数量级的效率提升，从而突破性能瓶颈。具备了更大的有效算力、放置更多的参数、实现更高的能效比、更好的软件兼容性、从而抬高AI大算力芯片的发展天花板。



芯片的算力需求快速增长和主机厂需求的差异化，将会使得车载芯片迭代周期和芯片开发周期出现失配，车载处理芯片迭代周 期不能完全满足算力的需求增长速度和嘌?裕?靶酒?读�&外挂AI芯片”形态在未来几年内会是主要的智能座舱形态。



大多数OEM更喜欢用一个SoC平台覆盖从高到低不同的产品配置。车厂不想每个新的软件功能中都要使用不同的开发环境。他们渴望统一的软件平台，在一个平台上设计从座舱到ADAS的各种应用。



AI芯片生态

高通Snapdragon Ride Flex平台。可以使用不同的芯片组合，可同时支持数字座舱、ADAS 和 AD 功能的功能开发。关键的是 使用模块化、可编程的通用架构。MediaTek宣布与NVIDIA达成合作，打造集成NVIDIA GPU 芯粒的Dimensity Auto汽车平台，为软件定义汽车提供完整的AI智 能座舱方案。提供了从入门到高端的完整解决方案，这对车厂来说真的是一个优势，因为他们可以在单一的堆栈上统一他们的 软件开发工作。芯片公司建设AI生态将是非常重要的。

高通在移动端领域拥有强大的AI芯片和软件生态系统。

英伟达则在数据中心和自动驾驶领域拥有领先的AI技术。

算法是AI解决问题的机制 大语言模型发展中两个趋势:

巨大模式是全模态,海量参数,期待涌现, bigger and smarter,从大数据到全数据的发展;

小微模式是模型压缩和优化 free and smaller,力争在有限资源达成近似性能。

大模型部署







联邦学习(Federated Learning)是一种分布式机器学习方法， 它允许在保护用户数据隐私的同时，对各个设备或边缘节点进行 模型训练。在 2016 年由谷歌最先提出，原本用于解决安卓手机终端用户在 本地更新模型的问题，其设计目标是在保障大数据交换时的信息 安全、保护终端数据和个人数据隐私、保证合法合规的前提下， 在多参与方或多计算结点之间开展高效率的机器学习。联邦学习天然是为了解决数据泄露问题而提出的，大模型天然具 有大量的训练数据，如果能将二者结合起来，互为补充，以己之 长攻彼之短，以己之短消彼之长，二者相互学习，共同促进模型 的改善。















三维显示技术在汽车座舱中的应用为驾驶员提供了更加沉浸式和交互性的体验，使其能够更直观地获取信息并做出准确的驾驶决策。通过多模态交互，系统可以实时感知用户的姿势和位置信息，驶员可以与座舱内的虚拟形象进行互动，从而更加直观地获取所需的 信息和功能。三维导航地图，驾驶者可以看到周围建筑物、山脉、河流等地理景观，更加准确地识别自己所处的位置和行车路线。提供三维游戏、电影、音乐等娱乐内容，使驾驶者的驾驶体验更加丰富和个性化。



主动交互:将车辆数据(如疲劳监测、手机互联、娱乐系统、空调、充电、座椅、GPS、空气质量)与车内多模态交互(包括 语音、语音合成、文字输入、视线跟踪、手势识别、情绪识别和生物识别)融合在一起，创造出沉浸式的座舱交互体验。结合座舱外环境、整车行驶状态以及系统对过往用户状态和行为的"记忆"的基础上，通过综合更多维度的信息，可以更准确 地判断用户的意图，并提供主动而无感的服务。

健康监测:通过监测用户的生理指标，如心率、血压、呼吸等，预测用户的健康状态，提供定制化的保健建议，满足个性化医 疗。

智能诊断:汽车维修保养和服务也将变得更加自主和无缝。通过分析传感器输入、维修保养历史和驾驶行为等数据，数字助 手可以预测何时需要进行保养。利用生成式AI，数字助手可针对汽车如何维修提供信息，或为用户提供咨询，找到合适的服 务提供商，提高车辆可靠性，同时减少时间和成本。











智能汽车正是具身智能的一个典型应用场景。这个系统已经具备了:? 视觉功能(摄像头) ? 触觉功能(Lidar/ Radar 点云) ? 感觉功能(温度与雨滴传感器) ? 听觉功能(麦克风) ? 思考功能(算力平台) ? 沟通功能(V2X，音响，喇叭) ? 移动功能(纵向/横向)等 如果AI可以像人类一样通过视觉、听觉、嗅 觉、味觉、触觉等多模态传感器收集并有效 处理这个世界的各类信息。将具有更加强大 和广泛的感知和认知能力