AI发展正酣，随着终端芯片算力慢慢的升高、端侧模型能力越来越强、实时响应及隐私保护的端侧应用需求增加，端侧AI已然具备落地的条件。端侧AI离客户和应用场景更近，也是具象化AI的重要方式。能够正常的看到，端侧AI的浪潮“涌现”而至，原有的使用者真实的体验和生态格局将迎来革命性重塑。
端侧AI是指在终端设备（如车载智能座舱、智能除草机、机器人等终端场景或设备）上进行AI计算和处理，运行端侧模型。相较于云端大模型，端侧大模型在资源有限的设备上高效运行，需进一步对模型进行压缩、推理加速及能耗优化。目前轻量化模型技术包含模型剪枝、知识蒸馏和量化，以上技术往往组合使用，以达到最优的轻量化效果。将大模型部署在端侧设备中，可高效赋能智能终端，如降低延迟，更快地响应用户请求；隐私保护，减少数据传输，以此来降低隐私泄露的风险；减轻云端服务器的计算负担，降低对中心化计算资源的依赖，以此来降低成本；根据用户的具体设备和使用习惯进行定制化优化，提供更个性化的服务；无网络连接的情况下也能使用，提高了应用的可用性和灵活性。
基于大模型在端侧部署的特点和优势，已落地或即将落地的应用场景包括：智能手机、智能家居、可穿戴设备、无人驾驶汽车、工业自动化、医疗设施等。随着AI技术的进步和芯片产业的发展，端侧部署AI的挑战正逐步被克服，更多的端侧应用场景正在落地实现并逐渐成熟。
首先，大模型本身的算法逐步在优化，在众多细分行业，模型的计算效率相较上一代均有一定量级的效率提升。模型参数变得更小，使用者真实的体验却更加智能。再者，更多参数较小的大模型被开源，且AI能力日趋成熟，例如智谱AI、阿里千问等大模型厂商都开源了亿级（0.xB左右）到百亿级（x0B）的大模型预训练模型。这大幅度的降低了大模型应用开发者的使用门槛，同时加速端侧AI部署。此外，算法层级的技术，包括模型量化、剪枝、蒸馏为基础的模型压缩算法，以及专为端侧部署设计的软硬件平台，都正在加快速度进行发展，这使得大模型在端侧设备的部署变得更高效。以上模型变化趋势使得端侧AI在本地所需算力、部署成本、运行效率得到极大的提升，将助力各行各业智能升级。
目前，端侧AI芯片厂商、中游模组及软件厂商、下游终端厂商的产业链上下游正积极推动AI在端侧部署落地。多个芯片厂商已推出最新处理器，支持终端侧多模态生成式AI，并完成多款大模型的适配。广和通持续为AIoT产业提供模组及解决方案，正积极探索端侧AI有关技术，并已推出多款可应用于机器视觉、具身智能、智能割草等场景的端侧AI解决方案，满足多种终端对算力及模型的需求。
在端侧AI应用上，广和通深度布局视觉与听觉计算，推出高算力和轻量化机器视觉解决方案，融合了先进的解决能力与边缘计算优势，采用了目标检测、关键点检测、图像分割、超分辨率、图像增强、360环视拼接等高效的视觉处理算法。此外，广和通机器视觉解决方案支持蓝牙、Wi-Fi等多种无线通信连接方式，在高端智能影像终端、工业视觉终端、车载终端、机器人均具有广泛应用场景。
AI大模型作为当前AI领域的重要技术，是孕育新质生产力的重要手段。作为大模型应用的一个重要的实践领域，端侧AI大模型的全面落地发展需要全产业链推动，包括芯片算力增强、模型优化、软件厂商适配以及终端厂商的落地应用。广和通积极整合产业上下游资源，为产业提供融合通信、算力、AI算法、AI引擎、模型等能力的端侧AI解决方案，加速AI商用至终端。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
有股友统计，可口可乐从1919年至2024年，105年间涨了大概50万倍
韩综“年终总结”，意外爆出具俊晔线岁唐国强近照，老到认不出，走路小心翼翼
综合续航超1400km 奇瑞风云T11首台PT车下线 PLUS中型SUV 外观内饰均升级
《编码物候》展览开幕 北京时代美术馆以科学艺术解读数字与生物交织的宇宙节律
下一篇:电脑杀毒软件哪个好