想象一下，未来你的手机就像一个大模型，随时随地都可以与AI进行对话，而无需联网。这不再是遥不可及的科幻，而是即将成为现实。3月28日，阿里云与知名半导体公司MediaTek联发科宣布了一个令人振奋的消息：通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台。这意味着，用户可以在离线时流畅运行多轮AI对话应用，手机AI体验将得到大幅提升。
在过去，要使用大模型必须连上互联网。但现在，随着通义大模型完成芯片级的软硬适配，用户可以在离线状态下享受到AI带来的便利。这种端云混合AI的模式，不仅在运营成本、用户信息安全、实时性和个性化用户体验等方面具备显著优势，还为手机AI带来了全新的可能性。
要将大模型部署并运行在终端，需要完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配。这其中存在着技术未打通、算子不支持、开发待完善等挑战。但阿里云与MediaTek的合作，通过模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度的合作，成功实现了基于AI处理器的高效异构加速，将大模型“装进”并运行在手机芯片中，为端侧AI的Model-on-Chip部署开创了新模式。
在天玑9300设备上，用户可以离线完成基于通义千问大模型的AI多轮会话。这款18亿参数的开源大模型在多个权威测试集上性能表现远超此前的SOTA模型，推理2048 token最低仅用1.8G内存，是一款低成本、易于部署、商业化友好的小尺寸模型。天玑9300集成了MediaTek第七代AI处理器APU790，内置硬件级的生成式AI引擎，推理时CPU占有率仅为30%左右，RAM占用少于2GB，推理速度超过20tokens/秒，表现出极佳的性能与功耗表现。
未来，相关成果将以SDK的形式提供给手机厂商和开发者。用户将可以随时随地通过手机与AI智能体进行对话，实现自动建立并完成任务。这将为开发者和终端设备厂商带来更广阔的创新机遇，为用户带来更多令人兴奋的AI产品体验。
阿里云与MediaTek的合作还将继续深入，未来将推出更多尺寸的大模型，支持更多AI智能体及应用的开发。通过整合AI算力和大模型能力，他们将为开发者和企业提供更完善的软硬联合开发平台，促进AI应用、AI智能体生态的快速发展，为用户带来更多令人兴奋的AI产品体验。AI智能体解决方案计划已经启动，未来的发展令人期待。