中国企业首次实现ChatGPT级模型端侧部署 | 2026-10-12 AI 日报

今天的AI圈动态集中在大模型落地和性能升级两个方向,不管是端侧部署的突破还是云端模型的能力扩容,都指向大模型正在往更实用的场景落地。

近期大模型落地新进展

国产AI芯片企业在10月11日发布了业界首个能在手机端本地运行的ChatGPT级大模型方案,130亿参数的大语言模型可以在不联网的手机上运行,响应速度达到每秒30个token,这也是中国企业首次实现ChatGPT级模型的端侧部署。之前端侧运行的大模型大多参数规模较小,能力和云端大模型有明显差距,这次130亿参数级别的模型能在手机离线状态下运行,意味着用户的敏感数据不需要上传到云端就能获得接近GPT级别的AI服务,对于隐私要求高的使用场景是实质性的突破。天工国际有限公司

OpenAI在10月12日宣布,Codex和Work环境下的GPT-6.1 Sol默认上下文长度从之前的272k提升到了500k,涨幅接近80%。上下文长度直接决定了大模型能同时处理的文本长度,500k的上下文相当于可以一次性输入几十万字的文档,对于需要处理长文档、多轮复杂对话的工作场景,比如代码项目通读、长篇合同审核,不需要再拆分文档分段输入,能大幅减少上下文丢失的问题。OpenAI方面也表示后续还会继续提升上下文长度,未来长文本处理的门槛还会进一步降低。今日头条

大厂模型能力新布局

微软Azure AI Foundry在10月11日上架了xAI的Grok 4.6多模态大模型,这款模型主打编码、工程、知识工作、研究和智能体工作流场景。xAI的Grok系列之前一直以实时信息处理和编码能力为特色,这次登陆微软的模型目录,意味着企业用户可以直接在Azure的生态里调用这款模型,不需要额外对接xAI的接口,对于已经在使用Azure服务的开发团队来说,多了一个高适配性的模型选择。Azure AI Foundry

微软CEO萨提亚·纳德拉在10月11日透露,微软自研的Decision-1模型在结构化决策任务上已经达到了顶级性能。结构化决策任务比如供应链调度、财务风险判定、企业流程审批这些需要基于规则和数据做判断的场景,之前一直是传统算法和大模型结合的难点,Decision-1的性能突破,说明大模型正在从通用内容生成往专业决策场景渗透,未来企业的运营决策可能会更多借助这类专项大模型完成。gmt8press.com

NVIDIA在10月12日的技术博客中发布了mPDLP相关技术,能够将决策优化的规模扩展到1亿个变量甚至更高的量级。决策优化是Agentic AI(智能体AI)落地的核心技术之一,之前的决策优化算法处理变量规模有限,很难应对超大规模的复杂场景,比如城市级的交通调度、超大型企业的供应链规划,这次技术突破也为智能体AI处理超大规模复杂任务打下了基础。NVIDIA

今日行动建议

有长文档处理需求的开发者和职场用户,可以优先体验GPT-6.1 Sol升级后的500k上下文能力,测试整份长文档输入后的处理效果;使用Azure服务的开发团队可以关注Grok 4.6模型的调用文档,评估其是否适配自身的编码、智能体开发需求。

今日小思考

今天的几条动态刚好对应了大模型发展的两个方向:一边是往端侧走,让更小的设备也能跑起来能力足够强的模型,解决隐私和响应速度的问题;一边是往云端走,不断扩容上下文、优化决策能力,解决更复杂的专业问题。两条路线其实并不矛盾,未来很可能是端侧处理日常轻量、隐私需求高的任务,云端处理超大规模的复杂任务,两者配合覆盖更多的使用场景,而不是某一种路线完全替代另一种。

📌 信息来源:天工国际有限公司、今日头条、Azure AI Foundry、NVIDIA、GMT8 Press

🤖 声明:本文由AI自动收集整理发布,仅供学习参考,不构成投资建议。

端侧130亿参数大模型跑通,独立开发者的本地AI生意终于能落地了

今天最值得关注的不是OpenAI又涨了上下文,而是国产芯片厂把130亿参数的ChatGPT级大模型塞到了手机里,还能离线跑,每秒出30个token。之前大家做本地AI工具总卡在性能,要么模型太小不够用,要么跑起来卡到没法用,这个突破直接把端侧应用的门槛拉下来一大截。

OpenAI那边把GPT-6.1 Sol的默认上下文拉到了500k,比之前多了近80%,做长文档处理、长期会话类工具的开发者暂时不用费劲搞什么分段拼接、上下文压缩了,直接调用就能搞定大部分长文本需求。不过要注意这个提升只覆盖Codex和Work环境,别搞错了适用场景。

做企业服务的可以多留意下微软刚提的Decision-1模型,公开信息说它在结构化决策任务上比通用大模型表现还好,加上刚上架Azure的grok-4.6本身就擅长工程、智能体相关的工作流,搭配起来做企业内部的决策辅助、自动化审批这类工具,会比用通用大模型的效果好不少。

这周可以抽两个小时试试端侧130亿参数模型的公开demo,算下本地运行的延迟和效果,看看自己之前想做但跑不起来的离线AI笔记、本地私人助理这类工具现在能不能做。别都盯着云侧API卷,端侧刚放开的空白市场,现在入场还能吃第一波红利。

— 2026年10月12日 星期一 —

手机扫描二维码访问

微信扫一扫支付
微信logo微信扫一扫,打赏作者吧~
标签:AI趋势
不喜欢2

本文链接:https://5x10.cn/post/753.html

猜你喜欢

网友评论