AI基础设施文章
围绕GPU资源管理、GPU算力调度、大模型训练、大模型推理、模型服务和AI工作负载,整理适合继续阅读的文章。
-
云原生机器学习平台:AML与K8s集成实践
云原生机器学习平台不能只做上层工作台,也不能只给算法团队一个K8s集群。文章拆解AML对象与K8s资源的映射关系,帮助团队打通训练到推理闭环。
-
国产GPU适配:昇腾、海光、寒武纪统一纳管方案
国产GPU适配不能停留在设备识别层面。文章用证据地图拆解硬件、驱动、运行时、框架、调度、观测和业务验收,帮助团队谨慎规划统一纳管范围。
-
机器学习工作流自动化:从开发到部署的完整闭环
机器学习工作流自动化的重点不是工具堆叠,而是让每次模型变化都能追踪来源、质量、发布状态和运行反馈。文章给出从开发到部署的闭环设计。
-
MaaS vs PaaS:模型服务与平台服务的边界在哪
MaaS vs PaaS不是替代关系。PaaS强调应用运行、交付和平台能力,MaaS强调模型目录、推理调用、用量计量和AI应用治理。企业需要看清两者的边界和组合方式。
-
MaaS平台有哪些核心功能?模型目录、统一API与用量分析解读
MaaS平台核心功能至少要覆盖模型目录、统一API、权限控制、推理托管、用量分析和运营审计。功能列表不是目的,关键是让模型能力能被安全复用、稳定调用和持续优化。
-
KV Cache是什么意思?大模型推理加速的核心技术
KV Cache是在大模型生成过程中复用历史注意力计算结果的缓存机制。它能降低重复计算,但会持续占用显存,因此企业推理平台要同时治理速度、并发、上下文长度和显存水位。
-
PagedAttention是什么?vLLM推理加速的技术原理
PagedAttention通过分页方式管理KV Cache,让大模型推理更高效地利用显存。它的价值不只是单次请求更快,而是在多请求、长上下文和动态批处理场景下降低缓存碎片和调度压力。
-
大模型推理两阶段:Prefill与Decode的区别与优化
大模型推理通常可拆成Prefill和Decode两个阶段。Prefill更像读入上下文,Decode负责逐Token生成。两阶段的瓶颈不同,优化手段也不同,不能只用平均响应时间判断。
-
MaaS厂商有哪些?主流平台能力维度与适用场景
MaaS厂商盘点不能写成无依据排名。企业更应该按模型供给、平台托管、私有化交付、生态集成和服务支持来比较主流平台,判断哪类供应商适合自己的数据、合规和运维边界。
-
AI网关是什么意思?大模型流量的统一治理枢纽
AI 网关不是普通 API 代理。它要把模型调用、身份权限、Token 用量、限流降级和审计观测收拢到一个可治理的入口。
-
AI网关技术盘点:统一API、Token限流与语义缓存
AI网关的关键技术不只是一层反向代理。统一API解决模型接入差异,Token限流控制成本和稳定性,语义缓存减少重复请求,审计和路由策略则让大模型应用进入可运营状态。
-
模型即服务(MaaS)是什么?企业AI应用的模型服务入口
模型即服务(MaaS)不是模型 API 的同义词。它要把调用入口、权限、用量和责任边界一起管起来,才能真的成为企业公共 AI 服务入口。
-
模型即服务模式的三种服务:API调用、平台托管与全栈交付
模型即服务模式常见有API调用、平台托管和全栈交付三类。三者不是价格档位差异,而是责任边界、数据控制、算力管理和运维深度不同,适合不同规模和合规要求的企业。
-
模型即服务平台选型指南:功能、成本、生态三维度对比
选 MaaS 平台时,最容易被模型列表和 Demo 体验带偏。真正该比的,是功能闭环、真实成本和能否接进企业现有流程。
-
MaaS vs传统AI部署:企业转向模型即服务的决策边界
MaaS vs传统AI部署的差异不在“谁更先进”,而在交付责任、资源治理、模型更新和应用接入方式不同。企业是否转向模型即服务,取决于模型复用、团队协作和运营治理压力。
-
MaaS模型未来趋势:从模型调用到AI应用生命周期管理
MaaS模型的趋势正在从单次模型调用走向AI应用生命周期管理。企业关注点会逐步扩展到模型目录、提示词版本、评测、灰度发布、用量治理和安全审计。
-
大模型MaaS平台:GPU算力转化为AI服务的关键路径
GPU 只是起点,真正要做的是把资源池、模型镜像、推理服务和调用入口连成一条稳定服务链。链路跑不通,模型服务就只能停留在“有卡”阶段。
-
GPU如何支撑大模型推理?显存、计算与调度链路解析
GPU 推理真正的瓶颈常常不在算力,而在显存、KV Cache、批处理和请求队列。先拆链路,再谈优化,判断会更准确。
-
大模型推理优化盘点:量化、预测解码与KV Cache怎么选
大模型推理优化不能把所有技术混在一起使用。量化主要影响模型体积和显存,预测解码影响生成速度,KV Cache影响长上下文和并发,选择时要看任务、延迟和准确性边界。
-
异构算力是什么意思?CPU、GPU、NPU混合调度
异构算力的难点在于CPU、GPU、NPU各自适合不同任务。本文用任务类型、资源标签、调度队列和验收证据说明混合调度怎么落地,并补充资源准入、平台运营报表和扩容判断方法。