AI基础设施文章
围绕GPU资源管理、GPU算力调度、大模型训练、大模型推理、模型服务和AI工作负载,整理适合继续阅读的文章。
-
Prompt管理怎么做?版本、评测和发布怎么配合
Prompt管理如果没有版本和评测,就很难在生产里稳定复用。本文讲清楚提示词从编辑到发布的治理方式。
-
RAG知识检索怎么治理?召回、排序和知识更新怎么评估
RAG系统好不好,不在于有没有接知识库,而在于召回、排序和更新是否真的可控。本文讲清楚治理方法。
-
AI模型可观测性怎么看?指标、链路和日志怎么定位问题
模型可观测性真正的价值,是让团队快速判断问题出在网关、模型、检索还是下游工具。本文给出定位方法。
-
MLOps平台选型:模型训练、部署、监控一体化
MLOps平台选型的关键,是让训练、部署和监控处在同一套治理链路里。文章从功能闭环、协作边界和运维能力三方面拆解。
-
LLMOps是什么意思?大模型运维与普通MLOps的区别
LLMOps不是把MLOps改个名字,而是把提示词、模型、评测和推理服务一起纳入运维。文章说明两者差异和适用边界。
-
模型推理服务:从部署到监控的全链路指南
围绕模型推理服务梳理生产化建设和选型评估要点,帮助团队把模型能力纳入可治理、可观测、可复盘的AI基础设施。
-
模型版本管理:MLflow模型注册表与生命周期管理
围绕模型版本管理梳理生产化建设和选型评估要点,帮助团队把模型能力纳入可治理、可观测、可复盘的AI基础设施。
-
私有化大模型部署:Ollama与vLLM方案对比
从私有化边界出发对比Ollama与vLLM,区分本地试用、部门服务和企业级推理入口。
-
AI API网关是什么?模型路由、Token计费与协议转换
围绕模型路由、Token计费和协议转换解析AI API网关,重点看多模型接入的工程治理。
-
AI Gateway是什么?AI API网关的核心能力解析
解释AI Gateway的定义、边界和核心能力,区分传统API网关与AI API网关在模型调用治理上的差异。
-
llm模型是什么意思?有哪些?
围绕llm模型是什么意思梳理生产化建设和选型评估要点,帮助团队把模型能力纳入可治理、可观测、可复盘的AI基础设施。
-
生成式AI工具有哪些?工作原理是什么?
梳理生成式AI工具的主要类型与工作原理,区分文本、图像、代码、知识问答、Agent和多模态工具,解释基础模型、提示词、检索增强、工具调用、权限控制、审计记录和人工审核如何共同构成企业级使用边界,并帮助团队从工具采购走向能力建设和流程治理实践。
-
GPU推理加速:TensorRT-LLM与预测解码技术
从GPU执行路径看TensorRT-LLM与预测解码的作用边界,强调企业上线前的验证和回退。
-
推理引擎有哪些类型盘点:LLM推理框架分类与选型
盘点推理引擎有哪些类型,从LLM服务框架、传统模型运行时、端侧轻量框架和编译优化工具划分边界,说明vLLM、TGI、TensorRT-LLM、ONNX Runtime、Ollama、llama.cpp等方向的适用场景、限制条件、生产化缺口与分类选型方法。
-
大模型推理加速有哪些方法?
梳理大模型推理加速方法,覆盖模型压缩、量化、KV Cache、连续批处理、预测解码、编译优化和部署治理,说明各类方法的适用边界、验证重点、潜在副作用和组合方式,帮助团队从瓶颈定位进入持续优化,并按不同应用场景选择合适的加速路径和回退策略设计。
-
大模型推理引擎对比:vLLM、TensorRT-LLM、TGI怎么选
从大模型推理引擎对比角度拆解vLLM、TensorRT-LLM、TGI的能力侧重、集成难度、优化空间、生命周期成本和适用边界,帮助团队围绕业务画像、硬件条件、平台治理和POC证据设计可落地的选型方案,并在报告中保留不确定性、失败路径和复盘依据。
-
大模型部署工具对比:Ollama vs vLLM vs llama.cpp
中性对比Ollama、vLLM与llama.cpp的部署边界,避免把本地工具、服务框架和轻量运行时混为一谈。
-
LLM网关:模型路由、Token限流与安全治理
从治理视角讲清LLM网关如何管理模型路由、Token限流和安全策略,适合多应用共享模型服务。
-
LLM推理加速方法对比:量化、预测解码与Continuous Batching
对比量化、预测解码与Continuous Batching的适用边界,帮助判断LLM推理加速方法的选择顺序。
-
大模型推理加速优化方案:从模型压缩到推理引擎
从模型、引擎、服务、网关和观测五层梳理大模型推理加速优化方案,适合企业做端到端治理。