行业痛点
大语言模型应用开发流程中，prompt调试、效果评估、上线观测三个核心环节长期存在割裂问题。研发团队往往需要同时拼凑多个工具：prompt版本控制用Git，效果评估靠人工统计，运行观测需要单独对接APM工具，不同工具之间数据无法打通，额外增加大量沟通和适配成本。
企业部署大语言模型应用时，数据安全要求往往不允许核心流量和prompt配置流出内部基础设施，多数SaaS化LLM开发工具无法满足合规要求。私有部署方案要么功能不全，要么授权成本过高，中小团队和独立开发者难以负担。
基于MIT协议完全开放核心功能的本地部署LLM开发平台，填补了开源领域的产品空白，解决了多数团队的实际痛点。
项目概述
该项目核心代码于2025年11月完成开源，所有核心功能均采用MIT协议开放，仅企业级协作功能保留商业授权。项目采用公开开发模式，所有研发过程均在公开仓库进行，接受社区贡献和功能需求反馈。
项目核心定位是覆盖大语言模型应用从构建、测试到部署全流程的本地开发平台，目标是让所有规模的团队都能在自有基础设施上完成LLM应用全生命周期开发。
技术架构深度分析
项目整体采用前后端分离架构，后端基于Python FastAPI框架开发，适配容器化部署，前端采用React框架构建富交互界面，支持一键docker-compose启动，适配大多数主流云服务器和本地开发环境。架构设计遵循模块化原则，核心功能模块独立解耦，二次开发时可以针对特定模块修改，不影响整体运行。
核心配置层采用版本化管理设计，prompt和应用配置的每次修改都会生成唯一版本记录，支持回滚和对比，适配研发过程中的反复调试需求。配置层对外暴露程序化获取接口，应用运行时可以实时拉取最新配置，不需要重新发布应用即可更新prompt逻辑。
可观测性模块原生支持OpenTelemetry标准，不需要研发团队改造现有埋点逻辑，即可对接已有的可观测体系，同时自身提供完整的 traces 查询、过滤和可视化能力，中小团队不需要额外搭建观测平台即可使用。这种设计兼顾了小团队开箱即用的需求和大型企业对接现有体系的需求，架构灵活性较高。
授权设计采用核心开源+企业功能商业授权的模式，既保证了大多数用户的使用自由，也通过商业授权维持项目持续开发，这种模式平衡了社区用户和商业公司的需求，避免了纯商业化闭源或者完全免费无持续维护的问题。
核心功能详解
LLM原生评估系统
该项目支持多种评估方式，包括内置标准评估器、LLM作为裁判的自动化评估，以及自定义代码评估器。支持针对整个端到端工作流或者追踪中的特定片段进行评估，满足不同粒度的效果验证需求。
系统自带测试集创建和管理功能，研发团队可以沉淀历史测试用例，每次修改prompt后快速批量验证效果，避免人工测试的遗漏和偏差。该设计大幅降低了LLM应用迭代的验证成本，让持续迭代成为可能。
Prompt调试 playground
提供可视化界面实时调试prompt和大语言模型的交互，修改参数后可以立即看到输出结果，不需要在代码中反复修改重启。所有修改都支持版本化提交和管理，不同版本之间可以快速切换对比效果。
调试完成的prompt可以直接部署到指定环境，研发流程从调试到上线无缝衔接，不需要额外的配置迁移工作。针对多环境部署需求，支持不同环境推送不同版本的配置，满足开发、测试、生产的隔离要求。
程序化配置获取
部署完成的应用配置支持通过API接口程序化拉取，应用运行时可以动态获取最新的prompt和参数配置，不需要重新构建镜像或者重启服务即可完成逻辑更新。对于需要快速迭代prompt的业务场景，该功能可以大幅缩短上线周期。
配置拉取支持版本锁定和动态更新两种模式，生产环境可以锁定稳定版本，测试环境可以自动跟进最新版本，兼顾了生产稳定性和测试灵活性。
OpenTelemetry全链路追踪
原生支持OpenTelemetry标准，LLM应用的所有调用流程都会生成完整的执行链路，支持查看每个步骤的输入输出、耗时和token消耗。链路数据支持全量搜索和多维度过滤，可以快速定位异常请求的问题点。
该功能同时支持成本和性能监控，可以按时间段统计不同模型的调用次数、token消耗和总成本，也能统计每个接口的平均耗时和错误率，帮助研发团队掌握应用运行状态，优化成本和性能。
本地全功能部署
所有核心功能都可以部署在自有基础设施中，所有数据都保存在团队内部，满足数据安全和合规要求，不需要将prompt和业务请求发送给第三方SaaS服务。MIT授权允许自由修改和使用，不需要支付核心功能的授权费用。
部署流程提供官方快速开始指南，支持docker-compose一键启动，十分钟内即可完成基础环境搭建，不需要复杂的环境配置，对开发者非常友好。
企业级协作功能可选
针对有合规和安全需求的大型团队，提供商业授权的企业协作功能，包括基于角色的访问控制、单点登录和审计日志。这些功能针对大型团队的协作和合规要求设计，满足企业级客户的特殊需求。
核心功能和企业功能采用分层设计，中小团队不需要企业功能也能正常使用全流程开发，不会因为额外功能增加部署复杂度和成本，需要升级时可以直接切换到商业授权，不需要迁移数据和业务。
项目地址：https://github.com/Agenta-AI/agenta
⭐ Stars：4765
🔍 来源：GitHub
Agenta is a workspace where you and your team build agents and automations.
微信扫一扫，打赏作者吧～
