AIHOT:自动完成热点采集筛选聚合与日报生成的行业热点站框架 | 2026/10/29

行业内容生产的普遍痛点

垂直领域的内容运营人员,日常需要从数十个分散的信源中手动爬取、筛选信息,再从中识别出正在发酵的热点事件,整个流程耗时耗力,且人工筛选的标准完全依赖个人经验,不同运营人员产出的热点内容质量差异极大。

多数团队没有足够的技术资源搭建定制化的热点处理管线,通用的资讯聚合工具无法适配特定行业的专属判断标准,只能拿到泛化的热点内容,很难筛选出真正对行业从业者有价值的细分信息。

现有同类工具的提示词、筛选门槛、热度计算逻辑大多处于黑盒状态,使用者无法调整规则适配自身业务需求,最终产出的内容始终和预期存在偏差。

项目概述

该项目由设计师背景的开发者主导开发,核心为一套完整的热点处理引擎,所有提示词原文、入选门槛规则、聚簇逻辑和热度算法全部公开。项目核心定位是可高度自定义的行业热点站框架,使用者仅需替换对应信源和领域专属的精选规则,即可生成适配自身行业的专属热点站点。

项目线上运行的主站面向AI领域输出热点内容,开源版本引擎和线上运行版本代码完全同步,仅移除了仅适配AI行业的专属功能和主站运营相关的内部工具,所有通用能力全部对外暴露。

技术架构深度分析

技术选型逻辑

项目采用Node.js 24作为后端运行环境,搭配PostgreSQL 17作为数据存储层,整套服务可通过Docker Compose一键编排部署。这套选型没有使用复杂的微服务拆分方案,所有核心逻辑都收敛在单服务内,大幅降低了小团队的部署和二次开发成本。

Node.js的异步IO特性适配多信源并行采集的场景,可同时发起数十个信源的内容拉取请求,不需要额外引入复杂的任务调度中间件。PostgreSQL 17的全文检索和向量扩展能力,可直接支撑事件聚簇阶段的相似度计算需求,不需要额外部署独立的向量数据库,减少了整套系统的运维复杂度。

核心模块组织方式

整套系统按照数据流转的顺序划分为四个独立的逻辑模块,模块之间通过数据库做数据解耦,没有强依赖的调用关系。采集模块负责从配置的信源拉取原始内容,清洗模块对原始内容做格式归一化处理,热点处理模块完成大模型打分、事件聚簇、热度排序的核心逻辑,输出模块负责生成前端页面和每日日报内容。

模块之间的解耦设计允许使用者单独替换任意模块的实现,比如不需要默认采集逻辑的团队,可以直接将自己已有的内容数据源写入指定数据库表,后续的热点处理流程完全不需要修改即可正常运行。

架构设计的优势

这套架构没有追求通用框架的大而全,所有设计都围绕垂直热点站的核心需求做裁剪,去掉了大量不必要的抽象层,代码整体逻辑非常直白,二次开发的门槛极低。即使是没有丰富后端开发经验的行业从业者,也可以快速看懂核心规则的实现位置,调整符合自身需求的配置。

所有核心的判断规则都没有硬编码在业务逻辑里,全部以提示词和配置项的形式对外暴露,不需要修改业务代码,仅调整配置内容即可完全改变热点筛选的偏好,适配不同行业的判断标准。

核心功能详解

多信源并行采集与自动清洗

系统支持批量配置不同类型的信源地址,可并行拉取各个信源发布的最新内容,自动去除重复的原始条目,对不同格式的内容做统一的结构化处理。采集得到的原始内容会自动存入数据库做持久化存储,可回溯任意历史时间点的原始信源内容。该功能不需要额外对接第三方采集工具,所有内容拉取和预处理流程全部在系统内部完成,减少了外部依赖带来的不稳定因素。

双独立大模型打分筛选机制

系统对每一条原始内容调用两次独立的大模型打分流程,两次打分使用不同的提示词规则,最终取两次得分的平均值作为内容的初始评分。评分低于预设门槛的内容会被直接过滤,仅保留得分达标的内容进入后续处理流程。双打分机制可大幅降低单次大模型调用的误判概率,避免低质量内容进入后续的聚簇环节,减少不必要的计算资源消耗。

同源事件自动聚簇聚合

系统会对不同信源指向同一事件的多条内容做自动聚簇处理,合并不同来源对同一事件的描述信息,生成统一的事件条目。聚簇完成后系统会自动统计同一事件的信源覆盖数量,将该数值作为热度计算的核心维度之一。该功能可避免热点页面出现大量重复的同事件内容,用户不需要反复查看不同来源对同一件事的重复报道,大幅提升内容浏览效率。

热点热度自动排序

系统基于事件的信源提及量、内容得分、发布时间三个维度计算每个事件的综合热度值,按照热度值从高到低完成热点排序。排序算法的权重参数全部支持自定义调整,不同行业可根据自身对热点的判断标准调整不同维度的权重占比。最终生成的热点列表完全符合对应行业从业者对热点优先级的认知,不需要人工二次调整排序结果。

自动生成中文标题与摘要

系统调用大模型对聚簇完成的事件生成符合中文表达习惯的标题和内容摘要,不需要人工介入编辑,即可得到通顺准确的内容描述。生成过程中会自动过滤原始内容里的广告、冗余信息,仅保留事件的核心关键信息。该功能省去了大量内容编辑的重复劳动,每天产出的热点内容不需要人工二次修改即可直接对外发布。

每日热点日报自动生成

系统会在每日指定时间自动汇总当天所有的高热度事件,按照预设的排版格式生成完整的当日热点日报。日报内容包含当日所有热点事件的标题、摘要、对应信源来源链接,可直接导出分享或通过系统自带的页面对外展示。运营人员不需要手动整理当日热点汇总内容,到点即可直接拿到完整的日报成品。

全流程提示词与规则透明可改

所有和大模型交互的提示词原文、内容筛选的入选门槛参数、热度计算的权重配置全部在项目中公开可见,没有任何隐藏的黑盒逻辑。使用者可直接修改对应提示词的内容,调整大模型输出结果的偏向,适配不同行业的内容风格要求。所有规则修改后即时生效,不需要改动底层业务代码即可完全改变系统的产出结果。

AIHOT是一套可高度自定义的行业热点站框架,可自动从配置信源采集内容,通过双大模型打分、事件聚簇、热度排序流程筛选出高价值热点,自动生成中文标题、摘要和每日热点日报。所有核心提示词和规则全部公开可调整,使用者仅需替换行业专属信源和精选标准,即可快速搭建适配自身领域的垂直热点站点。

项目地址:https://github.com/KKKKhazix/AIHOT
⭐ Stars:8816
🔍 来源:GitHub

一个自己找热点、自己写日报的网站框架。把信源和精选标准换成你的,它就是你的行业热点站。

手机扫描二维码访问

微信扫一扫支付
微信logo微信扫一扫,打赏作者吧~
不喜欢3

本文链接:https://5x10.cn/post/869.html

猜你喜欢

网友评论