万朱浩 / Venue-Ops

Go to a project
Toggle navigation Toggle navigation pinning
马一丁
6e3abf8d 1 parent 3e1b47d1

Update README.md

Inline Side-by-side
Showing 1 changed file with 112 additions and 103 deletions
@@ -123,115 +123,124 @@ LLM模型API赞助：<a href="https://aihubmix.com/?aff=8Ds9" target="_blank"><i @@ -123,115 +123,124 @@ LLM模型API赞助：<a href="https://aihubmix.com/?aff=8Ds9" target="_blank"><i
123 123
124 ``` 124 ```
125 BettaFish/ 125 BettaFish/
126 -├── QueryEngine/ # 国内外新闻广度搜索Agent  
127 -│ ├── agent.py # Agent主逻辑  
128 -│ ├── llms/ # LLM接口封装  
129 -│ ├── nodes/ # 处理节点  
130 -│ ├── tools/ # 搜索工具  
131 -│ ├── utils/ # 工具函数  
132 -│ └── ... # 其他模块  
133 -├── MediaEngine/ # 强大的多模态理解Agent  
134 -│ ├── agent.py # Agent主逻辑  
135 -│ ├── nodes/ # 处理节点  
136 -│ ├── llms/ # LLM接口  
137 -│ ├── tools/ # 搜索工具  
138 -│ ├── utils/ # 工具函数  
139 -│ └── ... # 其他模块  
140 -├── InsightEngine/ # 私有数据库挖掘Agent  
141 -│ ├── agent.py # Agent主逻辑  
142 -│ ├── llms/ # LLM接口封装  
143 -│ │ └── base.py # 统一的 OpenAI 兼容客户端  
144 -│ ├── nodes/ # 处理节点  
145 -│ │ ├── base_node.py # 基础节点类  
146 -│ │ ├── formatting_node.py # 格式化节点  
147 -│ │ ├── report_structure_node.py # 报告结构节点  
148 -│ │ ├── search_node.py # 搜索节点  
149 -│ │ └── summary_node.py # 总结节点  
150 -│ ├── tools/ # 数据库查询和分析工具  
151 -│ │ ├── keyword_optimizer.py # Qwen关键词优化中间件  
152 -│ │ ├── search.py # 数据库操作工具集  
153 -│ │ └── sentiment_analyzer.py # 情感分析集成工具  
154 -│ ├── state/ # 状态管理 126 +├── QueryEngine/ # 国内外新闻广度搜索Agent
  127 +│ ├── agent.py # Agent主逻辑
  128 +│ ├── llms/ # LLM接口封装
  129 +│ ├── nodes/ # 处理节点
  130 +│ ├── tools/ # 搜索工具
  131 +│ ├── utils/ # 工具函数
  132 +│ └── ... # 其他模块
  133 +├── MediaEngine/ # 强大的多模态理解Agent
  134 +│ ├── agent.py # Agent主逻辑
  135 +│ ├── nodes/ # 处理节点
  136 +│ ├── llms/ # LLM接口
  137 +│ ├── tools/ # 搜索工具
  138 +│ ├── utils/ # 工具函数
  139 +│ └── ... # 其他模块
  140 +├── InsightEngine/ # 私有数据库挖掘Agent
  141 +│ ├── agent.py # Agent主逻辑
  142 +│ ├── llms/ # LLM接口封装
  143 +│ │ └── base.py # 统一的 OpenAI 兼容客户端
  144 +│ ├── nodes/ # 处理节点
  145 +│ │ ├── base_node.py # 基础节点类
  146 +│ │ ├── formatting_node.py # 格式化节点
  147 +│ │ ├── report_structure_node.py # 报告结构节点
  148 +│ │ ├── search_node.py # 搜索节点
  149 +│ │ └── summary_node.py # 总结节点
  150 +│ ├── tools/ # 数据库查询和分析工具
  151 +│ │ ├── keyword_optimizer.py # Qwen关键词优化中间件
  152 +│ │ ├── search.py # 数据库操作工具集
  153 +│ │ └── sentiment_analyzer.py # 情感分析集成工具
  154 +│ ├── state/ # 状态管理
155 │ │ ├── __init__.py 155 │ │ ├── __init__.py
156 -│ │ └── state.py # Agent状态定义  
157 -│ ├── prompts/ # 提示词模板 156 +│ │ └── state.py # Agent状态定义
  157 +│ ├── prompts/ # 提示词模板
158 │ │ ├── __init__.py 158 │ │ ├── __init__.py
159 -│ │ └── prompts.py # 各类提示词  
160 -│ └── utils/ # 工具函数 159 +│ │ └── prompts.py # 各类提示词
  160 +│ └── utils/ # 工具函数
161 │ ├── __init__.py 161 │ ├── __init__.py
162 -│ ├── config.py # 配置管理  
163 -│ └── text_processing.py # 文本处理工具  
164 -├── ReportEngine/ # 多轮报告生成Agent  
165 -│ ├── agent.py # 串联模板→布局→篇幅→章节→渲染的总调度  
166 -│ ├── flask_interface.py # Flask/SSE入口，管理任务排队与流式事件  
167 -│ ├── llms/ # OpenAI兼容LLM封装  
168 -│ │ └── base.py # 统一的流式/重试客户端  
169 -│ ├── core/ # 模板切片、章节落盘与装订工具  
170 -│ │ ├── template_parser.py # Markdown模板切片与slug生成  
171 -│ │ ├── chapter_storage.py # 章节run目录、manifest与raw流写入  
172 -│ │ └── stitcher.py # Document IR装订器，补齐锚点/元数据  
173 -│ ├── ir/ # 报告IR契约与校验  
174 -│ │ ├── schema.py # 块/标记Schema常量  
175 -│ │ └── validator.py # 章节JSON结构校验器  
176 -│ ├── nodes/ # 全流程推理节点  
177 -│ │ ├── base_node.py # 节点基类+日志/状态钩子  
178 -│ │ ├── template_selection_node.py # 模板候选收集与LLM筛选  
179 -│ │ ├── document_layout_node.py # 标题/目录/主题设计  
180 -│ │ ├── word_budget_node.py # 篇幅规划与章节指令  
181 -│ │ └── chapter_generation_node.py # 章节级JSON生成+校验  
182 -│ ├── prompts/ # 提示词库与Schema说明  
183 -│ │ └── prompts.py # 模板选择/布局/篇幅/章节提示词  
184 -│ ├── renderers/ # IR渲染器  
185 -│ │ └── html_renderer.py # Document IR → 交互式HTML  
186 -│ ├── state/ # 任务/元数据状态模型  
187 -│ │ └── state.py # ReportState与序列化工具  
188 -│ ├── utils/ # 配置与日志工具  
189 -│ │ └── config.py # Pydantic Settings与打印助手  
190 -│ ├── report_template/ # Markdown模板库  
191 -│ │ ├── 社会公共热点事件分析.md  
192 -│ │ ├── 商业品牌舆情监测.md  
193 -│ │ └── ... # 更多模板  
194 -│ └── ... # 其余缓存/__init__.py等  
195 -├── ForumEngine/ # 论坛引擎简易实现  
196 -│ ├── monitor.py # 日志监控和论坛管理  
197 -│ └── llm_host.py # 论坛主持人LLM模块  
198 -├── MindSpider/ # 微博爬虫系统  
199 -│ ├── main.py # 爬虫主程序  
200 -│ ├── config.py # 爬虫配置文件  
201 -│ ├── BroadTopicExtraction/ # 话题提取模块  
202 -│ │ ├── database_manager.py # 数据库管理器  
203 -│ │ ├── get_today_news.py # 今日新闻获取  
204 -│ │ ├── main.py # 话题提取主程序  
205 -│ │ └── topic_extractor.py # 话题提取器  
206 -│ ├── DeepSentimentCrawling/ # 深度舆情爬取  
207 -│ │ ├── keyword_manager.py # 关键词管理器  
208 -│ │ ├── main.py # 深度爬取主程序  
209 -│ │ ├── MediaCrawler/ # 媒体爬虫核心  
210 -│ │ └── platform_crawler.py # 平台爬虫管理  
211 -│ └── schema/ # 数据库结构  
212 -│ ├── db_manager.py # 数据库管理器  
213 -│ ├── init_database.py # 数据库初始化  
214 -│ └── mindspider_tables.sql # 数据库表结构  
215 -├── SentimentAnalysisModel/ # 情感分析模型集合  
216 -│ ├── WeiboSentiment_Finetuned/ # 微调BERT/GPT-2模型  
217 -│ ├── WeiboMultilingualSentiment/# 多语言情感分析（推荐）  
218 -│ ├── WeiboSentiment_SmallQwen/ # 小参数Qwen3微调  
219 -│ └── WeiboSentiment_MachineLearning/ # 传统机器学习方法  
220 -├── SingleEngineApp/ # 单独Agent的Streamlit应用 162 +│ ├── config.py # 配置管理
  163 +│ ├── db.py # SQLAlchemy异步引擎与只读查询封装
  164 +│ └── text_processing.py # 文本处理工具
  165 +├── ReportEngine/ # 多轮报告生成Agent
  166 +│ ├── agent.py # 串联模板→布局→篇幅→章节→渲染的总调度
  167 +│ ├── flask_interface.py # Flask/SSE入口，管理任务排队与流式事件
  168 +│ ├── llms/ # OpenAI兼容LLM封装
  169 +│ │ └── base.py # 统一的流式/重试客户端
  170 +│ ├── core/ # 模板切片、章节落盘与装订工具
  171 +│ │ ├── template_parser.py # Markdown模板切片与slug生成
  172 +│ │ ├── chapter_storage.py # 章节run目录、manifest与raw流写入
  173 +│ │ └── stitcher.py # Document IR装订器，补齐锚点/元数据
  174 +│ ├── ir/ # 报告IR契约与校验
  175 +│ │ ├── schema.py # 块/标记Schema常量
  176 +│ │ └── validator.py # 章节JSON结构校验器
  177 +│ ├── nodes/ # 全流程推理节点
  178 +│ │ ├── base_node.py # 节点基类+日志/状态钩子
  179 +│ │ ├── template_selection_node.py # 模板候选收集与LLM筛选
  180 +│ │ ├── document_layout_node.py # 标题/目录/主题设计
  181 +│ │ ├── word_budget_node.py # 篇幅规划与章节指令
  182 +│ │ └── chapter_generation_node.py # 章节级JSON生成+校验
  183 +│ ├── prompts/ # 提示词库与Schema说明
  184 +│ │ └── prompts.py # 模板选择/布局/篇幅/章节提示词
  185 +│ ├── renderers/ # IR渲染器
  186 +│ │ └── html_renderer.py # Document IR → 交互式HTML
  187 +│ ├── state/ # 任务/元数据状态模型
  188 +│ │ └── state.py # ReportState与序列化工具
  189 +│ ├── utils/ # 配置与日志工具
  190 +│ │ └── config.py # Pydantic Settings与打印助手
  191 +│ ├── report_template/ # Markdown模板库（企业/市场/例行/政策/热点/突发场景）
  192 +│ └── ... # 其余缓存/__init__.py等
  193 +├── ForumEngine/ # 论坛引擎简易实现
  194 +│ ├── monitor.py # 日志监控和论坛管理
  195 +│ └── llm_host.py # 论坛主持人LLM模块
  196 +├── MindSpider/ # 微博爬虫系统
  197 +│ ├── main.py # 爬虫主程序
  198 +│ ├── config.py # 爬虫配置文件
  199 +│ ├── BroadTopicExtraction/ # 话题提取模块
  200 +│ │ ├── database_manager.py # 数据库管理器
  201 +│ │ ├── get_today_news.py # 今日新闻获取
  202 +│ │ ├── main.py # 话题提取主程序
  203 +│ │ └── topic_extractor.py # 话题提取器
  204 +│ ├── DeepSentimentCrawling/ # 深度舆情爬取
  205 +│ │ ├── keyword_manager.py # 关键词管理器
  206 +│ │ ├── main.py # 深度爬取主程序
  207 +│ │ ├── MediaCrawler/ # 媒体爬虫核心
  208 +│ │ └── platform_crawler.py # 平台爬虫管理
  209 +│ └── schema/ # 数据库结构
  210 +│ ├── db_manager.py # 数据库管理器
  211 +│ ├── init_database.py # 数据库初始化
  212 +│ ├── mindspider_tables.sql # 数据库表结构
  213 +│ ├── models_bigdata.py # 大规模媒体舆情表的SQLAlchemy映射
  214 +│ └── models_sa.py # DailyTopic/Task等扩展表ORM
  215 +├── SentimentAnalysisModel/ # 情感分析模型集合
  216 +│ ├── WeiboSentiment_Finetuned/ # 微调BERT/GPT-2模型
  217 +│ ├── WeiboMultilingualSentiment/ # 多语言情感分析（推荐）
  218 +│ ├── WeiboSentiment_SmallQwen/ # 小参数Qwen3微调
  219 +│ └── WeiboSentiment_MachineLearning/ # 传统机器学习方法
  220 +├── SingleEngineApp/ # 单独Agent的Streamlit应用
221 │ ├── query_engine_streamlit_app.py 221 │ ├── query_engine_streamlit_app.py
222 │ ├── media_engine_streamlit_app.py 222 │ ├── media_engine_streamlit_app.py
223 │ └── insight_engine_streamlit_app.py 223 │ └── insight_engine_streamlit_app.py
224 -├── templates/ # Flask模板  
225 -│ └── index.html # 主界面前端  
226 -├── static/ # 静态资源  
227 -├── logs/ # 运行日志目录  
228 -├── final_reports/ # 最终生成的HTML报告文件  
229 -├── utils/ # 通用工具函数  
230 -│ ├── forum_reader.py # Agent间论坛通信  
231 -│ └── retry_helper.py # 网络请求重试机制工具  
232 -├── app.py # Flask主应用入口  
233 -├── config.py # 全局配置文件  
234 -└── requirements.txt # Python依赖包清单 224 +├── query_engine_streamlit_reports/ # QueryEngine单应用运行生成的Markdown与state
  225 +├── media_engine_streamlit_reports/ # MediaEngine单应用运行生成的Markdown与state
  226 +├── insight_engine_streamlit_reports/ # InsightEngine单应用运行生成的Markdown与state
  227 +├── templates/ # Flask模板
  228 +│ └── index.html # 主界面前端
  229 +├── static/ # 静态资源
  230 +├── logs/ # 运行日志目录
  231 +├── final_reports/ # 最终生成的HTML报告文件
  232 +├── utils/ # 通用工具函数
  233 +│ ├── forum_reader.py # Agent间论坛通信
  234 +│ ├── github_issues.py # 统一生成GitHub Issue链接与错误提示
  235 +│ └── retry_helper.py # 网络请求重试机制工具
  236 +├── tests/ # 关键功能测试（论坛监控、渲染安全性等）
  237 +│ ├── run_tests.py # pytest入口
  238 +│ ├── test_monitor.py # ForumEngine监控单测
  239 +│ └── test_report_engine_sanitization.py # ReportEngine章节清洗测试
  240 +├── app.py # Flask主应用入口
  241 +├── config.py # 全局配置文件
  242 +├── docker-compose.yml # 多服务一键部署
  243 +└── requirements.txt # Python依赖包清单
235 ``` 244 ```
236 245
237 ## 🚀 快速开始（Docker） 246 ## 🚀 快速开始（Docker）