3.7 KiB
3.7 KiB
华尔街财团投入指数 & 反击情绪指数:更新逻辑与波动说明
一、数据流概览
爬虫提取 (extractor_ai / extractor_dashscope)
→ retaliation_sentiment / wall_street_value (0–100,按单篇报道)
→ db_merge.merge(extracted)
→ SQLite: retaliation_current, retaliation_history, wall_street_trend
→ server/situationData.js getSituation()
→ 前端: iranForces.retaliationSentiment(History), usForces.wallStreetInvestmentTrend
→ 组件: RetaliationGauge, InvestmentTrendChart;回放: useReplaySituation 插值
二、当前写入逻辑(crawler/db_merge.py)
1. 华尔街财团投入指数 (wall_street_trend)
- 表:
wall_street_trend(id, time, value),前端用整表做wallStreetInvestmentTrend折线。 - 写入:每次爬虫产出
extracted["wall_street"]时:- 对
value做限幅[1, 99],不做任何平滑; - 直接
INSERT INTO wall_street_trend (time, value) VALUES (?, ?); - 表保留最近
WALL_STREET_TREND_MAX_ROWS(200)条。
- 对
- 波动原因:
- 每条报道一个点,爬虫频繁时点很密;
- 不同报道提取值差异大(如 30 / 80 / 45),曲线会剧烈锯齿;
- 无“与上一点平滑”,无时间间隔限制,易受单条 0/100 或异常值影响(虽已夹到 1–99)。
2. 反击情绪指数 (retaliation_current + retaliation_history)
- 表:
retaliation_current(id=1, value)当前值;retaliation_history(id, time, value)历史曲线。 - 写入:每次爬虫产出
extracted["retaliation"]时:- 当前值平滑:
new_val = 0.6 * current + 0.4 * raw,再夹到 [1, 99]; retaliation_current更新为该new_val;retaliation_history追加一条(time, new_val);- 历史表保留最近
RETALIATION_HISTORY_MAX_ROWS(300)条。
- 当前值平滑:
- 波动原因:
- 多条新闻短时间连续写入时,每次都用新的 raw 更新 current,连续多步 0.6/0.4 仍会快速漂移;
- history 每写一次就一个点,点过密且 raw 差异大时折线仍会明显抖动;
- 单步无“最大变化幅度”限制,极端 raw 仍会导致单次跳动较大。
三、爬虫侧产出形态
- extractor_ai / extractor_dashscope:仅当报道涉及对应维度时才输出:
retaliation_sentiment:0–100;wall_street_value:0–100。
- 每条报道独立一个值,多篇报道会多次调用
merge(),因此波动确实主要由爬虫数据更新频率和单条取值差异导致。
四、稳定化思路(计算模块)
-
华尔街
- 与上一点做平滑再写入:例如
value = alpha * last_value + (1-alpha) * raw,再限幅; - 可选:仅当距上一条时间超过一定间隔(如 15–30 分钟)才 INSERT,减少密集点带来的锯齿。
- 与上一点做平滑再写入:例如
-
反击情绪
- 加强平滑:例如提高当前值权重(0.8 * current + 0.2 * raw);
- 单步变化上限:例如
new_val相对current最多 ±N(如 5)点; - 历史记录:可对 history 做同样限幅或间隔写入,避免曲线过密抖动。
实现位置:crawler/indicator_smooth.py,在 db_merge.merge() 中调用,仍写回现有表,前端与 API 契约不变。
已实现参数(可调)
| 指标 | 参数 | 默认 | 说明 |
|---|---|---|---|
| 华尔街 | WALL_STREET_NEW_WEIGHT |
0.35 | 新 raw 权重,越小曲线越平滑 |
| 华尔街 | WALL_STREET_MIN_INTERVAL_MINUTES |
20 | 两笔趋势最小间隔(分钟),不足则本条不写入 |
| 反击情绪 | RETALIATION_CURRENT_WEIGHT |
0.8 | 当前值权重,越大越平滑 |
| 反击情绪 | RETALIATION_MAX_STEP |
5 | 单次相对当前值最大变化幅度(点) |