使用可配置/可变粒度构建维度表。使这些表保持最新。这使得报告查询具有性能和可行性。我和格拉法娜一起用。
DimensionTabler的Python项目详细描述
使用可配置/可变粒度构建维度表。保持 那些桌子是最新的。这使得报表查询的性能和 可行。我和grafana一起使用。
顺便说一句:这是一个不好的“denglish”名字,建议用一个更好的。
我感兴趣,请提供一些详细信息
举个例子。我们确实为一堆 加密货币。对于前十大货币,我们每分钟都会这么做。 每天有864k条线路。
现在我们想用Grafana把它们显示在一个图表上-这很好。 稍后,我们将越来越多的信息加入到这个图中(例如,平衡我们 抓住每一枚硬币),查询变得越来越慢,最后 出去。
这里维度表跳入。我们希望能够看到长期的 我们希望能够看到更多的短期图表 细节。把这个放在桌子上:
Ticker date | granularity | original count | dim.table count | reduced to % |
---|---|---|---|---|
last 24 hours | every ticker value | every minute = 1,440 | 1,440 | 0% |
last 7 days | 15 minutes | (6 days) = +8,640 | /15’ = +576 | 20% |
last 30 days | 1 hour | +33,120 | +552 | 5.9% |
last 90 days | 4 hours | +86,400 | +360 | 2.3% |
before 90 days: | ||||
… stat for 1 year | 1 day | +396,000 | +275 | 0.6% |
… for another 9 years | 1 day | +4,730,400 | +3,285 | 0.1% |
所以10年来,我们的图形sql结果统计了6488行,未经过滤的 结果有5256000行。只是忽略了一些不必要的细节。 DimensionTabler保持此更新并应用给定的规则。
用法
捐赠
用比特币支持我:
图
我是ZMSRHQEFMZBLQT8PHC68E5JJZH
谢谢。