datahub 施工进度

这一波 55 个开发任务(全市场 #94、实时 #95、IBKR #68)做到哪了:哪些已经上线,哪些正在做,哪些还在等前面的任务。

更新于北京时间 10 月 29 日 02:30(UTC 18:30)。数据每 5 分钟更新,页面每 2 分钟自动刷新。想看全部做完以后 datahub 能做什么:功能地图。

已上线 50 / 55,1 项已合并、正在部署,2 项在做,1 项排队等空位。

正在做2 项,最多同时 11 项

时长是当前这一步已经跑了多久。网络断线时流程会自动重试,最多 8 次。

依赖关系

每个方块是一个开发任务,从左到右按前置任务的层数分批,三条泳道的批次上下对齐。连线只画相邻两批之间的前置关系;隔了几批的前置任务写在方块上方,左上角的数字是依赖其他泳道的任务数。点一下方块(手机上轻点),图下面会显示它在等哪些任务、做到哪一步和 GitHub 链接,并画出它的全部连线;鼠标停在方块上也会高亮连线。

手机上可以左右滑动依赖图。

全市场 #94

已上线 23 / 24,在做 0
第 1 批第 2 批第 3 批第 4 批第 5 批第 6 批第 7 批第 8 批AM-1AM-3、AM-4AM-2、AM-4AM-16、AM-21 等 6 项AM-9aAM-8a、AM-16AM-16AM-3、AM-4、AM-9aAM-8a、AM-16AM-3、AM-9aAM-8a、AM-16AM-0 新包登记(仓库规则) 状态:已上线AM-0新包登记(仓库规则)AM-1 标的 ID 与市场维度 状态:已上线AM-1标的 ID 与市场维度AM-18 基础设施:拉取机扩容 状态:已上线AM-18基础设施:拉取机扩容AM-3 Binance 各市场配置 状态:已上线AM-3Binance 各市场配置AM-4 Hyperliquid 主盘和现货客户端 状态:已上线AM-4Hyperliquid 主盘和现货客户端AM-5 限流池与每台机器 12 路拉取 状态:已上线AM-5限流池与每台机器12 路拉取AM-2 市场与采集状态数据表 状态:已上线 其他泳道的前置任务:RT-6 调度数据表(已上线)AM-2市场与采集状态数据表1AM-9a 接口约定:全市场与 IBKR 字段 状态:已上线 其他泳道的前置任务:IB-3a 可见性管道(已上线)AM-9a接口约定:全市场与 IBKR 字段1AM-7 缓存里的事件索引 状态:已上线AM-7缓存里的事件索引AM-8a Binance 全市场发现与规格 状态:已上线AM-8aBinance 全市场发现与规格AM-9 接口:市场列表与筛选 状态:已上线 其他泳道的前置任务:IB-3a 可见性管道(已上线)AM-9接口:市场列表与筛选1AM-21 拉取的采集开关与排序 状态:已上线 其他泳道的前置任务:RT-1 排班核心算法(已上线)AM-21拉取的采集开关与排序1AM-16 各市场的序列、指标与告警 状态:已上线AM-16各市场的序列、指标与告警AM-6 全市场补历史引擎 状态:已上线AM-6全市场补历史引擎AM-8b Hyperliquid 主盘和现货发现 状态:已上线AM-8bHyperliquid主盘和现货发现AM-10 下游接入市场维度(信号、客户端) 状态:已上线AM-10下游接入市场维度(信号、客户端)AM-22 Hyperliquid 预测市场 状态:已合并,部署中AM-22部署中Hyperliquid 预测市场AM-11 行情页:交易所→市场→标的 状态:已上线AM-11行情页:交易所→市场→标的AM-12 Binance 合约拉取任务 状态:已上线AM-12Binance 合约拉取任务AM-13 Hyperliquid 合约和现货任务 状态:已上线AM-13Hyperliquid合约和现货任务AM-17 各市场数据核对 状态:已上线AM-17各市场数据核对AM-14 Binance 期权任务 状态:已上线AM-14Binance 期权任务AM-20 期权小时标记价、隐含波动率与希腊值 状态:已上线 其他泳道的前置任务:RT-3 热数据分片(已上线)AM-20期权小时标记价、隐含波动率与希腊值1AM-15 Binance 现货任务 状态:已上线AM-15Binance 现货任务

实时 #95

已上线 20 / 21,在做 0
第 1 批第 2 批第 3 批第 4 批第 5 批第 6 批第 7 批第 8 批RT-3、RT-6RT-7、RT-1RT-3RT-5、RT-3、RT-7RT-13a、RT-7、RT-1RT-2RT-7b、RT-10RT-10、RT-11RT-11RT-8、RT-1RT-10RT-1 排班核心算法 状态:已上线RT-1排班核心算法RT-6 调度数据表 状态:已上线RT-6调度数据表RT-4 基础设施:主机清单、热分片、逐笔成交库 状态:已上线 其他泳道的前置任务:AM-18 基础设施:拉取机扩容(已上线)RT-4基础设施:主机清单、热分片、逐笔成交库1RT-5 按角色部署 状态:已上线RT-5按角色部署RT-3 热数据分片 状态:已上线 其他泳道的前置任务:AM-1 标的 ID 与市场维度(已上线)RT-3热数据分片1RT-7 分工认领、分配发布与成员 状态:已上线RT-7分工认领、分配发布与成员RT-5b 分片拉取上线(部署侧) 状态:已上线RT-5b分片拉取上线(部署侧)RT-13a 限流配额预留与认领 状态:已上线 其他泳道的前置任务:AM-5 限流池与每台机器 12 路拉取(已上线)RT-13a限流配额预留与认领1RT-10 逐笔成交库与写入服务 状态:已上线 其他泳道的前置任务:AM-18 基础设施:拉取机扩容(已上线)RT-10逐笔成交库与写入服务1RT-2 推送接口新增字段 状态:已上线 其他泳道的前置任务:AM-9a 接口约定:全市场与 IBKR 字段(已上线)RT-2推送接口新增字段1RT-7b 排班循环与运维命令 状态:已上线 其他泳道的前置任务:AM-2 市场与采集状态数据表(已上线);AM-8a Binance 全市场发现与规格(已上线);AM-21 拉取的采集开关与排序(已上线)RT-7b排班循环与运维命令3RT-11 实时推送接口 状态:已上线 其他泳道的前置任务:AM-9 接口:市场列表与筛选(已上线)RT-11实时推送接口1RT-8 实时采集运行时 状态:已上线 其他泳道的前置任务:AM-4 Hyperliquid 主盘和现货客户端(已上线)RT-8实时采集运行时1RT-13 按分配分片拉取 状态:已上线 其他泳道的前置任务:AM-6 全市场补历史引擎(已上线);AM-21 拉取的采集开关与排序(已上线)RT-13按分配分片拉取2RT-9 K 线实时(未收盘的当前小时) 状态:已上线RT-9K 线实时(未收盘的当前小时)RT-15 实时告警、指标与运维手册 状态:已上线 其他泳道的前置任务:AM-16 各市场的序列、指标与告警(已上线)RT-15实时告警、指标与运维手册1RT-12 逐笔成交历史读取 状态:已上线 其他泳道的前置任务:IB-3c 按权限可见与 IBKR 序列(已上线)RT-12逐笔成交历史读取1RT-14 行情页实时跳动 状态:已上线 其他泳道的前置任务:AM-11 行情页:交易所→市场→标的(已上线)RT-14行情页实时跳动1RT-16 新市场的实时订阅配置 状态:排队中 其他泳道的前置任务:AM-3 Binance 各市场配置(已上线);AM-4 Hyperliquid 主盘和现货客户端(已上线);AM-22 Hyperliquid 预测市场(已合并,部署中)RT-16排队中新市场的实时订阅配置3RT-18 逐笔成交归档与冷数据读取 状态:已上线 其他泳道的前置任务:IB-3c 按权限可见与 IBKR 序列(已上线)RT-18逐笔成交归档与冷数据读取1RT-11b Python 实时推送客户端 状态:已上线RT-11bPython实时推送客户端

IBKR #68

已上线 7 / 10,在做 2
第 1 批第 2 批第 3 批第 4 批第 5 批第 6 批第 7 批第 8 批IB-1IB-1IB-2、IB-4a、IB-1IB-3c、IB-2IB-3a 可见性管道 状态:已上线IB-3a可见性管道IB-1 美股交易日历 状态:已上线 其他泳道的前置任务:AM-0 新包登记(仓库规则)(已上线)IB-1美股交易日历1IB-2 IBKR 权限数据与市场 状态:已上线 其他泳道的前置任务:AM-2 市场与采集状态数据表(已上线);AM-9a 接口约定:全市场与 IBKR 字段(已上线);AM-21 拉取的采集开关与排序(已上线)IB-2IBKR 权限数据与市场3IB-4a IBKR 历史数据客户端 状态:已上线 其他泳道的前置任务:AM-0 新包登记(仓库规则)(已上线);AM-5 限流池与每台机器 12 路拉取(已上线);AM-9a 接口约定:全市场与 IBKR 字段(已上线);RT-13a 限流配额预留与认领(已上线)IB-4aIBKR 历史数据客户端4IB-3c 按权限可见与 IBKR 序列 状态:已上线 其他泳道的前置任务:AM-9 接口:市场列表与筛选(已上线);AM-9a 接口约定:全市场与 IBKR 字段(已上线);RT-11 实时推送接口(已上线)IB-3c按权限可见与IBKR 序列3IB-5 IBKR 标的目录 状态:已上线 其他泳道的前置任务:AM-1 标的 ID 与市场维度(已上线);AM-8a Binance 全市场发现与规格(已上线);AM-9a 接口约定:全市场与 IBKR 字段(已上线);RT-7b 排班循环与运维命令(已上线)IB-5IBKR 标的目录4IB-4b IBKR 拉取全流程打通 状态:进行中 这一步:独立验证(第 1 轮审查) 这一步已 6 分钟 其他泳道的前置任务:AM-6 全市场补历史引擎(已上线);AM-16 各市场的序列、指标与告警(已上线);AM-21 拉取的采集开关与排序(已上线);RT-13 按分配分片拉取(已上线);RT-15 实时告警、指标与运维手册(已上线)IB-4b独立验证IBKR 拉取全流程打通5IB-6 门户:账户切换与 IBKR 行情 状态:进行中 这一步:开发 这一步已 18 分钟 其他泳道的前置任务:AM-11 行情页:交易所→市场→标的(已上线);RT-14 行情页实时跳动(已上线)IB-6开发门户:账户切换与 IBKR 行情2IB-2b 部署操作:带权限建访问密钥 状态:已上线 其他泳道的前置任务:RT-5 按角色部署(已上线)IB-2b部署操作:带权限建访问密钥1IB-4c IBKR 修复、补数与次日对账 状态:等依赖 还在等:IB-4b IBKR 拉取全流程打通 其他泳道的前置任务:AM-2 市场与采集状态数据表(已上线)IB-4cIBKR 修复、补数与次日对账1

全部 55 项

全市场 #94已上线 23 / 24

状态编号名称当前/最后一步代码提交 (PR)合并时间(北京)
已上线AM-0#96新包登记(仓库规则)—最近动静 10 月 26 日 22:35#15510 月 26 日 22:34
已上线AM-1#97标的 ID 与市场维度—最近动静 10 月 27 日 11:05#16010 月 27 日 10:49
已上线AM-18#98基础设施:拉取机扩容—最近动静 10 月 26 日 23:34#15710 月 26 日 23:34
已上线AM-3#104Binance 各市场配置—最近动静 10 月 27 日 14:04#16510 月 27 日 13:45
已上线AM-4#105Hyperliquid 主盘和现货客户端—最近动静 10 月 27 日 15:23#16410 月 27 日 15:05
已上线AM-5#106限流池与每台机器 12 路拉取—最近动静 10 月 27 日 16:45#17010 月 27 日 16:27
已上线AM-2#107市场与采集状态数据表—最近动静 10 月 27 日 13:09#16310 月 27 日 12:51
已上线AM-9a#108接口约定:全市场与 IBKR 字段—最近动静 10 月 27 日 14:37#16610 月 27 日 14:21
已上线AM-7#109缓存里的事件索引—最近动静 10 月 27 日 16:12#16910 月 27 日 15:57
已上线AM-8a#114Binance 全市场发现与规格—最近动静 10 月 27 日 22:57#17910 月 27 日 22:37
已上线AM-9#115接口:市场列表与筛选—最近动静 10 月 27 日 19:26#17210 月 27 日 19:08
已上线AM-21#116拉取的采集开关与排序—最近动静 昨天 01:01#185昨天 00:32
已上线AM-16#119各市场的序列、指标与告警—最近动静 10 月 27 日 21:57#17710 月 27 日 21:37
已上线AM-6#120全市场补历史引擎—最近动静 昨天 13:22#205昨天 11:34
已上线AM-8b#125Hyperliquid 主盘和现货发现—最近动静 昨天 06:59#197昨天 06:41
已上线AM-10#127下游接入市场维度(信号、客户端)—最近动静 10 月 27 日 23:40#18210 月 27 日 23:29
已合并,部署中AM-22#128Hyperliquid 预测市场部署最近动静 今天 02:26#221今天 02:26
已上线AM-11#131行情页:交易所→市场→标的—最近动静 昨天 06:17#196昨天 05:51
已上线AM-12#135Binance 合约拉取任务部署最近动静 昨天 21:04#213昨天 20:37
已上线AM-13#136Hyperliquid 合约和现货任务—最近动静 今天 01:04#220今天 00:37
已上线AM-17#142各市场数据核对—最近动静 昨天 02:44#188昨天 02:28
已上线AM-14#143Binance 期权任务部署最近动静 昨天 21:51#214昨天 21:25
已上线AM-20#146期权小时标记价、隐含波动率与希腊值—最近动静 昨天 06:00#190昨天 05:40
已上线AM-15#147Binance 现货任务—最近动静 昨天 17:23#210昨天 16:56

实时 #95已上线 20 / 21

状态编号名称当前/最后一步代码提交 (PR)合并时间(北京)
已上线RT-1#99排班核心算法—最近动静 10 月 27 日 10:11#16110 月 27 日 09:54
已上线RT-6#100调度数据表—最近动静 10 月 26 日 22:10#15410 月 26 日 21:53
已上线RT-4#103基础设施:主机清单、热分片、逐笔成交库—最近动静 10 月 27 日 10:33#15910 月 27 日 10:30
已上线RT-5#110按角色部署—最近动静 10 月 27 日 17:43#17110 月 27 日 17:24
已上线RT-3#111热数据分片—最近动静 10 月 27 日 18:50#17310 月 27 日 18:03
已上线RT-7#112分工认领、分配发布与成员—最近动静 10 月 27 日 11:41#16210 月 27 日 11:24
已上线RT-5b#113分片拉取上线(部署侧)—最近动静 10 月 27 日 23:09#18010 月 27 日 23:07
已上线RT-13a#117限流配额预留与认领—最近动静 10 月 27 日 20:02#17410 月 27 日 19:44
已上线RT-10#118逐笔成交库与写入服务—最近动静 昨天 02:19#189昨天 04:21
已上线RT-2#121推送接口新增字段—最近动静 10 月 27 日 20:57#17610 月 27 日 20:39
已上线RT-7b#122排班循环与运维命令—最近动静 昨天 06:42#199昨天 06:21
已上线RT-11#123实时推送接口—最近动静 昨天 01:31#186昨天 01:31
已上线RT-8#126实时采集运行时—最近动静 昨天 16:45#207昨天 16:23
已上线RT-13#129按分配分片拉取部署最近动静 昨天 20:11#211昨天 19:45
已上线RT-9#133K 线实时(未收盘的当前小时)部署最近动静 昨天 22:29#215昨天 22:03
已上线RT-15#137实时告警、指标与运维手册部署最近动静 昨天 23:10#217昨天 23:08
已上线RT-12#138逐笔成交历史读取—最近动静 昨天 11:06#204昨天 10:43
已上线RT-14#139行情页实时跳动部署最近动静 今天 02:12#222今天 01:45
排队中RT-16#140新市场的实时订阅配置前置任务都已合并,等空位——
已上线RT-18#141逐笔成交归档与冷数据读取—最近动静 昨天 17:53#208昨天 17:21
已上线RT-11b#148Python 实时推送客户端—最近动静 昨天 06:17#195昨天 06:00

IBKR #68已上线 7 / 10

状态编号名称当前/最后一步代码提交 (PR)合并时间(北京)
已上线IB-3a#101可见性管道—最近动静 10 月 26 日 23:12#15610 月 26 日 22:56
已上线IB-1#102美股交易日历—最近动静 10 月 27 日 00:37#15810 月 27 日 00:20
已上线IB-2#124IBKR 权限数据与市场—最近动静 昨天 04:14#192昨天 03:55
已上线IB-4a#130IBKR 历史数据客户端—最近动静 昨天 05:10#193昨天 04:49
已上线IB-3c#132按权限可见与 IBKR 序列—最近动静 昨天 07:29#200昨天 07:07
已上线IB-5#134IBKR 标的目录—最近动静 昨天 10:32#201昨天 10:11
进行中IB-4b#144IBKR 拉取全流程打通独立验证(第 1 轮审查)这一步已 6 分钟最近动静 今天 02:24——
进行中IB-6#145门户:账户切换与 IBKR 行情开发这一步已 18 分钟——
已上线IB-2b#149部署操作:带权限建访问密钥—最近动静 昨天 05:32#198昨天 05:31
等依赖IB-4c#150IBKR 修复、补数与次日对账等 IB-4bIBKR 拉取全流程打通——

最近动态

GitHub 上最近 12 次合并和部署,新的在上,时间是北京时间。

  1. AM-22Hyperliquid 预测市场正在部署
  2. AM-22Hyperliquid 预测市场已合并
  3. RT-14行情页实时跳动部署成功
  4. RT-14行情页实时跳动已合并
  5. AM-13Hyperliquid 合约和现货任务部署成功
  6. AM-13Hyperliquid 合约和现货任务已合并
  7. RT-15实时告警、指标与运维手册部署成功
  8. RT-15实时告警、指标与运维手册已合并
  9. RT-9K 线实时(未收盘的当前小时)部署成功
  10. RT-9K 线实时(未收盘的当前小时)已合并
  11. AM-14Binance 期权任务部署成功
  12. AM-14Binance 期权任务已合并