datahub 施工进度

这一波 55 个开发任务(全市场 #94、实时 #95、IBKR #68)做到哪了:哪些已经上线,哪些正在做,哪些还在等前面的任务。

更新于北京时间 10 月 28 日 05:39(UTC 21:39)。数据每 5 分钟更新,页面每 2 分钟自动刷新。想看全部做完以后 datahub 能做什么:功能地图。

已上线 31 / 55,5 项在做,2 项停住了。

停住了,需要有人接手:AM-11 行情页:交易所→市场→标的、AM-20 期权小时标记价、隐含波动率与希腊值。

正在做5 项,最多同时 10 项

时长是当前这一步已经跑了多久。网络断线时流程会自动重试,最多 8 次。

停住了2

最后一步结束已超过 10 分钟,后面没有接上,需要有人接手。

依赖关系

每个方块是一个开发任务,从左到右按前置任务的层数分批,三条泳道的批次上下对齐。连线只画相邻两批之间的前置关系;隔了几批的前置任务写在方块上方,左上角的数字是依赖其他泳道的任务数。点一下方块(手机上轻点),图下面会显示它在等哪些任务、做到哪一步和 GitHub 链接,并画出它的全部连线;鼠标停在方块上也会高亮连线。

手机上可以左右滑动依赖图。

全市场 #94

已上线 15 / 24,在做 2
第 1 批第 2 批第 3 批第 4 批第 5 批第 6 批第 7 批第 8 批AM-1AM-3、AM-4AM-2、AM-4AM-16、AM-21 等 6 项AM-9aAM-8a、AM-16AM-16AM-3、AM-4、AM-9aAM-8a、AM-16AM-3、AM-9aAM-8a、AM-16AM-0 新包登记(仓库规则) 状态:已上线AM-0新包登记(仓库规则)AM-1 标的 ID 与市场维度 状态:已上线AM-1标的 ID 与市场维度AM-18 基础设施:拉取机扩容 状态:已上线AM-18基础设施:拉取机扩容AM-3 Binance 各市场配置 状态:已上线AM-3Binance 各市场配置AM-4 Hyperliquid 主盘和现货客户端 状态:已上线AM-4Hyperliquid 主盘和现货客户端AM-5 限流池与每台机器 12 路拉取 状态:已上线AM-5限流池与每台机器12 路拉取AM-2 市场与采集状态数据表 状态:已上线 其他泳道的前置任务:RT-6 调度数据表(已上线)AM-2市场与采集状态数据表1AM-9a 接口约定:全市场与 IBKR 字段 状态:已上线 其他泳道的前置任务:IB-3a 可见性管道(已上线)AM-9a接口约定:全市场与 IBKR 字段1AM-7 缓存里的事件索引 状态:已上线AM-7缓存里的事件索引AM-8a Binance 全市场发现与规格 状态:已上线AM-8aBinance 全市场发现与规格AM-9 接口:市场列表与筛选 状态:已上线 其他泳道的前置任务:IB-3a 可见性管道(已上线)AM-9接口:市场列表与筛选1AM-21 拉取的采集开关与排序 状态:已上线 其他泳道的前置任务:RT-1 排班核心算法(已上线)AM-21拉取的采集开关与排序1AM-16 各市场的序列、指标与告警 状态:已上线AM-16各市场的序列、指标与告警AM-6 全市场补历史引擎 状态:进行中 这一步:修复(第 1 轮审查) 这一步已 1 小时 15 分AM-6修复全市场补历史引擎AM-8b Hyperliquid 主盘和现货发现 状态:进行中 这一步:提交并跑自动检查 这一步已 57 分钟AM-8b自动检查Hyperliquid主盘和现货发现AM-10 下游接入市场维度(信号、客户端) 状态:已上线AM-10下游接入市场维度(信号、客户端)AM-22 Hyperliquid 预测市场 状态:等依赖 还在等:AM-6 全市场补历史引擎;AM-8b Hyperliquid 主盘和现货发现AM-22Hyperliquid 预测市场AM-11 行情页:交易所→市场→标的 状态:停住 这一步:合并 22 分钟前结束AM-11停住行情页:交易所→市场→标的AM-12 Binance 合约拉取任务 状态:等依赖 还在等:AM-6 全市场补历史引擎AM-12Binance 合约拉取任务AM-13 Hyperliquid 合约和现货任务 状态:等依赖 还在等:AM-6 全市场补历史引擎;AM-8b Hyperliquid 主盘和现货发现AM-13Hyperliquid合约和现货任务AM-17 各市场数据核对 状态:已上线AM-17各市场数据核对AM-14 Binance 期权任务 状态:等依赖 还在等:AM-6 全市场补历史引擎AM-14Binance 期权任务AM-20 期权小时标记价、隐含波动率与希腊值 状态:停住 这一步:合并 1 小时 42 分前结束 其他泳道的前置任务:RT-3 热数据分片(已上线)AM-20停住期权小时标记价、隐含波动率与希腊值1AM-15 Binance 现货任务 状态:等依赖 还在等:AM-6 全市场补历史引擎AM-15Binance 现货任务

实时 #95

已上线 11 / 21,在做 2
第 1 批第 2 批第 3 批第 4 批第 5 批第 6 批第 7 批第 8 批RT-3、RT-6RT-7、RT-1RT-3RT-5、RT-3、RT-7RT-13a、RT-7、RT-1RT-2RT-7b、RT-10RT-10、RT-11RT-11RT-8、RT-1RT-10RT-1 排班核心算法 状态:已上线RT-1排班核心算法RT-6 调度数据表 状态:已上线RT-6调度数据表RT-4 基础设施:主机清单、热分片、逐笔成交库 状态:已上线 其他泳道的前置任务:AM-18 基础设施:拉取机扩容(已上线)RT-4基础设施:主机清单、热分片、逐笔成交库1RT-5 按角色部署 状态:已上线RT-5按角色部署RT-3 热数据分片 状态:已上线 其他泳道的前置任务:AM-1 标的 ID 与市场维度(已上线)RT-3热数据分片1RT-7 分工认领、分配发布与成员 状态:已上线RT-7分工认领、分配发布与成员RT-5b 分片拉取上线(部署侧) 状态:已上线RT-5b分片拉取上线(部署侧)RT-13a 限流配额预留与认领 状态:已上线 其他泳道的前置任务:AM-5 限流池与每台机器 12 路拉取(已上线)RT-13a限流配额预留与认领1RT-10 逐笔成交库与写入服务 状态:已上线 其他泳道的前置任务:AM-18 基础设施:拉取机扩容(已上线)RT-10逐笔成交库与写入服务1RT-2 推送接口新增字段 状态:已上线 其他泳道的前置任务:AM-9a 接口约定:全市场与 IBKR 字段(已上线)RT-2推送接口新增字段1RT-7b 排班循环与运维命令 状态:进行中 这一步:提交并跑自动检查 这一步已 28 分钟 其他泳道的前置任务:AM-2 市场与采集状态数据表(已上线);AM-8a Binance 全市场发现与规格(已上线);AM-21 拉取的采集开关与排序(已上线)RT-7b自动检查排班循环与运维命令3RT-11 实时推送接口 状态:已上线 其他泳道的前置任务:AM-9 接口:市场列表与筛选(已上线)RT-11实时推送接口1RT-8 实时采集运行时 状态:等依赖 还在等:RT-7b 排班循环与运维命令 其他泳道的前置任务:AM-4 Hyperliquid 主盘和现货客户端(已上线) 合并前要先确认放行RT-8实时采集运行时1RT-13 按分配分片拉取 状态:等依赖 还在等:RT-7b 排班循环与运维命令;AM-6 全市场补历史引擎 其他泳道的前置任务:AM-6 全市场补历史引擎(进行中);AM-21 拉取的采集开关与排序(已上线)RT-13按分配分片拉取2RT-9 K 线实时(未收盘的当前小时) 状态:等依赖 还在等:RT-8 实时采集运行时RT-9K 线实时(未收盘的当前小时)RT-15 实时告警、指标与运维手册 状态:等依赖 还在等:RT-7b 排班循环与运维命令;RT-8 实时采集运行时;RT-13 按分配分片拉取 其他泳道的前置任务:AM-16 各市场的序列、指标与告警(已上线)RT-15实时告警、指标与运维手册1RT-12 逐笔成交历史读取 状态:等依赖 还在等:IB-3c 按权限可见与 IBKR 序列 其他泳道的前置任务:IB-3c 按权限可见与 IBKR 序列(进行中)RT-12逐笔成交历史读取1RT-14 行情页实时跳动 状态:等依赖 还在等:RT-9 K 线实时(未收盘的当前小时);AM-11 行情页:交易所→市场→标的 其他泳道的前置任务:AM-11 行情页:交易所→市场→标的(停住)RT-14行情页实时跳动1RT-16 新市场的实时订阅配置 状态:等依赖 还在等:RT-8 实时采集运行时;RT-9 K 线实时(未收盘的当前小时);AM-22 Hyperliquid 预测市场 其他泳道的前置任务:AM-3 Binance 各市场配置(已上线);AM-4 Hyperliquid 主盘和现货客户端(已上线);AM-22 Hyperliquid 预测市场(等依赖)RT-16新市场的实时订阅配置3RT-18 逐笔成交归档与冷数据读取 状态:等依赖 还在等:RT-12 逐笔成交历史读取;IB-3c 按权限可见与 IBKR 序列 其他泳道的前置任务:IB-3c 按权限可见与 IBKR 序列(进行中)RT-18逐笔成交归档与冷数据读取1RT-11b Python 实时推送客户端 状态:进行中 这一步:合并 这一步已 22 分钟RT-11b合并Python实时推送客户端

IBKR #68

已上线 5 / 10,在做 1
第 1 批第 2 批第 3 批第 4 批第 5 批第 6 批第 7 批第 8 批IB-1IB-1IB-2、IB-4a、IB-1IB-3c、IB-2IB-3a 可见性管道 状态:已上线IB-3a可见性管道IB-1 美股交易日历 状态:已上线 其他泳道的前置任务:AM-0 新包登记(仓库规则)(已上线)IB-1美股交易日历1IB-2 IBKR 权限数据与市场 状态:已上线 其他泳道的前置任务:AM-2 市场与采集状态数据表(已上线);AM-9a 接口约定:全市场与 IBKR 字段(已上线);AM-21 拉取的采集开关与排序(已上线)IB-2IBKR 权限数据与市场3IB-4a IBKR 历史数据客户端 状态:已上线 其他泳道的前置任务:AM-0 新包登记(仓库规则)(已上线);AM-5 限流池与每台机器 12 路拉取(已上线);AM-9a 接口约定:全市场与 IBKR 字段(已上线);RT-13a 限流配额预留与认领(已上线)IB-4aIBKR 历史数据客户端4IB-3c 按权限可见与 IBKR 序列 状态:进行中 这一步:独立验证 这一步刚开始 其他泳道的前置任务:AM-9 接口:市场列表与筛选(已上线);AM-9a 接口约定:全市场与 IBKR 字段(已上线);RT-11 实时推送接口(已上线)IB-3c独立验证按权限可见与IBKR 序列3IB-5 IBKR 标的目录 状态:等依赖 还在等:RT-7b 排班循环与运维命令 其他泳道的前置任务:AM-1 标的 ID 与市场维度(已上线);AM-8a Binance 全市场发现与规格(已上线);AM-9a 接口约定:全市场与 IBKR 字段(已上线);RT-7b 排班循环与运维命令(进行中)IB-5IBKR 标的目录4IB-4b IBKR 拉取全流程打通 状态:等依赖 还在等:AM-6 全市场补历史引擎;RT-13 按分配分片拉取;RT-15 实时告警、指标与运维手册 其他泳道的前置任务:AM-6 全市场补历史引擎(进行中);AM-16 各市场的序列、指标与告警(已上线);AM-21 拉取的采集开关与排序(已上线);RT-13 按分配分片拉取(等依赖);RT-15 实时告警、指标与运维手册(等依赖)IB-4bIBKR 拉取全流程打通5IB-6 门户:账户切换与 IBKR 行情 状态:等依赖 还在等:IB-3c 按权限可见与 IBKR 序列;AM-11 行情页:交易所→市场→标的;RT-14 行情页实时跳动 其他泳道的前置任务:AM-11 行情页:交易所→市场→标的(停住);RT-14 行情页实时跳动(等依赖)IB-6门户:账户切换与 IBKR 行情2IB-2b 部署操作:带权限建访问密钥 状态:已上线 其他泳道的前置任务:RT-5 按角色部署(已上线)IB-2b部署操作:带权限建访问密钥1IB-4c IBKR 修复、补数与次日对账 状态:等依赖 还在等:IB-4b IBKR 拉取全流程打通 其他泳道的前置任务:AM-2 市场与采集状态数据表(已上线)IB-4cIBKR 修复、补数与次日对账1

全部 55 项

全市场 #94已上线 15 / 24

状态编号名称当前/最后一步代码提交 (PR)合并时间(北京)
已上线AM-0#96新包登记(仓库规则)—最近动静 10 月 26 日 22:35#15510 月 26 日 22:34
已上线AM-1#97标的 ID 与市场维度—最近动静 昨天 11:05#160昨天 10:49
已上线AM-18#98基础设施:拉取机扩容—最近动静 10 月 26 日 23:34#15710 月 26 日 23:34
已上线AM-3#104Binance 各市场配置—最近动静 昨天 14:04#165昨天 13:45
已上线AM-4#105Hyperliquid 主盘和现货客户端—最近动静 昨天 15:23#164昨天 15:05
已上线AM-5#106限流池与每台机器 12 路拉取—最近动静 昨天 16:45#170昨天 16:27
已上线AM-2#107市场与采集状态数据表—最近动静 昨天 13:09#163昨天 12:51
已上线AM-9a#108接口约定:全市场与 IBKR 字段—最近动静 昨天 14:37#166昨天 14:21
已上线AM-7#109缓存里的事件索引—最近动静 昨天 16:12#169昨天 15:57
已上线AM-8a#114Binance 全市场发现与规格部署最近动静 昨天 22:57#179昨天 22:37
已上线AM-9#115接口:市场列表与筛选部署最近动静 昨天 19:26#172昨天 19:08
已上线AM-21#116拉取的采集开关与排序部署最近动静 今天 01:01#185今天 00:32
已上线AM-16#119各市场的序列、指标与告警部署最近动静 昨天 21:57#177昨天 21:37
进行中AM-6#120全市场补历史引擎修复(第 1 轮审查)这一步已 1 小时 15 分最近动静 今天 04:23——
进行中AM-8b#125Hyperliquid 主盘和现货发现提交并跑自动检查这一步已 57 分钟最近动静 今天 04:41#197已开,未合并—
已上线AM-10#127下游接入市场维度(信号、客户端)部署最近动静 昨天 23:40#182昨天 23:29
等依赖AM-22#128Hyperliquid 预测市场等 AM-6、AM-8b全市场补历史引擎;Hyperliquid 主盘和现货发现——
停住AM-11#131行情页:交易所→市场→标的合并22 分钟前结束最近动静 今天 05:17#196已开,未合并—
等依赖AM-12#135Binance 合约拉取任务等 AM-6全市场补历史引擎——
等依赖AM-13#136Hyperliquid 合约和现货任务等 AM-6、AM-8b全市场补历史引擎;Hyperliquid 主盘和现货发现——
已上线AM-17#142各市场数据核对部署最近动静 今天 02:44#188今天 02:28
等依赖AM-14#143Binance 期权任务等 AM-6全市场补历史引擎——
停住AM-20#146期权小时标记价、隐含波动率与希腊值合并1 小时 42 分前结束最近动静 今天 03:57#190已开,未合并—
等依赖AM-15#147Binance 现货任务等 AM-6全市场补历史引擎——

实时 #95已上线 11 / 21

状态编号名称当前/最后一步代码提交 (PR)合并时间(北京)
已上线RT-1#99排班核心算法—最近动静 昨天 10:11#161昨天 09:54
已上线RT-6#100调度数据表—最近动静 10 月 26 日 22:10#15410 月 26 日 21:53
已上线RT-4#103基础设施:主机清单、热分片、逐笔成交库—最近动静 昨天 10:33#159昨天 10:30
已上线RT-5#110按角色部署—最近动静 昨天 17:43#171昨天 17:24
已上线RT-3#111热数据分片—最近动静 昨天 18:50#173昨天 18:03
已上线RT-7#112分工认领、分配发布与成员—最近动静 昨天 11:41#162昨天 11:24
已上线RT-5b#113分片拉取上线(部署侧)部署最近动静 昨天 23:09#180昨天 23:07
已上线RT-13a#117限流配额预留与认领部署最近动静 昨天 20:02#174昨天 19:44
已上线RT-10#118逐笔成交库与写入服务代码审查(第 4 轮)最近动静 今天 02:19#189今天 04:21
已上线RT-2#121推送接口新增字段部署最近动静 昨天 20:57#176昨天 20:39
进行中RT-7b#122排班循环与运维命令提交并跑自动检查这一步已 28 分钟最近动静 今天 05:10#199已开,未合并—
已上线RT-11#123实时推送接口部署最近动静 今天 01:31#186今天 01:31
等依赖RT-8#126实时采集运行时等 RT-7b排班循环与运维命令合并前要先确认放行——
等依赖RT-13#129按分配分片拉取等 RT-7b、AM-6排班循环与运维命令;全市场补历史引擎——
等依赖RT-9#133K 线实时(未收盘的当前小时)等 RT-8实时采集运行时——
等依赖RT-15#137实时告警、指标与运维手册等 RT-7b、RT-8、RT-13排班循环与运维命令;实时采集运行时;按分配分片拉取——
等依赖RT-12#138逐笔成交历史读取等 IB-3c按权限可见与 IBKR 序列——
等依赖RT-14#139行情页实时跳动等 RT-9、AM-11K 线实时(未收盘的当前小时);行情页:交易所→市场→标的——
等依赖RT-16#140新市场的实时订阅配置等 RT-8、RT-9、AM-22实时采集运行时;K 线实时(未收盘的当前小时);Hyperliquid 预测市场——
等依赖RT-18#141逐笔成交归档与冷数据读取等 RT-12、IB-3c逐笔成交历史读取;按权限可见与 IBKR 序列——
进行中RT-11b#148Python 实时推送客户端合并这一步已 22 分钟最近动静 今天 04:25#195已开,未合并—

IBKR #68已上线 5 / 10

状态编号名称当前/最后一步代码提交 (PR)合并时间(北京)
已上线IB-3a#101可见性管道—最近动静 10 月 26 日 23:12#15610 月 26 日 22:56
已上线IB-1#102美股交易日历—最近动静 昨天 00:37#158昨天 00:20
已上线IB-2#124IBKR 权限数据与市场部署最近动静 今天 04:14#192今天 03:55
已上线IB-4a#130IBKR 历史数据客户端部署最近动静 今天 05:10#193今天 04:49
进行中IB-3c#132按权限可见与 IBKR 序列独立验证这一步刚开始最近动静 今天 05:38——
等依赖IB-5#134IBKR 标的目录等 RT-7b排班循环与运维命令——
等依赖IB-4b#144IBKR 拉取全流程打通等 AM-6、RT-13、RT-15全市场补历史引擎;按分配分片拉取;实时告警、指标与运维手册——
等依赖IB-6#145门户:账户切换与 IBKR 行情等 IB-3c、AM-11、RT-14按权限可见与 IBKR 序列;行情页:交易所→市场→标的;行情页实时跳动——
已上线IB-2b#149部署操作:带权限建访问密钥部署最近动静 今天 05:32#198今天 05:31
等依赖IB-4c#150IBKR 修复、补数与次日对账等 IB-4bIBKR 拉取全流程打通——

最近动态

GitHub 上最近 12 次合并和部署,新的在上,时间是北京时间。

  1. IB-2b部署操作:带权限建访问密钥部署成功
  2. IB-2b部署操作:带权限建访问密钥已合并
  3. IB-4aIBKR 历史数据客户端部署成功
  4. IB-4aIBKR 历史数据客户端已合并
  5. RT-10逐笔成交库与写入服务部署成功
  6. RT-10逐笔成交库与写入服务已合并
  7. IB-2IBKR 权限数据与市场部署成功
  8. IB-2IBKR 权限数据与市场已合并
  9. AM-17各市场数据核对部署成功
  10. AM-17各市场数据核对已合并
  11. RT-11实时推送接口部署成功
  12. RT-11实时推送接口已合并