本地已有一年历史数据,第二天更新别只拉“昨天一天”:量化 K 线增量同步实践
> 一句话结论: 本地有一年历史数据,不代表数据已经完整;次日同步不应只盯着“昨天”,而应采用带重叠窗口的增量拉取、幂等写入和周期性回查,并让复权口径与策略保持一致。 问题定义:为什么只拉“昨天”不够? 假设本地已经保存了一年日线或分钟线。…
PHP / Java / Python / Go 语言实践、框架源码、微服务、数据库、性能优化
> 一句话结论: 本地有一年历史数据,不代表数据已经完整;次日同步不应只盯着“昨天”,而应采用带重叠窗口的增量拉取、幂等写入和周期性回查,并让复权口径与策略保持一致。 问题定义:为什么只拉“昨天”不够? 假设本地已经保存了一年日线或分钟线。…
背景 我之前写过以下两篇文章,用来展示 ArrayList 扩容的过程 [\[Java\] 验证 ArrayList 的扩容机制](https://juejin.cn/post/7520548423817936938 "https://ju…
PHP 紧急修复两项严重 RCE 漏洞,8.2 至 8.5 用户应立即升级 2026 年 10 月 21 日,PHP 官方发布紧急安全公告,并同时推出 PHP 8.5.12、8.4.27、8.3.36 和 8.2.35,修复两项可能导致\*…
一个量化策略连续运行了几个月,某天研究员发现,回测中实际参与计算的股票比预期少了十几只。 检查策略逻辑没有发现明显问题,再看数据获取日志,才发现部分代码使用了错误的市场后缀,另一些代码则包含不可见的空白字符。程序没有在入口处拦截这些问题,异…
摘要:BI 看板做不稳,多数不是单条 SQL 不够快,而是共享资源池缺少隔离与限流:几十张卡片同时刷新,重聚合脚本与卡片请求争抢 CPU 与内存,尾延迟抬升后前端超时最先出现。本文按 Apache Doris 官方文档,把高并发看板拆成两套…
深入浅出 RPC:从“传参调用”本质到 gRPC 实战 在日常开发中,我们经常听到“微服务”、“RPC”、“HTTP 接口”这些词。很多开发者对 RPC 的认知停留在“像调用本地方法一样调用远程服务”这句口号上,却说不清它到底解决了什么痛点…
开源替代怎么选:能力对照、三条部署路径与四类边界速查 摘要:选「开源替代」需拆成两层判断——能力层能否承接,部署层由谁承接。能力层,Apache Doris 官方口径为高度兼容 MySQL 协议与标准 SQL 语法(dev 页 2026-0…
大家好,我是小耶,写功课是为了我踩过的坑,你们别再踩了! 你有没有遇到过这种情况:数据库 TPS 明明不高,但偶尔会卡死。查慢查询日志,没发现什么大 SQL。查 CPU 和 IO,都挺正常。最后发现是死锁。 更诡异的是,死锁自动回滚了,业务…
“明明用了SETNX,为什么锁还是被超卖了?!”凌晨3点,监控报警把我从床上拽起来时,订单系统的库存数据已经乱成了一锅粥。这是一次典型的分布式锁失效事故——但当我翻出Redis日志时,却发现所有SETNX命令都返回了1(成功)。 问题的诡异…
缓存同步之后,还要考虑没收到消息的节点 在这里插入图片描述 假设 IMBoy 部署了两个服务节点,A 和 B。 用户把昵称从“小张”改成“老张”。A 更新了数据库,也清掉了自己的旧缓存。但下一次请求落到 B,页面上显示的还是“小张”。 原因…
前言 最近在开发个人任务清单项目,建表的时候踩了一个经典老坑: MySQL5.7 的 DATE 类型不支持直接写默认当前日期。 任务日期字段是 NOT NULL,新增任务时如果前端不传日期,直接 SQL 报错。 MySQL8.0 已经支持 …
> 十五年数据库相关经验,做过 DBA、架构师、技术顾问。不求"颠覆",只求"靠谱"。 异构数据同步,很多人以为最难的是"把数据从A搬到B"。 实际上不是。数据搬运是基本功,真正让人头疼的是源库结构一直在变——新增字段、改数据类型、加索引、…
\*\*摘要:\*\*本文聚焦主从自动分配算法中的核心创新点——「平均值乘以设备数一半」的选举基准值生成模式。通过公式推导、特性分析与Python代码验证,揭示该模式如何以 Base = floor(Avg (N/2)) 实现确定性保障,并…
历史行情返回顺序变了,为什么按行号计算指标很危险? > \*\*一句话结论:\*\*按行号计算指标,只有在数据已按交易时间正确排序、没有重复或缺失记录时才可靠;更稳妥的做法是先明确时间字段、排序并检查数据质量,再计算指标。 问题定义 在 P…
> 一句话结论:从日线升级到 5 分钟线,最先暴露的通常不是策略计算速度,而是数据口径、时间戳、完整性校验、请求与存储流程没有随数据量同步升级。先定义数据规范,再设计可重跑的采集与验证链路。 1. 为什么 5 分钟线会让工程问题变得明显 日…
如果你已经执行过 pip install quantdash,安装过程也没有明显报错,却在运行代码时遇到上述异常,先不要急着卸载 SDK。 最值得优先检查的,不是 QuantDash 是否安装成功,而是执行代码的 Python 能不能找到它…
> 一句话结论:同一交易日有多条 K 线,不足以证明数据重复;先核对标的、时间戳、周期、来源和复权口径,再判断是合法的分钟记录、跨源记录,还是同一逻辑键下的重复或冲突数据。 问题定义:日期相同,不等于 K 线重复 在量化数据处理中,按交易日…
写到这里,砚还要继续照着 IDE 加功能吗 Git、分栏、终端标签一轮轮补下来,功能列表长了不少。接着往下列,当然还能列出很多:语言服务、更多面板、更多快捷操作。 但我开始觉得,得停下来想想先做哪一个。 这篇沿着 10 月 15 日的方向笔…
JS 是单线程的(主线程只有一个),基于事件循环(Event Loop) 实现并发,让 JS 看起来能「同时做好多事」。而实际上,你写的 JS 代码永远不会被并行执行 。所谓并发只是「任务排队、轮流执行」。 事件循环(Event Loop)…
一个 Python 量化项目最容易被低估的工作,不是策略代码,而是行情数据进入系统之后应该如何组织。 最初只研究一只股票时,直接把行情放进一个 DataFrame 就可以开始计算指标。但随着研究范围扩大,项目可能逐渐涉及数百只股票、多个市场…