千万行数据分组运算为什么这么慢Stata 分组加速 GTOOLS 完整指南【免费下载链接】stata-gtoolsFaster implementation of Statas collapse, reshape, xtile, egen, isid, and more using C plugins项目地址: https://gitcode.com/gh_mirrors/st/stata-gtoolsGTOOLS 是 Stata 常用分组命令的加速包它用 C 插件重写了 collapse、egen、isid、levelsof、contract、distinct、xtile 等命令让大数据集上的分组运算明显提速。如果你的 collapse 或 levelsof 在百万行数据上已经要跑好几分钟这篇指南就是为你写的。 分组命令为什么会随数据量变慢Stata 内置的分组命令大多用解释型代码执行逐行扫描记录、逐个比较和累加。数据量小时感觉不到但到了千万行、上千组一条 reshape wide 可能就要跑分把。慢的不是你的电脑而是执行方式。上图是官方基准1000 万观测、1000 个分组下collapse、reshape、isid、levelsof、egen 等命令的 gtools 条形几乎全部短于 Stata 原生部分趋近于零。C 插件GTOOLS 提速的原理一句话概括GTOOLS 把这些常用分组命令翻译成 C 插件用编译代码替代解释型循环语法和原生命令几乎一致可以直接替换使用。该包由 Mauricio Caceres Bravo 开发采用 GPL v3 许可证发布。一行命令装好安装 GTOOLS 只需要一行ssc install gtools装完就能用全套 g 前缀命令gcollapse、gsort、gquantiles、greshape、glevelsof 等都是对原生命令的直接替代。gcollapse 用法一行完成分组汇总最典型的场景是分组汇总比如按分组变量计算两个变量的均值use data.dta, clear gcollapse (mean) var1 var2, by(group_var)语法和 collapse 一致括号里写汇总统计量by 后写分组变量。区别在速度——分组多、统计量多时gcollapse 依然能稳定跑完。⚡ gsort 加速排序第二个时间黑洞排序是大数据上的第二大耗时项。gsort 是 sort 的加速版用法很直白use data.dta, clear gsort -amount date变量前加负号表示降序不加为升序变量书写顺序就是排序优先级。千万行数据上 gsort 通常秒级完成。另外如果你用 xtile 分箱对应加速命令是 gquantilesglevelsof 和 gdistinct 也都是一应俱全。落地三条提示大数据行数和分组越多提速越明显。优先把 collapse 换成 gcollapse、sort 换成 gsort收益最大。strL 变量支持有限长字符串建议先截断或转成短字符串类型再交给 gtools 命令处理。内存C 插件多线程并行峰值内存高于原生命令内存小的机器跑大文件前先看一眼可用内存。 可以搭配的工具ftools 是 Sergio Correia 开发的同路数包也是 GTOOLS 的参考之一装过可以横向对比着选。hdfe 负责高维固定效应与 gstats_hdfe 搭配能进一步加快大面板的估计。如果只改一条命令先改 collapse 为 gcollapse——它是出现频率最高的分组操作提速也最直观。【免费下载链接】stata-gtoolsFaster implementation of Statas collapse, reshape, xtile, egen, isid, and more using C plugins项目地址: https://gitcode.com/gh_mirrors/st/stata-gtools创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考