Python 中文交流群 — public feed snapshot · snapshot for December 2025

23 December 2025

叶风

Фотография
click to show

06:31

叶

polars处理大数据，确实快。

06:52

Bear Mao

我们这里一开始线下用pandas开发小程序给业务人员用来做计算

06:55

然后随着程序变大和数据量变大，把代码搬到线上，做了个web页面给业务人员操作

06:56

然后业务人员抱怨慢

06:56

我也是第一次见到生产系统用pandas来计算

06:56

最近用java开始逐步替代各个模块，和原来功能之间用微服务调用的方式交互

06:57

所以我才想着虽然开发效率高，那么后面如果要求性能可能要重写。但是一开始用python开发是对的选择，因为开发比较快。

06:58

叶

叶风

从34GB的csv文件里搜索数据，我电脑只有8G内存，用了不到两分钟就搞定了。

07:02

雪梨

Bear Maotext not yet in the index

可能您问错或理解错了。

07:56

Bear Mao我也是第一次见到生产系统用pandas来计算

有 n 卡就用 cudf 要省事就直接用 modin 代替 pandas 啦（通常只要改下 import 语句）

07:57

Bear Mao所以我才想着虽然开发效率高，那么后面如果要求性能可能要重写。但是一开始用python开发是对的选择，因为开发比较快。

所以准确点是，后面如果要求性能，就改写为高性能的 py 写法，而不一定换掉 py 啦

07:59

Bear Maotext not yet in the index

时间有限就更不考虑换语言啦 profiling 不费事的

08:00

雪

wwwgoubulitext not yet in the index

嗯，zip 更新文件后需要更新 toc，需要来回 seek 文件。而 tar 无需更新 toc（只管塞进去）

08:01

Bear Mao

好的

08:01

那我改用tar了，命令行调用加一些exclude参数。主要就是一个小工具，开发投入的时间要少，运行效率限制到能用就行。

08:02

雪

雪梨

Bear Mao那我改用tar了，命令行调用加一些exclude参数。主要就是一个小工具，开发投入的时间要少，运行效率限制到能用就行。

调用 tar 好，用 tarfile 模块还是不如直接 tar 命令快（如果文件多）

08:03

Bear Mao

嗯

08:05

我手头还有很多其他小工具。所以想问下一般遇到性能问题的时候，要用cpp之类的写模块，还是怎么办。

08:06

雪梨

Bear Mao我手头还有很多其他小工具。所以想问下一般遇到性能问题的时候，要用cpp之类的写模块，还是怎么办。

先 profiling 啦

08:07

雪梨有 n 卡就用 cudf 要省事就直接用 modin 代替 pandas 啦（通常只要改下 import 语句）

然后类似 pandas 就改下 import 语句用 modin

08:08

多线程 CPU 密集可以直接改多进程

08:08

多线程 io 密集不用改

08:09

需要时有一些工具可以把 py 翻译为 c 或 cpp

08:09

雪

现在的话让 llm 翻译也行

08:09

A snapshot of an open public feed from the search index ChatCrawler — “Google for public Telegram”; refreshed as the venue is crawled. Times are UTC.