Loser story

Недавно читал про разные olap query execution engines: velox, photon, etc. Есть интересный момент, о котором я думал раньше, но не встречал на практике. Предлагается для строковых функций (lower, upper, reverse, etc) делать предположение об инпуте, ASCII он или нет. Утверждается, что в среднем это сильно ускоряет их, впрочем, если у вас только китайский текст, то вам такое не поможет, но вероятно и ничего не испортит. velox использует такой подход: Сделаем проверку на ASCII для инпута, если мы о нём ничего не знаем. Как правило эту проверку нужно сделать только один раз для инпут данных, так как большинство строковых функций принимая ASCII вернут так же ASCII. плюсы: * не требует ничего от стораджа минусы: * определяет ASCII или нет каждый раз * значительная часть времени для ASCII строк уходит на проверку, если бы мы знали заранее, что у нас только ASCII, было бы быстрее * незначительно медленнее utf-8 photon менее понятно, так как кода нет, но можно сказать что они так же имеют специализированные варианты функций. И возможно сохраняют некоторую мета информацию о колонке, насколько много в ней ASCII строк и нужно ли делать дополнительные проверки. плюсы: * читай минусы velox минусы: * дополнительные вычисления на вставке/компактизации данных В заключение скажу что мне стало куда более очевидно, что для любой обработки строк стоит хотя бы сделать ASCII специализацию, и проброс ASCII or UTF-8, чтобы не считать это каждый раз. Например в lucene, да и у нас в поисковом движке, этого нет (при вставке текста, он проходит через множество функций токенизации), а сейчас я уверен, что это стоило бы попробовать сделать. Ещё есть прикольный момент, который я подсмотрел в реализации velox: часто специализация строковой функции для ASCII, реализацией совпадает с аналогом для последовательности байт, соответственно код можно переиспользовать. https://vldb.org/pvldb/vol15/p3372-pedreira.pdf https://people.eecs.berkeley.edu/~matei/papers/2022/sigmod_photon.pdf

1. Давно хотел померять std::function альтернативы, так как бенчмарки которые видел были очень outdated. Взял микробенчмарк из abseil и адаптировал. Не ноутная amd железка, clang 19, libc++ 19 (abi v2!), около транк для остальных либ Benchmark Time CPU Iterations ----------------------------------------------------------------------------- BM_TrivialStdFunction 1.11 ns 1.11 ns 622220945 BM_TrivialAbslFunctionRef 1.10 ns 1.10 ns 637419510 BM_TrivialAbslAnyInvocable 1.85 ns 1.85 ns 377698611 BM_TrivialFollyFunctionRef 1.10 ns 1.10 ns 635925877 BM_TrivialFollyFunction 2.03 ns 2.03 ns 345277532 BM_TrivialBoostFunction 1.31 ns 1.31 ns 535099651 BM_TrivialFu2Function 5.27 ns 5.27 ns 133167133 BM_TrivialFu2UniqueFunction 5.07 ns 5.07 ns 137751417 BM_LargeStdFunction 11.0 ns 11.0 ns 63490131 BM_LargeAbslFunctionRef 1.10 ns 1.10 ns 635590925 BM_LargeAbslAnyInvocable 9.20 ns 9.20 ns 76082731 BM_LargeFollyFunctionRef 1.10 ns 1.10 ns 635390697 BM_LargeFollyFunction 11.1 ns 11.1 ns 62981528 BM_LargeBoostFunction 11.9 ns 11.9 ns 58833683 BM_LargeFu2Function 10.5 ns 10.5 ns 66229864 BM_LargeFu2UniqueFunction 10.7 ns 10.7 ns 65711158 BM_FunPtrStdFunction 1.42 ns 1.42 ns 472854986 BM_FunPtrAbslFunctionRef 1.28 ns 1.28 ns 545957263 BM_FunPtrAbslAnyInvocable 3.77 ns 3.77 ns 185835648 BM_FunPtrFollyFunctionRef 1.28 ns 1.28 ns 545872297 BM_FunPtrFollyFunction 2.03 n