Machine learning chat

Налог на неанглийский язык: почему хинди и арабский в Claude обходятся дороже всего Исследователь Аран Комацузаки прогнал «Bitter Lesson» Саттона через токенизаторы OpenAI и Anthropic и нормализовал результат к английскому. Картинка получилась неприятная для всех, кто пишет не на английском. Один и тот же текст на хинди у OpenAI занимает в 1,37 раза больше токенов, чем по-английски. У Anthropic - в 3,24 раза. Арабский: 1,31 против 2,86. Китайский: 1,15 против 1,71. То есть пользователь, который пишет Claude на хинди, фактически платит втрое больше за то же самое сообщение и быстрее упирается в контекстное окно. Это и есть «лингвистический налог»: токенизатор обучен преимущественно на английских данных, и все остальные языки он режет на куски мельче, чем нужно. У Anthropic эта диспропорция выражена заметно сильнее, чем у OpenAI, и для языков с неевропейской письменностью разрыв превращается в реальные деньги и потерянный контекст. https://x.com/arankomatsuzaki/status/2049125048792006965