Что такое ChatCrawler

ChatCrawler — поисковая система по публичному Telegram. Публичные группы и каналы для нас то же, что сайты для Google: мы их обнаруживаем, обходим открытые ленты и индексируем публичные посты. Всё — через официальный API Telegram и только то, что открыто любому человеку без приглашения.

Как это работает

Обнаружение: новые публичные площадки находятся по ссылкам, упоминаниям и пересылкам из уже известных. Обход: краулер читает открытую ленту площадки тем же способом, каким её читает любой человек, открывший t.me. Индексация: посты попадают в поисковый индекс, а из них собираются агрегаты — где писал автор, когда площадка активна, какой у неё язык.

Что в индексе

9,4 млн публичных групп и каналов, свыше 14,6 млрд публичных постов и карточки авторов, которые в этих постах писали. Индекс живой: он растёт непрерывно, а данные площадки обновляются по мере повторного обхода.

Чем это отличается от поиска внутри Telegram

Поиск Telegram ищет по тому, на что вы подписаны, и по названиям площадок. Мы ищем по содержимому открытых лент целиком, включая площадки, о существовании которых вы не знали, и храним слепки постов, которые в самом Telegram уже пролистаны далеко вверх.

Что мы НЕ делаем

Не работаем со слитыми базами, не показываем телефоны и документы, не читаем личные и закрытые чаты, не обходим настройки приватности. Полный список ограничений — на отдельной странице «Чего ChatCrawler не делает».

Название

ChatCrawler пишется латиницей одним словом; кириллицей встречается как ЧатКраулер. Crawler — это поисковый робот, который обходит источники и складывает их в индекс. Наш обходит публичные площадки Telegram.