Пост✈️Анализ текста с помощью spaCy

✈️Анализ текста с помощью spaCy ➡️Токенизация и лемматизация SpaCy предоставляет эффективные инструменты для разбиения текста на токены и определения их базовых форм: import spacy nlp = spacy.load("ru_core_news_sm") doc = nlp("Кошки любят спать на мягких подушках.") for token in doc: print(f"{token.text} -> {token.lemma_}") ➡️Определение частей речи SpaCy автоматически определяет части речи для каждого токена: for token in doc: print(f"{token.text} - {token.pos_}") ➡️Распознавание именованных сущностей Библиотека способна выделять в тексте именованные сущности, такие как имена, организации и локации: for ent in doc.ents: print(f"{ent.text} - {ent.label_}") ➡️Генерация текста с использованием spaCy Хотя spaCy в первую очередь предназначен для анализа текста, его можно использовать и для помощи в генерации: ➡️Использование зависимостей для построения предложений SpaCy определяет синтаксические зависимости между словами, что может быть использовано для создания новых предложений: def generate_sentence(subject, verb, object): doc = nlp(f"{subject} {verb} {object}") return " ".join([token.text for token in doc]) print(generate_sentence("Программист", "пишет", "код")) ➡️Использование векторных представлений слов Векторные представления слов в spaCy могут быть использованы для поиска семантически близких слов: def find_similar_word(word, n=3): token = nlp(word)[0] similar_words = [] for lex in nlp.vocab: if lex.has_vector: if lex.is_lower == token.is_lower and lex.is_alpha: similarity = token.similarity(lex) similar_words.append((lex.text, similarity)) return sorted(similar_words, key=lambda x: x[1], reverse=True)[:n] print(find_similar_word("компьютер")) 🐍Pythoner