МФЖ-101. Современные технологии поиска и обработки информации. Практическое задание №9. Структурный анализ информации из внешней базы данных

Подготовка:

1. Добавьте виджет Guardian, нажмите на API key, затем ок. Укажите на английском ключевые слова запроса и диапазон времени (берите небольшой, чтобы анализировать не более 15-25 файлов, иначе анализ займет очень много времени),выберите блок headline и content, нажмите search:

Внимание! Виджет анализирует англоязычную газету Guardian, поэтому ключевое слово/слова запроса должны быть также английскими.

Схема анализа:

Подключение и настройка виджетов проводится также как и в предыдущем задании.

Анализ:

3. Откройте Preprocess Text и установите значения: Lowercase, Regexp, Stopwords.

4. Соедините виджет с Word Cloud чтобы увидеть частотность слов.

5. Соедините Preprocess Text с Bag of Words с параметрами: count, none, eucledian.

6. Соедините Bag of Words с Distances, укажите параметр rows type. Regularization выставляется с параметром Euclidean.

7. Соедините Distances с Hierarchiacal Clustering с параметрами linkage - word content и annotation - content.

8. Подключите в конце форка MDS модель. Либо, если данные не доступны - подсоедините MDS к Distances с параметрами: section, section, word count, headline.

9. В ней выставите в цвете - секцию, в форме - кластер, в размере - слово, а в лейбле - заголовок. Нажмите на кнопку PCA и затем на старт. Перед вами карта полей кластеров и их связей.

10. Сохраните итоговый вариант из MDS Word Cloud и Hierarchical Clustering как картинки и опубликуйте отдельным постом в блоге, аргументированно объяснив как:

а) связаны тексты с совпадающими цветными полями - что их на ваш взгляд объединяет?

б) связаны тексты, с общими линиями пересечений. Различаются ли результаты в различных моделях и если да, то чем?

Приведите по 1-2 примера на пункты а) и б)

Ссылки на выполненное задание принимаются в комментариях к данному посту до 20:00 13 ноября.