Современные технологии поиска и обработки информации. МЖФ-101. Практическое задание №4. Кластерный анализ из внешней базы данных

 Подготовка:

1. Добавьте виджет Guardian, нажмите на API key, затем ок. Укажите на английском ключевые слова запроса и диапазон времени (берите небольшой, чтобы анализировать не более 15-25 файлов, иначе анализ займет очень много времени),выберите блок headline и content, нажмите search:

Внимание! Виджет анализирует англоязычную газету Guardian, поэтому ключевое слово/слова запроса должны быть также английскими.

Схема анализа:

Подключение и настройка виджетов проводится также как и в предыдущем задании.

Анализ:

3. Откройте Preprocess Text и установите значения: Lowercase, Regexp, Stopwords.

4. Соедините виджет с Word Cloud чтобы увидеть частотность слов.

5. Соедините Preprocess Text с Bag of Words с параметрами: count, none, eucledian.

6. Соедините Bag of Words с Distances, укажите параметр columns type. Regularization выставляется с параметром Euclidean.

7. Соедините Distances с Statistics с параметрами word count и character count.

8. Подключите в конце форка Line Chart.

9. Откройте Line Chart и установите 2-3 ключевых слова (plots) чтобы увидеть пересечения.

10. Сохраните итоговый вариант как картинку и опубликуйте отдельным постом в блоге, аргументированно объяснив как связано взаимное употребление указанных слов в выбранных текстах.

Ссылки на выполненное задание принимаются в комментариях к данному посту до 15:00 28 октября..