Современные технологии поиска и обработки информации. МЖСО-1. Практическое задание №4. Кластерный анализ информации

1. Откройте Orange Data Mining. Закройте информационное окно.

2. Подготовьте данные для анализа, выбрав от 8 до 12 текстов из СМИ на одну тему и сохраните их в виде .txt файлов (типа блокнот) в общей папке.

Схема кластерного анализа:

Описание анализа: верхний уровень - проверка отображения данных, нижний - непосредственная процедура анализа.

Управление в Orange: правая клавиша мыши открывает меню. Начните набирать текст для поиска инструмента. Левая клавиша мыши используется для выбора виджетов. Для соединения виджетов в единый форк (цепь) зажмите левую клавишу мыши и ведите линию вправо к следующему виджету.

Все виджеты открываются кликом по их иконке.

Анализ:

3.  Откройте Import Documents и укажите путь к папке, в которой лежат все ваши тексты.

4. Подключите виджет к corpus viewer чтобы увидеть источники.

5. Соедините виджет с Preprocess Text и выберите параметр Regexp.

6. Соедините Preprocess Text с Bag of Words. Regularization установите со значением Euclidean.

7. Выберите Distances и затем Cosine metric.

8. Присоедините виджет Hierarchical Clustering в конце цепи.

9. Откройте кластер и выберите следующие группы параметров: linkage - ward, annotation - name, после чего передвиньте вертикальный разделитель (пунктир) так, чтобы тексты разбились по группам кластеров, согласно их логике. Выберите два варианта разделения на кластеры.

10. Сохраните результаты с разным масштабом кластеризации как скриншоты и опубликуйте у себя в блоге с пояснением:

I.  Укажите тексты какой тематики и из каких источников вы использовали?

II. Поясните на какие группы разделились выбранные вами тексты и дайте обоснование почему именно такие группы были выделены. 

III. Оцените какой из полученных результатов на ваш взгляд точнее отражает деление массива текстов на группы?

Ссылка на выполненное в вашем блоге задание принимается в комментариях к данному посту до 15:00 30 марта.