Viktor100500 / repository

Word_Frequency

Цель: написать программу, которая выводит частоту употребления того или иного слова в тексте. Задачи: 1. Использовать среду Jupyter Notebook. 2. Выполнить чтение текста (на русском языке) из файла input.txt. 3. Выполнить токенизацию текста (выделение слов) и их лемматизацию (приведение слов к нормальной форме). 4. Подсчитать частоту каждого слова. 5. Результатом выполнения программы станет список слов и их частота. Необходимо упорядочить слова в порядке убывания их частоты. 6. Вывод результата осуществить в консоль (продемонстрировать результат работы программы для большого текста). 7. Не учитывать регистр слов, знаки препинания. 8. Использовать обработку исключений. 9. Реализовать модульное тестирование. 10. Использовать PEP8 для оформления кода. *За опоздание -2 балла Рекомендации: 1. Подумайте какие структуры данных необходимо использовать для решения задачи. 2. Декомпозируйте задачу, используйте функции, чтобы было проще писать тесты. 3. Доп. балл за вывод процента покрытия кода. 4. Доп. балл за работу программы и с английским языком. 5. Для лемматизации можно использовать pymorphy2. 6. Для тестирования можно использовать unittest, pytest, doctest, nose и др. Ссылка на пример: https://gist.github.com/lixich/3b58f3bc336871c5062364cac47e8319 Доп. материал для знакомства с Python: 1. https://pythontutor.ru/ 2. https://netology-university.bitbucket.io/codestyle/python/ 3. https://www.python.org/dev/peps/pep-0008/