ComComparison

---

Features | Installation | Quick Start | Community

---

ComComparison это простая в использовании и мощная командная строка. Готовое решение для вас!

📌Дз3 по инженерным практикам в ML

• Отформатировать код с помощью isort и black/autopep8/yapf.
• Выбрать набор плагинов для flake8 (от 5 штук).

-   repo: https://github.com/PyCQA/flake8
    rev: 6.0.0
    hooks:
    -   id: flake8
        args: [--max-line-length=131]
        additional_dependencies: [
            'flake8-bugbear>=19.8.0',
            'flake8-docstrings>=1.5.0',
            'flake8-isort>=2.7.0',
            'flake8-bandit>=3.0.0',
            'flake8-expression-complexity>=0.0.11',
            'flake8-annotations-complexity>=0.0.7',
            'flake8-requirements>=1.5.3',
        ]

• Записать выбранные формтеры, линтеры и плагины в readme.md. (1 балла)
  Пишу их сюда) trailing-whitespace, end-of-file-fixer, check-yaml, check-added-large-files, black и flake8 с допами
• Зафиксировать настройки форматера и линтера в pyproject.toml или setup.cfg (1 балла)
• Настроить и добавить pre-commit в проект. (1 балла)
• Провести анализ кода с помощью flake8 и плагинов и зафиксировать проблемы в файле linting.md (1 балла)
• [] Провести рефакторинг выявленных проблем. (3 балла)

Стандартная установка и запуск pre-commit:

poetry add pre-commit 
pre-commit sample-config > .pre-commit-config.yaml 
pre-commit install 
pre-commit run --all-files 

если ошибки

pre-commit clean 
pre-commit autoupdate 

Пример работы

(.venv) (base) nikivene@DESKTOP-78NOBF0:/mnt/c/Users/TurboFen/Desktop/Online_Edu/ComComparison$ pre-commit run --all-files
trim trailing whitespace.................................................Passed
fix end of files.........................................................Passed
check yaml...............................................................Passed
check for added large files..............................................Passed
black....................................................................Passed
flake8...................................................................Passed

📌Features

🚂Под капотом (Мы предоставляем сценарий):

• Внесение своей базы данных 📂
• Очистка базы данных ✂
• Векторизация 📏
• Классификация 👁
• Логистическая регрессия 💬
• Ранжирование ⏳
• Вывод топ-10 компаний со оенкой схожести 💡

🔎 Нейронная поисковая система

Выполнен в стиле классического браузерного поисковика. Позволяет вывести все созвучные организации.

Введите название компании:
>>>

❓ Настройка подготовки данных

Для тренировки модели можно использовать удобный папплайн train.py

# Generate PRE pipeline
pipe_pre = Pipe(
    TextTransform.to_lower_case(),
    TextTransform.drop_char(chars=r".,()0123456789«»$^#№"),
    TextTransform.drop_char(chars=r'-*"/&+:;@=\|?!' + r"'", replace=" "),
    TextTransform.drop_words(words=drop_ownership_list),
    TextTransform.drop_words(words=drop_countries_list),
    TextTransform.drop_whitespaces(),
    TextTransform.transliterate(),
)

💌 NLTK и spaCy

Пункт в разработке

⚡ Пример работы

Введите название компании:
bridgestone

Топ 10 похожих компаний:
1: Zeon Research Vietnam Co., Ltd; вероятность дубля: 1.0
2: Bridgestone India; вероятность дубля: 1.0
3: Bridgestone International Group; вероятность дубля: 1.0
4: Bridgestone De Mexico S.A. De C.V.; вероятность дубля: 1.0
5: Bridgestone De Costa Rica S.A.; вероятность дубля: 1.0
6: Bridgestone India Pvt., Ltd.; вероятность дубля: 1.0
7: Bridgestone Canada Inc.; вероятность дубля: 1.0
8: Bridgestone Firestone De Mexico Sa De Cv; вероятность дубля: 0.99
9: Bridgestone Neumaticos De; вероятность дубля: 0.99
10: Michelin Americas Research; вероятность дубля: 0.99

Введите название компании:

pir

Похожих компаний нет в списке или введены кракозябры

Введите название компании:

dsfhsdhsdhdfh

Похожих компаний нет в списке или введены кракозябры

🚀 Метрики

Представлены метрики качества модели (логистической регрессии) в зависимости от метода векторизации и факта очистки датасета

	f1	f1-macro	recall	roc-auc
tf-idf	0.40	0.69	0.28	0.96
tf-idf + очистка	0.73	0.86	0.65	0.96
word2vec	0.42	0.71	0.29	0.93
word2vec + очистка	0.52	0.76	0.37	0.93

📌Installation

Используемые библиотеки

• python >= 3.10
• numpy >= 1.23.4
• pandas >= 1.5.0
• scikit-learn >= 1.1.2
• notebook >= 6.5.1
• tables >= 3.7.0
• gensim >= 4.2.0
• nltk >= 3.6.5
• joblib >= 1.1.0

Через requirements.txt для pip:

pip install -r requirements.txt

С помощью Poetry устанавливаются все зависимости. Кроме pip можно использовать Homebrew или Conda.

git clone https://github.com/pandakov/ComComparison.git
pip install poetry
poetry install

📌 Quick Start

Сценарий 1 - Обучаем на ваших данных

В папку /data добавляете свой train.csv

>>>train()
>>>ranking()

Программа формирует файлы весов(embeddings.h5, logit.joblib, word2vec.model) и добавляет в /data. Трейн лежит на диске

Сценарий 2 - используем наши веса

В папку /data добавляете свой embeddings.h5, logit.joblib, word2vec.model

>>>ranking()

Они лежать на диске

📌Community

Расти вместе с AI Talent Hub!

На базе AI Talent Hub Университет ИТМО совместно с компанией Napoleon IT запустил образовательную программу «Инженерия машинного обучения». Это не краткосрочные курсы без практического применения, а онлайн-магистратура нового формата, основанная на реальном рабочем процессе в компаниях.

Этот проект создан в рамках второго задания по курсу: "Глубокое обучение на практике"

Мы команда ViN:

• Виктор
• Илья
• Никита

😄 Шутейка

Цитирование

Если вы используете ComComparison в своих исследованиях, рассмотрите возможность цитирования

@misc{=comComparison,
    title={ComComparison: An Easy-to-use and High Performance CLI},
    author={ViN Contributors},
    howpublished = {\url{https://github.com/pandakov/ComComparison}},
    year={2022}
}

Благодарность

• NLP. Основы. Техники. Саморазвитие. Часть 1
• NLP. Основы. Техники. Саморазвитие. Часть 2: NER
• Как найти что-то в тексте
• SpaCy
• NLTK
• Сравниваем работу open source Python — библиотек для распознавания именованных сущностей

Лицензия

The MIT License.