User's master's research project focused on leveraging hypergraphs in machine learning (ML) for classification and multi-label learning in semi-supervised settings, with applications in text categorization, recommendation systems, and bioinformatics. The project was conducted under the guidance of Dr. Reshma Rastogi at South Asian University, starting in August 2022 and concluding in December 2024, resulting in two research publications at ICPR 2024 in Kolkata.Мій магістерський дослідницький проєкт був зосереджений на використанні гіперграфів у машинному навчанні (ML) для розробки нових фреймворків для класифікації та багатокомпонентного навчання в умовах напівнагляду. Проєкт охоплював важливі застосування, такі як категоризація текстів, системи рекомендацій та біоінформатика. Під керівництвом доктора Решми Растогі в Південноазійському університеті ми розпочали цей проєкт у серпні 2022 року, а успішно завершили його в грудні 2024 року, отримавши два наукові публікації на Міжнародній конференції з розпізнавання патернів (ICPR) 2024 у Калькутті.
Проєкт почався з детального огляду літератури для виявлення прогалин в існуючих методах багатокомпонентного навчання. Традиційні методи, засновані на графах, зазвичай фіксували лише бінарні взаємозв'язки, часто ігноруючи вищі асоціації, притаманні реальним даним. Гіперграфи запропонували перспективний шлях для вирішення цієї проблеми. Однак методи гіперграфів також ставили перед нами виклики, зокрема необхідність збалансувати бінарні та вищі взаємозв'язки. Ці прогалини визначили напрямок нашого дослідження.
На першому етапі ми ставили мету спростити задачу багатокомпонентного навчання, перетворивши її на незалежні задачі бінарної класифікації. Для цього ми обрали TSVM (Twin Support Vector Machine) через його обчислювальну ефективність, яка була в три рази вищою, ніж у традиційного SVM, запропонованого Вапніком. Ми ввели додаткові терміни в оптимізаційну функцію для покращення стійкості: один з них захоплював кореляції міток, а інший використовував локальну інформацію на основі гіперграфів. Для простоти та зручності ми використовували функцію втрат найменших квадратів. Мій процес включав експерименти з використанням стандартних наборів даних. Я оптимізував модель за допомогою прискореного проксимального градієнтного спуску і аналізував метрики, такі як Hamming loss, F1 score, AUC, Average Precision та ranking loss. Ці ітераційні експерименти допомогли удосконалити фреймворк для досягнення кращої точності за допомогою grid search.
На другому етапі ми виявили концептуальну прогалину: хоча графові лапласианти фіксували бінарні взаємозв'язки, вони були недостатніми для вищих асоціацій, які можна було б описати за допомогою лапласианів гіперграфів. Після мозкового штурму та теоретичного моделювання ми запропонували лінійну комбінацію обох методів для досягнення балансу між цими властивостями. Це призвело до розробки IHLSVM, який застосовував маніфольдну регуляризацію та функцію втрат у вигляді квадратного гнучкого втрату. Використовуючи метод Ньютона, рішення для розв'язання задачі квадратичного програмування в просторах примальних змінних ми прийняли з урахуванням потреби в обчислювальній ефективності без втрати точності. Ми перевірили підхід на наборі даних з репозиторію UCI ML, MNIST Fashion та багатокомпонентних бенчмарках, досягнувши покращених результатів.
Протягом проєкту виникали різні виклики, такі як налаштування гіперпараметрів, обробка незбалансованих наборів даних та забезпечення обчислювальної ефективності, що вимагало ітераційного вирішення проблем. Я часто проводив мозкові штурми з моїм науковим керівником, перевіряв гіпотези та вдосконалював алгоритми на основі результатів експериментів. Крім того, проведення тесту Неменії для статистичної значущості було критично важливим для підтвердження переваги наших методів.
Мої внески включали формулювання оптимізаційних задач, виявлення наукових прогалин, написання алгоритмів, проведення експериментів та аналіз результатів в MATLAB та Python. Цей досвід допоміг мені покращити навички критичного мислення, ітераційного вдосконалення рішень та трансформації теоретичних ідей у практичні фреймворки. Крім того, додаткова стаття про незбалансоване багатокомпонентне навчання, написана в рамках цього ж проєкту, була прийнята на CODS-COMAD 2024, що підкреслює більш широкий вплив проєкту.
Наукові публікації:
DOI: https://doi.org/10.1007/978-3-031-78383-8_15
DOI: https://doi.org/10.1007/978-3-031-78192-6_16
Перекладено з: My master’s research project on SVM