Не повірите, як легко виправити відсутні дані в Python - javascript.org.ua

Уявіть, що ви заходите в бібліотеку, нетерпляче прагнучи зануритись у захоплюючий роман. Ви знімаєте книгу з полиці, захоплені, щоб почати, і раптом виявляєте, що важливі сторінки відсутні. Це розчаровує, чи не так? Ось саме з такою ситуацією стикаються науковці з даних, коли мають справу з відсутніми значеннями у своїх наборах даних. Як відсутні сторінки порушують хід історії, так і відсутні дані можуть суттєво завадити нашій здатності отримувати значущі висновки та будувати точні моделі.

У цій статті ми розглянемо стратегії ефективного оброблення відсутніх даних, що є важливим етапом очищення та попередньої обробки даних у будь-якому проекті з науки про дані. Ми розглянемо різні методи, їх переваги та недоліки, а також надамо практичний приклад за допомогою коду на Python.

Що таке Очищення та попередня обробка даних?

Очищення та попередня обробка даних є невід'ємними етапами в процесі науки про дані. Вони включають підготовку сирих даних до більш зрозумілого, зручного та ефективного формату для аналізу.

Очищення даних зосереджене на виявленні та виправленні помилок, невідповідностей і неточностей у даних. Це включає:
Обробка відсутніх значень: Виправлення відсутніх даних за допомогою таких методів, як імпутація, видалення або методи на основі моделей.
Виявлення та видалення викидів: Виявлення та обробка даних, що суттєво відрізняються від очікуваного діапазону.
Виправлення невідповідностей: Виправлення помилок, таких як орфографічні помилки, неправильні формати даних і дублікати.
Видалення дублікатів: Видалення надлишкових записів з набору даних.
Попередня обробка даних охоплює ширший спектр діяльності, включаючи очищення даних і інші перетворення, щоб зробити дані придатними для аналізу:
Масштабування ознак: Перетворення даних до єдиного масштабу (наприклад, нормалізація, стандартизація) для покращення ефективності моделей.
Вибір ознак: Вибір найбільш важливих ознак для аналізу, зменшення розмірності та підвищення ефективності моделей.
Перетворення даних: Застосування таких перетворень, як логарифмічне перетворення, кодування з однією гарячою ознакою (one-hot encoding) і інженерія ознак для покращення точності та інтерпретованості моделей.
Інтеграція даних: Об’єднання даних з кількох джерел для створення єдиного набору даних.
Дискретизація даних: Перетворення безперервних змінних у дискретні інтервали.

Чому це важливо?

Поліпшена якість даних: Очищені та попередньо оброблені дані забезпечують точність та надійність подальших аналізів.
Покращення ефективності моделей: Високоякісні дані ведуть до кращої продуктивності моделей, збільшення точності прогнозів і надійніших висновків.
Зменшення упереджень: Правильне очищення даних допомагає пом’якшити упередження, які можуть виникнути через неповні або неточні дані.
Збільшена ефективність: Чисті дані легше обробляти, що веде до швидшого аналізу та покращення продуктивності.
Краще прийняття рішень: Точні та надійні висновки, отримані з чистих даних, дозволяють приймати обґрунтованіші рішення.

Очищення та попередня обробка даних — це часоємні, але важливі етапи в будь-якому проекті з науки про дані. Вкладаючи час і зусилля в цей етап, науковці з даних можуть забезпечити якість і надійність своїх аналізів і, в кінцевому підсумку, отримати більш цінні висновки з даних.

1. Розуміння впливу відсутніх даних

Перш ніж переходити до рішень, важливо розуміти потенційні наслідки ігнорування відсутніх даних:

Упереджені результати: Якщо з відсутніми даними не працювати належним чином, це може призвести до упереджених оцінок та неточних висновків. Наприклад, якщо старші люди рідше відповідають на опитування, аналіз може недооцінити потреби та вподобання цієї групи.
Зниження ефективності моделі: Відсутні дані можуть суттєво погіршити ефективність моделей машинного навчання.
Багато алгоритмів чутливі до відсутніх значень і можуть або не запуститись, або давати ненадійні результати.
Обмежені висновки: Відсутні дані можуть обмежити нашу здатність вивчати взаємозв'язки між змінними та виявляти приховані закономірності.

2. Виявлення відсутніх даних

Перший крок у роботі з відсутніми даними — це їх виявлення та аналіз патернів. Ось кілька поширених методів:

Візуальний огляд: Огляд набору даних за допомогою інструментів, таких як таблиці або бібліотеки для візуалізації даних, може допомогти виявити відсутні значення у вигляді порожніх клітинок або спеціальних символів (наприклад, “NA”, “N/A”, “?”).
Підсумкові статистики: Обчислення підсумкових статистик, таких як середнє, медіана та стандартне відхилення для кожної змінної, може допомогти виявити змінні з високим відсотком відсутніх значень.
Спеціалізовані бібліотеки: Бібліотеки, такі як Pandas у Python, надають функції, як-от isnull() та notnull(), для ефективного виявлення та підрахунку відсутніх значень.

3. Обробка відсутніх даних: Інструменти технік

Існує кілька стратегій для обробки відсутніх даних. Вибір методу залежить від природи даних, обсягу відсутності та конкретного дослідницького запитання.

3.1 Методи видалення

Видалення за списком (Аналіз повних випадків): Цей метод передбачає видалення всіх рядків, що містять будь-які відсутні значення.
Переваги: Легко реалізувати.
Недоліки: Може призвести до значних втрат даних, особливо коли мова йде про високо-розмірні дані або коли відсутність не є випадковою. Може впровадити упередження, якщо відсутні значення пов'язані з самою змінною або іншими змінними в наборі даних.
Видалення пар: Цей метод використовує всі наявні дані для кожної пари змінних при обчисленні статистики.
Переваги: Менше втрачених даних, ніж при видаленні за списком.
Недоліки: Може призвести до непослідовностей і труднощів в інтерпретації, особливо при роботі з складними взаємозв'язками між змінними.

3.2 Методи імпутації

Імпутація середнім/медіаною: Заміна відсутніх значень на середнє або медіану відповідної змінної.
Переваги: Прості у реалізації.
Недоліки: Може недооцінювати справжню варіативність даних і може бути не підходящою для скошених розподілів.
Імпутація модою: Заміна відсутніх значень на найбільш часте значення.
Переваги: Підходить для категоріальних змінних.
Недоліки: Може ввести упередження, якщо мода не є представницькою для справжнього розподілу.
Імпутація за допомогою регресії: Прогнозування відсутніх значень за допомогою регресійної моделі, яка базується на інших змінних у наборі даних.
Переваги: Може надати більш точні оцінки, ніж прості методи імпутації.
Недоліки: Вимагає обережного вибору моделі і може бути обчислювально дорогим.
Імпутація методом найближчих сусідів (KNN): Пошук k найближчих сусідів відсутнього значення за іншими змінними та використання їх значень для імпутації.
Переваги: Може захоплювати нелінійні взаємозв'язки між змінними.
Недоліки: Може бути обчислювально дорогим для великих наборів даних.
Множинна імпутація: Створення кількох ймовірних імпутованих наборів даних і аналіз кожного набору окремо. Результати потім об'єднуються для отримання більш надійної оцінки.
Переваги: Ураховує невизначеність, пов'язану з імпутацією.
Недоліки: Складніше реалізувати, ніж інші методи.

4. Вибір правильного методу імпутації

Вибір методу імпутації залежить від кількох факторів:

Механізм відсутності:
Відсутність повністю випадкова (MCAR): Відсутність не пов'язана з наявними або відсутніми даними.
Відсутність випадкова (MAR): Відсутність залежить лише від наявних даних.
Відсутність не випадкова (MNAR): Відсутність залежить від самих відсутніх значень.
Природа даних: Безперервні, категоріальні або змішані.
Обсяг відсутності: Пропорція відсутніх значень у наборі даних.
Дослідницьке питання: Конкретні цілі та завдання аналізу.

**5.

Приклад на Python: Обробка відсутніх значень за допомогою Pandas

Давайте проілюструємо цей концепт простим прикладом на Python за допомогою бібліотеки Pandas:

import pandas as pd  
import numpy as np  

# Зразок DataFrame з відсутніми значеннями  
data = {'Age': [25, np.nan, 30, 22, np.nan],   
 'Income': [50000, 60000, np.nan, 45000, 55000],   
 'Education': ['Bachelor', 'Master', 'PhD', 'Bachelor', 'Master']}  
df = pd.DataFrame(data)  

# Виявлення відсутніх значень  
print(df.isnull().sum())   

# Імпутація відсутніх значень середнім  
df['Age'].fillna(df['Age'].mean(), inplace=True)  

# Імпутація відсутніх значень медіаною  
df['Income'].fillna(df['Income'].median(), inplace=True)  

# Виведення DataFrame з імпутованими значеннями  
print(df)

Цей фрагмент коду демонструє, як:

Створити зразок DataFrame з відсутніми значеннями, які представлені як np.nan.
Виявити відсутні значення за допомогою методу isnull().
Імпутувати відсутні значення в колонці ‘Age’ середнім значенням цієї колонки.
Імпутувати відсутні значення в колонці ‘Income’ медіаною цієї колонки.

Висновок: Дорожня карта для подолання лабіринту відсутніх даних

У світі науки про дані зустріч відсутніх значень неминуча, як і повороти сюжету в гарному романі. Так само, як майстерний автор може вплести відсутню інформацію в наратив, так і науковці з даних повинні володіти інструментами та стратегіями для подолання викликів, що виникають через неповні дані. Ця стаття розглянула багатогранний ландшафт відсутніх даних, від розуміння їхнього впливу до реалізації ефективних методів обробки.

Ми розглянули наслідки ігнорування відсутніх даних, підкреслюючи, як це може призвести до упереджених результатів, погіршення продуктивності моделі та обмеженого розуміння основних явищ. Крім того, ми вивчили різні підходи до виявлення та обробки відсутніх значень, починаючи від простих методів видалення і до більш складних технік імпутації, таких як регресія та множинна імпутація.

Вибір найбільш відповідного методу не є універсальним рішенням. Це вимагає ретельного врахування таких факторів, як механізм відсутності (MCAR, MAR, MNAR), природа даних, обсяг відсутності та конкретні дослідницькі цілі.

Приклад на Python надав практичну демонстрацію того, як реалізувати основні методи імпутації за допомогою бібліотеки Pandas. Однак реальні сценарії часто вимагають більш складних підходів і можуть включати спеціалізовані бібліотеки та інструменти.

В кінцевому підсумку, ефективна обробка відсутніх даних є важливим етапом у процесі наукових досліджень з даними. Це вимагає поєднання критичного мислення, галузевих знань і ретельного розуміння доступних методів. Вкладаючи час і зусилля в цю важливу фазу, науковці з даних можуть забезпечити точність, надійність та інтерпретованість своїх аналізів, прокладаючи шлях до більш стійких моделей, глибших інсайтів та більш обґрунтованого прийняття рішень.

Ця стаття є основним посібником для орієнтування у складнощах роботи з відсутніми даними. Постійне навчання та дослідження нових технік є необхідними для того, щоб залишатись в курсі розвитку науки про дані та ефективно долати виклики, які виникають через неповну інформацію.

Перекладено з: You Won’t Believe How Easy It Is to Fix Missing Data in Python