Ви могли чути вислів: "Не все те золото, що блищить."
В епоху інформації кожен статистичний показник (або просто статистика), з яким ми стикаємось, незалежно від нашої посади, може не передавати всю картину або бути неточним. У цей момент ви, можливо, замислитесь, чи можна покладатися на статистику, з якою ви зустрічаєтесь щодня. Ну що ж... не панікуйте... У цій статті я розповім, як оцінити якість статистики (тобто як фільтрувати оманливу або неточну статистику), з якою ви стикаєтесь або яку ви представляєте світу, щоб бути впевненим, що ви (або той, хто стикається з вашою статистикою) розумієте всю картину або не споживаєте неточні дані.
Як статистика потрапляє до вас?
Дослідники, такі як маркетингові дослідники, державні дослідники, соціологи, лікарі, академічні дослідники, журналісти та інші вчені, вивчають питання, щоб отримати результати. І медіа передають результати, або статистику через:
- У давні добрі часи… телевізор, газети, журнали та інформаційні листи.
- Тепер майже все існує в цифровому вигляді… просто через інтернет.
Чому статистика може бути оманливою або неточною?
Існує кілька причин, чому статистика може бути оманливою або неточною, наприклад:
Кожен може зробити просту помилку.
Іноді статистика змінюється або перебільшується щодо значень або способу їх подачі та обговорення. Це може бути тому, що хтось сильно вірить у певну справу, а результати не передають те, що намагається донести дослідник.
І в найгіршому випадку (що дійсно трапляється у реальному світі) результати абсолютно вигадані. І ці результати неможливо відтворити, оскільки вони ніколи не відбувались. Державні правила і регламенти, рецензовані журнали та наглядові комітети відіграють важливу роль у запобіганні публікації вигаданих результатів.
Тепер… я проведу вас через процес фільтрації оманливої або неточної статистики. Спочатку ви повинні проаналізувати джерело інформації…
Завжди перевіряйте джерела вашої інформації.
Коли ви бачите якусь статистику, спочатку поставте питання щодо її джерел, оскільки експерти у цій галузі публікують найкращі результати. Розглядайте всі дослідження, проведені джерелом, а не лише опубліковані результати. Конфлікт інтересів з боку дослідника може призвести до неправильної інформації. Якщо є можливість, зверніться до досліджень, які намагались повторити та обговорити поточні результати.
Далі ви повинні проаналізувати вибірку інформації дослідження або наукового дослідження…
Завжди перевіряйте вибірку.
Якщо результати базуються на маленькій вибірці, ігноруйте ці результати. Статистика маленької вибірки вважається ненадійною, оскільки кількість інформації (правильної та точної), що потрапила в статистику, визначає її надійність.
Якщо групи, що брали участь у дослідженні, і більша група, яку дослідження мало на меті представляти, не схожі, то результати вважаються ненадійними.
Шукайте провокативні питання в опитуваннях та анкетах, якщо такі є, то результати ненадійні.
Провокативне питання — це питання, за допомогою якого, враховуючи формулювання питання, можна зрозуміти, як дослідник хоче, щоб ви відповіли.
Далі перевірте математичний аспект результатів…
Завжди перевіряйте математику.
Коли ви бачите число чи статистику, не припускайте, що це правильне значення. Перевірте всі базові розрахунки.
Шукайте відсутню інформацію. Відсутня інформація може бути ключовою для розуміння всієї картини результатів. У дослідженні шукайте відсутню інформацію, враховуючи кількість людей, які були вибрані для участі, кількість людей, які завершили дослідження, та що сталося з тими, хто не завершив, а не тільки з тими, хто отримав позитивні результати.
Правильна математика не завжди означає хорошу статистику.
Пам'ятаєте? Я згадував, що статистику можуть змінювати та перебільшувати щодо значень або способу її подання та обговорення. Математика може бути правильною, але статистика може бути оманливою, і розпізнати оманливу статистику не так просто, як перевірити математику. Тому, зрештою, потрібно аналізувати оманливу статистику, враховуючи тип використаної статистики.
Завжди перевіряйте тип статистики.
Перевірте та поставте під сумнів тип статистики, що використовується. Чи є використовувана статистика відповідною та справедливою мірою? Чи передає вона справжню картину даних? Чи існує краща статистика? Співвідношення, ставка або відсоток можуть бути більш доречними статистиками, ніж простий підрахунок.
Уважно перевіряйте графіки, оскільки вони можуть бути оманливими. Масштаби графіків можуть бути розтягнуті або зменшені, щоб позначки на шкалі відображали малий приріст, що робить різницю більш помітною, ніж вона є насправді; або ж навпаки, позначки можуть відображати великі прирости, щоб дати вигляд "відсутності змін". Графіки можуть починатися з числа, що не є нулем, щоб зробити різниці виглядати більшими, ніж вони є насправді.
Співвідношення — це дроб, що ділить дві кількості. Наприклад, співвідношення хлопців до дівчат 5 до 4 означає, що на кожних 5 хлопців припадає 4 дівчини.
Ставка — це співвідношення, яке відображає кількість на певну одиницю. Наприклад, рівень злочинності в штаті може бути 5769 на 100,000 осіб.
Відсоток — це число між 0 і 100, яке відображає пропорцію від загальної суми. Наприклад, спідниця зі знижкою 20%.
Підсумовуючи, коли ви стикаєтесь із статистикою (або збираєтесь поділитися статистичною інформацією з іншими), потрібно пам'ятати, що статистика може бути оманливою або неточною з кількох причин. Тому спочатку потрібно перевірити її джерела, потім інформацію про вибірку, далі — математику, і врешті — тип статистики, що використовується.
Перекладено з: A Simple Guide To Identify Misleading or Inaccurate Statistics