Довірчий інтервал (Confidence Interval)
Знання про Довірчий інтервал (Confidence Interval) допоможуть вам приймати деякі управлінські рішення базуючись на даних, наприклад:
- Який варіант продуктової сторінки краще працює?
- Яка версія комерційної пропозиції більше подобається замовникам?
Одразу треба попередити, стаття не для математиків або статистів, давайте скажемо так - вона більше для гуманітаріїв 😄 , але якщо ви математик ви можете допомогти зробити її краще та написати в коментарях в яких задачах бізнесу Довірчий інтервал (Confidence Interval) ще можна використати.
Довірчий інтервал (Confidence Interval)
Це інтервал значень, який використовують для оцінки невідомого параметра популяції на основі вибірки даних. Він дає уявлення про те, наскільки точні наші оцінки і з якою ймовірністю цей інтервал містить справжнє значення параметра.
Наприклад, ваш CPO робить тест з зміною кольору сайту або розташуванням елементів. Тобто робить A/B-тестування. За результатами ви маєте від нього наступні відсотки конверсії відвідувачів в замовлення (або кошик)
Чи можна вважати що варіант "Heating" кращій за варіант "Cooling"?
– на жаль ми немає точної відповіді, бо це залежить не тільки від відсотку конверсії але і від кількісної вибірки.
В усіх трьох варіантах тесту у вас будуть відсотки від загальної виборки 17% та 21%, але тільки у третьому випадку з 10 000 відвідувачами довірчі інтервали не перетинаються між собою. Як висновок ми не можемо точно сказати що тест кращій в перших двох варіантах.
Інструменти для розрахунку довірчого інтервалу (Confidence Interval)
Існує багато онлайн-сервісів і програмного забезпечення, які допомагають легко розрахувати довірчий інтервал. Також можна зробити це формулою в Excel:
Excel
В Excel можна використовувати вбудовані функції та надбудови для розрахунку довірчих інтервалів. Для окремого випадку конверсій на сайті формулу можна сильно спростити
- =Z*sqrt((CR*(1-CR))/N)
Де:
- Z - рівень довіри (90% - це z=1,65 ; 95% - це z=1,96 ; 99% - це z=2,58)
- CR - Conversion Rate - відношення кількості цільових дій до загальної кількості відвідувачів. В нашому випадку це 0,21 = 2100/10000
- N - кількість відвідувачів 10000
Якщо хочете заморочитись то можна піти прямим шляхом, по формулах, але результа відносно саме конверсій буде той самий. (В інших прикладах буде інакше, коли наприклад ми трекаємо не конверсію а середнє замовлення наприклад)
Online Calculators:
Існують також онлайн-калькулятори, які дозволяють швидко та легко розрахувати довірчі інтервали, такі як
https://www.evanmiller.org/ab-testing/chi-squared.html#
Саме з нього зверху взяті скріни.
Математика довірчого інтервалу (Confidence Interval)
Розрахунок довірчого інтервалу базується на принципах математичної статистики і теорії ймовірностей.
Формула для розрахунку довірчого інтервалу для середнього значення виглядає наступним чином:
Основні етапи розрахунку включають:
Порахуємо довірчій інтервал (Confidence Interval) для нашого останнього прикладу
Вибіркове середнє (x̄):
Середнє значення вибірки.
Стандартне відхилення (s):
Міра розсіювання даних вибірки.
Розмір вибірки (n):
Кількість спостережень у вибірці. Для трафіку це кількість відвідувачів.
Коефіцієнт критичного значення (z або t):
Залежить від обраного рівня довіри, є 3 росповсюджені значенні рівня довіри, для 90%, 95% та 99%.
Тут для нас важливі 3 значення рівня довіри:
- 90% - це z=1,65
- 95% - це z=1,96
- 99% - це z=2,58
Висновок щодо використання Довірчого інтервалу (Confidence Interval)
Довірчий інтервал є важливим інструментом не тільки в статистиці, але і в бізнесі, бо допомагає оцінити точність наших вимірювань та зробити більш обґрунтовані висновки.