Курс Big Data у Києві
Курс Big Data
Опис курсу
В результаті проходження курсу студенти опанують сучасні методи та алгоритми теорії інтелектуального аналізу великих даних та машинного навчання.
—
Мета курсу — формування реальних навичок в аналізі, обробці, пошуку шаблонів та побудуванні прогнозів на основі даних.
Після курсу Ви зможете:
- Аналізувати та обробляти великі та надвеликі дані у різних форматах з метою підтримки прийняття рішень
- Знаходити шаблони у великих і надвеликих базах даних та у масивах тексту
- Будувати прогнози з використанням сучасних методів і алгоритмів інтелектуального аналізу даних;
- Використовувати програмне забезпечення для інтелектуального аналізу даних в практичній роботі.
Дивитись роботи випускників
Програма курсу:
1. Загальні відомості про інтелектуальний аналіз даних (ІАД) та машинне навчання
- Загальні відомості про великі дані та інтелектуальний аналіз даних. Задачі ІАД. Огляд методів ІАД та машинного навчання
- Процес ІАД. Підготовлення даних.
- Практичне застосування ІАД.
2. Методи та алгоритми класифікації
- Методи побудови дерев рішень. Методика «розділяй та володарюй». Алгоритм покриття. Алгоритм CART.
- Байесівські методи класифікації.
- Побудова математичних функцій класифікації. Метод опорних векторів: лінійний та нелінійний випадки.
- Системи з нечіткою логікою. Нечітко-нейронні системи. Настроювання параметрів нечітко-нейронних систем.
- Розв’язання практичних задач класифікації.
3. Методи та алгоритми кластеризації
- Ієрархічна кластеризація: агломеративний та дівізимний алгоритми. Методи сусідства. Поняття дендрограми.
- Статистичні алгоритми k-середніх, ЕМ та їх модифікації.
- Методи кластеризації на основі теорії графів. Алгоритми знаходження мінімального покриваючого дерева. Алгоритм Борувки.
- Алгоритм Форел та його модифікації.
- Метод самоорганізуючих карт Кохонена. Метод стохастичного градієнта. Інтерпретація карт.
- Аналіз результатів кластери-зації. Розв’язання практичних задач.
4. Методи та алгоритми побудови асоціативних правил. Секвенційний аналіз
- Загальні відомості. Показники корисності асоціативних правил.
- Алгоритми Apriori та FP-росту. Поняття FP-дерева (префіксного дерева).
- Шаблони послідовностей. Алгоритм AprioriAll.
- Пошук асоціативних правил в ієрархіях даних. Алгоритм GSP.
- Розв’язання практичних задач пошуку асоціативних правил та шаблонів послідовностей.
5. Ансамблі моделей ІАД
- Види ансамблів. Поняття беггінгу. Суміш моделей ІАД. Комбінування результатів прогнозів, отриманих моделями ІАД.
- Методи розрахунку коефіцієнтів відносних важливостей (ваг) моделей в ансамблі.
- Поняття бустингу. Алгоритм AdaBoost. Обґрунтування бустингу. Градієнтний бустинг.
- Порівняння моделей ІАД. Оцінки ефективності та помилок моделей. Lift- і Profit-криві. ROC-аналіз.
6. Методи та алгоритми аналізу текстової інформації (textmining)
- Етапи text mining. Попередня обробка документів. Виявлення ключових понять. Анотування текстів.
- Методи категоризації (рубрикації) текстів.
- Методи пошуку релевантних документів на основі множини запитів. Методи навчання ранжуванню.
- Розв’язання практичних задач text mining.
Мінімальні вимоги:
- Дуже бажане (але не обов’язкове) володіння знаннями з теорії ймовірностей: дискретна та неперервна випадкова величина, математичне сподівання, дисперсія, умовне математичне сподівання;
- Володіння на початковому рівні мовою програмування Python.
* Примітка: зазначені знижки не сумуються з іншими діючими акціями та спеціальними пропозиціями. Знижка застосовується тільки до нових заявок та при умові повної оплати курсу. Якщо у Вас виникли питання, звертайтеся за консультацією до наших менеджерів!
