556
правок
Изменения
Перейти к навигации
Перейти к поиску
Анализ данных и машинное обучение (просмотреть исходный код)
Версия 23:37, 23 марта 2020
, 23:37, 23 марта 2020→BigData
==BigData==
<!-- ****************************** -->
<!-- Table Format - do not touch -->
{| class="a" style="width:100%;" border="1" style="width:100%; border-collapse:collapse"|+
<!-- Table name -->
'''Big Data'''
<!-- Table headers - do not touch -->
! style="background: #EAECF0;"| Название курса||style="background: #EAECF0;"|Источник / Организация||style="background: #EAECF0;"|Источник||style="background: #EAECF0;"|Длина курса
<!-- ****************************** -->
<!-- Course 1 -->
|-
|
<!-- Course format do not touch -->
{| role="presentation" class="a mw-collapsible mw-collapsed" style="border:1px solid white;"
| style="border:1px solid white;"|<strong>[https://stepik.org/course/1612/promo Управление вычислениями]</strong>
|-
<!-- Course content format do not touch -->
| style="border:1px solid white;"|
<!-- Course content -->
'''контейнеризация и Docker'''
* Знакомство с Docker
* Работа с файлами в контейнерах Docker
* Взаимодействие контейнеров Docker
* Работа с образами Docker
* Технологические основы и роль контейнеризации
'''Workflows и Pipelines'''
* Работа с данными и пайплайны
* Инструменты пайплайнинга и подходы к описанию пайплайнов
* Snakemake: имплицитное описание графа анализа, создание пайплайнов
'''Common workflow language'''
* Знакомство с CWL
* Описание инструментов с использованием CWL
* CWL: полезные компоненты, создание пайплайнов
|}
<!-- Formating do not touch -->
|style="text-align:center;"|
[[Stepik]] / [[Институт Биоинформатики]]
|style="text-align:center;"|
[[Материалы для старшей школы и студентов| Старшая школа и студенты]]
|style="text-align:center;"|
2 часа видео, 50 тестов
<!-- ****************************** -->
<!-- Course 2 -->
|-
|
<!-- Course format do not touch -->
{| role="presentation" class="a mw-collapsible mw-collapsed" style="border:1px solid white;"
| style="border:1px solid white;"|<strong>[https://stepik.org/course/150/promo Hadoop. Система для обработки больших объемов данных]</strong>
|-
<!-- Course content format do not touch -->
| style="border:1px solid white;"|
<!-- Course content -->
'''Введение'''
* Что такое Hadoop?
'''Распределенная файловая система HDFS'''
* Архитектура HDFS
* Shell-команды
* Java API
'''MapReduce'''
* Парадигма MapReduce, фреймворк
* Java API
* Hadoop Streaming
* Алгоритмы на MapReduce
* Реляционные функции
* Расчет TF-IDF
'''алгоритмы на графах в MapReduce'''
* Графы в MapReduce
* Поиск кратчайшего пути в графе
* PageRank
* Проблемы MR-алгоритмов на графах
'''Pig и Hive'''
* Pig, основные операторы PigLatin
* Hive
* Pig vs Hive
'''NoSQL базы данных HBase и Cassandra'''
* Способы хранения данных, NoSQL
* HBase
* Cassandra
'''Spark'''
* Основные понятия Spark, операторы, фреймворк
'''Yarn.MapReduce2.0'''
* Что такое YARN?
* Компоненты YARN
* MapReduce 2.0
|}
<!-- Formating do not touch -->
|style="text-align:center;"|
[[Stepik]] / [[mail.ru]]
|style="text-align:center;"|
[[Материалы для старшей школы и студентов| Старшая школа и студенты]]
|style="text-align:center;"|
12 часов видео, 250 тестов
<!-- ****************************** -->
<!-- Table ending - do not touch -->
|}
<!-- ****************************** -->
==Machine learning==
