Публикации и новости

Анонсы и релизы (592)

Бесплатные видеокурсы (3013)

СМИ / Бесплатные видеокурсы / IT: Интернет / Бесплатные видеолекции: Современные методы и средства построения систем информационного поиска (часть 1)

Бесплатные видеолекции: Современные методы и средства построения систем информационного поиска (часть 1)

Курс преподают: Владимир Гулин, Дмитрий Соловьев, Чернов Евгений, Алексей Воропаев, Ян Кисель.

Авторы курса – создатели поисковой системы на портале Mail.Ru – обладают большим опытом разработки систем искусственного интеллекта, многие имеют опыт преподавания. Мы хотим показать студентам, насколько интересно и увлекательно делать поисковую систему, решать задачи обработки текстов на естественном языке; хотим показать основные методы и средства решения таких задач.

Цель курса — В нашем курсе мы хотим рассказать об основных методах, применяемых при создании поисковых систем. Некоторые из них – хороший пример смекалки, некоторые показывают, где и как может применяться современный математический аппарат.

Все пользователи интернета имеют опыт работы с поисковыми системами, регулярно вводят туда запросы и получают результаты. Поисковые системы стали настолько привычными, что уже сложно себе представить, что когда-то их не было, а качество современного поиска воспринимается как данность, хотя ещё пятнадцать лет назад всё было совершенно иначе.
Однако, современная поисковая система является сложнейшим программно-аппаратным комплексом, создателям которого пришлось решить огромное количество практических проблем, начиная от большого объёма обрабатываемых данных и кончая нюансами восприятия человеком поисковой выдачи.
Студенты в завершении данного курса получат знания в области задач машинного обучения, узнают, как решается одна из самых сложных проблем искусственного интеллекта, понимание потребностей человека и поиск подходящего решения.

Продолжительность этой части (8 видео из 15-ти): 13 ч 45 мин

Лекция №1 "Введение в информационный поиск. Обзор архитектуры поисковых систем"

Определение задачи информационного поиска. Примеры поисковых систем. Задачи, связанные с поиском информации. История развития поисковых систем. Логическая модель информационного поиска, его задачи. Принципы булева поиска. Матрица «термин-документ». Обратный индекс. Словарь и координатные блоки. Создание обратного индекса. Разбиение на токены и сортировка. Словари и координатные блоки.

Лекция №2 "Лингвистика"

Что такое лингвистика, каковы её задачи. История зарождения и развития лингвистики как науки. Задачи, решаемые лингвистикой, её разновидности. Общая лингвистика: фонетика, фонология, морфология, синтаксис, семантика, прагматика. Историческая лингвистика. Лингвистическая типология. Социолингвистика. Диалектология. Лексикография. Психолингвистика. Математическая лингвистика. Статистическая лингвистика. Подходы к языку: рационалистический и эмпирический. Морфология. Корпусная лингвистика. Конкорданс, законы Ципфа, поправки и формула Мандельброта.

Лекция №3 "Основы обработки текста"

Критерии документа, кодировки. Уровни лингвистического анализа. Токены и термины. Детекция языка: графематический, N-граммный и лексический подходы. Нормализация. Проблемы токенизации. Наличие и отсутствие пробелов. Китайский, японский, арабский языки. Ударение и диакритика. Классы эквивалентности. Понижение регистра. Стоп-слова. Лемматизация. Стемминг. Предиктор. Виды языков. Статистическое снятие омонимии. Разбиение текста на предложения. Расширение поискового запроса.

Лекция №4 "Коллокации"

Методы подсчёта вероятности: параметрический и непараметрический подходы, стандартные и биноминальные распределения, мультиноминальное и нормальное распределения, аппроксимирование. Байесовский подход к статистике. Определение коллокаций, их признаки. Частотность биграмм. Фильтр по частям речи. Отклонения, гистограммы отклонений. Поиск коллокаций, примеры применения t-критерия. Поиск отличий в словоупотреблении. Критерий Пирсона. ᵪ2-критерий. Критерий отношения правдоподобия. Относительные частоты. Взаимная информация. Разреженность данных. F-мера.

Лекция №5 "Языковые модели. N-граммы. Цепи Маркова"

Цели распознавания языка. Языковые модели. Поиск с использованием языковых моделей. Фундаментальная проблема нехватки данных. Построение N-грамм. Метод максимального правдоподобия. Сглаживание. Валидация моделей. Линейное смешение моделей. Цепь Маркова. Матрица переходов. Последовательность состояний. Скрытые марковские модели. Три задачи HMM. Алгоритмы вперёд и назад. Алгоритмы Витерби, Баума-Уэлша. Применение НММ Таггер. Анализ поведения пользователя.

Лекция №6 "Машинный перевод"

Определение и задачи машинного перевода. История развития машинного перевода. Подходы к машинному переводу: rule-based, corpora-based, hybrid. Три основные методологии. RBMT, его сравнение с SMT, их преимущества и недостатки. Параллельный корпус. Выравнивание по предложениям. Word-based модели. Модели IBM Model, их ограничения. Фразовые модели: фразовый статистический перевод, вычисление вероятности перевода, модель языка, модель перевода, построение фразовой таблицы. Декодирование. Оценка машинного перевода. BLEU (Bilingual evaluation understudy). Эволюция машинного перевода.

Лекция №8 "Архитектура web-поиска. Текстовое ранжирование"

Логическая схема поисковой машины. Поисковый кластер. Индексация. Булев поиск. Вычисление веса. Коэффициент Жаккара. Частотная матрица. Модель «мешка слов». Частота термина. Логарифмическое взвешивание. Документная частота. IDF. Документы как векторы. Методы оптимизации текстового ранжирования. Термины с большим IDF. Документы с большим количеством терминов из запроса. Статические веса, общий вес. Эшелоны. Кластеризация индекса. Параметрические индексы и зоны. Поля (числовые зоны). Индексы для зон. Компактность вхождения. Вероятностный поиск. Использование языковых моделей при поиске. Варианты сравнения моделей. Правдоподобие запроса и документа. Сравнение моделей. Обратная связь по релевантности. Бинарная вероятностная модель. Байесовы сети в задаче ранжирования.

Другие бесплатные видеокурсы

Бесплатная видеолекция: Изменение трудового договора в одностороннем порядке
Ведет мастер-класс сертифицированный специалист в области кадрового менеджмента, член Национального ...
Бесплатная видеолекция: Адаптация персонала в организации: виды, методы, результаты
Ведет семинар сертифицированный специалист по кадровому менеджменту с более чем 15-летним опытом ...
Бесплатная видеолекция: Учет убытков прошлых лет для целей налога на прибыль в программе 1С Бухгалтерия 3
Семинар ведет ведущий преподаватель центра «Специалист» по бухучету и программе 1С с более, чем ...

Все бесплатные видеокурсы, Обучение в интернете

Быстрый поиск по теме Программы MBA Курсы бухгалтеров Курсы 1с Курсы иностранных языков Тренинги по продажам Курсы программирования Курсы управление персоналом Бесплатные курсы ещё	Поиск по городам Курсы в Москве Курсы в Санкт-Петербурге Курсы в Екатеринбурге Курсы в Новосибирске Курсы в Нижнем Новгороде Курсы в Самаре Курсы в Ростове-на-Дону Курсы в Казани ещё	Сервисы карьеристам Сервисы до и после регистрации Поиск курса, программы обучения Выбор выставки, конференции Конкурс грантов Деньги на обучение EduMoney Рейтинг компаний Публикации и новости Словари ещё	Организаторам мероприятий Правила размещения мероприятий Регистрация компании Реклама и сервисы на сайте Аудитория сайта Каталог компаний ещё