специальный проект

5 апреля 2024

Кто сегодня обучает нейросети?

Кто: Елизавета Дахова 

выбрала область компьютерного зрения благодаря

обучению в художественной школе

Чем занимается: исследователь в команде FusionBrain

в AIRI, инженер-исследователь в Сколтехе, преподает в МФТИ

Образование: факультет ФПМИ на Физтехе и ШАД Яндекса

Интересы: компьютерное зрение

Кто: Савва Степурин 

Считает, что машинное обучение — самая передовая

область в IT 

Чем занимается: машинным обучением в команде

рекомендаций Яндекс Музыки

Образование: Факультет инноваций и высоких

технологий МФТИ и ШАД Яндекса

Интересы: Всё, что связано с искусственным интеллектом

Кто: Анастасия Янина

делала цифровые аватары, которые используют

для примерок на маркетплейсах

Чем занимается: обучает языковые модели,

преподает машинное обучение в России, Барселоне

и Бангкоке

Образование: физтех МФТИ, ШАД Яндекса

Интересы: обработка естественного языка,

языковые модели, разведочный информационный поиск

Кто: Айдар Булатов 

«Загорелся» машинным обучением, когда увидел,

как нейросети проходят игру Mario 

Чем занимается: разрабатывает новые архитектуры

нейронных сетей в DeepPavlov

Образование: мехмат МГУ, аспирантура МФТИ

Интересы: нейросети, которые работают с текстом

наведите на фото, чтобы узнать больше 

Искусственный интеллект повсюду и удивляет каждый день. Умные чат-боты знают ответ на любой научный вопрос, а нейросети прогнозируют движение вулканического пепла после извержений. За этими достижениями стоят специалисты по анализу данных и машинному обучению, которые часто объединяются, чтобы создавать значимые глобальные проекты. В совместном проекте с Яндекс Образованием мы поговорили с выпускниками Школы анализа данных Яндекса и лауреатами премии Yandex ML Prize (премия Яндекса для ученых и преподавателей в области машинного обучения) о том, какие задачи решаются в этой сфере, чем занимаются ML- и DS-специалисты и как войти в эти профессии. А заодно узнали, смогут ли нейросети предсказывать нам тренды раньше, чем недели моды. Несколько вопросов для интервью мы попросили сгенерировать ИИ — а в конце попросили героев отгадать, какие вопросы придумал не человек.

Специалисты по машинному обучению и анализу данных — о ежедневных задачах, интересах и попадании в профессию

текст: Арина Барабанова, Лера Гамина

фото: Рита Смагина

Как нейросети влияют на нашу жизнь?

Савва Степурин, выпускник ШАДа, старший разработчик машинного обучения в команде рекомендаций Яндекс Музыки:

☞

Возьмем доставку продуктов или такси. Количество курьеров и водителей ограничено — они не могут находиться во всех точках Москвы сразу. Машинное обучение помогает предсказать, в каких районах в какое время спрос будет больше — и послать туда больше таксистов или курьеров заранее. Так мы получим пользователей, которые быстро получат свой заказ, и исполнителей, которые заработают больше денег, — все останутся довольны.

Анастасия Янина, лауреат премии Yandex ML Prize 2020 года, выпускница ШАДа:

ML-алгоритмы незаметно вошли в нашу повседневную жизнь и делают ее проще. Во-первых, не представляю, как раньше люди ездили без навигатора. А сегодня алгоритмы помогают оптимизировать маршрут и избежать пробок. Во-вторых, ML прочно обосновался в ретейле. Например, я почти не хожу по магазинам, поскольку все можно купить онлайн. И часто при заказе продуктов я просто перехожу в раздел рекомендаций — и выбираю все оттуда. Когда виртуальные примерочные получат широкое распространение, можно будет и идеально сидящую одежду подбирать, не выходя из дома. Помимо бытовых есть и более серьезные применения ML-алгоритмов. Например, поиск и генерация формул лекарств (drug design) с помощью машинного обучения. Еще двадцать лет назад никто не мог подумать, что лекарство может спроектировать машина без непосредственного участия ученого или химика.

Айдар Булатов, лауреат премии Yandex ML Prize 2023 года, аспирант МФТИ, программист-разработчик в DeepPavlov:

☞

Еще 10-15 лет назад доверять синоптикам было сложно: тогда никто не мог представить, что благодаря машинному обучению можно будет в реальном времени посмотреть, как движется грозовой фронт и где именно идет дождь в Москве. Еще одна крутая возможность машинного обучения — рекомендации музыки, фильмов или изображений. Меня особенно впечатляет последнее. Еще до того как у пользователя оформилась идея, рекомендательная система предлагает свои варианты изображений. И пользователь с помощью кликов может обучить эту систему так, чтобы показывала именно то, что он хочет увидеть. 

Елизавета Дахова, исследователь в команде FusionBrain в AIRI, инженер-исследователь в Сколтехе, преподаватель в МФТИ:

☞

Нейросети могут решать самые разные задачи. Например, связанные с медициной. В рамках Московского эксперимента снимки из медицинских учреждений распределяются оттуда между компаниями, которые анализируют изображения с помощью нейросетей. Затем результаты передаются обратно в больницы и поликлиники — то есть ускоряется процесс диагностики за счет применения ИИ. Благодаря эксперименту, в государственных медицинских учреждениях Москвы постепенно автоматизируется описание исследований — это помогает точнее определять патологии и принимать больше пациентов.

Какие задачи специалист решает на работе?

Савва Степурин:

☞

Представьте, вы хотите послушать музыку. Просто включить радио или то, что вы слушали раньше, не подходит. Хочется чего-то нового. Тут включаются наши рекомендации Яндекс Музыки. С помощью машинного обучения мы настраиваем «волны» — плейлисты музыки под вкусы конкретного человека. У нас есть история, какие треки пользователь слушал в сервисе, из миллиона треков в библиотеке алгоритм выбирает наиболее близкие ко вкусам конкретного человека. Далее все треки ранжируются на основе реакций пользователя (тех же лайков): так и настраивается «волна» песен, которые он хочет слушать именно сейчас.

Анастасия Янина:

На работе я занимаюсь обучением больших языковых моделей и созданием продуктов на их основе. Сейчас, например, моя команда работает над созданием шопинг-ассистента — чат-бота, который умеет искать товары по различным критериям, сравнивать покупки между собой, формировать списки покупок и проводить маркетинговые исследования. Помимо основной работы я много преподаю, как онлайн, так и офлайн в университетах. Время от времени я консультирую стартапы. Самый запоминающийся — это papr.ai. Ребята с нуля сделали программу для организации асинхронных встреч и управления проектами, работающую полностью на нейросетях, без участия человека.

Айдар Булатов:

☞

Сегодня нейросеть может написать простыми словами стихотворение о каком-нибудь физическом явлении, помочь с редактурой или точным переводом с одного языка на другой. Мы с командой постоянно ищем способы, как улучшить понимание смысла текста нейросетями, их ответы на вопросы, способность поддерживать диалог. Нейросеть может выступать в роли помощника и даже учителя. Можно задавать ей философские вопросы, а можно расспросить о незнакомой стране или новых технологиях.

Елизавета Дахова:

Я разрабатываю модели для генерации изображений и видео. Такие модели используют, например, агентства для рекламных кампаний, а обычные пользователи — для генерации уникальных открыток на праздники. Также занимаюсь внедрением ИИ для обработки УЗИ-снимков в медицинском учреждении. Мы разрабатываем модель, которая будет анализировать снимки УЗИ беременных женщин и определять, провел ли врач исследование по протоколу. До этого у меня был проект, который позволил определять признаки ревматоидного артрита по рентгенограммам кистей рук — программа более подробно оценивает снимки, чтобы точно не пропустить патологию. 

Что знает и умеет эмельщик и дата-сайентист?

Савва Степурин:

☞

В школе я больше всего любил математику и информатику. Тогда я понял, что смогу применять эти знания именно в IT-профессии. Ключевой хард-скилл для специалиста в машинном обучении — знание математики. Софт-скиллы тоже пригодятся. В самом начале карьеры важно умение общаться с руководителем и верно понимать задачи. А когда ты вырастаешь до старшего разработчика или руководителя, нужно управлять командой и уметь делегировать. В ШАД я прокачал и харды, и софты: получил сильную базу знаний по машинному обучению благодаря преподавателям, которые сами каждый день разрабатывают технологии и сервисы. Они открыто делились опытом, как проходить собеседования, и помогали включиться в культуру Яндекса. Все это помогло мне погрузиться в профессию и получить классную работу.

Анастасия Янина:

☞

Для большинства исследовательских задач нужно знание математики. Я часто провожу собеседования для найма сотрудников к себе в команду. Мой опыт показывает, что люди, которые серьезно изучали математику в топовых университетах, проходят интервью лучше. Даже если нет профильного образования, всегда можно наверстать — изучить самостоятельно по учебникам и онлайн-курсам. Чтобы пополнить теоретическую базу Физтеха практикоориентированными знаниями, которые точно пригодятся в работе, я начала учиться в ШАД на третьем курсе. Помимо знаний и навыков там я приобрела друзей — мы до сих пор общаемся, хотя с выпуска прошло уже восемь лет. ШАД с тех пор сильно изменилась, появились новые преподы и курсы. Я до сих пор держу руку на пульсе и слежу за тем, что нового там появляется. 

Айдар Булатов:

☞

Машинным обучением я загорелся на третьем курсе университета, когда увидел, как простая нейросеть учится играть в игру Mario. Она «видела» экран и могла управлять виртуальным джойстиком, постепенно обучаясь методом проб и ошибок проходить уровень за уровнем. Для того чтобы работать с нейронными сетями, хватит знаний первых курсов технических вузов. Однако обязательно при этом знать Python и основные ML/DS-фреймворки. Углубленные знания математики нужны, когда необходимо лучше разобраться, как именно работает тот или иной принцип технологии. Даже самая маленькая ошибка в формуле может повлиять на то, научится ли искусственный интеллект решать нужную задачу или нет. 

Елизавета Дахова:

Дата-сайентист должен хорошо понимать и применять математику. Необходимую математическую базу я получила в физико-математической школе и в МФТИ. Программирование – это необходимый навык для ML-специалиста — его я смогла приобрести, обучаясь на Физтехе. Уже в ШАДе я увлеклась компьютерным зрением. Там научилась пользоваться нужными инструментами и фреймворками для глубокого обучения нейросетей. Если возникали сложности — преподаватели были рядом и делились опытом. Думаю, на мой выбор компьютерного зрения среди других областей науки о данных повлияла также учеба в художественной школе — именно там я начала понимать и любить разные формы искусства, и в результате меня заинтересовали визуальные образы.

Трудности, которые могут возникать в работе 

Савва Степурин:

☞

В рекомендациях всегда есть проблема «холодного старта». Это если пользователь приходит к нам за рекомендациями, а мы про него ничего не знаем. Или нам ничего не известно про локальных артистов, например, когда мы выходим в новые страны. Что можно с этим сделать? Нанять редакторов, которые знают популярных артистов в этой стране и могут сделать определенную разметку по жанрам — тогда будет что показать пользователю для старта. А после этого уже можно найти похожих по звучанию артистов. Плюс всегда можно подмешивать новые для пользователя треки и смотреть на его фидбэк. Когда пользователь станет более «прогретым» — можно подключать обычные алгоритмы.

Анастасия Янина:

Частая проблема при обучении больших моделей — недостаток железа для тренировки. На одной-двух картах большая модель будет учиться вечность, и здесь часто используют методы дистилляции или квантизации моделей, чтобы заставить модель меньшего размера работать без сильной просадки по качеству. Эти методы также нужны, когда какой-то алгоритм должен работать в режиме реального времени, например, на телефоне пользователя. 

Айдар Булатов

☞

Интересная проблема возникла, когда мы пытались обучить алгоритм работать с большими последовательностями. Мы подготовили данные, но нейросеть никак не обучалась. Хотя всего было достаточно. Мы обратились за помощью к литературе и опыту исследователей из смежных областей. Нам попалась статья, где авторы пытались обучить нейросеть решать математические и логические задачи. Они поставили себя на место учителя и придумали программу обучения от простых задач к сложным — как в школе. Мы применили такой же подход и стали увеличивать объем информации постепенно — и это сработало. Так я понял, что процессы обучения естественного и искусственного интеллекта схожи — можно брать закономерности из обучения одного, чтобы обучить другой. 

Елизавета Дахова:

☞

Бывают ситуации, когда нет идей, как можно повысить качество модели. Так было, например, когда я работала над медицинским проектом, где нужно было решать задачу локализации и оценки суставов кистей пациентов. Все известные решения не могли побить заданный порог точности. Я обратилась к коллегам — и вместе мы выбрали такую архитектуру, которая бы оптимально работала в условиях ограниченного количества данных — это помогло сделать модель качественнее.  А в работе с генеративными моделями, наоборот, новых идей настолько много, что часто не хватает времени для обзора всех недавно вышедших статей и техрепортов. В данном случае быстро узнать новости и выделить самое важное мне помогает чтение кратких обзоров на модели на различных сайтах и в телеграм-каналах, посвященных науке о данных.

Как машинное обучение может влиять и предсказывать тенденции следующего сезона?   

Савва Степурин:

☞

Алгоритмы вполне могут предсказывать модные тенденции, потому что они все основываются на исторических данных, а мода циклична. Для брендов уже сейчас реально делать персонализированные системы, которые бы рекомендовали людям одежду так же, как музыку или товары на маркетплейсах. 

Анастасия Янина:

Анастасия Янина:

Некоторые модные ретейлеры уже делают виртуальную примерочную. В основе таких подходов лежат либо генеративные модели, либо параметрические 3D-модели тела человека, на которые одежда «надевается», подстраиваясь под особенности фигуры покупателя. 

Елизавета Дахова:

С помощью машинного обучения бренды могут выделять отдельные группы клиентов на основе их предпочтений, покупательского поведения, географического расположения и других параметров. Это помогает лучше понять свою аудиторию и создавать персонализированные маркетинговые кампании. А еще можно использовать генеративные модели типа GPT для написания текста, подходящего конкретному клиенту.

Айдар Булатов: 

☞

Сегодня уже существуют нейросети, которые понимают, что происходит на картинке. Почему одна — смешная, а другая — странная. Можно взять такую нейросеть и обучить ее на новых данных — например, определять тренды по фотографиям с показов. Вполне реально создать программу, которая будет помогать редакторам оценивать тренды по изображениям. А для того чтобы научить нейросеть предсказывать тенденции будущего, нужно представить себя в роли учителя и правильно собрать данные. То есть набор задач, причина которых лежит в прошлом, а следствие — в будущем. Например, взять набор модных тенденций из журнала текущего года и тенденции из журнала прошлого года. Загрузить их в нейросеть и попробовать заставить ее предсказать будущее на основе закономерностей прошлого. Если мы используем все версии всех модных журналов за все время, это может позволить нам обучить нейросеть анализировать и предсказывать события.

Какие вопросы были сгенерированы с помощью ИИ?

Савва Степурин: про предсказание модных тенденций.

Анастасия Янина: про сферу профессиональных

интересов, хард-скиллы.

Айдар Булатов: про модные бренды и мои интересы в ML.

Елизавета Дахова: про моду и начало карьеры.

Правильный ответ: вопрос про моду

Каким был бы слоган для фильма про ML-специалиста?

Савва Степурин: «Всегда есть куда расти»

Анастасия Янина: «Трансформеры: эпоха обучения»

Айдар Булатов: «Они не подозревали, что создают

будущее»

Елизавета Дахова: «Мощь данных: путь

к бесконечным возможностям»

Нейросети меняют нашу жизнь к лучшему каждый день в самых разных областях. Возможно, именно вы будете тем, кто сделает новые открытия, связанные с машинным обучением. Стать ML-специалистом или дата-сайентистом может каждый. Посмотрите, какие программы обучения есть в ШАД Яндекса — там преподают ведущие эксперты IT-индустрии. А самые передовые открытия в области машинного обучения становятся номинантами премии Yandex ML Prize.

команда

Фото:

Рита Смагина

Продюсер:

Фарида Мустафаева

Стиль:

Лера Кулинич

Дизайн:

виолетта чекан

Сет-дизайн:

Марина Миронова

Редактор:

Лера Гамина

Макияж и прическа:

Марина Часнык

Ассистент стилиста:

Семен Филюшин

Продакшн-директор:

Анастасия Терехова

Ассистент сет-дизайнера:

Екатерина Грачева

Менеджер проекта:

Паша Прошин

Ассистент визажиста:

Лилия Чурилова

Арт-директор:

Света Павлова

Ассистенты фотографа:

Денис Карпенков

Сергей Иванов

Креативный Лид:

Николь Антонян

реклама • ооо «яндекс»