Google ставит машинное обучение во главу

Для Холгейт, пришедшей в Google почти четыре года назад с дипломом по информатике и математике, это шанс овладеть самой горячей парадигмой мира софта. Используя обучающиеся алгоритмы и большие объёмы данных, „обучать“ программы выполнению задач. Много лет МО было специальностью, которой владели немногие, „элита“. Это время прошло, и есть мнение, что МО, питаемое нейросетями, эмулирующими работу биологического мозга – это истинный путь по наделению компьютеров возможностями человека, а иногда – и сверхчеловека.

Карсон Холгейт: тренируется на ниндзя, но не в рукопашном бою – это она уже освоила. Ей 26 лет, и у неё чёрный пояс второго дана по тхэквондо. На этот раз она тренируется в алгоритмах – и вот уже несколько недель проходит программу, которая даст ей силу даже большую, чем дает рукопашный бой. Это машинное обучение, МО. Она работает программистом в Google, в подразделении Android. Холгейт – одна из 18 программистов, участвующих в этом году в программе «Ниндзя машинного обучения», которая выдёргивает талантливых кодеров из их команд и вводит в программу в стиле «Игра Эндера». В рамках программы их обучают техникам внедрения ИИ, которые должны сделать их продукты умнее. Даже ценой усложнения их программ.

Карсон Холгейт

Наш слоган: „Хотите стать ниндзя в машинном обучении?“,- говорит Кристин Робсон, менеджер продукта в области МО во внутренних курсах Google, помогавшая внедрять программу. Мы приглашаем людей из Google, чтобы провести шесть месяцев внутри команды МО, находиться рядом с наставником, работать над МО полгода, делать свой проект, запускать его и обучаться в процессе.

Чем больше будет людей, раздумывающих над решением задач этим способом, тем лучше для нас, - говорит лидер компании в области МО, Джеф Дин, который занимает в разработке софта в Google то же место, что и Брэди среди квотербеков в NFL.

По его мнению, сейчас из 25 000 программистов Google только «несколько тысяч» хорошо разбираются в МО. Ну, может быть, десять процентов. А ему хочется приблизить эту цифру к ста процентам.

Было бы здорово, если бы у каждого программиста были бы хоть какие-то знания в области МО, - говорит он.

Произойдёт ли это когда-нибудь?

Мы собираемся попробовать, - говорит он.

Уже много лет Джон Джиннандреа был в Google главным пропагандистом машинного обучения. Сегодня Джон занимет в ней пост главы поискового отдела — красноречивое свидетельство нового курса компании. Но, придя в компанию в 2010-м году (в рамках приобретения ею базы данных по людям, местам и прочим данным MetaWeb, сейчас интегрированной в Google Search под именем Knowledge Graph), он не имел большого опыта в МО или нейросетях. В 2011 году он был поражён новостями с конференции по нейросетям «Neural Information Processing Systems» (NIPS). Казалось, каждый год на NIPS новая компания рассказывала, чего она добилась при помощи МО, и это решение на голову превосходило предыдущие попытки, будь это перевод, распознавание голоса или машинное зрение. Происходило что-то удивительное.

«С первого раза мне показалось, что на этой конференция обсуждаются какие-то совершенно непонятные вещи,- говорит он. – Но эта область на пересечении научных исследований и индустрии просто взлетела за последние три года. В прошлом году, по-моему, присутствовало 6 000 человек»

Джефф Дин

Улучшенные алгоритмы эмуляции нейросетей вкупе с увеличивающейся благодаря закону Мура вычислительной мощностью и экспоненциальным ростом количества данных о поведении пользователей, собираемых компаниями класса Google или Facebook, начали новую эру господства МО. Джиннандреа присоединился к группе людей, уверенных в необходимости позиционирования МО как центральной технологии компании. В эту группу входит Дин, сооснователь Google Brain – проекта работы с нейросетями, берущего своё начало в отделе долгосрочных исследований Google X (который сейчас известен просто как X).<br /><br

Google вцепился в МО медвежьей хваткой не просто ради сдвига в технологиях программирования. Это увлечение технологиями, которые дадут компьютерам невиданные до сих пор возможности. Передним краем этих технологий служат алгоритмы «глубокого обучения», построенные на основе нейросетей, вдохновлённых архитектурой мозга. Google Brain – это попытка машинного обучения, а компания DeepMind, занимавшаяся ИИ, и купленная Google в январе 2014 за полмиллиарда долларов, также концентрировала усилия в этой области. Именно DeepMind создала систему AlphaGo, победившую чемпиона игры в го, превзойдя ожидаемые возможности компьютеров, и всколыхнув недоверие к машинам людей, боящихся умных компьютеров и роботов-убийц.

В качестве примера способностей МО он приводит Google Photos. Одной из определяющих его возможностей является сверхъестественная и пугающая возможность находить изображение предмета, заданного пользователем. Покажи мне изображения бордер-колли.

Когда люди впервые видят его работу, им кажется, что происходит нечто совсем иное – компьютер не просто вычисляет предпочтения или предлагает видео на просмотр,- говорит Джиннандреа. Он понимает, что находится на картинке.

В результате обучения компьютер «узнал», как выглядит бордер-колли, и он найдёт фотографии щенков колли, старых собак, длинношёрстных и подстриженных колли. Это доступно и человеку. Но человек не может просмотреть миллион примеров и идентифицировать десять тысяч пород. А система с МО может. Если она выучит одну породу, она может использовать эту технологию для опознания 9 999 оставшихся.

Именно это и есть инновация. Для таких узких областей знания становятся видны возможности обучающихся систем, которые некоторые люди описывают, как сверхчеловеческие.

Постепенно в популярных сервисах Google начали появляться результаты работы программистов, занимавшихся МО. Поскольку пока основными областями применения МО служат зрение, распознавание речи, синтез речи и перевод, неудивительно, что эта технология стала частью сервисов «голосовой поиск», «переводчик» и «фото». Удивительно как раз то, что МО пытаются встроить везде. Джефф Дин говорит, что по мере улучшения понимания его и его командой принципов МО, они всё выше поднимают планку использования этой технологии.

Раньше мы могли использовать МО в нескольких вспомогательных компонентах системы,- говорит он. Теперь же мы используем МО взамен целых наборов систем, и не пытаемся построить свою МО для каждой из частей.

Если бы ему пришлось переписывать инфраструктуру Google, а Дин известен как один из создателей таких повлиявших на технологии систем, как Big Table и MapReduce, большая часть была бы получена не программированием, а обучением.

Грег Коррадо, сооснователь Google Brain

МО позволяет наделять продукты такими свойствами, которые раньше и вообразить-то было сложно. Один из примеров – «умный ответ» в Gmail, запущенный в ноябре 2015. Начался он с разговора Грега Коррадо, сооснователя Google Brain, и инженера из Gmail Балинта Миклоса. Коррадо уже работал с командой Gmail над распознаванием спама и классификацией писем, а Миклос предложил нечто радикальное. Что, если при помощи МО автоматически создавать ответы на письма, чтобы избавить пользователей от лишних хлопот по набору текста на крохотных клавиатурках?

Я был крайне изумлён, ведь это предложение выглядело безумным,- говорит Коррадо. – Но затем я подумал, что при помощи предсказательной технологии нашей нейросети это может быть реализуемо. А если был хоть один шанс, нам нужно было попробовать.

Smart Reply – лишь одна вершина в плотном графе проектов Google, в которых МО хорошо себя показало. Возможно, поворотный момент наступил, когда машинное обучение стало неотъемлемой частью поиска – главного продукта Google, и источник практически всех доходов. Поиск всегда основывался на ИИ, но много лет священные алгоритмы, предлагающие нам «десять синих ссылок» в ответ на запрос, считались слишком важными для того, чтобы отдавать их алгоритмам МО.

Поскольку поиск был такой важной частью компании, ранжирование очень сильно эволюционировало. Люди скептически относились к мысли, что можно достичь какой-то существенной разницы, - говорит Джиннандреа.

Оказалось, что будет, и эта система сейчас встроена в поиск под именем RankBrain. Она была запущена в апреле 2015. Google, как обычно, не вдаётся в подробности того, как она улучшает поиск (что-то связанное с длинными ключевыми фразами? лучшая интерпретация двусмысленных запросов?), но Дин говорит, что RankBrain работает «с каждым запросом» и влияет на ранжирование «возможно, не в каждом запросе, но во многих». Более того, она очень эффективна. В сотне «сигналов», используемых поисковиком для подсчёта ранга (сигнал – один из параметров вроде геолокации или совпадения запроса с заголовком), RankBrain находится на третьем по важности месте.

Новая задача Google – смена парадигмы в сознании программистов, чтобы все, если и не были специалистами, то были хотя бы знакомы с МО. Того же добиваются и многие другие, например, Facebook, где так же сильно фанатеют от МО и глубокого обучения. Конкуренция среди желающих нанять выпускников с такой специальностью большая, и Google пытается сохранить свою фору. Уже несколько лет в академических кругах шутят, что Google нанимает лучших студентов, не нужных ему, просто чтобы не отпустить их к конкурентам. Правда, на самом деле они всё-таки нужны Google.

Мои студенты, неважно кто, всегда получают приглашения от Google,- говорит Домингос.

Страсти накаляются: на прошлой неделе Google объявил о готовящемся открытии новой лаборатории по МО в Цюрихе, которая создаст множество рабочих мест.

Кристин Робсон работает над обучением всех желающих принципам МО

Также эта область требует терпения.

Модель МО – это не статичный кусок кода. Вы постоянно кормите его данными,- говорит Робсон. – Мы постоянно обновляем модели и учим их, дополняем данные и подстраиваем предсказания. Всё это ощущается как живое существо. Это другой тип программирования.

Это наука об экспериментах с другими алгоритмами, или о том, какие наборы данных лучше всего работают в вашем случае,- говорит Джиннандреа, который, несмотря на свою роль властелина поиска, всё ещё рассматривает проповедь МО как часть своей работы. – Информатика никуда не девается. Но приходится больше сосредотачиваться на математике и статистике, и меньше – на написании полумиллиона строк кода

С точки зрения Google, этот барьер поможет перепрыгнуть умное переобучение.

В конце концов, используемая в моделях математика не так уж и сложна,- говорит Дин. – Её может освоить большинство программистов, нанимаемых в Google.

В то время, как Google пытается представить этот шаг в виде альтруистической помощи сообществу, она признаёт, что новое поколение программистов, знакомых с внутренней кухней компании в области МО, принесёт пользу системе найма компании. Скептики отмечали, что открытие кода TensorFlow последовало в попытке угнаться за Facebook, которая выпустила свои модули глубокого обучения для системы Torch в январе 2015. Тем не менее, возможности TensorFlow, открытой Google для широкой публики, сделали её самой популярной среди любителей МО. Джиннандреа утверждает, что на первый онлайн-курс по TensorFlow записалось 75 000 человек.

В каком-то смысле, то, что Карсон Холгейт узнает в своей программе для «ниндзя», имеет основополагающее значение для планов Google по доминированию в роли компании, сосредоточенной на ИИ в мире, где МО занимает первое место среди дисциплин.

Её программа началась с четырёхнедельного учебного курса, на котором главные разработчики продуктов Google из самых продвинутых проектов ИИ обучали их мастерству превращения МО во что-то осязаемое.

Мы отправляем ниндзя в аудиторию, где Грег Коррадо за доской объясняет им LSTM ("Long Short Term Memory", технология работы нейросетей), сильно жестикулируя, показывая им, как это работает на самом деле, в чём заключается математика и как это используется в продакшене,- говорит Робсон. – Мы поступаем так с каждой нашей технологией и каждым инструментом, чтобы за первые четыре недели по-настоящему погрузить их в тему.

Холгейт пережила учебный курс, и сейчас использует инструменты МО для создания в Android инструмента для общения с целью облегчить задачу общения всех гугловцев друг с другом. Она настраивает гиперпараметры, подчищает входные данные, удаляет стоп-слова. И она не свернет с этого пути, поскольку знает, что эти ИИ-технологии – это настоящее и будущее Google, а может, и всей техноиндустрии. А может, и всего вообще.

С машинным обучением, — говорит она, — у нас тут всё серьёзно