Робин Ли - Baidu. Как китайский поисковик с помощью искусственного интеллекта обыграл Google

• Название: Baidu. Как китайский поисковик с помощью искусственного интеллекта обыграл Google
• Автор: Робин Ли
• Жанр: Зарубежная публицистика
• Год: 2021
• ISBN: 978-5-04-107288-9

Baidu – китайская компания, предоставляющая веб-сервисы, основным из которых является одноименная поисковая система. Технологии Baidu способны переводить речь в режиме реального времени с одного языка на другой, распознавать степень правдивости найденной информации и даже найти похищенного человека. Из этой книги вы узнаете, какие технологии помогли Baidu обыграть Google и какие возможности в будущем откроет перед нами искусственный интеллект. В формате PDF A4 сохранен издательский макет.

---

Baidu Brain можно рассматривать как типичную силу искусственного интеллекта. Его способность к разделению может подчеркнуть нашу состоятельность в индустрии искусственного интеллекта. Если у компании, специализирующейся на продуктах с ИИ, нет возможностей в будущем, можно сказать, что она не готова войти в эту сферу.

Baidu Brain – это сочетание аппаратной базы, базы данных и алгоритмических возможностей, облачных вычислений, больших данных и искусственного интеллекта. Это сочетание является основой стратегии Baidu. Облачные вычисления – это инфраструктура. Массивы данных – это топливо. Искусственный интеллект – это двигатель, объединяющий «физику интернета», интернет-технологии и бизнес-модели цифрового мира. Он входит в общество, чтобы полностью его изменить.

Облачные вычисления, имя в облаке – это нижняя составляющая мозга Baidu, физическая его часть IaaS (Infrastructure as a Service, инфраструктурные услуги).

Супервычислительная мощность Baidu Brain достигается за счет высокопроизводительного вычислительного оборудования. Оно составляет сотни тысяч серверов и использует передовые кластерные операционные системы для унифицированного управления суперкомпьютерами ИИ.

Для того, чтобы расширить возможности обучения, Baidu самостоятельно разработал GPU и FPGA (Программируемая пользователем вентильная матрица) гетерогенный вычислительный сервер. Он был увеличен до 64 GPU / FPGA и превосходит традиционную плотность сервера в 16 раз. Один сервер теперь может завершить обучение 100 миллиардов моделей данных. В основе Baidu FPGA находится процессор, обеспечивающий 10 Tops[6] вычислительной производительности. Он превосходит основной 20-ядерный сервер по вычислительной эффективности в 60 раз.

Но преимущество Baidu не только в одной машине, но и в отличной системе, отличной индивидуальной интеграции. Это формирует широкий спектр возможностей. Интеллектуальное планирование и система управления ресурсами для кластеров GPU позволяют осуществлять управление и динамическое планирование вычислительных, сетевых пулов, а также ресурсов хранения, вычислять общую эффективность и среднее использование кластера на 80 %. Гетерогенное оборудование для онлайн-продуктов, уменьшающее задержки запросов пользователей в 5 раз, повышает эффективность вычислений в десятки раз.

Система представляет собой самый большой кластер GPU/FPGA в Китае, самый большой кластер HADOOP/SPARK – новая одновременная и самая эффективная технология обработки данных (новые вычислительные технологии, серверные технологии, технология доступа 100G RDMA (дистанционная мгновенная технология доступа к данным) и технология O&M). Она обеспечивает вычислительную мощность, необходимую для развития искусственного интеллекта.

Топлива тоже достаточно. За годы работы в сфере ИИ компания Baidu собрала большое количество данных: триллион данных по страницам, миллиарды данных поисковой системы, 10 миллиардов видео, 10 миллиардов изображений и аудиоданных. Данные – это топливо для алгоритмов искусственного интеллекта. Это одно из основных условий развития искусственного интеллекта.

Оборудование в сочетании с топливом является отличным алгоритмом и моделью развития. Baidu собрал команду ведущих мировых ученых и инженеров, специализирующихся на теории и практике непрерывных инноваций, построил крупнейшую в мире глубокую нейронную сеть, поддерживающую триллионы параметров, сотни миллиардов образцов, сотни миллиардов характеристик обучения. Глубина нейронной сети значительно превысила 100 слоев.

Аппаратные мощности, топливо из данных и душа, алгоритм, позволили создать Baidu PaaS (Platform as a Service). Отличительной особенностью Baidu PaaS является то, что ИИ – горизонтальный сервис для всей платформы. Глубокое обучение, технологии машинного обучения в сочетании с мощными вычислениями, массивные данные и отличные алгоритмы, голос, изображения, обработка естественного языка и другие аспекты создают уникальные возможности для разработки карт знаний, портретов пользователей и бизнес-логики. Кроме того, они полностью открыты для пользователей. Пользователи могут легко использовать различные модули алгоритма, инструменты разработки, данные для своих собственных бизнес-целей. Мы используем различные платформы для разных целей: Tianji – для интеллектуальных массивов данных, Tianxiang – интеллектуальных мультимедиа, Tiangong – интеллектуальных вещей. Так, у нас есть возможность оказывать услуги во всех трех областях.

На верхнем уровне SaaS (Software as a Service) искусственный интеллект Baidu используется для принятия вертикальных решений, проникающих во все отрасли. Мы стремимся работать с нашими партнерами над созданием интеллектуальной индустриальной экосистемы, куда войдут образовательное облако, финансовое облако, транспортное облако, логистическое облако и т. д. Мы считаем, что способность строить экологию интеллектуальной промышленности – важный критерий для определения ценности искусственного интеллекта.

В аппаратных мощностях, данных и алгоритмах есть один важный пункт – культура искусственного интеллекта, или «мягкая сила». Технология поиска стала пионером в сфере искусственного интеллекта и первым интернет-порталом цифрового мира. Процесс разработки и технологическое ядро поисковой системы заложили основу для будущего ИИ. Поисковые системы, во-первых, должны были иметь дело с очень большими объемами данных. Во-вторых, должны были обладать функциями глубокого обучения. Операции невозможно совершать вручную, так как объем данных был и остается слишком велик. И, наконец, ключевой момент. Процесс разработки поисковых систем согласуется с развитием систем искусственного интеллекта, в основном с данными, которые представляют ценность для пользователя. Отношения сотрудничества, деловые возможности и рабочие привычки, массивы данных и накопление корпоративной культуры людей из бизнеса поисковых систем очень схожи с бизнесом ИИ. Так Лу Цзи всегда начинал обучать новичков с Bing. Справился там, справишься и в любом другом секторе. В поиске используются очень простые методы. Конечно, культура еще не идеальна. Но она, как и нейронные сети, может развиваться и совершенствоваться при правильном подходе.

Искусственный интеллект + мир

Раньше люди активно обсуждали плюсы интернета. А теперь переключились на плюсы искусственного интеллекта в бизнесе, промышленности, здравоохранении, образовании и так далее. С точки зрения «знай больше, делай больше, испытывай больше», ИИ для мира будущего является фундаментальным явлением. Так появился вопрос – «искусственный интеллект + мир».

Во-первых, интеллектуальная революция может иметь далеко идущие последствия для повседневной жизни каждого человека. Самый простой пример – благодаря новаторским разработкам в области искусственного интеллекта, калькулятор и человек смогут разговаривать на одном языке.

Предыдущие взаимодействия человека и машины происходили через мышь и клавиатуру. Развитие Майкрософт позволило усовершенствовать способ коммуникации. Сегодня мы общаемся через мышь, клавиатуру и GUI (графический интерфейс пользователя), что называется рациональным взаимодействием человека и компьютера. Самый большой вклад компании Apple и Стива Джобса в развитие IT-технологий – это новый способ общения с машинами с помощью пальцев, который изменил мир. В эру искусственного интеллекта мир постоянно меняется. Теперь люди могут общаться с любым устройством на естественном языке.

Естественный язык является наиболее эффективной и универсальной формой общения. Общение между людьми – это язык, самый естественный и широко используемый. Реализация взаимодействия между человеком и компьютером на естественном языке означает, что людям не нужно будет разбираться в принципах работы каждого приложения и устройства, чтобы узнать, как им пользоваться. В будущем мы сможем общаться с автомобилями и домами напрямую.

Мы уже видели зачатки этого интеллектуального взаимодействия. Например, постепенно появляются некоторые интеллектуальные вспомогательные системы. В Соединенных Штатах люди с помощью Amazon превращают дом в умную систему. В Китае команда Baidu тоже провела много исследований в этой области. У нас есть возможность полностью изменить повседневный процесс взаимодействия людей друг с другом.

Наконец, искусственный интеллект станет двигателем новой промышленной революции. Многие люди задумываются о новой версии промышленного производства 4.0. Вступит ли мир в следующий этап цифрового общества? Интеллектуальные системы будут иметь возможность черпать данные из реальной жизни, перемещаться по знаниям. Этим они помогут людям воспринимать и познавать реальный мир. И внедрять изменения в экономические, социальные, культурные и другие аспекты жизни. Нам повезло жить в увлекательной эре, очень похожей на раннюю промышленную революцию. Но искусственный интеллект имеет гораздо большее влияние на общество.