В гонке за ускорение развития искусственного интеллекта компания Cerebras из Кремниевой долины применяет необычную стратегию: становиться большим.
В то время как типичный компьютерный чип размером с ноготь, Cerebras' чип размером с обеденную тарелку.
Глубокое обучение, технология искусственного интеллекта, на которой работают голосовые помощники, беспилотные автомобили и чемпионы го, опирается на сложную" нейронную сеть" программное обеспечение, расположенное по слоям. Системы глубокого обучения могут работать на одном компьютере, но самые большие системы распределены по тысячам подключенных машин, иногда в крупных центрах обработки данных, таких как те, что находятся под управлением Google. В большом кластере до 48 серверов размером с коробку для пиццы помещаются в стойки высотой в один человек; Полки выстроены рядами и заполняют здание размером со склад. Нейронные сети в этих системах могут решать серьезные проблемы, но они также сталкиваются с очевидными проблемами. Сеть, которая размножается в кластере, похожа на мозг, разбросанный по комнате и связанный вместе. Электроны движутся быстро, но даже в этом случае обмен данными между чипами происходит медленно и потребляет много энергии.
Эрик Вишриа, генеральный партнер венчурной компании Benchmark из Сан-Франциско, впервые осознал проблему, когда он услышал выступление Cerebras Systems, новой компании по производству компьютерных микросхем, весной 2016 года. Benchmark известен тем, что был одним из первых инвесторов в такие компании, как Twitter, Uber и ebay - то есть программно, а не аппаратно. Компания рассматривает около 200 стартапов в год и инвестирует в один." Мы играли в эту игру целования тысячи лягушек," Вишрия сказал мне. В начале своего выступления он решил отбросить лягушку." Я подумал, а почему я на это согласился?" Мы' не собираемся инвестировать в оборудование, - вспоминал он, - подумал он." Это' глупо."
Соучредитель Cerebras Эндрю Фельдман начал с обложки слайда своей команды и привлек внимание Вишрии' его талант был впечатляющим. Затем Фельдман сравнил два типа компьютерных микросхем. Сначала он посмотрел на графические процессоры, или Gpus - чипы, разработанные специально для создания трехмерных изображений. Сегодняшние системы машинного обучения&# 39 полагаются на эти графические чипы по разным причинам. Затем он рассмотрел центральные процессоры, или процессоры, микросхемы общего назначения, которые выполняют большую часть работы в типичном компьютере." Третий слайд был о' Gpus,' которые на самом деле плохо сказываются на глубоком обучении - они просто в сто раз лучше, чем процессоры." Cerebras разработала новый тип чипа, который не предназначен для графики, а специально разработан для искусственного интеллекта.
Вишрия привык слышать выступления компаний, которые планируют использовать глубокое обучение в кибербезопасности, медицинской визуализации, чат-ботах и других приложениях. После выступления Cerebras&# 39 он поговорил с инженерами компаний, финансируемых Benchmark, включая Zillow, Uber и Stitch Fix; Они сказали ему, что у них проблемы с ИИ, потому что на" обучение" уходит слишком много времени. нейронная сеть. Google начал использовать сверхбыстрые" тензорные блоки обработки," или Tpus, специальные чипы, разработанные для ИСКУССТВЕННОГО интеллекта. Вишрия знала, что идет золотая лихорадка, и кто-то должен был сделать кирки и лопаты.
В том же году Benchmark and Foundation Capital, другая венчурная компания, возглавила раунд финансирования на 27 миллионов долларов для Cerebras, который собрал почти 500 миллионов долларов. Другие компании также производят так называемые ускорители искусственного интеллекта; Церебры' конкуренты Groq, Graphcore и Самбанова привлекли между собой более 2 миллиардов долларов капитала. Но Cerebras' подход уникален. Вместо того, чтобы печатать десятки пластин на большом куске кремния, отрезать их и соединять друг с другом, компания создала гигантский уровень пластин" чип. В то время как типичный компьютерный чип размером с ноготь, Cerebras имеет размер обеденной тарелки и является самым большим компьютерным чипом в мире.
Даже конкуренты сочли этот подвиг впечатляющим." Это новая наука," Об этом мне рассказал Найджел Тун, генеральный директор и соучредитель Graphcore &." Это' невероятное произведение инженерной мысли. Это' шедевр." Между тем, другой инженер, с которым я разговаривал, описал это как научный проект - большой для большого' В прошлом компания пыталась создать гигантские микросхемы, но безуспешно; Церебры' план означает ставку на то, что преодоление инженерных проблем возможно и того стоит." Если честно, для меня незнание - преимущество," - сказал Вишрия." Я не' не знаю, если бы я знал, как тяжело делать то, что они делают, у меня хватило бы смелости инвестировать."
Легко принять как должное, что компьютеры становятся все быстрее и быстрее. Это часто объясняется законом Мура &: закономерностью, установленной в 1965 году пионером полупроводников Гордоном Муром, согласно которой количество транзисторов на кристалле удваивается каждый год или каждые два года. Конечно, закон Мура&на самом деле не является законом, и инженеры неустанно работают над уменьшением размеров транзисторов, одновременно улучшая архитектуру" каждого чипа для создания более эффективных и мощных конструкций.
Архитекторы чипов давно задавались вопросом, может ли один крупномасштабный компьютерный чип быть более эффективным, чем связка более мелких чипов, точно так же, как город с концентрированными ресурсами и плотными блоками более эффективен, чем пригород. Идея была впервые опробована в 1960-х годах, когда Texas Instruments ограничила производство чипов шириной в несколько дюймов. Но инженеры компании&столкнулись с проблемами урожайности. На любой кремниевой пластине производственные дефекты неизбежно подвергают опасности определенное количество схем. Если пластина содержит 50 чипов, компания может выбросить плохие и продать хорошие. Но если бы каждый успешный чип зависел от рабочей схемы отдельной пластины, многие дорогие пластины были бы отброшены. Компания Texas Instruments нашла решение, но технологии и необходимости еще не было' t.
В 1980-х годах инженер по имени Джин Амдал снова попытался решить эту проблему с помощью основанной им компании под названием Trilogy Systems. Он стал крупнейшим стартапом в истории Кремниевой долины' с объемом финансирования около 250 миллионов долларов. Чтобы решить проблему с ресурсом, Trilogy напечатала на микросхеме избыточные компоненты. Этот метод увеличивает производительность, но снижает скорость чипа. Между тем, у Trilogy другие проблемы. Амдал наехал на мотоциклиста на своем роллс-ройсе, что вызвало проблемы с законом; Его президент умер от опухоли мозга; Сильные дожди задержали строительство заводов, ржавели системы кондиционирования воздуха и собирали пыль на стружках. В 1984 году Trilogy сдалась." Я не' не понимал, насколько это будет сложно," Сын Амдала&# 39 рассказал The Times.
Если технология Trilogy&# 39 будет успешной, теперь ее можно будет использовать для глубокого обучения. Вместо этого Gpus (чипы, используемые в видеоиграх) решают научные задачи в национальных лабораториях. Повторное использование графических процессоров для искусственного интеллекта зависит от того факта, что нейронные сети, хотя и очень сложные, полагаются на множество операций умножения и сложения. Когда нейроны" в сети запускают друг друга, они усиливают или уменьшают сигналы друг друга' s, умножая их на коэффициенты, называемые весами соединения. Эффективный процессор AI будет вычислять множество активаций параллельно; Он объединяет их в ряд чисел, называемых векторами, или сетки чисел, называемые матрицами, или блоки более высокой размерности, называемые тензорами. В идеале вы хотите сразу умножить одну матрицу или тензор на другой. Графические процессоры предназначены для чего-то подобного:
& quot; Тень Трилогии такая большая," Фельдман недавно сказал мне:" люди перестают думать и начинают говорить:' это' это невозможно.'" Производители графических процессоров, в том числе Nvidia, ухватились за возможность настроить свои чипы для глубокого обучения. В 2015 году Фельдман и группа компьютерных архитекторов начали обсуждать идею более крупных чипов после того, как они стали соучредителем производителя компьютерных серверов Seamicro, который они продали производителю чипов AMD за 334 миллиона долларов. Они работали над этим вопросом четыре месяца в офисе, взятом в аренду у венчурной компании. Когда у них был план жизнеспособного решения, они поговорили с восемью компаниями; Получил финансирование от Benchmark, Foundation Capital и Eclipse и начал нанимать.
Церебры' Первая задача - решить производственные проблемы, с которыми сталкиваются большие микросхемы. Изначально чип представлял собой цилиндрический слиток кристаллического кремния диаметром около фута, а стальной слиток был разрезан на пластины толщиной менее миллиметра. Затем схема печатается" на пластину с помощью процесса, называемого литографией. УФ-чувствительные химические вещества аккуратно наносятся на поверхность, а затем луч УФ-света проецируется через подробный шаблон, называемый маской. Эти химические вещества вступают в реакцию с образованием цепей.
Обычно область, покрытая светом, проецируемым через маску, становится микросхемой. Затем фишка перемещается, и свет снова проецируется. После того, как будут напечатаны десятки или сотни чипов, они вырезаются из пластины лазером." Самый простой способ сделать это - чтобы твоя мама достала круглое тесто для печенья," - сказал Фельдман.": У нее есть форма для печенья, и она аккуратно режет печенье." Законы физики и оптики не позволяют сделать большую форму для печенья. В результате," мы разработали технологию, чтобы вы могли общаться через небольшое тесто между двумя куки."
В системе печати Cerebras, разработанной в сотрудничестве с TSMC, компанией, которая производит чип, края печенья перекрываются, так что их провода соединяются. В результате получается одна пластина" размер пластины" пластина, квадрат цвета меди, 21см с каждой стороны. (Самые большие графические процессоры имеют диаметр чуть меньше 3 см.) Cerebras выпустила свой первый чип, Wafer-scale Engine 1, в 2019 году. Wse-2, представленный в этом году, использует более плотную схему с 2,6 триллионами транзисторов, упакованными в 850 000 процессоров. , или" ядер" ;. (В топовых процессорах всего несколько тысяч ядер, в то время как у большинства процессоров меньше 10).
& quot; 2,6 триллиона транзисторов - это просто поразительно," сказал Аарт де Геус, председатель и со-генеральный директор Synopsys. Synopsys предоставляет программное обеспечение, которое Cerebras и другие производители микросхем используют для создания и проверки конструкции своих микросхем. Де Геус говорит, что при разработке микросхем инженеры сначала должны рассмотреть два основных вопроса:" Откуда берутся данные?" Где это обрабатывается?" Когда чипы были проще, дизайнеры могли отвечать на эти вопросы карандашом на чертежном столе; При работе с более сложными микросхемами сегодняшнего&# 39 введите код, описывающий архитектуру, которую они хотят создать, а затем переходите к инструментам визуализации и кодирования." Подумайте, как выглядит дом с крыши," - сказал де Геус." Гараж рядом с кухней? Или это близко к спальне? Вы хотите, чтобы это было рядом с кухней - иначе вам' придется носить продукты через каждый уголок дома." Он объяснил, что после разработки плана этажа вы можете использовать уравнения для описания того, что происходит в комнате."
Сложность конструкции микросхем ошеломляет." Здесь много слоев," де Геус сказал, что схемы пересекаются и накладываются друг на друга, как на крупном путепроводе. Для инженеров Cerebras, работающих в масштабе пластины, сложность усложняется. Synopsys' программное обеспечение в виде искусственного интеллекта помогает: алгоритмы сопоставления с образцом выявляют общие проблемы и предлагают решения; Программа оптимизатора перемещает комнату к более быстрому и более эффективному расположению. Если слишком много дорожек пытаются втиснуться в здание из двух блоков, программное обеспечение позволяет инженерам сыграть Роберта Мозеса и переместить блок.
В конце концов, говорит Фельдман, у крупногабаритных микросхем есть несколько преимуществ. Когда ядра находятся на одном и том же чипе, они обмениваются данными быстрее: мозг компьютера&# 39 теперь сосредоточен в одном черепе, а не разбросан по комнате. Более крупные микросхемы также лучше обрабатывают память. Обычно небольшая микросхема, готовая к обработке файла, должна сначала получить файл из микросхемы общей памяти, расположенной в другом месте на печатной плате; Ближе к дому кэшируются только наиболее часто используемые данные. При описании эффективности микросхем на пластинчатом уровне Фельдман предложил аналогию: он попросил меня представить группу соседей по комнате (ядро), живущих в общежитии (чип), которые хотели посмотреть футбольный матч (выполнять вычислительную работу). По словам Фельдмана, чтобы смотреть игру, соседям по комнате нужно хранить пиво в холодильнике (данные хранятся в памяти); У Cerebras есть холодильник в каждой комнате, поэтому соседям по комнате не' не нужно рисковать, идя на общую кухню в общежитии' или на Safeway. Это дает дополнительное преимущество, позволяя каждому ядру быстрее обрабатывать разные данные." Так что я могу иметь Бада в моей комнате в общежитии," - сказал Фельдман.": В вашем общежитии вы можете иметь Шлитц."
Наконец, Cerebras должны преодолеть проблемы урожайности. Инженеры компании&# 39 используют уловку Trilogy&# 39: избыточность. Но здесь у них есть преимущество перед предшественниками. Trilogy пытается создать универсальные микросхемы с множеством различных компонентов, поэтому для подключения одного отказавшего компонента может потребоваться подключение к удаленной замене. О Церебрах' чип, все ядра идентичны. Если одно печенье неправильное, то и те, что находятся вокруг него, также хороши.