MY Startup
Стартап Groq быстро завоевывает популярность среди компаний-разработчиков систем ИИ. Он предлагает чипы, которые работают быстрее и эффективнее, чем традиционно используемые в отрасли графические ускорители. «РБК Тренды» рассказывают, чем занимается стартап и сможет ли он конкурировать с гигантом отрасли Nvidia.
История стартапа Groq
Groq AI — это стартап, который разрабатывает высокопроизводительное оборудование и программное обеспечение для нужд искусственного интеллекта. Его основатели утверждают, что их чипы позволяют запускать существующие генеративные модели искусственного интеллекта, похожие по архитектуре на ChatGPT и GPT-4o от OpenAI, в десять раз быстрее и во столько же раз дешевле аналогов.
Groq был основан в 2016 году бывшими инженерами Google. Джонатан Росс, который участвовал в разработке тензорного процессора (TPU) для задач искусственного интеллекта в Google, объединился с предпринимателем и бывшим сотрудником лаборатории X moonshot материнской компании Google Alphabet Дугласом Уайтманом.
В 2021 году стартап провел первый крупный раунд финансирования и смог привлечь $300 млн при оценке в $1 млрд, став «единорогом».
В 2024 году Groq привлек уже $640 млн при оценке в $2,8 млрд. В том же году главный специалист по искусственному интеллекту Meta (признана экстремистской, ее деятельность запрещена в России) Ян Лекун перешел в компанию на позицию технического консультанта, а бывший глава литейного бизнеса Intel Стюарт Панн стал главным операционным директором.
Groq занимается и собственными приобретениями. В марте 2024 года стартап купил фирму из Пало-Альто Definitive Intelligence, предлагающую ряд решений ИИ для компаний, и сформировал новое бизнес-подразделение Groq Systems. Оно обслуживает правительственные агентства США и даже другие государства, которые хотят оснастить чипами Groq существующие центры обработки данных или построить ЦОД с их использованием.
Также Groq заключил партнерство с государственным IT-подрядчиком Carahsoft, чтобы продавать свои решения предприятиям американского госсектора.
Штаб-квартира Groq расположена в Маунтин-Вью в Калифорнии, также у него есть офисы в Вашингтоне, Торонто и Лондоне.
Чем занимается стартап
В конце февраля 2024 года Groq представил специализированный процессор LPU (Language Processing Unit). Он предназначен для ускорения работы больших языковых моделей (LLM). Отличие LPU от графических процессоров (GPU) и TPU заключается в том, что он базируется на архитектуре тензорного потокового процессора (TSP), то есть обрабатывает тензоры — многомерные массивы базовых типов данных. В итоге LPU Groq и GPU от Nvidia по-разному работают с выводом информации. Если графические процессоры обрабатывают графику и данные параллельно, то LPU — последовательно.
Чип Groq включает следующие функциональные части: MXM для выполнения матричных операций, SXM для операций сдвига и поворота векторов, MEM для операций чтения/записи памяти, VXM для арифметических операций с векторами и ICU в качестве блока управления инструкциями. Это обеспечивает эффективное разделение всех операций на чипе и повышает предсказуемость его работы, что особенно важно при работе с большими языковыми моделями.
Преимущества чипов Groq:
- скорость и эффективность. ИИ-чип обеспечивает строго заданную производительность с низкой задержкой, то есть обрабатывает данные быстро и последовательно каждый раз;
- простота архитектуры, что снижает издержки на обслуживание;
- масштабируемость: чип может поддерживать операции разной сложности для широкого спектра задач;
- энергоэффективность за счет разделения процессов вычислений.
В тестах с большими языковыми моделями LPU Groq демонстрирует высокую скорость генерации: в случае с Llama 3.3 70B он выдает 1615 токенов в секунду, а с DeepSeek R1 — 384 токена. Для сравнения — графический процессор Nvidia H200 Tensor Core в тестах с Llama 3.3 70B выдает 51 токен в секунду.
Groq предоставляет платформу для разработчиков под названием GroqCloud, которая предлагает модели ИИ с открытым исходным кодом, такие как Llama от Meta, OpenAI Whisper и Mistral Mixtral. Число ее пользователей превысило 1 млн человек.
Также стартап разработал API (аппаратно-программный интерфейс) GroqRack, который позволяет клиентам использовать его чипы в облаке для локального развертывания моделей. Наконец, у Groq есть чат-бот GroqChat.
Где применяются разработки Groq
ИИ-чипы Groq могут использоваться в разных областях:
- Обработка естественного языка (NLP). Использование LPU для запуска больших языковых моделей ускоряет и повышает точность их ответов, а также позволяет улучшить распознавание контекста.
- Компьютерное зрение. Скорость работы ИИ-чипов обеспечивает улучшенный анализ изображений и видео в реальном времени, что потенциально может использоваться в продвинутых системах наблюдения и кибербезопасности. Аналитическая группа армии США (AAG) применяет LPU Groq для систем кибербезопасности.
- Вычисления высокой производительности (HPC). Чипы Groq ускоряют сложные вычисления, необходимые в научных исследованиях и анализе информации. Ускоритель способен обрабатывать большие объемы генетических данных с высокой скоростью, чтобы исследователи могли быстрее выявлять закономерности и делать открытия. Например, Аргоннская национальная лаборатория Министерства энергетики США применяет оборудование Groq для высокопроизводительных вычислений в сфере термоядерной энергетики, проектирования материалов и разработки лекарств.
- Продвинутые приложения. ИИ-чипы потенциально могут революционизировать новые технологии, например, обеспечить работу продвинутого автопилота в робомобилях или выполнение сложных задач автономными роботами.
Среди клиентов Groq — компании технологической сферы, здравоохранения, образования и т. д.
Сами разработчики стартапа в 2024 году представили Project Media QA — приложение для транскрипции видео и аудио, а также для ответов на вопросы о содержании контента. Оно использует возможности моделей с открытым исходным кодом, а также технологию автоматического распознавания речи (Automatic Speech Recognition).
Project Media QA можно использовать для записи аудио, загрузки медиафайлов или контента по ссылкам. Приложение быстро транскрибирует аудио, а также может отвечать на вопросы о нем.
Перспективы Groq
Groq сталкивается с растущей конкуренцией как со стороны новичков в области чипов для ИИ, так и со стороны самой Nvidia. Последняя контролирует, по разным оценкам, от 70% до 95% рынка чипов ИИ.
Помимо Nvidia, Groq конкурирует с Amazon, Google и Microsoft, которые также разрабатывают специальные чипы для рабочих нагрузок ИИ в облаке. Amazon уже предлагает процессоры Trainium, Inferentia и Graviton в своем облаке Amazon Web Sevices (AWS); Google же предлагает нейропроцессоры через облако Google Cloud, а недавно представила усовершенствованный ИИ-ускоритель Ironwood; наконец, Microsoft размещает экземпляры облака Azure для своего процессора Cobalt 100.
В гонке ИИ-процессоров также участвуют Arm, Intel и AMD.
Благодаря спросу на инструменты генеративного ИИ рынок чипов продолжит расти. Аналитики предсказывают, что его объем превысит $500 млрд в течение следующих восьми лет.
На этом фоне даже стартапам удается получать солидные инвестиции. Например, D-Matrix, которая разрабатывает платформу ИИ-вычислений, в конце 2024 года привлекла $110 млн, а в июне того же года стартап Etched получил $120 млн на разработку процессора, созданный для ускорения развития архитектуры нейросетей-трансформеров.
Groq же занимается усовершенствованием своего технологического процесса. В августе 2023 года стартап объявил, что заключит контракт с литейным бизнесом Samsung на производство чипов по 4-нм техпроцессу, чтобы обеспечить прирост производительности по сравнению с 13-нм чипами первого поколения.
Также Groq активно налаживает международное сотрудничество. В 2025 году стартап планирует поставить десятки тысяч своих чипов в центр обработки данных европейской фирмы Earth Wind & Power в Норвегии. Также он сотрудничает с консалтинговой фирмой из Саудовской Аравии Aramco Digital для поставок процессоров в строящиеся ЦОД на Ближнем Востоке. В феврале стартап получил $1,5 млрд на реализацию проекта.
Эксперты отмечают, что Groq превосходит даже крупных конкурентов за счет переосмыслении эффективности вычислений ИИ. LPU стартапа можно легко интегрировать в повседневную жизнь, они не требуют сложного аппаратного обеспечения и более энергоэффективны, чем распространеные сейчас, что сокращает затраты на содержание ИИ-систем.
Источник: https://trends.rbc.ru/trends/industry/68077b979a794776b878d1ac