Meta organise son tout premier événement pour les développeurs de l'IA, Llamacon, annonçant qu'il est prêt à rivaliser avec Chatgpt

Meta a organisé son tout premier événement pour les développeurs de l'IA, Llamacon, au siège de la société à Menlo Park, où il a annoncé qu'il était prêt à rivaliser avec Chatgpt

Meta held its first-ever event for AI developers, LlamaCon, at the company’s headquarters in Menlo Park, where it announced that it was ready to compete with ChatGPT from OpenAI, as well as Google, AWS, and AI-as-a-service startups.

Meta a organisé son tout premier événement pour les développeurs de l'IA, Llamacon, au siège de la société à Menlo Park, où il a annoncé qu'il était prêt à rivaliser avec Chatgpt d'Openai, ainsi que Google, AWS et les startups AI-AS-A-Service.

Meta Founder and CEO Mark Zuckerberg was joined by Co-Founder and CEO of Databricks, Ali Ghodsi.

Le fondateur et PDG de Meta, Mark Zuckerberg, a été rejoint par le co-fondateur et PDG de Databricks, Ali Ghodsi.

This is really a big deal for Meta and the AI industry as the maker of the popular open-source Llama LLM seeks to directly monetize the incredible adoption Meta has realized. Developers just access the model from the cloud; no hardware or software to install.

C'est vraiment un gros problème pour Meta et l'industrie de l'IA, car le fabricant de la populaire open-source Llama LLM cherche à monétiser directement l'incroyable adoption que Meta a réalisée. Les développeurs accédent simplement au modèle à partir du cloud; pas de matériel ou de logiciel à installer.

But it is also a big deal for Cerebras and Groq, the two startups selected by Meta for serving fast tokens, many times faster than a GPU. (Nvidia, Cerebras and Groq are all clients of Cambrian-AI Research.) Meta did not disclose pricing, as access to the API is currently in preview, and access to Groq and Cerebras is only available by request. This is the first time either startup has landed a foothold at a hyper-scale Cloud Service Provider (CSP). And Meta has made it super easy to use; developers just select Groq or Cerebras in the API call.

Mais c'est aussi un gros problème pour les cerèvres et le grogne, les deux startups sélectionnées par Meta pour servir des jetons rapides, plusieurs fois plus rapidement qu'un GPU. (Nvidia, cerebras et Groq sont tous des clients de la recherche Cambrian-AI.) Meta n'a pas divulgué la tarification, car l'accès à l'API est actuellement en avant-première, et l'accès au GROQ et aux cerveaux n'est disponible que par demande. C'est la première fois que l'une ou l'autre startup décroche un pied dans un fournisseur de services cloud hyper-échelle (CSP). Et Meta l'a rendu très facile à utiliser; Les développeurs sélectionnent juste Groq ou cerebras dans l'appel de l'API.

Cerebras is the industry's fastest inference processor by far (~18X) but Grok is also 5-fold faster ... More than any GPU.

Cerebras est de loin le processeur d'inférence le plus rapide de l'industrie (~ 18x), mais Grok est également 5 fois plus rapide ... plus que n'importe quel GPU.

“Cerebras is proud to make Llama API the fastest inference API in the world,” said Andrew Feldman, CEO and co-founder of Cerebras. “Developers building agentic and real-time apps need speed. With Cerebras on Llama API, they can build AI systems that are fundamentally out of reach for leading GPU-based inference clouds.”

"Cerebras est fier de faire de l'API LLAMA la plus rapide API d'inférence au monde", a déclaré Andrew Feldman, PDG et co-fondateur de Cerebras. «Les développeurs créant des applications agentiques et en temps réel ont besoin de vitesse. Avec des cerèvres sur l'API LLAMA, ils peuvent construire des systèmes d'IA qui sont fondamentalement hors de portée pour les principaux nuages ​​d'inférence basés sur GPU.»

Microsoft Confirms $1.50 Windows Security Update Hotpatch Fee Starts July 1

Microsoft confirme 1,50 $ Windows Security Update Hotpatch Frais commence le 1er juillet

Microsoft Confirms Password Spraying Attack — What You Need To Know

Microsoft confirme l'attaque de pulvérisation de mot de passe - ce que vous devez savoir

Google’s Gmail Upgrade—Why You Need To Change Your App

Mise à niveau de Google Gmail - pourquoi vous devez modifier votre application

Llama on Cerebras is far faster than on Google TPUs or Nvidia GPUs.

Llama on Cerebras est beaucoup plus rapide que sur Google TPUS ou NVIDIA GPUS.

Andrew’s point is important. Obtaining inferences at some 100 tokens per second is faster than a human can read, so “one-shot” inference requests for a service like ChatGPT runs just fine on GPUs. But multi-model agents and reasoning models can increase computational requirements by some 100-fold, opening an opportunity for faster inference from companies like Cerebras, Groq. Meta did not mention the third fast-inference company, Samba Nova, but indicated that they are open to other compute options in the future.

Le point d'Andrew est important. L'obtention d'inférences à quelque 100 jetons par seconde est plus rapide qu'un humain peut lire, donc les demandes d'inférence «à un coup» pour un service comme Chatgpt s'exécutent très bien sur les GPU. Mais les agents multimodèles et les modèles de raisonnement peuvent augmenter les exigences de calcul d'un peu de 100 fois, ouvrant une opportunité pour une inférence plus rapide de sociétés comme cerebras, Groq. Meta n'a pas mentionné la troisième entreprise d'inférence rapide, Samba Nova, mais a indiqué qu'elle était ouverte à d'autres options de calcul à l'avenir.

It will be interesting to see how well these two new options fare in the tokens-as-a-service world.

Il sera intéressant de voir à quel point ces deux nouvelles options se portent bien dans le monde des jetons en tant que service.