Meta는 AI 개발자 Llamacon의 첫 번째 이벤트를 개최하여 Chatgpt와 경쟁 할 준비가되었다고 발표했습니다.

Meta는 Menlo Park에있는 회사 본사에서 AI 개발자 Llamacon을위한 최초의 이벤트를 개최했으며 Chatgpt와 경쟁 할 준비가되었다고 발표했습니다.

Meta held its first-ever event for AI developers, LlamaCon, at the company’s headquarters in Menlo Park, where it announced that it was ready to compete with ChatGPT from OpenAI, as well as Google, AWS, and AI-as-a-service startups.

Meta는 Menlo Park에있는 회사 본부에서 AI 개발자 Llamacon의 최초 이벤트를 개최했으며 Google, AWS 및 AI-as-A-Service 스타트 업뿐만 아니라 OpenAI의 ChatGpt와 경쟁 할 준비가되었다고 발표했습니다.

Meta Founder and CEO Mark Zuckerberg was joined by Co-Founder and CEO of Databricks, Ali Ghodsi.

메타 창립자이자 CEO 인 Mark Zuckerberg는 Ali Ghodsi의 Databricks의 공동 창립자이자 CEO와 합류했습니다.

This is really a big deal for Meta and the AI industry as the maker of the popular open-source Llama LLM seeks to directly monetize the incredible adoption Meta has realized. Developers just access the model from the cloud; no hardware or software to install.

인기있는 오픈 소스 LLAMA LLM의 제조업체가 메타가 실현 한 놀라운 채택을 직접 수익을 창출하려고 노력하기 때문에 이것은 메타와 AI 산업에 큰 도움이됩니다. 개발자는 클라우드에서 모델에 액세스합니다. 설치할 하드웨어 나 소프트웨어가 없습니다.

But it is also a big deal for Cerebras and Groq, the two startups selected by Meta for serving fast tokens, many times faster than a GPU. (Nvidia, Cerebras and Groq are all clients of Cambrian-AI Research.) Meta did not disclose pricing, as access to the API is currently in preview, and access to Groq and Cerebras is only available by request. This is the first time either startup has landed a foothold at a hyper-scale Cloud Service Provider (CSP). And Meta has made it super easy to use; developers just select Groq or Cerebras in the API call.

그러나 뇌와 그로크 (Groq)는 또한 GPU보다 몇 배나 빠른 빠른 토큰을 제공하기 위해 메타가 선택한 두 스타트 업입니다. (NVIDIA, CEREBRA 및 GROQ는 Cambrian-AI Research의 모든 고객입니다.) Meta는 API에 대한 액세스가 현재 미리보기에 있고 Groq 및 뇌에 대한 액세스에만 사용할 수 있으므로 가격 책정을 공개하지 않았습니다. 어느 스타트 업이 하이퍼 규모 클라우드 서비스 제공 업체 (CSP)에 발판을 마련한 것은 이번이 처음입니다. 그리고 메타는 사용하기 쉽게 만들었습니다. 개발자는 API 호출에서 GroQ 또는 뇌를 선택합니다.

Cerebras is the industry's fastest inference processor by far (~18X) but Grok is also 5-fold faster ... More than any GPU.

Cerebras는 업계에서 가장 빠른 추론 프로세서 (~ 18x)이지만 Grok은 GPU보다 5 배 빠릅니다.

“Cerebras is proud to make Llama API the fastest inference API in the world,” said Andrew Feldman, CEO and co-founder of Cerebras. “Developers building agentic and real-time apps need speed. With Cerebras on Llama API, they can build AI systems that are fundamentally out of reach for leading GPU-based inference clouds.”

Cerebras의 CEO이자 공동 창립자 인 Andrew Feldman은“뇌부는 Llama API를 세계에서 가장 빠른 추론 API로 만들게 된 것을 자랑스럽게 생각합니다. "개발자는 에이전트 및 실시간 앱을 구축하는 데 속도가 필요합니다. LLAMA API의 뇌가 있으면 GPU 기반의 추론 구름을 선도하는 데 근본적으로 도달 할 수없는 AI 시스템을 구축 할 수 있습니다."

Microsoft Confirms $1.50 Windows Security Update Hotpatch Fee Starts July 1

Microsoft는 $ 1.50 Windows 보안 업데이트 핫 패치 수수료가 7 월 1 일에 시작됩니다.

Microsoft Confirms Password Spraying Attack — What You Need To Know

Microsoft는 비밀번호 스프레이 공격 확인 - 알아야 할 사항

Google’s Gmail Upgrade—Why You Need To Change Your App

Google의 Gmail 업그레이드 - 왜 앱을 변경 해야하는지

Llama on Cerebras is far faster than on Google TPUs or Nvidia GPUs.

뇌에 대한 LLAMA는 Google TPU 또는 NVIDIA GPU보다 훨씬 빠릅니다.

Andrew’s point is important. Obtaining inferences at some 100 tokens per second is faster than a human can read, so “one-shot” inference requests for a service like ChatGPT runs just fine on GPUs. But multi-model agents and reasoning models can increase computational requirements by some 100-fold, opening an opportunity for faster inference from companies like Cerebras, Groq. Meta did not mention the third fast-inference company, Samba Nova, but indicated that they are open to other compute options in the future.

앤드류의 요점은 중요합니다. 초당 약 100 개의 토큰에서 추론을 얻는 것은 사람이 읽을 수있는 것보다 빠르기 때문에 Chatgpt와 같은 서비스에 대한“원샷”추론 요청은 GPU에서 잘 실행됩니다. 그러나 멀티 모델 에이전트와 추론 모델은 계산 요구 사항을 100 배로 증가시켜 Cerebras, Groq와 같은 회사의 더 빠른 추론 기회를 열 수 있습니다. 메타는 세 번째 빠른 감독 회사 인 삼바 노바 (Samba Nova)를 언급하지 않았지만 향후 다른 컴퓨팅 옵션에 열려 있음을 나타냅니다.

It will be interesting to see how well these two new options fare in the tokens-as-a-service world.

이 두 가지 새로운 옵션이 Tokens-as-a-Service 세계에서 얼마나 잘 지내는지 보는 것은 흥미로울 것입니다.