Meta の Llama 3: 大きな言語モデル技術における大きな飛躍

Meta は、80 億と 700 億のパラメータを備えた最新の大規模言語モデル (LLM) である Llama 3 をリリースし、今後のモデルには 4,000 億のパラメータが含まれると予想されています。 15 兆を超えるトークンの膨大なデータセットでトレーニングされた Llama 3 は、ユースケースの 50% 以上で以前の製品や競合製品を上回り、テキストベースのモデリング機能の進歩を示しています。 Meta は、クラウド プロバイダーやサービスを通じて Llama 3 に広くアクセスできるようにすることを目指しており、エンドユーザーに AI を活用した支援を提供するための専用 Web サイトおよび自社製品との統合である Meta AI を導入しました。

Meta Unveils Llama 3: A Quantum Leap in Large Language Model Technology

Meta が Llama 3 を発表: 大規模言語モデル技術における飛躍的な進歩

On April 18, 2023, Meta Platforms, Inc. (Meta) announced the release of Llama 3, the latest iteration of its groundbreaking large language model (LLM), marking a significant milestone in the field of artificial intelligence (AI).

2023 年 4 月 18 日、Meta Platforms, Inc. (Meta) は、画期的な大規模言語モデル (LLM) の最新版である Llama 3 のリリースを発表し、人工知能 (AI) 分野における重要なマイルストーンを迎えました。

Llama 3 represents a quantum leap over its predecessors, showcasing substantial advancements in natural language processing, code generation, and overall reasoning capabilities. The LLM boasts an unprecedented scale, boasting 8 billion and 70 billion parameters in its two initial models, with plans for future models featuring an astounding 400 billion parameters.

Llama 3 は、自然言語処理、コード生成、および全体的な推論機能における大幅な進歩を示し、以前のバージョンを大きく超えています。 LLM は前例のない規模を誇り、初期の 2 つのモデルでは 80 億と 700 億のパラメータを誇り、将来のモデルでは 4,000 億という驚異的なパラメータを備えた計画があります。

Meta meticulously trained Llama 3 on a colossal "large, high-quality training dataset" comprising over 15 trillion tokens, a seven-fold increase over Llama 2. This expansive dataset, containing four times the amount of code, ensures the model's exceptional comprehension and generation capabilities. Additionally, Llama 3 incorporates sophisticated filtering techniques, including NSFW (Not Safe For Work) filters, to safeguard data quality and mitigate potential biases.

メタは、ラマ 2 の 7 倍となる 15 兆を超えるトークンで構成される巨大な「大規模で高品質のトレーニング データセット」でラマ 3 を細心の注意を払ってトレーニングしました。この広大なデータセットには 4 倍の量のコードが含まれており、モデルの優れた理解力と生成機能。さらに、Llama 3 には、NSFW (Not Safe For Work) フィルターなどの高度なフィルター技術が組み込まれており、データ品質を保護し、潜在的なバイアスを軽減します。

Benchmark tests conducted by Meta indicate that Llama 3 outperforms its predecessors and rivals in over half of 12 representative use cases. These use cases encompass a wide range of tasks, including dialogue generation, question answering, summarization, and code generation.

Meta が実施したベンチマーク テストでは、Llama 3 が 12 の代表的なユースケースの半分以上で、前世代やライバルを上回っていることが示されています。これらのユースケースには、ダイアログの生成、質問応答、要約、コード生成など、幅広いタスクが含まれます。

The initial releases of Llama 3 are text-based models, while future releases are expected to be multilingual and multimodal, providing enhanced capabilities in various languages and across different media formats. These upcoming models are anticipated to offer extended context, improved reasoning abilities, and superior coding performance, which Meta deems essential "core LLM capabilities."

Llama 3 の初期リリースはテキストベースのモデルですが、将来のリリースでは多言語およびマルチモーダルになることが予想されており、さまざまな言語およびさまざまなメディア形式で強化された機能が提供されます。これらの今後のモデルは、拡張されたコンテキスト、改善された推論能力、優れたコーディング パフォーマンスを提供すると予想されており、Meta はこれが不可欠な「コア LLM 機能」であると考えています。

Meta intends to make Llama 3 universally accessible by deploying it on all major cloud providers, model API providers, and other services, with the objective of making the product ubiquitous. This strategic move aims to democratize AI technology and empower developers and researchers to leverage its vast capabilities.

Meta は、製品をユビキタスにすることを目的として、すべての主要なクラウド プロバイダー、モデル API プロバイダー、およびその他のサービスに Llama 3 を展開することで、誰でも Llama 3 にアクセスできるようにする予定です。この戦略的な動きは、AI テクノロジーを民主化し、開発者や研究者がその膨大な機能を活用できるようにすることを目的としています。

Complementing the release of Llama 3, Meta is actively expanding access to AI services for end users across the United States and over 12 other countries. The company has launched a dedicated website, Meta AI, which provides users with a comprehensive suite of AI-powered tools, including writing assistance, trivia games, simulated job interviews, and homework assistance.

Llama 3 のリリースを補完するため、Meta は米国全土およびその他 12 か国以上のエンドユーザー向けに AI サービスへのアクセスを積極的に拡大しています。同社は、専用 Web サイト Meta AI を立ち上げ、執筆​​支援、雑学ゲーム、就職面接の模擬、宿題支援など、AI を活用した包括的なツール スイートをユーザーに提供します。

Meta has also seamlessly integrated Meta AI with its existing products, such as Facebook, Instagram, WhatsApp, and Messenger, providing users with AI-enhanced experiences within their preferred social media and messaging platforms. Furthermore, Meta has integrated the service into its Ray-Ban Meta smart glasses and plans to extend its availability to the Meta Quest VR headset, offering users immersive and hands-free AI interactions.

また、Meta は Meta AI を Facebook、Instagram、WhatsApp、Messenger などの既存製品とシームレスに統合し、好みのソーシャル メディアやメッセージング プラットフォーム内で AI で強化されたエクスペリエンスをユーザーに提供しています。さらに、Meta はこのサービスを Ray-Ban Meta スマート グラスに統合し、その可用性を Meta Quest VR ヘッドセットにも拡張して、ユーザーに没入型のハンズフリー AI インタラクションを提供する予定です。

"We envision Meta AI as the most intelligent AI assistant that is freely accessible to all users," remarked Mark Zuckerberg, Meta's CEO, in a recent announcement. "Our goal is to empower individuals to harness the transformative power of AI and unlock its potential to enhance their everyday lives."

「私たちは、Meta AI を、すべてのユーザーが自由にアクセスできる最もインテリジェントな AI アシスタントとして構想しています」と Meta の CEO である Mark Zuckerberg は最近の発表で述べています。 「私たちの目標は、個人が AI の変革力を活用し、その可能性を解き放って日常生活を向上できるようにすることです。」

The unveiling of Llama 3 and the expansion of Meta AI services come amidst an intensifying race among major tech companies to develop and deploy consumer-oriented AI services. Notably, ChatGPT recently upgraded to GPT-4 Turbo on April 11, while Microsoft Copilot incorporated GPT-4 Turbo in March, signaling a surge in the development and refinement of user-friendly AI solutions.

Llama 3 の発表とメタ AI サービスの拡大は、大手テクノロジー企業の間で消費者向け AI サービスの開発と導入競争が激化する中で行われました。特に、ChatGPT は最近 4 月 11 日に GPT-4 Turbo にアップグレードし、Microsoft Copilot は 3 月に GPT-4 Turbo を組み込み、ユーザーフレンドリーな AI ソリューションの開発と改良の急増を示しています。