Token-Mol: Ein großes Sprachmodell für molekulare Vorausbildung

In den letzten Jahren wurden tiefgreifende Fortschritte in den Technologien für künstliche Intelligenz (KI), insbesondere Deep Learning (DL), verzeichnet, die sich zunehmend auf mehrere Facetten der Arzneimittelentwicklung auswirken.

Drug discovery is a remarkably intricate journey that has recently been revolutionized by rapid advances in artificial intelligence (AI) technologies, particularly deep learning (DL), which has been progressively impacting multiple facets of drug development. These technologies are accelerating in innovative drug research. However, the high cost associated with acquiring annotated data sets in drug discovery remains a significant impediment to the advancement in this field. Recently, the rapid evolution of unsupervised learning frameworks, epitomized by BERT1 and GPT2, has introduced unsupervised chemical and biological pre-training models across disciplines such as chemistry3,4,5,6,7,8,9,10,11,12, and biology13,14,15,16. These models undergo large-scale unsupervised training to learn representations of small molecules or proteins, subsequently fine-tuned for specific applications. By leveraging unsupervised learning on large-scale datasets, these pre-training models effectively address the challenges associated with sparse labeling and suboptimal out-of-distribution generalization, leading to improved performance17.

Die Drug Discovery ist eine bemerkenswert komplizierte Reise, die kürzlich durch schnelle Fortschritte in den Technologien für künstliche Intelligenz (AI), insbesondere Deep Learning (DL), revolutioniert wurde, die sich nach und nach mehrere Facetten der Arzneimittelentwicklung auswirkt. Diese Technologien beschleunigen in der innovativen Arzneimittelforschung. Die hohen Kosten, die mit dem Erwerb kommentierter Datensätze bei der Arzneimittelentdeckung verbunden sind, bleibt jedoch ein erhebliches Hindernis für den Fortschritt in diesem Bereich. In jüngster Zeit hat die schnelle Entwicklung unbeaufsichtigter Lernrahmen, die von BERT1 und GPT2 verkörpert wurden, unbeaufsichtigte chemische und biologische Vor-Training-Modelle in Disziplinen wie Chemie 3,4,5,6,7,8,9,10,12 und Biology13,14,15,16 eingeführt. Diese Modelle absolvieren unübertroffene Schulungen, um Darstellungen von kleinen Molekülen oder Proteinen zu lernen, die anschließend für bestimmte Anwendungen fein abgestimmt sind. Durch die Nutzung des unbeaufsichtigten Lernens in groß angelegten Datensätzen gehen diese Vor-Training-Modelle effektiv mit den Herausforderungen verbunden, die mit einer spärlichen Kennzeichnung und einer suboptimalen Verallgemeinerung außerhalb der Verteilung verbunden sind, was zu einer verbesserten Leistung führt17.

Large-scale molecular pre-training models can be broadly categorized into two main groups: models based on chemical language and models utilizing molecular graphs. First, chemical language models encode molecular structures using representations such as simplified molecular input line entry system (SMILES)18 or self-referencing embedded strings (SELFIES)19. They employ training methodologies akin to BERT or GPT, well-established in natural language processing (NLP). Notable examples include SMILES-BERT20, MolGPT21, Chemformer22, and Multitask Text and Chemistry T523, which exhibit architectural similarities to universal or general NLP models such as LLaMA24.

Große molekulare Vor-Training-Modelle können weitgehend in zwei Hauptgruppen eingeteilt werden: Modelle basierend auf chemischer Sprache und Modellen, die molekulare Graphen verwenden. Erstens codieren chemische Sprachmodelle molekulare Strukturen unter Verwendung von Darstellungen wie vereinfachtem molekularem Eingangsleitungssystem (Smiles) 18 oder Selbstreferenzing eingebettete Strings (Selfies) 19. Sie verwenden Schulungsmethoden, die Bert oder GPT ähneln, die in der natürlichen Sprachverarbeitung (NLP) gut etabliert sind. Bemerkenswerte Beispiele sind Smiles-Bert20, MolGPT21, Chemformer22 und Multitask-Text und Chemie T523, die architektonische Ähnlichkeiten mit universellen oder allgemeinen NLP-Modellen wie LLAMA24 aufweisen.

Second, graph-based molecular pre-trained models exhibit higher versatility. They represent molecules in a graphical format, with nodes for atoms and edges for chemical bonds. Pre-training methodologies include various techniques, such as random masking of atom types, contrastive learning, and context prediction25,26,27. Unlike language-based models, graph-based molecular pre-trained models inherently incorporate geometric information, as demonstrated by methods like GEM28 and Uni-Mol29.

Zweitens weisen molekulare, vorgeborene Modelle basierte molekulare Modelle eine höhere Vielseitigkeit auf. Sie repräsentieren Moleküle in einem grafischen Format mit Knoten für Atome und Kanten für chemische Bindungen. Zu den Methoden vor dem Training gehören verschiedene Techniken, wie die zufällige Maskierung von Atomtypen, kontrastives Lernen und Kontextvorhersage25, 26, 27. Im Gegensatz zu sprachbasierten Modellen enthalten molekulare, vorgeborene Modelle auf Diagrammbasis inhärent geometrische Informationen, wie aus Methoden wie GEM28 und UNI-MOL29 demonstriert.

Despite their advancements, both classes of models exhibit distinct limitations. Large-scale molecular pre-training models based on the chemical language face a significant constraint in their inability to inherently process 3D structural information, which is pivotal for determining the physical, chemical, and biological properties of molecules28,29. Consequently, these models are inadequate for downstream tasks that involve 3D structures, such as molecular conformation generation and 3D structure-based drug design. In contrast, graph-based molecular pre-trained models can effectively incorporate 3D information. However, existing approaches primarily focus on learning molecular representations for property prediction rather than molecular generation. Moreover, integrating these models with universal NLP models presents considerable challenges. As a result, a comprehensive model capable of addressing all drug design tasks remains elusive. To address the limitations of these two model types and develop a pre-trained model suitable for all drug design scenarios, and easily integrable with existing general large language models, is pressing.

Trotz ihrer Fortschritte weisen beide Modelsklassen unterschiedliche Einschränkungen auf. Große molekulare Vor-Training-Modelle, die auf der chemischen Sprache basieren, sehen sich einer signifikanten Einschränkung ihrer Unfähigkeit aus, 3D-Strukturinformationen zu verarbeiten, was für die Bestimmung der physikalischen, chemischen und biologischen Eigenschaften von Molekülen 28, 29 entscheidend ist. Infolgedessen sind diese Modelle für nachgeschaltete Aufgaben, die 3D-Strukturen wie molekulare Konformationserzeugung und 3D-strukturbasiertes Arzneimitteldesign beinhalten, unzureichend. Im Gegensatz dazu können graphbasierte molekulare, vorgeborene Modelle 3D-Informationen wirksam einbeziehen. Vorhandene Ansätze konzentrieren sich jedoch in erster Linie auf Lernmolekularpräsentationen für die Vorhersage von Eigenschaften als auf die molekulare Erzeugung. Darüber hinaus stellt die Integration dieser Modelle in universelle NLP -Modelle erhebliche Herausforderungen. Infolgedessen bleibt ein umfassendes Modell, das alle Arzneimitteldesignaufgaben beheben kann, schwer fassbar. Um die Einschränkungen dieser beiden Modelltypen anzugehen und ein vorgebildetes Modell zu entwickeln, das für alle Arzneimitteldesign-Szenarien geeignet ist und in den vorhandenen allgemeinen großen Sprachmodellen leicht integrierbar ist, drückt es.

The emergence of universal artificial intelligence models holds promise in this domain. By leveraging vast amounts of data, these models acquire expert knowledge across diverse fields, rendering them capable of providing valuable assistance to practitioners in various domains2,24,30,31. Recent studies have demonstrated that GPT-4 exhibits a deep understanding of key concepts in drug discovery, including therapeutic proteins and the fundamental principles governing the design of small molecule-based and other types of drugs. Although its proficiency in specific drug design tasks, such as de novo molecule generation, molecular structure alteration, drug-target interaction prediction, molecular property estimation, and retrosynthetic pathway prediction, requires further improvement, it has achieved promising results in tasks like molecular structure generation and drug-target interaction prediction32. Among these capabilities, the application of a token-based approach by the above models to handle continuous spatial data is particularly noteworthy.

Die Entstehung von universellen Modellen für künstliche Intelligenz ist in diesem Bereich vielversprechend. Durch die Nutzung großer Datenmengen erwerben diese Modelle Fachkenntnisse in verschiedenen Bereichen, wodurch sie in der Lage sind, den Praktikern in verschiedenen Bereichen wertvolle Unterstützung zu leisten2,24,30, 31. Jüngste Studien haben gezeigt, dass GPT-4 ein tiefes Verständnis der Schlüsselkonzepte bei der Entdeckung von Arzneimitteln aufweist, einschließlich therapeutischer Proteine ​​und der grundlegenden Prinzipien, die das Design kleiner Moleküle und anderer Arten von Arzneimitteln regeln. Obwohl seine Kenntnisse in spezifischen Arzneimitteldesignaufgaben wie De-novo-Moleküleerzeugung, Veränderung der molekularen Struktur, Vorhersage der Arzneimittelziel-Target-Wechselwirkung, der Schätzung der molekularen Eigenschaften und der Vorhersage von retrosynthetischen Pfadwegen eine weitere Verbesserung erfordern, hat sie vielversprechende Ergebnisse in Aufgaben wie molekulare Strukturgenerierung und Arzneimittel-Target-Interaktionsprädiktion32 erzielt. In diesen Funktionen ist die Anwendung eines tokenbasierten Ansatzes der oben genannten Modelle zur Verarbeitung kontinuierlicher räumlicher Daten besonders bemerkenswert.

Building on this concept, Born et al. introduced the Regression Transformer, which integrates regression tasks by encoding numerical values as tokens. Nonetheless, this method does not fully address the structural complexities of molecules. Additionally, Flam-Shepherd and Aspuru-Guzik proposed directly tokenizing 3D atomic coordinates (XYZ) to represent molecular 3D structures. Concurrently, the BindGPT framework employs a similar approach to generate molecular structures and their corresponding 3D coordinates. While the performance of these models still needs enhancement, both approaches have exhibited promising outcomes in relevant drug design tasks. These results highlight the potential of large models to grasp the semantics of numerical values and affirm the feasibility of employing token-only models to handle continuous data. However, directly training language models on Cartesian coordinates of atoms presents unique challenges. For larger molecules, the extensive XYZ coordinates can result in excessively long sequences, posing difficulties for the model's learning process. Furthermore, achieving invariance through random translation and rotation does not necessarily confer equivari

Born et al. führte den Regressionstransformator ein, der Regressionsaufgaben durch Kodierung numerischer Werte als Token integriert. Trotzdem geht diese Methode nicht vollständig mit den strukturellen Komplexität von Molekülen ein. Darüber hinaus schlugen Flam-Shepherd und Aspuru-Guzik direkt 3D-Atomkoordinaten (XYZ) vor, um molekulare 3D-Strukturen darzustellen. Gleichzeitig verwendet das BindGPT -Gerüst einen ähnlichen Ansatz, um molekulare Strukturen und ihre entsprechenden 3D -Koordinaten zu erzeugen. Während die Leistung dieser Modelle noch verbessert werden muss, haben beide Ansätze vielversprechende Ergebnisse bei relevanten Wirkstoffdesignaufgaben gezeigt. Diese Ergebnisse unterstreichen das Potenzial großer Modelle, um die Semantik numerischer Werte zu erfassen und die Machbarkeit der Verwendung von nur Token-Modellen für kontinuierliche Daten zu bekräftigen. Das direkte Training von Sprachmodellen für kartesische Koordinaten von Atomen stellt jedoch einzigartige Herausforderungen dar. Bei größeren Molekülen können die umfangreichen XYZ -Koordinaten zu übermäßig langen Sequenzen führen und Schwierigkeiten für den Lernprozess des Modells darstellen. Darüber hinaus verleiht die Erreichung der Invarianz durch zufällige Übersetzung und Rotation nicht unbedingt Äquivari