🌌 ИИ, который читает статьи за вас

В npj Computational Materials вышла статья: Agent-based multimodal information extraction for nanomaterials

На повестке — автоматизация научного чтения. Не в смысле «реферат за 3 секунды», а в смысле: вытащить формулы, каталитические параметры, и кристаллические системы из PDF так, как это делает химик с блокнотом и часом свободного времени. Только здесь — без блокнота и без химика.

🧠 Что внутри nanoMINER

Система мультиагентная:
— Main-агент (GPT-4o) управляет процессом,
— NER-агенты (Mistral-7B, Llama-3-8B) достают параметры из текста,
— Vision-агент (YOLOv8 + GPT-4o) разбирает графики и неформатные таблицы.

Агенты работают на основе ReAct подхода: синхронизируются, уточняют друг у друга информацию, и выдают единый JSON на выходе.

📊 Зачем всё это?

Чтобы снимать экспериментальные параметры (в том числе по нанозимам) из текста, даже если они:
• только в подписях к графикам,
• разбросаны по разным разделам,
• не указаны явно (например, crystal system — система угадывает её по формуле с точностью 86%).

💥 Результаты впечатляют:
• precision до 0.98 на параметрах активности нанозимов,
• recall до 0.86 на наноматериалах,
• F1 score выше, чем у GPT-4.1, o3-mini и o4-mini.
(просто скармливали PDF без координации — и всё сломалось)

📎 А зачем человеку?

Это шаг к полноценным машиночитаемым статьям, где вместо ручной разметки — автоматическое заполнение баз знаний. Подход масштабируется на медицину, биохимию, фарму и любые области, где не хочется руками копировать цифры из графиков.

📂 Код: github.com/ai-chem/nanoMINER

🔮 Моделька предсказала crystal system по формуле — просто так
Это не feature, это баг… или всё-таки emergent reasoning? 😉 В статье пишут, что система предсказывает тип кристаллической решётки, даже если она не указана, с 86% точностью. Возможно, это эффект обучения на корпусах, где такие ассоциации частотны. Но в любом случае — повод переосмыслить, насколько хорошо LLM умеют химическую интуицию.

ПС
А также подписывайтесь на канал автора статьи Карины Романовой - https://t.me/nadlskom