эйай ньюз
@ai_newz
Stanford Webinar - GPT-3 & Beyond
Вчера посмотрел эту прелестную лекцию из Стенфорда о новейших Языковых моделях. Проф С. Potts очень классно дал общий обзор языковых моделей и быстренько рассказал, как мы докатились до таких чудес как, например, GPT-3 и ChatGPT. Затем он порассуждал о том, в каких подтемах NLP можно еще что-то привнести обычному смертному, если у вас нет миллионов долларов на обучение SOTA моделей.
И вот какие актуальные темы для рисерча:
🔵 Retrival augmented in-context learning (условно, как поженить поиск и LLM)
🔵 Создание лучших бенчмарков, датасетов
🔵 "Last mile" for productive apps: Адаптация огромных моделей для конечных приложений, упрощающих жизнь
🔵 Исследования в сторону объяснения и верификации результатов, выданных LLM (огромными языковыми моделями).
Сами они в научной группе этого профа, с его слов, почти перестали тренировать модели и, кажется, занимаются промт-инженирингом и докручиванием уже натренированных LLM по вышеуказанным направлениям.
Получилась не очень тяжелая, но очень вдохновляющая лекция! Может после этого вы захотите написать диссер в области NLP. Ну, либо создать стартап.
@ai_newz
Вчера посмотрел эту прелестную лекцию из Стенфорда о новейших Языковых моделях. Проф С. Potts очень классно дал общий обзор языковых моделей и быстренько рассказал, как мы докатились до таких чудес как, например, GPT-3 и ChatGPT. Затем он порассуждал о том, в каких подтемах NLP можно еще что-то привнести обычному смертному, если у вас нет миллионов долларов на обучение SOTA моделей.
И вот какие актуальные темы для рисерча:
🔵 Retrival augmented in-context learning (условно, как поженить поиск и LLM)
🔵 Создание лучших бенчмарков, датасетов
🔵 "Last mile" for productive apps: Адаптация огромных моделей для конечных приложений, упрощающих жизнь
🔵 Исследования в сторону объяснения и верификации результатов, выданных LLM (огромными языковыми моделями).
Сами они в научной группе этого профа, с его слов, почти перестали тренировать модели и, кажется, занимаются промт-инженирингом и докручиванием уже натренированных LLM по вышеуказанным направлениям.
Получилась не очень тяжелая, но очень вдохновляющая лекция! Может после этого вы захотите написать диссер в области NLP. Ну, либо создать стартап.
@ai_newz
YouTube
Stanford Webinar - GPT-3 & Beyond
GPT3 & Beyond: Key concepts and open questions in a golden age for natural language understanding
Listen in as Professor Christopher Potts discusses the significance and implications of recent Natural Language Understanding developments including GPT-3. He describes the fundamental building blocks of these systems and describes how we can reliably assess and understand them.
Learn more about the AI Professional Program: https://stanford.io/3kYThd2
View the slides for this webinar here: https://stanford.io/potts-GPT3-webinar2023
#gpt3 #stanfordwebinar
Chapters:
0:00 Opening
00:09 Introduction for Chris Potts
1:09 Chris Potts - Welcome to the webinar
03:43 Quick Demo of GPT-3
06:41 GLUE benchmark
10:26 How can you contribute to NLU in this era of these gargantuan models?
11:44 The last mile problem
13:35 GPT example
14:50 Contrast In-Context learning with the standard paradigm of standard supervision
16:47 What are the mechanisms behind this?
18:18 Why does this work so well?
18:35 Self-Supervision
21:08 The role of human feedback
21:32 Chat GPT Diagram
23:42 Step-by-step reasoning
28:13 LLMs for everything approach
41:29 AI Courses at Stanford
46:28 Predictions about the future
👍 69
❤ 13
🔥 7
🥰 1
15 796 27.1K
Обсуждение 15
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram