Large Model Systems Organization

В пятницу первой рабочей недели предлагаю продолжить тему использования LLM в своей повседневной деятельности.
В прошлом году я уже писал про CodeLlama, которая умеет в код на Python, C++, C#, Java, PHP, Typescript (Javascript) и обучалась на специализированных датасетах, но использовать ее на HuggingFace не очень удобно, а чтобы поднять локально необходимо значительные вычислительные ресурсы.

Поэтому хочу порекомендовать проект https://chat.lmsys.org/, который позволяет с помощью браузера получить доступ к большому количеству различных проприетарных и открытых моделей (28 моделей, в том числе ChatGPT-4, ChatGPT-3.5 и Claude-v1) абсолютно бесплатно, без регистрации и VPN. Это некоммерческая платформа с веб интерфейсом, API и CLI c открытым исходным кодом от Large Model Systems Organization университета UC Berkeley с целью сделать использование LLM доступным всем желающим. Также целью этого исследования является создания benchmark для сравнения эффективности существующих моделей на основе анонимного голосования пользователей по опыту использования на платформе.

Мне очень нравится функциональность Chatbot Arena, где можно выбрать 2 любые модели из списка и получать, сравнивать ответы и работать с ними одновременно, в параметрах можно задать temperature (случайность сгенерированного результата), выборку Top-P (выбор токенов из вариантов с наибольшей вероятностью) и max output tokens. Можно поиграться с разными моделями и параметрами для решения различных прикладных задач, выбрать своих фаворитов и поделиться своим опытом на платформе и в комментариях под этим сообщением??

А для тех кому интересна безопасность LLМ, исследования, уязвимости, способы эксплуатации и прочее из мира AI/ML Security рекомендую отличный тематический канал моего хорошего товарища - @pwnai

PS: Желаю всем удачного окончания недели и отличных выходных!