Jan 1, 0001
Проекты MHS 2 семестр
Userver
“Привет, если ты владеешь С++, то можем устроить тебе встречу с командой Userver. Задачи для продвинутых пользователей описаны по ссылке: https://github.com/userver-framework/userver/issues?q=is%3Aissue+is%3Aopen+label%3A%22big%22+label%3A%22help+wanted%22
Наша договорённость следующая: если тебе интересна какая-то из выложенных задач, то ты выбираешь её, пишешь мотивацию, а дальше мы устраиваем встречу с Лидом команды, который определяет, готовы ли с тобой работать”
https://docs.google.com/document/d/1o0FMQzWDjjM_Icf64MhK2M9TtBdqEyDbjTSaOwT1Q-8/edit
Стратегии аллокации памяти в вычислительных графах
Современные нейросетевые модели, как правило, представляются в виде вычислительных графов (например, ONNX). В вычислительных графах есть ноды, которые делают вычисления, и тензоры, которые содержат данные, необходимые для вычислений. В рамках статической сборки графов нам необходимо выделять память под все тензоры заранее. Наивная аллокация (под каждый тензор выделяется свой участок памяти) иногда работает неудовлетворительно - например, в графах, которые состоят из повторяющихся блоков, под тензоры, находящиеся в одних и тех же местах разных блоков, имеет смысл выделять одну и ту же память. В рамках данного проекта хочется поисследовать различные эвристики, которые позволят снизить потребление памяти во время инференса больших языковых моделей (LLM).
Что можно сделать в этом проекте:
- Изучить существующие походы к распределению памяти в вычислительных графах (см. приложенный файл)
- Провести эксперименты по реализации различных подходов и сравнить их эффективность на вычислительных графах, которые нас больше всего интересуют (в частности, LLM)
· Подумать над возможностями по улучшению существующих подходов Проект нацелен на студентов бакалавриата (4 курс) и магистров.
Требуемые навыки: знание алгоритмов и структур данных, уверенное владение Python или C++.
https://docs.google.com/document/d/1XQW-_4fja4jH8rQ_CuyVvR1W4VRTiKGqBxeTa_EwVjc/edit
Реализация алгоритма gorilla для сжатия данных в open-source базе данных YDB
Требуется реализовать популярный алгоритм кодирования целых чисел в open-source базе данных YDB