Адрес: ул. Б. Очаковская 32 Москва Россия
Наши официальные канал и чат в telegram
Поднимем Devuan на вершину Distrowatch! Просто перейдите по ссылке один раз в день.

Разработчик из Valve оптимизировал драйвер RADV для работы с Llama.cpp

Новости собранные из разных RSS источников
Аватара пользователя
root:#
Site Admin
Сообщения: 827
Зарегистрирован: Вт ноя 08, 2022 3:27 pm
Благодарил (а): 44 раза
Поблагодарили: 24 раза

Разработчик из Valve оптимизировал драйвер RADV для работы с Llama.cpp

Сообщение root:# »

Разработчик из Valve оптимизировал драйвер RADV для работы с Llama.cpp
В кодовую базу, на основе которой формируется выпуск Mesa 25.3, приняты изменения, существенно увеличивающих скорость работы движка выполнения больших языковых моделей Llama.cpp при использовании Vulkan-бэкенда на системах с GPU AMD и Mesa-драйвером RADV. Оптимизированный драйвер RADV в некоторых тестах llama-bench стал быстрее драйвера AMDVLK и стека ROCm на 31% при обработке запросов (тесты "pp" - prompt processing) и на 4% при генерации токенов (тесты "tg" - token generation). Оптимизацию выполнил Рис Перри (Rhys Perry) из компании Valve, участвующий в разработке драйвера Vulkan RADV и компилятора шейдеров ACO.
Источник: https://www.opennet.ru/opennews/art.shtml?num=64086