Сейчас искусственный интеллект модная тема и о том же ChatGPT слышали многие. Но вот иметь персонального чат-бота у себя на компьютере - это может быть даже более интересно. Теперь есть такая возможность: учёные из Стенфорда разработали чат-программу, использующую облегчённую версию нейросети Llama. В минимальном варианте модель занимает 5Гб, но зато может общаться с пользователем и отвечать на его запросы, при этом программа довольно нетребовательна к ресурсам и может работать даже на слабой системе. Моя же роль сводится к тому, что я прикрутил к этой программе обёртку в виде Гугл-переводчика и теперь можно общаться с ботом на русском языке. Качество довольно неплохое.
Если кто хочет пообщаться с персональным чат-ботом, то первым делом ему нужно скачать программу чат-бота отсюда:
Распаковывайте нужный вам архив, alpaca-win.zip если у вас Windows, на диск с по крайней мере 5Гб свободного места. Сама программа маленькая, но вот модель (нейросеть) большая.
Теперь качаем собственно нейросеть отсюда по прямой ссылке или с торрента:
И помещаем её (файл ggml-alpaca-7b-q4.bin) в ту же папку, где лежит файл chat.exe. Ну и наконец качаем мою обёртку AlpacaPlus:
И распаковываем её туда же. Обратите внимание, что никаких папок в каталоге с чат-ботом быть не должно - все файлы распаковываем напрямую. Всё, запускаем файл AlpacaPlus.exe, в нижнее текстовое поле пишем запросы к нейросети, сверху читаем ответы. Если хотите посмотреть, как оно в оригинале - запустите файл chat.exe и пообщайтесь с нейросетью на английском. Удачи!
Это возможно, да :)
Это реально круто, Альпака работает отлично. А как можно увеличить его мощность? Я читал что есть несколько версий Альпаки.
ОтветитьУдалитьЕсть модели большего размера, но я слышал, что радикальное улучшение результатов только на самой большой, а она требует 64Гб оперативной памяти. Но процесс идёт, модели доучивают и оптимизируют, со временем результат должен улучшиться. Может даже и скоро.
Удалитьчто-то не хочет работать. пишет следующее:
ОтветитьУдалитьmain: seed = 1682967238
llama_model_load: loading model from 'ggml-alpaca-7b-q4.bin' - please wait ...
llama_model_load: ggml ctx size = 6065.34 MB
llama_model_load: memory_size = 2048.00 MB, n_mem = 65536
llama_model_load: loading model part 1/1 from 'ggml-alpaca-7b-q4.bin'
llama_model_load: .................................... done
llama_model_load: model size = 4017.27 MB / num tensors = 291
system_info: n_threads = 4 / 16 | AVX = 1 | AVX2 = 1 | AVX512 = 0 | FMA = 0 | NEON = 0 | ARM_FMA = 0 | F16C = 0 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 0 | SSE3 = 0 | VSX = 0 |
main: interactive mode on.
sampling parameters: temp = 0.100000, top_k = 40, top_p = 0.950000, repeat_last_n = 64, repeat_penalty = 1.300000
И всё. Если запускаю английский чат - та же проблема, в консоли прописывается нечто похожее, потом она быстро закрывается. Ума не приложу в чем проблема.
Скорее всего модель не та, попробуйте загрузить файл "ggml-alpaca-7b-q4.bin" с другой ссылки. Но вообще-то это всё уже устарело - форматы нейросетей и программы для общения с ними сейчас развиваются с очень высокой скоростью. Самую передовую версию такой программы можно скачать вот здесь - https://github.com/LostRuins/koboldcpp . Эта программа поддерживает все новые форматы ggml-моделей. Но всё пока что только на английском.
Удалить