【Ollama 使用指南】详解开源大模型管理工具｜15分钟了解ollama｜本地部署开源模型llama，gemma，llava，mistral｜定制化开源模型｜本地部署chatbot｜多模态开源模型

2024 ж. 4 Мам.

9 289 Рет қаралды

随着各家大厂发布开源大模型，大模型管理工具越来越重要。OLLAMA就是一款优秀的开源大模型管理工具。利用OLLAMA开发者们可以自由的创建，训练模型，并且搭建本地化chatbot。同时Ollama还支持OpenAI同样形式的REST API以提升开发者效率。
OLLAMA：ollama.com/
Chatbot-ollama UI：github.com/ivanfioravanti/cha...
Gemma模型介绍： • 【Gemma本地部署？！】Gemma 安装和...
00:00-0019 Open 开场
00:20-01:20 Brief Intro Ollama 简介
01:21-01:53 How to install Ollama
01:54-03:18 How to load models 载入模型
03:19-07:02 Use CLI to query 终端访问模型
07:03-09:02 Curl query REST API 用Curl访问REST API
09:03-10:24 Python query REST API 用Python访问REST API
10:25-11:43 Multimodal query 多模态
11:44-14:38 Customize model 定制模型
14:39-16:45 Chatbot on with local LLM 基于本地化LLM的chatbot

Пікірлер

非常實用! 感謝這個影片帶我入門Ollama
@w1vtu8413 минут бұрын
謝謝講解，這正是我需要的管理工具
@RichKanАй бұрын
感谢分享，小白很受益！
@jiaqi222Ай бұрын
- 太棒了，能有帮到你太好了😀
  @chang-workshopАй бұрын
棒啊
@yupeng8847Ай бұрын
- ❤️，谢谢，希望有帮到你😁
  @chang-workshopАй бұрын
希望讲一些使用者更关注的问题，比如模型能力，中文支持程度，硬件要求等
@user-dd8rp2kq1p23 күн бұрын
- 好的收到，感谢建议，后续会覆盖一些此类问题
  @chang-workshop23 күн бұрын
感謝分享教學請問有windows安裝介面的版本教學嗎? 想說有什麼方法可以用OLLAMA來跑自己另外下載的模型以及有什麼比較簡單易操作的Ollama Web UI 來產生介面類似chatgpt這樣直接使用謝謝
@user-mv9ul9tz1c18 күн бұрын
- Hi 抱歉，我手邊沒有WINDOWS PC，不過你可以參考這篇文章。ollama.com/blog/windows-preview 關於web UI，可以參考 gradio，streamlit 還有 openwebui。我在這支影片裡面有demo gradio的一些簡單功能，看看是否符合你的需求。kzhead.info/sun/e9iqnamKfHOGdmg/bejne.html 。另外，如果你希望下載模型然後用ollama，需要去huggingface看看model 的gguf文檔，ollama可以支持locally run gguf。這篇文章有講怎麼使用GGUF，供參考。www.markhneedham.com/blog/2023/10/18/ollama-hugging-face-gguf-models/
  @chang-workshop17 күн бұрын
有字幕的話頻道一定會更受歡迎加油
@lawrencechan2974Ай бұрын
- 🫡謝謝！我努力💪
  @chang-workshopАй бұрын
感谢分享，如果加了文件参数，那gemma会学习文件内的内容吗？
@user-uq3ys9jl7gАй бұрын
- hi，你指的是create参数吧？Gemma 是可以学习文件里面的内容的。不过能制定的instruction比较有限，主要是一些预设的prompt参数，问答方式，系统设置，以及base model。具体可以看这里 github.com/ollama/ollama/blob/main/docs/modelfile.md 补充一下，如果希望让模型使用额外的知识库，最好是RAG或者fine-tuning。关于RAG，近期我会上线一个视频解析，欢迎关注哈。
  @chang-workshopАй бұрын
- @@chang-workshop 非常需要，求讲解
  @Fire-in-the-hole24 күн бұрын
- @@Fire-in-the-hole 我之前发布了一个本地LLM搭建RAG的视频，这个kzhead.info/sun/e9iqnamKfHOGdmg/bejne.html，希望可以帮到你
  @chang-workshop24 күн бұрын
很想知道有多模态交互的类chatbot吗
@pokemon363636Ай бұрын
- 确实langchain和ollama整合接口支持多模态的，我来试试搞个原型分享一波，不过可能需要点时间。也可以参考下这里 python.langchain.com/docs/integrations/llms/ollama
  @chang-workshopАй бұрын
- openwebui
  @user-qg5uf3ln5qАй бұрын
请问如何在代码中实现调用GPU加速呢，我设置了option，gpu_num和main_gpu，但是感觉没啥效果
@bingbingxvАй бұрын
- hmm…，抱歉我手头没有设备测试。可能没法立马找到办法解决。不过你的问题，首先得看下你的系统和显卡，目前ollama在Linux和Windows上对于gpu支持比较好，但是AMD显卡需要最新的preview的ollama，支持的AMD显卡型号见这里 ollama.com/blog/amd-preview apple silicon 的Mac上gpu，需要MetalAPI，应该就能用gpu加速，但是不能是docker环境下。如果是Intel Mac的AMD显卡目前应该不支持
  @chang-workshopАй бұрын
为什么运行时cpu满载而不是gpu满载呢？gpu几乎没动，有办法解决吗
@QqQq-iq8cy8 күн бұрын
- 这个目前看起来可能是你使用模型尺寸比较大导致的，可以参考这个资料，github.com/ollama/ollama/issues/1986 主要说的是，如果你用的mac，载入模型时候，内存容量足够，且大概剩余1/3，ollama会在gpu运行，否则只会在cpu运行
  @chang-workshop7 күн бұрын
下了很多模型，电脑容量不够了，我们能怎么删掉某个模型呢
@issacike20 күн бұрын
- 可以试试ollama rm命令
  @chang-workshop19 күн бұрын
- @@chang-workshop 假设我要删掉llama2模型，是用这个命令吗 ollama rm llama2:7b？
  @issacike19 күн бұрын
- @@issacike 对的，不过建议你先ollama list看下有哪些模型，然后把需要删除的模型name放到rm后面就可以了
  @chang-workshop19 күн бұрын
- @@chang-workshop 怎么看ollama list有哪些模型呢
  @issacike16 күн бұрын
- @@issacike 可以terminal输入ollama list命令，就会列出你载入了哪些模型
  @chang-workshop16 күн бұрын
ollama 怎么支持中文，我下载怎么不支持中文。
@ramoslei3746Ай бұрын
- 你是指中文输入prompt吧？首先你在命令行输入中文prompt的话，前提是你的terminal支持，其次，建议你下载一些比较知名LLM，比如gemma，llama2，应该都支持中文，但是支持程度一般，他们训练数据里面中文数据比例都是个位数。还可以去ollama library，找下支持中文的模型，我找到一个llama2-chinese，应该是针对中文调教过的，可以尝试看看。 ollama library: ollama.com/library 希望可以帮到你哈。
  @chang-workshopАй бұрын
- @@chang-workshop 好的好的，谢谢你了，我去看看。
  @ramoslei3746Ай бұрын
内容不错，声音忽大忽小，体验比较差
@keliu7373Ай бұрын
- 收到！确实做的不够细致，后续持续改进，谢谢建议
  @chang-workshopАй бұрын
这种只能跑，不能训练，，
@corezhang9353Ай бұрын
- 对的，RAG本身是不会训练模型的
  @chang-workshopАй бұрын