一年省60万,自己动手做服务端音视频图片模板pag
介绍 介绍直接看官网 pag高级功能 github ...
从零开始部署ChatTTS,做一个属于自己的文字转语音
摘要: 本文介绍了ChatTTS的安装和使用方法。首先,提供了官方模型的下载地址和设置代理的方式。接着,详细说明了正式安装和运行步骤。文章还提及如何自行编写API和使用推荐的图形界面,并提供了UI界面的截图。最后,文章总结了ChatTTS的各种调节功能,包括语速、角色保存、特殊符号和间隔等,认为这个开源项目虽刚推出,但听起来效果很好,具有很大的发展潜力,使用起来也相当方便。文章还附上了相关来源链接。
基础环境 我的环境 PyTorch 2.1.0 Python 3.10(ubuntu22.04) Cuda 12.1 有魔法可以跳过这一步 感谢 左涛 推动 如果没有魔法会报错的,下面给大家一个不用魔法的命令 官方模型地址是 : https://huggingface.co/2Noise/ChatTTS 设置代理就可以自由下载了: https://hf-mirror.com/ Linux vim ~/.bashrc export HF_ENDPOINT=https://hf-mirror.com source...
将llama70B原始模型转换成GGUF格式
摘要: 本文介绍了在国内网络环境下从 Huggingface 下载、安装并运行 llama3-70B 变种模型的详细步骤。 1. **模型下载**:从 Huggingface 下载约130G大小的llama3-70B模型,可使用代理加速下载。 2. **安装llama.cpp**:从Github下载并安装llama.cpp。 3. **转换模型格式**:在llama.cpp目录中将模型转换为ggml格式,生成约130G的`.gguf`文件。 4. **模型量化**:通过量化减少模型大小,选择Q4_K_M方案,量化后模型减少到约40G。确保在llama.cpp目录中编译并执行quantize文件,量化后可以使用显存为48G的设备运行。 5. **运行推理**:可以使用llama.cpp或更适合gguf的ollama进行推理,具体代码见官方GitHub。 最后总结了步骤并邀请读者在评论区讨论问题。
1、下载 先从huggingface下载模型,可以下载原始模型,或者其他变种,我这边下载一个llama3-70B变种,总体大小130G左右。 huggingface-cli download cognitivecomputations/dolphin-2.9.1-llama-3-70b --cache-dir ./model 如果是国内网络可以用 huggingface代理 2、安装llama.cpp 从github下载并且安装:<https://github.com/ggerganov/l...