【阿里魔搭】modelscope包下载安装

2024-03-22 12:28

本文主要是介绍【阿里魔搭】modelscope包下载安装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最终解决方案:使用源码安装modelscope

这里写目录标题

  • 问题描述:pip安装包冲突
  • 安装步骤

问题描述:pip安装包冲突

一开始的是在3.11的虚拟环境下使用命令行pip install "modelscope[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html下载,一直报错显示包冲突

并且是这种报错,根本没办法调和。

 modelscope[nlp] 1.9.0 depends on datasets<=2.13.0 and >=2.8.0modelscope[nlp] 1.8.4 depends on datasets<=2.13.0 and >=2.8.0modelscope[nlp] 1.8.1 depends on datasets<=2.13.0 and >=2.8.0modelscope[nlp] 1.6.1 depends on datasets<=2.8.0 and >=2.7.0modelscope[nlp] 1.6.0 depends on datasets<=2.8.0 and >=2.7.0modelscope[nlp] 1.5.1 depends on datasets<=2.8.0 and >=2.7.0modelscope[nlp] 1.4.3 depends on datasets<=2.8.0 and >=2.7.0modelscope[nlp] 1.4.1 depends on datasets<=2.8.0 and >=2.7.0modelscope[nlp] 1.3.1 depends on datasets<=2.8.0 and >=2.7.0modelscope[nlp] 1.1.4 depends on datasets<=2.5.2modelscope[nlp] 1.1.3 depends on datasets<=2.5.2modelscope[nlp] 1.1.2 depends on datasets<=2.5.2modelscope[nlp] 1.1.1 depends on datasets<=2.5.2modelscope[nlp] 1.1.0 depends on datasets<=2.5.2modelscope[nlp] 1.0.4 depends on datasets<=2.5.2modelscope[nlp] 1.0.3 depends on datasets<=2.5.2modelscope[nlp] 1.0.2 depends on datasets<=2.5.2modelscope[nlp] 1.0.1 depends on datasets<=2.5.2
modelscope[nlp] 0.3.7 depends on datasets==2.1.0modelscope[nlp] 0.3.6 depends on datasets==2.1.0modelscope[nlp] 0.3.5 depends on datasets==2.1.0modelscope[nlp] 0.3.4 depends on datasets==2.1.0

后来在官网找到环境安装的说明:https://www.modelscope.cn/docs/环境安装
请添加图片描述
环境配置Python版本只显示了3.7和3.8,于是重新创建虚拟环境进行安装。

首先安装深度学习框架,看你的模型是需要pytorch还是tensorflow,根据官网下载对应版本请添加图片描述
后面继续pip install "modelscope[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html 进行安装但是出现相同问题,于是尝试使用通过源码安装

安装步骤

以下是安装全过程:

  1. 创建虚拟环境并激活

    conda create -n modelscope python=3.8
    conda activate modelscope
    
  2. 安装深度学习框架

    Pytorch:

    pip install torch torchvision torchaudio
    

    或Tensorflow:

    pip install --upgrade tensorflow==2.13.0 # 仅支持 CPU 的版本
    

    注: 客观上在国内使用pip安装的时候,如果默认是用海外的pypi源的话,可能因为网络问题,下载速度受限。如果有这个现象,可以考虑通过pip的"-i"命令行选项来手工配置仓库来源,例如"-i https://pypi.tuna.tsinghua.edu.cn/simple " 可以将配置仓库来源使用"清华源"。例如:

    pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
    

    常见的可用源还包括 “-i https://mirrors.bfsu.edu.cn/pypi/web/simple”, "-i https://mirrors.ustc.edu.cn/pypi/web/simple "等等,可以根据自己的网络条件自行选择。

  3. ModelScope Library 安装(源码安装)

    我使用pip安装失败遂不介绍,仅介绍源码安装

    1. 源码下载
      a. 可以使用git下载源码

       ```jsxgit clone git@github.com:modelscope/modelscope.gitcd modelscopegit fetch origin mastergit checkout master```
      

      b. 直接在github官网下载 https://github.com/modelscope/modelscope

    2. 一定要先cd去源码所在的目录中先,否则会报错

      请添加图片描述

      可以使用命令行检查是否转到对应目录下:

      dir
      type setup.py
      

      请添加图片描述

    1. 安装依赖:仅需体验NLP领域模型,执行如下命令安装依赖

      pip install ".[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
      

      期间他会提示缺少某些包而报错,根据提示单独安装对应的包即可
      请添加图片描述

      如果有安装不成功的在后面加**--trusted-host [pypi.mirrors.ustc.edu.cn](http://pypi.mirrors.ustc.edu.cn)** 以避免潜在的安全警告

      pip install xxx --trusted-host pypi.mirrors.ustc.edu.cn
      pip install ".[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html --trusted-host pypi.mirrors.ustc.edu.cn
      
    2. 验证:安装成功后,即可使用对应领域模型进行推理,训练等操作。这里我们以NLP领域为例。安装后,可执行如下命令,运行中文分词任务,来验证安装是否正确:

      python -c "from modelscope.pipelines import pipeline;print(pipeline('word-segmentation')('今天天气不错,适合 出去游玩'))"
      
      (modelscope) E:\0.University\0.dissertation\code\modelscope\modelscope>python -c "from modelscope.pipelines import pipeline;print(pipeline('word-segmentation')('今
      天天气不错,适合 出去游玩'))"
      2024-03-21 10:23:41,578 - modelscope - INFO - PyTorch version 1.11.0+cpu Found.
      2024-03-21 10:23:41,580 - modelscope - INFO - Loading ast index from C:\Users\ammy\.cache\modelscope\ast_indexer
      2024-03-21 10:23:42,128 - modelscope - INFO - Loading done! Current index file version is 1.9.4, with md5 d07f5c3e9ea59df520487198f306c0b6 and a total number of 972components indexed
      2024-03-21 10:23:46,043 - modelscope - INFO - Model revision not specified, use default: master in development mode
      2024-03-21 10:23:46,044 - modelscope - INFO - Development mode use revision: master
      Downloading: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 243k/243k [00:00<00:00, 987kB/s]
      Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 976/976 [00:00<00:00, 194kB/s]
      Downloading: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 161/161 [00:00<00:00, 40.4kB/s]
      Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████| 46.7k/46.7k [00:00<00:00, 413kB/s]
      Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 388M/388M [02:29<00:00, 2.71MB/s]
      Downloading: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 9.74k/9.74k [00:00<00:00, 1.99MB/s]
      Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 30.0/30.0 [00:00<00:00, 7.54kB/s]
      Downloading: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 107k/107k [00:00<00:00, 659kB/s]
      2024-03-21 10:26:20,450 - modelscope - INFO - initiate model from C:\Users\ammy\.cache\modelscope\hub\damo\nlp_structbert_word-segmentation_chinese-base
      2024-03-21 10:26:20,450 - modelscope - INFO - initiate model from location C:\Users\ammy\.cache\modelscope\hub\damo\nlp_structbert_word-segmentation_chinese-base.
      2024-03-21 10:26:20,454 - modelscope - INFO - initialize model from C:\Users\ammy\.cache\modelscope\hub\damo\nlp_structbert_word-segmentation_chinese-base
      You are using a model of type bert to instantiate a model of type structbert. This is not supported for all configurations of models and can yield errors.
      2024-03-21 10:26:22,373 - modelscope - WARNING - No preprocessor field found in cfg.
      2024-03-21 10:26:22,373 - modelscope - WARNING - No val key and type key found in preprocessor domain of configuration.json file.
      2024-03-21 10:26:22,373 - modelscope - WARNING - Cannot find available config to build preprocessor at mode inference, current config: {'model_dir': 'C:\\Users\\amm
      y\\.cache\\modelscope\\hub\\damo\\nlp_structbert_word-segmentation_chinese-base'}. trying to build by task and model information.
      2024-03-21 10:26:22,392 - modelscope - INFO - cuda is not available, using cpu instead.
      2024-03-21 10:26:22,397 - modelscope - WARNING - No preprocessor field found in cfg.
      2024-03-21 10:26:22,397 - modelscope - WARNING - No val key and type key found in preprocessor domain of configuration.json file.
      2024-03-21 10:26:22,397 - modelscope - WARNING - Cannot find available config to build preprocessor at mode inference, current config: {'model_dir': 'C:\\Users\\amm
      y\\.cache\\modelscope\\hub\\damo\\nlp_structbert_word-segmentation_chinese-base', 'sequence_length': 512}. trying to build by task and model information.
      E:\anaconda\envs\modelscope\lib\site-packages\transformers\modeling_utils.py:977: FutureWarning: The `device` argument is deprecated and will be removed in v5 of Tr
      ansformers.warnings.warn(
      {'output': ['今天', '天气', '不错', ',', '适合', '出去', '游玩']}

参考:

https://www.modelscope.cn/docs/环境安装

https://blog.csdn.net/qq_41185868/article/details/127355894

这篇关于【阿里魔搭】modelscope包下载安装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/835285

相关文章

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

阿里云服务器ces

允许公网通过 HTTP、HTTPS 等服务访问实例 https://help.aliyun.com/document_detail/25475.html?spm=5176.2020520101.0.0.3ca96b0b3KGTPq#allowHttp

LLM系列 | 38:解读阿里开源语音多模态模型Qwen2-Audio

引言 模型概述 模型架构 训练方法 性能评估 实战演示 总结 引言 金山挂月窥禅径,沙鸟听经恋法门。 小伙伴们好,我是微信公众号《小窗幽记机器学习》的小编:卖铁观音的小男孩,今天这篇小作文主要是介绍阿里巴巴的语音多模态大模型Qwen2-Audio。近日,阿里巴巴Qwen团队发布了最新的大规模音频-语言模型Qwen2-Audio及其技术报告。该模型在音频理解和多模态交互

超越IP-Adapter!阿里提出UniPortrait,可通过文本定制生成高保真的单人或多人图像。

阿里提出UniPortrait,能根据用户提供的文本描述,快速生成既忠实于原图又能灵活调整的个性化人像,用户甚至可以通过简单的句子来描述多个不同的人物,而不需要一一指定每个人的位置。这种设计大大简化了用户的操作,提升了个性化生成的效率和效果。 UniPortrait以统一的方式定制单 ID 和多 ID 图像,提供高保真身份保存、广泛的面部可编辑性、自由格式的文本描述,并且无需预先确定的布局。

nexus3.XX的下载安装和配置

nexus的下载: 官方地址:http://www.sonatype.com/download-oss-sonatype 百度网盘:http://pan.baidu.com/s/1eSBeid0 下载完成后,将nexus解压到指定位置:(如d:\nexus3) nexus的安装: 开始 -> 运行 -> cmd install  安装 uninstall 卸载 此

notepad下载安装教程

一、强大高效的代码编辑器 Notepad++ 是一款功能强大的代码编辑器,专为程序员和开发人员设计。无论是编写代码、处理文本文件,还是进行快速编辑,Notepad++ 都能提供卓越的性能和便利的功能,极大提升您的工作效率。 二、安装详细教程 通过官方网址下载 notepad++中文免费版。 1、运行安装程序 下载完成后,找到下载的安装程序文件(通常是一个.exe文件)。 双击运行安

notepad下载安装使用以及高级使用技巧

前言 Notepad++是一款广受欢迎的文本编辑器,尤其受到开发者和编程人员的喜爱。它支持多种编程语言的语法高亮显示,并且提供了丰富的插件系统,使得功能可以轻松扩展。本文将详细介绍如何在Windows操作系统上下载、安装Notepad++,以及基本的使用技巧。 Notepad++简介 Notepad++是一个免费的开源文本编辑器,它不仅支持纯文本编辑,还支持众多编程语言的语法高亮显示。它比W

node.js实现阿里云短信发送

效果图 实现 一、准备工作 1、官网直达网址: 阿里云 - 短信服务 2、按照首页提示依次完成相应资质认证和短信模板审核; 3、获取你的accessKeySecret和accessKeyId; 方法如下: 获取AccessKey-阿里云帮助中心 4、获取SignName(签名名称)和 TemplateCode(模板code); 二、代码实现 1、项目结构 【/c

PS插件DR5至臻高级版下载安装教程Photoshop美颜美白牙齿磨皮使用插件百度网盘分享

DR5至臻高级版PS插件DR5至臻高级版下载安装教程Photoshop美颜美白牙齿磨皮使用插件百度网盘分享链接地址可以对眼睛、眉毛、嘴唇等五官进行精细调整,如增强眼睛的明亮度和清晰度,使眉毛更加立体,嘴唇更加饱满可以快速有效地去除人像照片中的瑕疵、痘痘、皱纹等,同时保持皮肤的纹理和细节,使皮肤看起来光滑细腻 1、下载软件 链接:https://pan.baidu.com/s/1bKjukx

JS_阿里云oss视频上传后,如何获取视频封面

当您需要获取视频封面、提取视频关键帧图像进行视频编辑,或者提取视频中特定场景帧图像用于视频监控等时,可以将视频上传至OSS存储空间,然后通过本文所示方法进行视频截帧。 使用示例 本文示例使用的Bucket为杭州地域名为oss-console-img-demo-cn-hangzhou的Bucket,视频外网访问地址为: https://oss-console-img-demo-cn-hangzho