==作者：cybsky==
[TOC]
升级openssl 1 2 3 4 5 6 7 8 9 10 11 12 13 # 要求openssl>=1.1.1 避免与openssh不兼容 这里不使用3.x yum install -y gcc gcc-c++ perl perl-devel zlib-devel wget https://www.openssl.org/source/openssl-1.1.1w.tar.gz tar -zxvf openssl-1.1.1w.tar.gz cd openssl-1.1.1w ./config --prefix=/usr/local/openssl --openssldir=/usr/local/openssl shared zlib make && make install mv /usr/bin/openssl /usr/bin/openssl.bak ln -s /usr/local/openssl/bin/openssl /usr/bin/openssl echo "/usr/local/openssl/lib" >> /etc/ld.so.conf ldconfig -v
安装python3 1 2 3 4 5 6 7 8 9 10 11 12 13 14 # python3要求>3.6 当前使用Python 3.11.11 wget https://www.python.org/ftp/python/3.11.11/Python-3.11.11.tgz tar zxvf Python-3.11.11.tgz cd Python-3.11.11 ./configure --prefix=/usr/local/python3 --with-openssl=/usr/local/openssl --with-openssl-rpath=auto make && make install alternatives --install /usr/bin/python3 python3 /usr/local/python3/bin/python3.11 100 # 看准路径指定序号 alternatives --config python3 # 加个软链,顺带就覆盖本地旧版本 ln -sf /usr/local/python3/bin/python3.11 /usr/bin/python3 # 测试openssl /usr/local/python3/bin/python3 -c "import ssl; print(ssl.OPENSSL_VERSION)"
安装ollama 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 curl -fsSL https://ollama.com/install.sh | sh cd /usr/share/ollama/.ollama/ # 上传模型文件 # 查看模型列表 ollama list NAME ID SIZE MODIFIED nomic-embed-text:latest 0a109f422b47 274 MB 17 hours ago deepseek-r1:14b ea35dfe18182 9.0 GB 17 hours ago deepseek-r1:7b 0a8c26691023 4.7 GB 17 hours ago deepseek-r1:8b 28f8fd6cdc67 4.9 GB 17 hours ago deepseek-r1:latest 0a8c26691023 4.7 GB 17 hours ago # 根据配置选择模型 无显卡不建议超过14b 32b建议GPU同等于4090且mem>=64G的机器运行 ollama run deepseek-r1:14b
安装exo PASS 活跃度太低 linux缺少太多model支持 也没人解答
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 # **依赖比较多,需耐心解决依赖** # **必须完成前置** # **有条件先魔法上网** # 安装 git clone https://github.com/exo-explore/exo.git cd exo pip3 install -e . # alternatively, with venv source install.sh # **没有连接github的解决方案** 使用加速服务的域名 修改安装脚本 vim setup.py "tinygrad @ git+https://ghfast.top/https://github.com/tinygrad/tinygrad.git@ec120ce6b9ce8e4ff4b5692566a683ef240e8bc8",
TODO VLLM 