当前位置: 首页 > news >正文

CuML + Cudf (RAPIDS) 加速python数据分析脚本

如果有人在用Nvidia RAPIDS加速pandas和sklearn等库,请看我这个小示例,可以节省你大量时间。

1. 创建环境

请使用uv,而非conda/mamba。


# install uv if not yetcurl -LsSf https://astral.sh/uv/install.sh | shuv init data_gpucd data_gpuuv venv --python 3.12source .venv/bin/activate# 大的要来了# 使用阿里云开源镜像uv pip install \-i http://mirrors.aliyun.com/pypi/simple/ \--extra-index-url=https://pypi.nvidia.com \"cudf-cu12==25.4.*" "cuml-cu12==25.4.*" \"polars[pandas,numpy,pyarrow,style,plot,excel,gpu]" \polars-u64-idx scikit-learn scipy statsmodels tqdm ipykernel jupyter --prerelease=allow --index-strategy unsafe-best-match

2. 在脚本中启用

import cudf.pandas
cudf.pandas.install()
from cuml.accel.core import install as cuml_install
cuml_install(disable_uvm=False)
import pandas as pd
import polars as pl
import numpy as np
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

现在,pandas, sklearn, polars都有GPU加持。但是并非所有函数都受支持。具体情况自己去看官方文档。

另外,不要使用 python -m cuml.accel my_script.py,这样你就无法向my_script.py传自己的参数。

相关文章:

  • 26考研 | 王道 | 数据结构笔记博客总结
  • Flink TaskManager详解
  • 力扣DAY68 | 热100 | 寻找两个正序数组的中位数
  • 使用npm install或cnpm install报错解决
  • 从 “制造” 到 “品牌”:官网建设助力中国企业突围东南亚
  • netcore8.0项目发布到centos,利用nginx反向代理(宝塔面板篇)
  • 【服务器操作指南】从 Hugging Face 上下载文件 | 从某一个网址上下载文件到 Linux 服务器的指定目录
  • STM32F103C8T6信息
  • 数据可视化平台产品介绍及功能特色
  • C 语言内存分配方法及优缺点
  • 光谱分辨率:解锁光的密码
  • CSS常见布局
  • Python实验4 列表与字典应用
  • Flowable7.x学习笔记(十四)查看部署流程Bpmn2.0-xml
  • 【MySQL】(8) 联合查询
  • 【DE-III】基于细节增强的模态内和模态间交互的视听情感识别
  • 图像修复模型MAT(Mask-Aware Transformer)的训练、推理实战记录
  • 深入掌握Redis主从复制:原理、配置与生产级实践指南
  • python_BeautifulSoup提取html中的信息
  • 4G卡的DTU固件TCP通讯
  • 伊朗南部港口火势蔓延,部分集装箱再次发生爆炸
  • 玉渊谭天丨“稀土管制让美国慌了”,美军工稀土储备仅够数月
  • 欢迎回家!日本和歌山县4只大熊猫将于6月底送返中国
  • “两高”发布侵犯知产犯罪司法解释:降低部分犯罪入罪门槛
  • 国防部:“台独”武装摆练纯属搞心理安慰,怎么演都是溃败的死局
  • 上海车展迎来超百款首发新车,全市多区开展汽车促消费活动