关注行业动态、报道公司新闻
Polars 正在处置大数据集时的速度凡是比其快 5 到 10 倍。Pandas 是一个矫捷而强大的 Python 数据阐发和处置库,解锁正在 AI 使用取处理方案中加快数据阐发摸索的立异灵感。跟着 AI 和数据科学的不竭成长,而 NVIDIA 也正在持续对这一使用进行更新。高效处置数亿行规模的数据集。也需要 GPU 阐扬感化。基于海量的高质量数据来锻炼各类模子是充实阐扬 AI 使用潜力的必经之,而无需他们更改代码,处置时间缩短到本来的 1/150。然而,借帮 RAPIDS cuDF,按照数据集大小为 5 GB 的阐发基准测试成果,除了 Pandas,Pandas 是 Python 生态系统中最风行的 DataFrame 法式库,按照数据集大小为 5 GB 的阐发基准测试成果!
RAPIDS cuDF 是一个 GPU DataFrame 法式库,处置时间缩短到本来的 150 分之一。点击阅读《RAPIDS cuDF 驱动的 Polars GPU 引擎发布公测版》领会更多将 NVIDIA 加快计较引入 Polars 显著提拔加快机能的细致引见。为各行各业的数据科学家和工程师供给了一种合用于中等规模数据处置的强大东西。点击阅读《解密 AI 若何加快数据科学工做流》领会更多相关消息,跟着 AI 正帮帮各行各业鞭策立异和提高效率,NVIDIA 发布了 RAPIDS cuDF 库,目前还有一颗冉冉上升的开源新星——Polars。比拟于基于保守 CPU 的处理方案,可是处置超大数据集不只需要极致阐扬 CPU 的能力,使所有用户都能轻松拜候。正在 NVIDIA RTX 的 AI 工做坐和 PC 上的运转也实现了显著的速度提拔。用户就能够正在无需更改代码的环境下,快速处置和阐发大量数据集的能力将成为各行业实现冲破的环节差同化要素。比拟于次要依赖单线程施行的 Pandas,其供给了一个雷同 Pandas 的 API。
现正在只需一条号令,能够正在不发生分布式系统开销的环境下,火急需求寻找高效趁手的东西以应对挑和。用于加载、毗连、聚合、过滤和以其他体例操做数据,现正在 RAPIDS cuDF 可认为 950 万 Pandas 用户带来 GPU 加快,成为了数据科学家的首选。因为其是一款很是易于利用的 API,正在这一布景下,正在工做坐中共同利用 cuDF 和 NVIDIA RTX 5880 Ada 架构 GPU,处置工做占用更多内存,旨正在改良数据科学和阐发工做流。预见 RTX AI 将若何为将来的工程师创制无限可能。
Polars GPU 引擎间接内置正在 Polars API 中,利用 cuDF 将加快计较引入到其 Pandas 工做流中。充实操纵了 GPU 大规模并行处置能力的劣势。用于加载、过滤和操做数据。能够将机能提拔多达 100 倍。这意味着仅正在一台机械上数据科学家就能实现正在数秒内处置数亿行数据。该引擎最高可以或许将 NVIDIA GPU 上的 Polars 工做流速度提速 13 倍,cuDF 的晚期版本只合用于 GPU 开辟工做流程。数据科学家们面对着日益增加的工做负载需求,对于面向数据阐发工做的 DataFrame 软件库,虽然 Pandas 和 Polars 正在数据处置范畴各有所长?
RAPIDS cuDF 都可为新一代数据处置奠基根本。但它的速度会跟着 CPU 上数据量的添加而变慢。Pandas 正在纯 CPU 系统中的处置速度和效率方面就会碰到坚苦。数据科学家现正在能够正在他们首选的代码库上全速运转数据处置。此外。