使用dask / dask-cudf单个大型实木复合地板文件读取到多个分区
![用户头像](/static/whole/images/alert/data-load/load-15.gif)
问题说明
我正在尝试使用 dask_cudf
/ <$读取单个大的 parquet
文件(大小> gpu_size) c $ c> dask ,但它目前正在将其读取到单个分区中,我猜这是从文档字符串推断出的预期行为:
I am trying to read a single large parquet
file (size > gpu_size), using dask_cudf
/dask
but it is currently reading it into a single partition, which i am guessing is the expected behavior inferring from the doc-string:
dask.dataframe.read_parquet(path, columns=None, filters=None, categories=None, index=None, storage_options=None, engine='auto', gather_statistics=None, **kwargs):
Read a Parquet file into a Dask DataFrame
This reads a directory of Parquet data into a Dask.dataframe, one file per partition.
It selects the index among the sorted columns if any exist.
是否有解决方法,我可以将其读入多个分区?
Is there a work-around i can do read it into multiple partitions ?
正确答案
镶木地板数据集可以保存到单独的文件中。每个文件可以包含单独的行组。 Dask Dataframe将每个Parquet行组读入一个单独的分区。
Parquet datasets can be saved into separate files. Each file may contain separate row groups. Dask Dataframe reads each Parquet row group into a separate partition.
根据您的说法,听起来您的数据集只有一个行组。如果真是这样,那么不幸的是,Dask在这里根本无法做任何事情。
Based on what you're saying it sounds like your dataset has only a single row group. If that is the case then unfortunately there is nothing that Dask can really do here.
您可能想返回到数据源以查看其保存方式,并验证保存该数据集的任何过程是否以某种方式保存该数据集不会创建非常大的行组。
You might want to go back to the source of the data to see how it was saved and verify that whatever process is saving this dataset does it in a way where it is not creating very large row groups.
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /reply/detail/tanhecfhcj
-
YouTube API 不能在 iOS (iPhone/iPad) 工作,但在桌面浏览器工作正常?
it1352 07-30 -
保持在后台运行的 iPhone 应用程序完全可操作
it1352 07-25 -
iPhone,一张图像叠加到另一张图像上以创建要保存的新图像?(水印)
it1352 07-17 -
使用 iPhone 进行移动设备管理
it1352 07-23 -
扫描 NFC 标签时是否可以启动应用程序?
it1352 08-02 -
在android同时打开手电筒和前置摄像头
it1352 09-28 -
检查邮件是否发送成功
it1352 07-25 -
Android App 和三星 Galaxy S4 不兼容
it1352 07-20 -
复制文件夹/文件而不修改属性?
it1352 07-15 -
Android微调工具-删除当前选择
it1352 06-20