Parquet ファイル、これまであんまり向き合ってこなかったので、少し向き合う。
vim で開けない...かなしい...。
parquet-cli
parquet でぐぐると、parquet-tools 使おうみたいな記事がよく出てくるが、2022年8月現在だともう更新されていないので、代わりに parquet-cli というのを使う。
Mac の場合
$ brew install parquet-cli
で、OK
$ /opt/homebrew/Cellar/parquet-cli/1.12.3/bin/parquet
にあるので、適当に path を通しておきましょう。
$ parquet meta foobar.parquet
で meta データを見たりできる。
詳細は help で
$ parquet help
Usage: parquet [options] [command] [command options]
Options:
-v, --verbose, --debug
Print extra debugging information
Commands:
help
Retrieves details on the functions of other commands
meta
Print a Parquet file's metadata
pages
Print page summaries for a Parquet file
dictionary
Print dictionaries for a Parquet column
check-stats
Check Parquet files for corrupt page and column stats (PARQUET-251)
schema
Print the Avro schema for a file
csv-schema
Build a schema from a CSV data sample
convert-csv
Create a file from CSV data
convert
Create a Parquet file from a data file
to-avro
Create an Avro file from a data file
cat
Print the first N records from a file
head
Print the first N records from a file
column-index
Prints the column and offset indexes of a Parquet file
column-size
Print the column sizes of a parquet file
prune
Prune column(s) in a Parquet file and save it to a new file. The columns left are not changed.
trans-compression
Translate the compression from one to another (It doesn't support bloom filter feature yet).
masking
Replace columns with masked values and write to a new Parquet file
footer
Print the Parquet file footer in json format
Examples:
# print information for meta
parquet help meta
See 'parquet help <command>' for more information on a specific command.
pandas で扱う
pandas で Parquet ファイル 扱うことができる
pip で必要なものをそろえる
$ pip install pandas pyarrow fastparquet
例えば csv にしたい場合はこういう感じ（カレントディレクトリに、foobar.parquet がある想定）
$ python3
Python 3.10.4 (main, May 25 2022, 11:41:04) [Clang 13.1.6 (clang-1316.0.21.2.3)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>>
>>>
>>> import pandas as pd
>>> df = pd.read_parquet('foobar.parquet')
>>> df.to_csv('foobar.csv')
これから仲良くしていこう...。
