有没有好的方法导入 5000 多个 csv 文件到 mysql 呢

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2910 天前的主题，其中的信息可能已经有所发展或是发生改变。

第 1 条附言 · 2017-01-04 10:24:53 +08:00

已解决，刚请教了一位。
一行代码搞定

copy *.csv sum.csv

csv

MySQL

导入

文件

8 条回复 • 2017-01-03 21:06:07 +08:00

isofia

2017-01-03 10:28:25 +08:00

写个脚本跑一下吧，或者 excle 有宏，直接把 5000csv 合并

miaoever

2017-01-03 10:30:22 +08:00

https://github.com/alibaba/DataX

DataX 可以实现 csv 到 mysql 的快速导入。

ArcherFeel

2017-01-03 10:43:42 +08:00

我一般是这么弄的

for i in ./*; do cat $i | tail +n 2 | tr -d '"' | awk -F ',' '{insert into xxx values....}'>>/tmp/final.sql ; done

BOYPT

2017-01-03 11:16:03 +08:00

for LOG in *.csv; do

echo "LOAD DATA LOCAL INFILE '$LOG' INTO TABLE `tbl_xxxx` FIELDS TERMINATED BY ',' (fld_xxx, fld_xxx);" | mysql -u$MYSQL_USR $MYSQL_DB;

done

guodongbin

2017-01-03 13:00:28 +08:00

试试 mysql 的 load data infile

neoblackcap

2017-01-03 13:02:36 +08:00

mysql 不是有 csv 引擎吗？不是能直接打开吗？

kxjhlele

2017-01-03 14:10:44 +08:00

@miaoever 这工具不错.

laobaozi

2017-01-03 21:06:07 +08:00

将 csv 打开为 excel
在 excel 中使用函数将列拼接成 sql