pythonmysql批量插入
㈠ python如何一次插入多行数据
你学习过数据库吗？
方法是多种的，这里以mysql为例！
1、用phpmyadmin,登录进去，然后查看你的数据库，插入数值，很快你就会录入完成了
2、用python操作数据库，这里也是mysql, 首先要安装pymsql模块，这样你就可以读取数据库了
连接数据库，查看，插入，确认完成
具体
conn=pymysql.Connect(user=username,passwd=password,database=database,charset=charset)
cur=conn.cursor()
cur.execute('select*fromtable')
cur.executemany(......)
conn.commit()
##username,password,dtabase,都是你自己数据库的设置，命令自己去学下，5分钟就会，特别是executemany可以批量执行插入，其实execute也可以
㈡ mysql批量插入数据
不用INSERTINTO难不成用UPDATE，数据导入3000条貌似不多吧
你要这么一说，还真有点难度了，因为数据类型不一样，还不能用数组，貌似没有什么绝窍
不过你可以直接用EXCEL中的CONCATENATE()函数把你的数据转换成SQL输入语句
然后把这个输入语句脚本放到一个文件中，如Iinsert.sql
接着用类似下面的代码把这个脚本导入MYSQL执行
!$db->select_db('databasename')&&exit($db->error());//选择当前数据库
if(!file_exists("./insert.sql"))exit("载入"insert.sql"失败!");
$import_sql=file_get_contents("pms.sql",dirname(__FILE__));//打开SQL文件并读取
$explode=explode(";",$import_sql);
$cnt=count($explode);
for($i=0;$i<$cnt;$i++){
!$db->query($explode[$i])&&exit("导入数据表失败!");
}
echo"已建立数据表...<br><br>
";
㈢ Python批量插入问题
s = 10000
list = []
c=0
sql = """insert into customer(id,name,company_id,sharding_id)
values(:col1,:col2,:col3,:col4)"""
for k in range(0,12):
i = 2000000 + k;
list.append([i, 'haha'+str(i), i%5, s])
#list1.append([i, i, i, i])
if c == 10:
cursor = conn.cursor()
#print list
cursor.executemany(sql,list)
conn.commit()
c = 0
print("insert into customer many data cursor:"+str(i))
list=[]
c = c + 1
if s==10000:
s = 10010
elif s==10010:
s = 10020
elif s== 10020:
s = 10030
elif s==10030:
s = 10000
if i>0:
cursor.executemany(sql,list)
conn.commit()
程序调试通过,改了 2个地方
1.
sql = """insert into customer(id,name,company_id,sharding_id)
values(:col1,:col2,:col3,:col4)"""
2.list.clear()---》list=[]
㈣ 如何用python3将元组插入MySQL
1、和数据库建立连接
2、执行sql语句,接收返回值
3、关闭数据库连接
1、MySQL数据库要用MySQLdb模块,但Python用来链接MySQL的第三方库MySQLdb不支持Python3.x
特别说明：我在我的电脑上实验时，我的python是2.7.2版本，安装对应版本的MySQLdb之后直接可以运行，并与数据库连接成功，所以如果大家也像我一样顺利的话，下面的就不需要看了，直接跳过，看第2点如何执行sql语句即可！如果安装之后出现异常，可以参考一下下面的解决办法。
连接的关键是安装MySQLdb模块要下载与Python相对应的版本：
下载好后安装，它会自动检测到计算机Python的安装路径，并自动填写模块解压路径（我的是：D:\ProgramFiles\ActivePython 2.6.6.17\Lib\site-packages\）。
但解压完成后并不能使用，还要修改MySQLdb模块下的一些文件：
①.在MySQLdb目录下（我的是：D:\ProgramFiles\ActivePython 2.6.6.17\Lib\site-packages\MySQLdb）找到__init__.py：
注释第34、35行的from setsimport ImmutableSet、class DBAPISet(ImmutableSet):，在后面添加class DBAPISet(frozenset):
# from sets import ImmutableSet
# class DBAPISet(ImmutableSet):
class DBAPISet(frozenset):
②.打开converters.py：
注释第37行的from sets import BaseSet, Set，将第45行的return Set([ i for i in s.split(',') ifi ])中的Set改为set；同样将第129行的Set: Set2Str,中的Set改为set（不要修改Set2Str），到这里就修改完毕了
2.建立数据库连接
import MySQLdb
conn=MySQLdb.connect(host="localhost",user="root",passwd="sa",db="mytable")
比较常用的参数包括
host: 连接的数据库服务器主机名，默认为本地主机(localhost)。
user:数据库登陆名.默认是当前用户.
passwd:数据库登陆的秘密.默认为空.
db:要使用的数据库名.没有默认值.
port:MySQL服务使用的TCP端口.默认是3306.
conn连接有两个重要的方法commit【提交新增和修改】,rollback【撤销新增或修改】
3、执行数据库操作
n=cursor.execute(sql,param)
我们要使用连接对象获得一个cursor对象,接下来,我们会使用cursor提供的方法来进行工作.
这些方法包括两大类:1.执行命令,2.接收返回值
cursor用来执行命令的方法:
callproc(self, procname, args):用来执行存储过程,接收的参数为存储过程名和参数列表,返回值为受影响的行数
execute(self, query, args):执行单条sql语句,接收的参数为sql语句本身和使用的参数列表,返回值为受影响的行数
executemany(self, query, args):执行单挑sql语句,但是重复执行参数列表里的参数,返回值为受影响的行数
nextset(self):移动到下一个结果集
cursor用来接收返回值的方法:
fetchall(self):接收全部的返回结果行.
fetchmany(self, size=None):接收size条返回结果行.如果size的值大于返回的结果行的数量,则会返回cursor.arraysize条数据.
fetchone(self):返回一条结果行.
scroll(self, value, mode='relative'):移动指针到某一行.如果mode='relative',则表示从当前所在行移动value条,如果mode='absolute',则表示从结果集的第一行移动value条.
下面的代码是一个完整的例子.
#使用sql语句,这里要接收的参数都用%s占位符.要注意的是,无论你要插入的数据是什么类型,占位符永远都要用%s
sql="insert into cdinfo values(%s,%s,%s,%s,%s)"
#param应该为tuple或者list
param=(title,singer,imgurl,url,alpha)
#执行,如果成功,n的值为1
n=cursor.execute(sql,param)
#再来执行一个查询的操作
cursor.execute("select * from cdinfo")
#我们使用了fetchall这个方法.这样,cds里保存的将会是查询返回的全部结果.每条结果都是一个tuple类型的数据,这些tuple组成了一个tuple
cds=cursor.fetchall()
#因为是tuple,所以可以这样使用结果集
print cds[0][3]
#或者直接显示出来,看看结果集的真实样子
print cds
#如果需要批量的插入数据,就这样做
sql="insert into cdinfo values(0,%s,%s,%s,%s,%s)"
#每个值的集合为一个tuple,整个参数集组成一个tuple,或者list
param=((title,singer,imgurl,url,alpha),(title2,singer2,imgurl2,url2,alpha2))
#使用executemany方法来批量的插入数据.这真是一个很酷的方法!
n=cursor.executemany(sql,param)
需要注意的是(或者说是我感到奇怪的是),在执行完插入或删除或修改操作后,需要调用一下conn.commit()方法进行提交.这样,数据才会真正保存在数据库中.我不清楚是否是我的mysql设置问题,总之,今天我在一开始使用的时候,如果不用commit,那数据就不会保留在数据库中,但是,数据确实在数据库呆过.因为自动编号进行了累积,而且返回的受影响的行数并不为0.
4、关闭数据库连接
需要分别的关闭指针对象和连接对象.他们有名字相同的方法
cursor.close()
conn.close()
5、
5 编码（防止乱码）
需要注意的点：
1 Python文件设置编码 utf-8 （文件前面加上 #encoding=utf-8)
2 MySQL数据库charset=utf-8
3 Python连接MySQL是加上参数 charset=utf8
4 设置Python的默认编码为 utf-8 (sys.setdefaultencoding(utf-8)
#encoding=utf-8
import sys
import MySQLdb
reload(sys)
sys.setdefaultencoding('utf-8')
db=MySQLdb.connect(user='root',charset='utf8')
注：MySQL的配置文件设置也必须配置成utf8
6.模块功能演示
#!/usr/bin/python
import MySQLdb
Con= MySQLdb.connect(host='localhost',user='root',passwd='root',db='abc')
cursor =con.cursor()
sql ="select * from myt"
cursor.execute(sql)
row=cursor.fetchone()
print row
cursor.close()
con.close()
执行以下SQL语句获取返回值：
//获取连接的游标
cursor=conn.cursor()
//查询
sql = "select * from 【table】"
//新增
sql = "insert into 【table】(字段,字段) values(值，值)"
//修改
sql = "update 【table】 set 字段 =‘值’where 条件 "
//删除
sql = "delete from 【table】where 条件"
cursor.execute(sql)
返回值
cur.execute('select * from tables')
其返回值为SQL语句得到的行数，如：2L，表示2行。
然后，可以从该对象的fetchone或fetchall方法得到行信息。
获取行信息
指针对象的fetchone()方法，是每次得到一行的tuple返回值：
引用
>>> row=cur.fetchone()
>>> print row
('user1', '', 1000L, 1000L, '/home/FTP/user1','')
指针对象的fetchall()方法，可取出指针结果集中的所有行，返回的结果集一个元组(tuples)：
引用
>>> cur.scroll(0,'absolute')
>>> row=cur.fetchall()
>>> print row
(('user1', '', 1000L, 1000L, '/home/FTP/user1',''), ('user2', '', 1000L, 1000L,'/home/FTP/user2', None))
移动指针
当使用fetchone()方法是，指针是会发生移动的。所以，若不重置指针，那么使用fetchall的信息将只会包含指针后面的行内容。
手动移动指针使用：
cur.scroll(int,parm)
含义为：
引用
int：移动的行数，整数；在相对模式下，正数向下移动，负值表示向上移动。
parm：移动的模式，默认是relative，相对模式；可接受absoulte，绝对模式。
修改数据
修改数据，包括插入、更新、删除。它们都是使用指针对象的execute()方法执行：
cur.execute("insert into table (row1, row2) values ('111', '222')")
cur.execute("update table set row1 = 'test' where row2 = 'row2' ")
cur.execute("delete from table where row1 = 'row1' ")
因单引号“'”用于SQL语句中的标识，所以，python中的字符串需使用双引号括住。
此外，也可以使用python的“格式化字符串”写法，简化命令，例如：
cur.execute("update table set row1 = '%s' where row2 = '%s' "%('value1','value2'))
※请注意，'%s'的单引号是SQL语句的间隔符，'value1'的单引号是python的字符串间隔符，其含义是不同的。是否需要间隔符，以及使用双引号还是单引号作为间隔，需根据其含义决定。例如，还有：
cur.execute("update FTPUSERS set passwd=%s where userid='%s' "%("md5('123')",'user2'))
这里，paswd=%s是因SQL的md5()函数是不需要单引号间隔的；"md5('123')"是python的字符串中含有单引号，所以用双引号括住。
提交修改
一般情况下，MySQLdb模块会自动提交修改。但我们在更新数据后，手动运行一次：
conn.commit()
关闭数据库连接
需要分别的关闭指针对象和连接对象.他们有名字相同的方法
cursor.close()
conn.close()
㈤ Python3 MySQL executemany的使用
题主你好,
从你的代码来说, 你的问题出在对executemany(sql, data)这个方法的逻辑没弄明白.
咱们对比一下execute(sql)和executemany(sql, data), 这里假设sql执行的是插入操作:
前者是执行单条操作,要插入的数据是写死在sql这个字符串中的;
后者是批量执行插入操作.关键的地方在于sql参数中留出格式化字符, 而数据是从data中取,这么说不好理解,看例子吧:
sql改为:
sql = "INSERT INTO bbb(nu1, nu2, nu3) VALUES (%s, %s, %s)"
注意和你的对比一下:
sql = "INSERT INTO bbb(nu1, nu2, nu3) VALUES (%s, %s, %s)" % (aa,bb,cc)
-----
关键是data参数,有两种写法,一种是序列内嵌, 一种是字典:
序列内嵌(外层必须是列表, 内层元素是列表或元组)
data=[[1,2,3],[4,5,6],[7,8,9]]
data=[(1,2,3),(4,5,6),(7,8,9)]
字典:
使用字典时,sql也要相应的改一下:
sql = "INSERT INTO bbb(nu1, nu2, nu3) VALUES (%(nu1)s, %(nu2)s, %(nu3)s)"
data参数外层还是一个列表, 内层元素是一个个的字典,即一个字典表示一条将要被插入的数据:
data = [ { 'nu1':1, 'nu2':2, 'nu3':3 }, { 'nu1':1, 'nu2':2, 'nu3':3 } ]
-----
再说下最终的逻辑:
序列内嵌法:
1.可以使用for循环先得到一个外层是列表,内层元素是列表或元组的这的一个列表:
ll= []
for i in itertools.permutations(range(1,8),3):
ll.append(i)
2.然后再构建sql语句:
sql = "INSERT INTO bbb(nu1, nu2, nu3) VALUES (%s, %s, %s)"
3.调用executemany():
cursor.executemany(sql,ll)
4.最后调用commit(),提交给数据库执行:
yydd.commit()
-----
字典法的逻辑:
1.使用for循环构建一个元素是字典的列表:
ll= []
for i in itertools.permutations(range(1,8),3):
ll.append({'nu1':i[0], 'nu2':i[1], 'nu3':i[2]})
2.构建sql语句:
sql = "INSERT INTO bbb(nu1, nu2, nu3) VALUES (%(nu1)s, %(nu2)s, %(nu3)s)"
3,4步同序列内嵌法中的描述.
=====
希望可以帮到题主, 欢迎追问