pythonmysql批量插入

㈠ python如何一次插入多行數據

你學習過資料庫嗎？

方法是多種的，這里以mysql為例！

1、用phpmyadmin,登錄進去，然後查看你的資料庫，插入數值，很快你就會錄入完成了

2、用python操作資料庫，這里也是mysql, 首先要安裝pymsql模塊，這樣你就可以讀取資料庫了

連接資料庫，查看，插入，確認完成

具體

conn=pymysql.Connect(user=username,passwd=password,database=database,charset=charset)
cur=conn.cursor()
cur.execute('select*fromtable')
cur.executemany(......)
conn.commit()
##username,password,dtabase,都是你自己資料庫的設置，命令自己去學下，5分鍾就會，特別是executemany可以批量執行插入，其實execute也可以

㈡ mysql批量插入數據

不用INSERTINTO難不成用UPDATE，數據導入3000條貌似不多吧

你要這么一說，還真有點難度了，因為數據類型不一樣，還不能用數組，貌似沒有什麼絕竅

不過你可以直接用EXCEL中的CONCATENATE()函數把你的數據轉換成SQL輸入語句

然後把這個輸入語句腳本放到一個文件中，如Iinsert.sql

接著用類似下面的代碼把這個腳本導入MYSQL執行

!$db->select_db('databasename')&&exit($db->error());//選擇當前資料庫
if(!file_exists("./insert.sql"))exit("載入"insert.sql"失敗!");
$import_sql=file_get_contents("pms.sql",dirname(__FILE__));//打開SQL文件並讀取
$explode=explode(";",$import_sql);
$cnt=count($explode);
for($i=0;$i<$cnt;$i++){
!$db->query($explode[$i])&&exit("導入數據表失敗!");
}
echo"已建立數據表...<br><br>
";

㈢ Python批量插入問題

s = 10000
list = []
c=0
sql = """insert into customer(id,name,company_id,sharding_id)
values(:col1,:col2,:col3,:col4)"""
for k in range(0,12):
i = 2000000 + k;

list.append([i, 'haha'+str(i), i%5, s])
#list1.append([i, i, i, i])
if c == 10:
cursor = conn.cursor()
#print list
cursor.executemany(sql,list)
conn.commit()
c = 0
print("insert into customer many data cursor:"+str(i))
list=[]
c = c + 1
if s==10000:
s = 10010
elif s==10010:
s = 10020
elif s== 10020:
s = 10030
elif s==10030:
s = 10000

if i>0:
cursor.executemany(sql,list)
conn.commit()
程序調試通過,改了 2個地方
1.
sql = """insert into customer(id,name,company_id,sharding_id)
values(:col1,:col2,:col3,:col4)"""

2.list.clear()---》list=[]

㈣ 如何用python3將元組插入MySQL

1、和資料庫建立連接
2、執行sql語句,接收返回值
3、關閉資料庫連接

1、MySQL資料庫要用MySQLdb模塊,但Python用來鏈接MySQL的第三方庫MySQLdb不支持Python3.x
特別說明：我在我的電腦上實驗時，我的python是2.7.2版本，安裝對應版本的MySQLdb之後直接可以運行，並與資料庫連接成功，所以如果大家也像我一樣順利的話，下面的就不需要看了，直接跳過，看第2點如何執行sql語句即可！如果安裝之後出現異常，可以參考一下下面的解決辦法。

連接的關鍵是安裝MySQLdb模塊要下載與Python相對應的版本：
下載好後安裝，它會自動檢測到計算機Python的安裝路徑，並自動填寫模塊解壓路徑（我的是：D:\ProgramFiles\ActivePython 2.6.6.17\Lib\site-packages\）。
但解壓完成後並不能使用，還要修改MySQLdb模塊下的一些文件：
①.在MySQLdb目錄下（我的是：D:\ProgramFiles\ActivePython 2.6.6.17\Lib\site-packages\MySQLdb）找到__init__.py：
注釋第34、35行的from setsimport ImmutableSet、class DBAPISet(ImmutableSet):，在後面添加class DBAPISet(frozenset):

# from sets import ImmutableSet
# class DBAPISet(ImmutableSet):
class DBAPISet(frozenset):

②.打開converters.py：
注釋第37行的from sets import BaseSet, Set，將第45行的return Set([ i for i in s.split(',') ifi ])中的Set改為set；同樣將第129行的Set: Set2Str,中的Set改為set（不要修改Set2Str），到這里就修改完畢了
2.建立資料庫連接
import MySQLdb
conn=MySQLdb.connect(host="localhost",user="root",passwd="sa",db="mytable")

比較常用的參數包括
host: 連接的資料庫伺服器主機名，默認為本地主機(localhost)。
user:資料庫登陸名.默認是當前用戶.
passwd:資料庫登陸的秘密.默認為空.
db:要使用的資料庫名.沒有默認值.
port:MySQL服務使用的TCP埠.默認是3306.
conn連接有兩個重要的方法commit【提交新增和修改】,rollback【撤銷新增或修改】
3、執行資料庫操作
n=cursor.execute(sql,param)
我們要使用連接對象獲得一個cursor對象,接下來,我們會使用cursor提供的方法來進行工作.
這些方法包括兩大類:1.執行命令,2.接收返回值
cursor用來執行命令的方法:
callproc(self, procname, args):用來執行存儲過程,接收的參數為存儲過程名和參數列表,返回值為受影響的行數
execute(self, query, args):執行單條sql語句,接收的參數為sql語句本身和使用的參數列表,返回值為受影響的行數
executemany(self, query, args):執行單挑sql語句,但是重復執行參數列表裡的參數,返回值為受影響的行數
nextset(self):移動到下一個結果集
cursor用來接收返回值的方法:
fetchall(self):接收全部的返回結果行.
fetchmany(self, size=None):接收size條返回結果行.如果size的值大於返回的結果行的數量,則會返回cursor.arraysize條數據.
fetchone(self):返回一條結果行.
scroll(self, value, mode='relative'):移動指針到某一行.如果mode='relative',則表示從當前所在行移動value條,如果mode='absolute',則表示從結果集的第一行移動value條.
下面的代碼是一個完整的例子.
#使用sql語句,這里要接收的參數都用%s佔位符.要注意的是,無論你要插入的數據是什麼類型,佔位符永遠都要用%s
sql="insert into cdinfo values(%s,%s,%s,%s,%s)"
#param應該為tuple或者list
param=(title,singer,imgurl,url,alpha)
#執行,如果成功,n的值為1
n=cursor.execute(sql,param)
#再來執行一個查詢的操作
cursor.execute("select * from cdinfo")
#我們使用了fetchall這個方法.這樣,cds里保存的將會是查詢返回的全部結果.每條結果都是一個tuple類型的數據,這些tuple組成了一個tuple
cds=cursor.fetchall()
#因為是tuple,所以可以這樣使用結果集
print cds[0][3]
#或者直接顯示出來,看看結果集的真實樣子
print cds
#如果需要批量的插入數據,就這樣做
sql="insert into cdinfo values(0,%s,%s,%s,%s,%s)"
#每個值的集合為一個tuple,整個參數集組成一個tuple,或者list
param=((title,singer,imgurl,url,alpha),(title2,singer2,imgurl2,url2,alpha2))
#使用executemany方法來批量的插入數據.這真是一個很酷的方法!
n=cursor.executemany(sql,param)
需要注意的是(或者說是我感到奇怪的是),在執行完插入或刪除或修改操作後,需要調用一下conn.commit()方法進行提交.這樣,數據才會真正保存在資料庫中.我不清楚是否是我的mysql設置問題,總之,今天我在一開始使用的時候,如果不用commit,那數據就不會保留在資料庫中,但是,數據確實在資料庫呆過.因為自動編號進行了累積,而且返回的受影響的行數並不為0.
4、關閉資料庫連接
需要分別的關閉指針對象和連接對象.他們有名字相同的方法
cursor.close()
conn.close()
5、
5 編碼（防止亂碼）
需要注意的點：
1 Python文件設置編碼 utf-8 （文件前面加上 #encoding=utf-8)
2 MySQL資料庫charset=utf-8
3 Python連接MySQL是加上參數 charset=utf8
4 設置Python的默認編碼為 utf-8 (sys.setdefaultencoding(utf-8)
#encoding=utf-8
import sys
import MySQLdb

reload(sys)
sys.setdefaultencoding('utf-8')

db=MySQLdb.connect(user='root',charset='utf8')
註：MySQL的配置文件設置也必須配置成utf8

6.模塊功能演示
#!/usr/bin/python
import MySQLdb
Con= MySQLdb.connect(host='localhost',user='root',passwd='root',db='abc')
cursor =con.cursor()
sql ="select * from myt"
cursor.execute(sql)
row=cursor.fetchone()
print row
cursor.close()
con.close()

執行以下SQL語句獲取返回值：
//獲取連接的游標
cursor=conn.cursor()
//查詢
sql = "select * from 【table】"
//新增
sql = "insert into 【table】(欄位,欄位) values(值，值)"
//修改
sql = "update 【table】 set 欄位 =『值』where 條件 "
//刪除
sql = "delete from 【table】where 條件"
cursor.execute(sql)
返回值
cur.execute('select * from tables')
其返回值為SQL語句得到的行數，如：2L，表示2行。
然後，可以從該對象的fetchone或fetchall方法得到行信息。
獲取行信息
指針對象的fetchone()方法，是每次得到一行的tuple返回值：
引用
>>> row=cur.fetchone()
>>> print row
('user1', '', 1000L, 1000L, '/home/FTP/user1','')
指針對象的fetchall()方法，可取出指針結果集中的所有行，返回的結果集一個元組(tuples)：
引用
>>> cur.scroll(0,'absolute')
>>> row=cur.fetchall()
>>> print row
(('user1', '', 1000L, 1000L, '/home/FTP/user1',''), ('user2', '', 1000L, 1000L,'/home/FTP/user2', None))
移動指針
當使用fetchone()方法是，指針是會發生移動的。所以，若不重置指針，那麼使用fetchall的信息將只會包含指針後面的行內容。
手動移動指針使用：
cur.scroll(int,parm)
含義為：
引用
int：移動的行數，整數；在相對模式下，正數向下移動，負值表示向上移動。
parm：移動的模式，默認是relative，相對模式；可接受absoulte，絕對模式。
修改數據
修改數據，包括插入、更新、刪除。它們都是使用指針對象的execute()方法執行：
cur.execute("insert into table (row1, row2) values ('111', '222')")
cur.execute("update table set row1 = 'test' where row2 = 'row2' ")
cur.execute("delete from table where row1 = 'row1' ")
因單引號「'」用於SQL語句中的標識，所以，python中的字元串需使用雙引號括住。
此外，也可以使用python的「格式化字元串」寫法，簡化命令，例如：
cur.execute("update table set row1 = '%s' where row2 = '%s' "%('value1','value2'))
※請注意，'%s'的單引號是SQL語句的間隔符，'value1'的單引號是python的字元串間隔符，其含義是不同的。是否需要間隔符，以及使用雙引號還是單引號作為間隔，需根據其含義決定。例如，還有：
cur.execute("update FTPUSERS set passwd=%s where userid='%s' "%("md5('123')",'user2'))
這里，paswd=%s是因SQL的md5()函數是不需要單引號間隔的；"md5('123')"是python的字元串中含有單引號，所以用雙引號括住。
提交修改
一般情況下，MySQLdb模塊會自動提交修改。但我們在更新數據後，手動運行一次：
conn.commit()
關閉資料庫連接
需要分別的關閉指針對象和連接對象.他們有名字相同的方法
cursor.close()
conn.close()

㈤ Python3 MySQL executemany的使用

題主你好,

從你的代碼來說, 你的問題出在對executemany(sql, data)這個方法的邏輯沒弄明白.

咱們對比一下execute(sql)和executemany(sql, data), 這里假設sql執行的是插入操作:

前者是執行單條操作,要插入的數據是寫死在sql這個字元串中的;

後者是批量執行插入操作.關鍵的地方在於sql參數中留出格式化字元, 而數據是從data中取,這么說不好理解,看例子吧:

sql改為:

sql = "INSERT INTO bbb(nu1, nu2, nu3) VALUES (%s, %s, %s)"

注意和你的對比一下:

sql = "INSERT INTO bbb(nu1, nu2, nu3) VALUES (%s, %s, %s)" % (aa,bb,cc)

-----

關鍵是data參數,有兩種寫法,一種是序列內嵌, 一種是字典:

序列內嵌(外層必須是列表, 內層元素是列表或元組)

data=[[1,2,3],[4,5,6],[7,8,9]]

data=[(1,2,3),(4,5,6),(7,8,9)]

字典:

使用字典時,sql也要相應的改一下:

sql = "INSERT INTO bbb(nu1, nu2, nu3) VALUES (%(nu1)s, %(nu2)s, %(nu3)s)"

data參數外層還是一個列表, 內層元素是一個個的字典,即一個字典表示一條將要被插入的數據:

data = [ { 'nu1':1, 'nu2':2, 'nu3':3 }, { 'nu1':1, 'nu2':2, 'nu3':3 } ]

-----

再說下最終的邏輯:

序列內嵌法:

1.可以使用for循環先得到一個外層是列表,內層元素是列表或元組的這的一個列表:

ll= []
for i in itertools.permutations(range(1,8),3):
ll.append(i)

2.然後再構建sql語句:

sql = "INSERT INTO bbb(nu1, nu2, nu3) VALUES (%s, %s, %s)"

3.調用executemany():

cursor.executemany(sql,ll)

4.最後調用commit(),提交給資料庫執行:

yydd.commit()

-----

字典法的邏輯:

1.使用for循環構建一個元素是字典的列表:

ll= []
for i in itertools.permutations(range(1,8),3):
ll.append({'nu1':i[0], 'nu2':i[1], 'nu3':i[2]})

2.構建sql語句:

sql = "INSERT INTO bbb(nu1, nu2, nu3) VALUES (%(nu1)s, %(nu2)s, %(nu3)s)"

3,4步同序列內嵌法中的描述.

=====

希望可以幫到題主, 歡迎追問