Artur Świerc Programista PHP/Java
Piotr
Maliński
Programista
Python/Django
konto usunięte
konto usunięte
Artur Świerc:
W pythonie przetwarzałem kiedyś bardzo duże pliki z którymi php sobie nie radził i chciałbym mieć pewność że język ten i tym razem mnie nie zawiedzie.
Pozdr.
konto usunięte
Artur Świerc:
Witam,
szukam jakichś miarodajnych statystyk, lub też informacji z waszych obserwacji co do wydajności pythona w przetwarzaniu bardzo dużej ilości wyników z bazy. W php albo brakuje pamięci, albo czasu :)
Artur Świerc Programista PHP/Java
Stanisław P. Software designer
Artur Świerc:Jeśli te operacje to w większości baza danych, to raczej język będzie miał mały wpływ :(
Szukałem pewnych statystyk czy też porównań szybkości dla tych dwóch języków, biorąc pod uwagę, że robimy także operacje na bazie - selecty/joiny, foreacha z updatem na większą skalę. Dlatego też założylem ten wątek - chciałem się upewnić, że python mnie w tym przypadku nie zawiedzie, nie wysypie się w połowie pracy i że takie operacje wykona szybciej niż php.
Wojciech
Soczyński
Programista
eksplorator -
blog.wsoczynski.pl
Adam
Mańczuk
programista, artysta
informatyk
Artur Świerc Programista PHP/Java
Adam Mańczuk:
miałem do czynienia z tego typu zadaniami
należy ostrożnie dobrać typ kursora, sprawdź sobie dokumentację na temat dostępnych klas kursora
z dobrze dobranym kursorem python jest w stanie przetwarzać nawet iloczyny kartezjańskie gigabajtowych tabel
pozdrawiam
Artur Świerc Programista PHP/Java
$dsn = 'mysql:dbname=test;host=127.0.0.1';
$user = 'root';
$password = '';
$db = new PDO($dsn, $user, $password);
$start = microtime(true);
for ($i = 0; $i < 1000000; $i++) {
$db->exec("insert into test_insert (iter) values (" . $i . ")");
}
$stop = microtime(true);
$total = $stop - $start;
echo "czas: " . $total;
import MySQLdb
import time
db = MySQLdb.connect(host="localhost", user='root', passwd='', db="test", charset='utf8')
c = db.cursor();
t = time.time()
for i in range(0, 1000000):
c.execute("insert into test_insert (iter) values (%s)" % i)
print 'czas %.02f' % (time.time() - t)
Stanisław P. Software designer
Artur Świerc Programista PHP/Java
Łukasz
Dudek
Database
Administrator
konto usunięte
Artur Świerc:
btw: napisałem dwa proste skrypty, oba odpalane z linii polecen. Ku mojemu zdziwieniu pythonowski wykonał się wolniej. Nie wiem jednak jak z użyciem pamięci. Wiem jednak, że w pythonie nigdy nie miałem problemu z brakiem pamięci czy też czasu ;)
php: 227.795 s.
python: 297.09 s.
import MySQLdb
import time, math
db = MySQLdb.connect(host="localhost", user='root', passwd='',
db="test", charset='utf8')
db.autocommit(False)
c = db.cursor();
at_a_time = 50
total_records = 1000000
t = time.time()
remaining = total_records
for i in range(0, int(math.ceil(total_records * 1.0 / at_a_time))):
rsize = min(at_a_time, remaining)
ipart = ", ".join(["(%s)"] * rsize)
records = list(xrange(i * at_a_time, (i+1) * at_a_time - (at_a_time - rsize)))
c.execute(("insert into test_insert (iter) values " + ipart), records)
remaining -= rsize
c.commit()
print 'czas %.02f' % (time.time() - t)
Łukasz
Dudek
Database
Administrator
Jarosław Fedewicz:>
Artur Świerc:
btw: napisałem dwa proste skrypty, oba odpalane z linii polecen. Ku mojemu zdziwieniu pythonowski wykonał się wolniej. Nie wiem jednak jak z użyciem pamięci. Wiem jednak, że w pythonie nigdy nie miałem problemu z brakiem pamięci czy też czasu ;)
php: 227.795 s.
python: 297.09 s.
A za jaki czas wykona się taki oto skrypcik?
U mnie jest od 10 do 15 razy szybciej od Twojego, zależnie od zmiennej at_a_time...
konto usunięte
Łukasz Dudek:
po za tym po co tak kombinować ? nie lepiej uzyc executemany (prostszy kod) i użyć argumntacji a nie sklejania stringów.
Łukasz
Dudek
Database
Administrator
Jarosław Fedewicz:faktycznie ... tylko po co?
Łukasz Dudek:
po za tym po co tak kombinować ? nie lepiej uzyc executemany (prostszy kod) i użyć argumntacji a nie sklejania stringów.
Jeżeli czytałeś uważnie, to sklejają się "%s", a nie faktyczne wartości.
pisz tak kod abyś nie wstydził się użyć tego produkcyjnie.
No i poza tym, po prostu zilustrowałem rzeczy oczywiste, to przecież nie jest kod productionowy, lecz tak, hint, w którą to stronę kopać.
total_records = 1000
step = 50
for x in xrange(0,total_records,step):
rec = [ (a,) for a in xrange(x,x+step)]
cursor.executemany("""insert into test_insert (iter) values (%s)""",rec)
Bartłomiej
Ogryczak
Backend Developer @
Layar
Artur Świerc:
Witam,
szukam jakichś miarodajnych statystyk, lub też informacji z waszych obserwacji co do wydajności pythona w przetwarzaniu bardzo dużej ilości wyników z bazy. W php albo brakuje pamięci, albo czasu :)
Następna dyskusja:
пропозиції роботи
