пропозиції роботи
konto usunięte
- 1
- 2
konto usunięte
Temat: baza samochodów
nie widzialem takiego czegos... jedyna opcja to poszukać w internecie strony z takimi danymi i zrobić sobie crawler tych danych do bazy.
Andrzej Bartoszewicz programista C++/Java
Temat: baza samochodów
z tego co wiem to firma JATO ma bazy danych wszystkich samochodów we wszystkich możliwych konfiguracjach. polska strona: http://www.jato.com/extFrameSet.asp?page=1
konto usunięte
Temat: baza samochodów
mam na stronach dane wyswietlane za pomoca listy wyboru i jak mozna te dane wydobyć?
konto usunięte
Temat: baza samochodów
cURL + wyrażenia regularne :)Przy takiej ilości danych ctrl+c i ctrl+v raczej odpada ;)
konto usunięte
Temat: baza samochodów
Microsoft OLE DB Provider for SQL Server error '80040e14'Line 1: Incorrect syntax near '='.
/dbFunctions.asp, line 50
no teraz to juz chyba za pozno ;)
albo Gosia SQL injection jakis zrobila ;)
Michał
Stachura
Dedykowane serwisy i
strony www -
http://santri.eu
Temat: baza samochodów
Jakub Świegot:
albo Gosia SQL injection jakis zrobila ;)
ups :)
konto usunięte
Temat: baza samochodów
dalej nie wiem jak to zrobić:( czy sie w ogole da wydobyc te typy pojazdów np z listy jak jest na stronce np. https://www.allianzdirect.pl/allianzds/ControllerServlet
konto usunięte
Temat: baza samochodów
Adam Piotrowski:
cURL + wyrażenia regularne :)
Jak wyżej. Jeżeli Ci bardzo zależy zleć to komuś. Ta strona się bardzo ładnie nadaje do curlowania.
Przemek
Szalko
iOS Developer + Full
Stack Developer
Temat: baza samochodów
Małgorzato!Zainstaluj sobie wtyczkę FireBug do Firefoxa - i wszystko stanie się jasne :-)
Dzięki niej będziesz mogła podejrzeć dane, które strona pobiera za pomocą AJAX, na tej podstawie skonstruuj swoje rozwiązanie.
Zauważyłem, że na grupie "bazy danych" ktoś podał inną stronę:
http://www.mobile.de/buyer-webapp/index.html?lang=pl
Być może z tej drugiej będzie łatwiej sparsować dane - metoda pobrania w obu podobna. Należy zasymulować połączenie przeglądarki, wysłać żądanie HTTP tak jakby to zrobiła przeglądarka podczas normalnej pracy wykorzystując AJAX.
Tak jak poprzednicy napisali - CURL sprawdzi się znakomicie.
konto usunięte
Temat: baza samochodów
swoja droga - wie ktos dlaczego nie moge uruchomic curl'a z pakietem xampp? odkomentowalem modul w php.ini, restart apache'a tez zrobilem i jak nic, tak nic on nie wzruszony
Przemek
Szalko
iOS Developer + Full
Stack Developer
Temat: baza samochodów
Jakub Świegot:
swoja droga - wie ktos dlaczego nie moge uruchomic curl'a z pakietem xampp? odkomentowalem modul w php.ini, restart apache'a tez zrobilem i jak nic, tak nic on nie wzruszony
A coś w logach jest?
Powinno być w error_log od Apache.
konto usunięte
Temat: baza samochodów
no wlasnie nicziewo w logach na ten temat nie ma.. :otak jakby modul byl, a jak zapodaje curl_init(), to w ogole nie widzi takiej funkcji.
Przemek
Szalko
iOS Developer + Full
Stack Developer
Temat: baza samochodów
A co mówi phpinfo() ?Dodałeś ścieżkę PHP do zmiennej PATH w windows?
konto usunięte
Temat: baza samochodów
łaskawe phpinfo() nie wspomina słowem o cURL ;p
Przemek
Szalko
iOS Developer + Full
Stack Developer
Temat: baza samochodów
Moduł CURL nie jest załadowany (wiem, odkrywcze ;p)Możliwe przyczyny:
1. Plik *.dll nie jest w domyślnej ścieżce do wyszukiwania plików binarnych (zmienna windowsowa PATH).
2. (Wynika z pkt 1.) Katalog z rozszerzeniami 'extensions_dir' nie jest osiągalny (w php.ini trzeba sprawdzić).
3. Brak info w logach o prawdziwym błędzie - trzeba skonfigurować PHP aby logował błędy albo do logów apache, albo do osobnego pliku, wtedy wszystko stanie się jasne (dyrektywy którym warto się przyjrzeć/zmienić: 'error_log', 'log_errors', 'error_reporting' oraz ewentualnie 'displays_error').
4. Patrzysz nie dotych logów co trzeba? ;> Możliwe ze XAMPP sobie inaczej skonfigurował pliki do logowania błędów, albo wyrzuca je do standardowego programu logującego w windows (NT/XP/ VISTA (?)).
W ogóle uważam że instalacja Apache + PHP + MySQL na windows, z instalatorów, jest prostsza, bardziej spójna (wiesz co gdzie leży), masz nad nią większą kontrolę niż jakieś syfy w postaci XAMPP, które wszystko konfigurują po swojemu i trudno się w tym połapać.
Ale może skończymy już offtopic. W razie czego zapraszam na priv, albo do osobego wątku ;-)
Andrzej Bartoszewicz programista C++/Java
Temat: baza samochodów
a może by te dane po prostu kupić?Nie przyszło to komuś do głowy?
Wyciąganie kilkudziesięciu gigabajtowów danych może kosztować więcej niż po prostu kupienie tego od nich.
konto usunięte
Temat: baza samochodów
Zapewniam Cię, że napisanie jakiegokolwiek parsera w curl+regex nie zajmuje więcej niż 5-6 h klepania kodu dla zdolnego programatora :). Mówię o parsowaniu sklepów, ceneo i tym podobnych stron , a tutaj byłoby to jeszcze prostsze.Nie wiem skąd wzięło sie kilkadziesiąt GB. Przecież to tylko czysty tekst. No chyba , ze ktoś weźmie się za pisanie parsera nasza-klasa.pl i sciąganie zdjęć ze strony :).
Andrzej Bartoszewicz programista C++/Java
Temat: baza samochodów
z dobrze poinformowanego źródła :-)baza która zawiera każdy rodzaj samochodu w ok 8 tysiącach możliwych konfiguracjach zajmuje sporo.
rozumiem że do tego zastosowania nie trzeba wyciągać wszystkiego,
ale i tak ilość danych może przytłoczyć :-)
konto usunięte
Temat: baza samochodów
2000 samochodów * 400 bajtów na każdy rekord i 8000 konfiguracji to daje 5.9 GB. Faktycznie sporo.a) wątpię w 2000 sztuk
b) wątpię w 8000 konfiguracji
max. 500-800 MB stawiam.
Przeforsowanie tego crawlerem to dobre parenaście, paredziesiąt, a może i nawet pareset godzin.
Chyba faktycznie - lepiej kupić. Ja bym kupił.Jakub Świegot edytował(a) ten post dnia 07.03.08 o godzinie 16:11
- 1
- 2
Podobne tematy
-
PHP » Baza artykułow o PHP -
-
PHP » Baza kodów pocztowych K-EX -
-
PHP » zend Framewodk, baza danych -
-
PHP » Plik CSV czy baza danych -
-
PHP » Przenosna baza danych -
-
PHP » Aplikacja baza NGO -
-
PHP » baza plików dokumentacji technicznej. -
-
PHP » SES Phpmailer z baza mysql -
-
PHP » baza mysql: 2 tabele = wydajniej ? -
-
PHP » Baza miast województw powiatów -
Następna dyskusja:
