konto usunięte

Temat: Pytanie odnośnie HD na Postgresql

Cześć
Macie doświadczenie z HD na Postgresql. Tworzę hurtownie gdzie dane "wyrzucane" są z bazy Oracle w postaci plików płaskich następnie mechanizm (skrypt shell) takowy pliki importuje do bazy Postgresql.

konto usunięte

Temat: Pytanie odnośnie HD na Postgresql

Wszystko zależy od ilości danych, ale z Postgresem trzeba sporo powalczyć, aby działał wydajnie.

Po pierwsze model danych musi być zaprojektowany profesjonalnie, po drugie odpowiednio zoptymalizowany (w szczególności indeksowanie i mechanizmy na wzór oracle'owych bitmap join indexów i odpowiednia strategi materializacji cuboidów). Optymalizacja powinna oczywiście uwzględniać aplikację kliencką i format zapytań, jaki ona generuje.

Po drugie wszystkie pstryczki konfiguracyjne powinny być odpowiednio ustawione - standardowa konfiguracja jest pod OLTP.

Po trzecie warto się pomodlić, że nie wyjdzie żaden kwas Postgresa w najgorszym możliwym momencie :)

konto usunięte

Temat: Pytanie odnośnie HD na Postgresql

Marcin Choiński:
Wszystko zależy od ilości danych, ale z Postgresem trzeba sporo powalczyć, aby działał wydajnie.

Po pierwsze model danych musi być zaprojektowany profesjonalnie, po drugie odpowiednio zoptymalizowany (w szczególności indeksowanie i mechanizmy na wzór oracle'owych bitmap join indexów i odpowiednia strategi materializacji cuboidów). Optymalizacja powinna oczywiście uwzględniać aplikację kliencką i format zapytań, jaki ona generuje.

Po drugie wszystkie pstryczki konfiguracyjne powinny być odpowiednio ustawione - standardowa konfiguracja jest pod OLTP.

Po trzecie warto się pomodlić, że nie wyjdzie żaden kwas Postgresa w najgorszym możliwym momencie :)
Dzięki. Troche brzmi to mało optymistycznie :)

konto usunięte

Temat: Pytanie odnośnie HD na Postgresql

Nie oznacza to, że tak se ne da. Po prostu jest kilka rzeczy, na które trzeba zwrócić uwagę.

Poza tym, kto korzystał np. z Oracle'a i OWB, ten wie, że nie tylko w przypadku OpenSource'a trzeba się czasem modlić :)

konto usunięte

Temat: Pytanie odnośnie HD na Postgresql

Marcin Choiński:
Nie oznacza to, że tak se ne da. Po prostu jest kilka rzeczy, na które trzeba zwrócić uwagę.

Poza tym, kto korzystał np. z Oracle'a i OWB, ten wie, że nie tylko w przypadku OpenSource'a trzeba się czasem modlić :)
Tak czy siak podejme ryzyko i bede się modlił. Dzieki za opinie
Karol S.

Karol S. Hewlett-Packard
Polska sp z o.o.
(Warszawa)

Temat: Pytanie odnośnie HD na Postgresql

Jestem ciekaw czy Postgresql da radę DWH i jak to będzie działać.
Jeśli będą problemy, daj o tym znać na forum.

konto usunięte

Temat: Pytanie odnośnie HD na Postgresql

Karol S.:
Jestem ciekaw czy Postgresql da radę DWH i jak to będzie

Co to znaczy "da radę DWH"? ;-)

Zrozumiałbym tą ciekawość, gdyby sformułowanie brzmiało np. "(...) da radę Hurtowni Danych wielkości 200GB danych granularnych i ważącej 1TB brutto, zawierającej 5 kostek ROLAP, z których każda ma średnio 5 (tabel) wymiarów, 5 miar natywnych i 5 kalkulowanych oraz jest maksymalnie 5 równoległych zapytań".Marcin Choiński edytował(a) ten post dnia 27.09.10 o godzinie 11:52
Karol S.

Karol S. Hewlett-Packard
Polska sp z o.o.
(Warszawa)

Temat: Pytanie odnośnie HD na Postgresql

Marcin Choiński:
Karol S.:
Jestem ciekaw czy Postgresql da radę DWH i jak to będzie

Co to znaczy "da radę DWH"? ;-)

Zrozumiałbym tą ciekawość, gdyby sformułowanie brzmiało np. "(...) da radę Hurtowni Danych wielkości 200GB danych granularnych i ważącej 1TB brutto, zawierającej 5 kostek ROLAP, z których każda ma średnio 5 (tabel) wymiarów, 5 miar natywnych i 5 kalkulowanych oraz jest maksymalnie 5 równoległych zapytań".Marcin Choiński edytował(a) ten post dnia 27.09.10 o godzinie 11:52


A skąd mam wiedzieć co to za hurtownia ? To nie ja zadałem pytanie ...
Krzysztof Bokiej

Krzysztof Bokiej Software Engineer

Temat: Pytanie odnośnie HD na Postgresql

Karol S.:
Marcin Choiński:
Karol S.:
Jestem ciekaw czy Postgresql da radę DWH i jak to będzie

Co to znaczy "da radę DWH"? ;-)

Zrozumiałbym tą ciekawość, gdyby sformułowanie brzmiało np. "(...) da radę Hurtowni Danych wielkości 200GB danych granularnych i ważącej 1TB brutto, zawierającej 5 kostek ROLAP, z których każda ma średnio 5 (tabel) wymiarów, 5 miar natywnych i 5 kalkulowanych oraz jest maksymalnie 5 równoległych zapytań".


A skąd mam wiedzieć co to za hurtownia ? To nie ja zadałem pytanie ...

Chodzi o to, że Hurtownię Danych rozumianą jako centralne repozytorium danych gromadzące dane zintegrowane pochodzące z różnych systemów i posiadające pewną specyficzną i określoną strukturę wielowymiarową możesz postawić na każdej bazie, nie wyłączając Accessa. Po prostu bardzo nieprecyzyjnie wyraziłeś dwoją ciekawość w zdaniu: "Jestem ciekaw czy Postgresql da radę DWH i jak to będzie działać". Bo jedyny sposób na skomentowanie tego bez wiedzy o integrowanych systemach i wymaganiach samej hurtowni to: Na pewno można DWH a działać to może różnie, w zależności od warunków...Krzysztof Bokiej edytował(a) ten post dnia 30.09.10 o godzinie 14:12
Karol S.

Karol S. Hewlett-Packard
Polska sp z o.o.
(Warszawa)

Temat: Pytanie odnośnie HD na Postgresql

Krzysztof Bokiej:
Karol S.:
Marcin Choiński:
Karol S.:
Jestem ciekaw czy Postgresql da radę DWH i jak to będzie

Co to znaczy "da radę DWH"? ;-)

Zrozumiałbym tą ciekawość, gdyby sformułowanie brzmiało np. "(...) da radę Hurtowni Danych wielkości 200GB danych granularnych i ważącej 1TB brutto, zawierającej 5 kostek ROLAP, z których każda ma średnio 5 (tabel) wymiarów, 5 miar natywnych i 5 kalkulowanych oraz jest maksymalnie 5 równoległych zapytań".


A skąd mam wiedzieć co to za hurtownia ? To nie ja zadałem pytanie ...

Chodzi o to, że Hurtownię Danych rozumianą jako centralne repozytorium danych gromadzące dane zintegrowane pochodzące z różnych systemów i posiadające pewną specyficzną i określoną strukturę wielowymiarową możesz postawić na każdej bazie, nie wyłączając Accessa. Po prostu bardzo nieprecyzyjnie wyraziłeś dwoją ciekawość w zdaniu: "Jestem ciekaw czy Postgresql da radę DWH i jak to będzie działać". Bo jedyny sposób na skomentowanie tego bez wiedzy o integrowanych systemach i wymaganiach samej hurtowni to: Na pewno można DWH a działać to może różnie, w zależności od warunków...Krzysztof Bokiej edytował(a) ten post dnia 30.09.10 o godzinie 14:12

Tak samo wyraziłem jak i autor posta , nie wiem czemu się mnie czepiasz. Będzie chciał to napisze jak działa i opisze do czego mu służy .
Łukasz Kurowski

Łukasz Kurowski Usque Ad Finem

Temat: Pytanie odnośnie HD na Postgresql

Tak samo wyraziłem jak i autor posta , nie wiem czemu się mnie czepiasz. Będzie chciał to napisze jak działa i opisze do czego mu służy .

Nikt się nie czepia Ciebie, tylko czepia się pytania. Każda DWH jest inna i na pewno są takie którym PostgreSQL da radę i na pewno są takie którym nie da rady. Po prostu takim pytaniem "Czy da radę?" za wiele się nie dowiesz. Co za pożytek z tego, że ktoś Ci odpowie "Dało radę", albo "Nie dało rady"?
Karol S.

Karol S. Hewlett-Packard
Polska sp z o.o.
(Warszawa)

Temat: Pytanie odnośnie HD na Postgresql

przestańcie spamować bo to już totalny offtop.

Wojciech Gardziński

Wypowiedzi autora zostały ukryte. Pokaż autora

Następna dyskusja:

pytanie odnośnie kredytu.....




Wyślij zaproszenie do