Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

create table flagi_danych_0 {

   tabela_dane_pk_id int not null,

   CONSTRAINT pk_flagi_danych_0 PRIMARY KEY (tabela_dane_pk_id)

}



create table flagi_danych_1 {

   tabela_dane_pk_id int not null,

   CONSTRAINT pk_flagi_danych_1 PRIMARY KEY (tabela_dane_pk_id)

}



...



create table flagi_danych_n {

   tabela_dane_pk_id int not null,

   CONSTRAINT pk_flagi_danych_n PRIMARY KEY (tabela_dane_pk_id)

}



select t1.pk_id, pole1, pole2 from tabela_dane t1

inner join flagi_danych_12 f12 on (t1.pk_id = f12.tabela_dane_pk_id)

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

CREATE INDEX i_12 ON tab (id) WHERE flag & 12 = 12;

SELECT * FROM tab WHERE flag & 12 = 12;

CREATE INDEX i_b_1 ON flag_test(id) WHERE flag&1 = 1;

CREATE INDEX i_b_2 ON flag_test(id) WHERE flag&2 = 2;

CREATE INDEX i_b_4 ON flag_test(id) WHERE flag&4 = 4;

CREATE INDEX i_b_8 ON flag_test(id) WHERE flag&8 = 8;

CREATE INDEX i_b_16 ON flag_test(id) WHERE flag&16 = 16;

CREATE INDEX i_b_32 ON flag_test(id) WHERE flag&32 = 32;

SELECT * FROM tab WHERE flag & 4 = 4 and flag & 8 = 8; 

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Szymon G.:
I wtedy zapytanie robisz tak:

SELECT * FROM tab WHERE flag & 4 = 4 and flag & 8 = 8; 

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Piotr L.:

Szymon G.:
I wtedy zapytanie robisz tak:

SELECT * FROM tab WHERE flag & 4 = 4 and flag & 8 = 8; 

Tylko tu są dwa pytania:
a) czy DBMS użyje dwóch indeksów do jednej tablicy
b) czy indeks będzie użyty niezależnie od rozkładu wartości (np. 40% ma flagę 4 = 1 => użyje czy nie?)

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

    "i2_b_16" btree (id) WHERE (flag & 16) = 16

    "i2_b_32" btree (id) WHERE (flag & 32) = 32

# explain analyze select * from flag_test2 where flag&16=16 and flag&32=32;

                                                         QUERY PLAN                                                          

-----------------------------------------------------------------------------------------------------------------------------

 Index Scan using i2_b_32 on flag_test2  (cost=0.00..2031.42 rows=250 width=8) (actual time=139.363..139.363 rows=0 loops=1)

   Filter: ((flag & 16) = 16)

   Rows Removed by Filter: 156521

 Total runtime: 139.404 ms

(4 rows)

    "i_b_16" btree (flag) WHERE (flag & 16) = 16

    "i_b_32" btree (flag) WHERE (flag & 32) = 32

# explain analyze select * from flag_test where flag&16=16 and flag&32=32;

                                                             QUERY PLAN                                                              

-------------------------------------------------------------------------------------------------------------------------------------

 Bitmap Heap Scan on flag_test  (cost=1614.54..2563.16 rows=250 width=8) (actual time=1377.525..1377.525 rows=0 loops=1)

   Recheck Cond: (((flag & 32) = 32) AND ((flag & 16) = 16))

   Rows Removed by Index Recheck: 7442859

   ->  BitmapAnd  (cost=1614.54..1614.54 rows=250 width=0) (actual time=335.878..335.878 rows=0 loops=1)

         ->  Bitmap Index Scan on i_b_32  (cost=0.00..806.42 rows=50000 width=0) (actual time=24.063..24.063 rows=156521 loops=1)

         ->  Bitmap Index Scan on i_b_16  (cost=0.00..807.74 rows=50000 width=0) (actual time=309.127..309.127 rows=5002763 loops=1)

 Total runtime: 1377.591 ms

(7 rows)

# select count(*) from flag_test;

  count   

----------

 10000000



# select count(*) from flag_test where (flag & 16) = 16;

  count  

---------

 5002763

(1 row)



# select count(*) from flag_test where (flag & 32) = 32;

 count  

--------

 156521



# select count(*) from flag_test where (flag & 32) = 32 and (flag & 16) = 16;

 count 

-------

     0

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Szymon G.:
PostgreSQL używa tego indeksu, który daje większą selektywność, a potem sprawdza drugi warunek.

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

(...) WHERE flaga & 12 = 12

(...) WHERE flaga_b4 = 1 AND flaga_b8 = 1

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Krzysztof Raczkowski:

(...) WHERE flaga_b4 = 1 AND flaga_b8 = 1

i będą wykorzystywane indeksy .. (w tym wypadku 2).... może da się prościej ? .. :)

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Piotr L.:

Krzysztof Raczkowski:

(...) WHERE flaga_b4 = 1 AND flaga_b8 = 1

i będą wykorzystywane indeksy .. (w tym wypadku 2).... może da się prościej ? .. :)

Optymista :)

Będą tak samo często wykorzystywane jak w rozwiązaniu od Szymona - gdzie indeks masz oparty o wyrażenie a nie wartość.

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Krzysztof Raczkowski:
Raczej realista.... :P

1) Takiego warunku WHERE (flag & 16) = 16 w MS SQL nie założysz... jest WHERE w indeksie ale prosty.... pole [oerator] wartość... a nie funkcja_na_polu() = wartość :)

2) Sprawdzałem w planie wykonania... dla tego przypadku co podałem bierze 2 indeksy a potem robi merge wyniku.

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

select DepartNo from std.DistStructCars where AEV & (1024+2048) = (1024+2048)

select DepartNo from std.DistStructCars where AEV_b1024 = 1 and AEV_b2048 = 1

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Michał Z.:
PG ma hstore, intarray, cube.
Taki hstore pozwala na dodanie kolumny, która jest tablicą asocjacyjną. Pary klucz-wartość tej tablicy są indeksowane. Można szybko dostać listę wierszy, które mają określony zestaw par.
Przy pomocy GIN można indeksować złożone struktury -
http://www.postgresql.org/docs/current/static/gin-intr...

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Krzysztof Raczkowski:

Michał Z.:
PG ma hstore, intarray, cube.
Taki hstore pozwala na dodanie kolumny, która jest tablicą asocjacyjną. Pary klucz-wartość tej tablicy są indeksowane. Można szybko dostać listę wierszy, które mają określony zestaw par.
Przy pomocy GIN można indeksować złożone struktury -
http://www.postgresql.org/docs/current/static/gin-intr...

Dzięki za podpodwiedź, tu jests idealny przykład: http://www.postgresql.org/docs/9.1/static/intarray.html

Szkoda tylko, że wiąże to rozwiązanie z daną bazą na amen.. :-)

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Michał Z.:
Jasne. Można jeszcze pójść w stronę spatial, ale... coś mi się wydaje, że to wiele nie zmieni. Chodzi mi o zdefiniowanie zestawu atrybutów jako krzywej. Kolejne atrybuty to oś X, ich wartości - Y

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Krzysztof Raczkowski:

Michał Z.:
Jasne. Można jeszcze pójść w stronę spatial, ale... coś mi się wydaje, że to wiele nie zmieni. Chodzi mi o zdefiniowanie zestawu atrybutów jako krzywej. Kolejne atrybuty to oś X, ich wartości - Y

Kurcze powiem Ci że to b. ciekawy pomysł i tak naprawdę bardziej przenośny niż poprzednie...chyba będę musiał się tym dzisiaj pobawić. Rozumiem że krzywa, wielokąt i cos w rodzaju "flaga jest zapalona gdy jej punkt należy do figury ..."

Link do wypowiedzi

Temat: MS SQL (lub PostgreSQL) i wyszukiwanie po polu...

Dominik Mikiewicz:
Sama flaga nie musi być wtedy ustawiana, ponieważ fakt zawierania się, sąsiedztwa, czy rozłączności jest istotą danych przestrzennych - i sprawdzasz takie rzeczy np wykorzystując STIntersects (składnia będzie bardzo zbliżona między silnikami, przynajmniej dla metod zgodnych z OGC)

No i indeksy będą specyficzne dla typów przestrzennych.

Link do wypowiedzi