konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

Jest następujący problem, jest sobie neo 1024/256 i jest podzielone na 2 uzytkownikow 192.168.1.46 i 47 z czego 1szy user ma rate 500 i ceil 1000 a 2gi ceil=rate 500. I wszystko dziala pieknie (transfery stale po 60 kb/s) dopoki nie wprowadze SFQ wtedy transfery skacza jak im sie podoba to spadaja do 18 kb/s to i czasem wyjda poza kolejke do 70 kb/s i nie chca sie ustabilizowac caly czas skacza. Po wylaczeniu SFQ problem znika. Na poczatku myslalem ze to problem ze squidem bo nie patchowalem go latka hit_miss ani nie robilem kolejki na ruch squida, ale problem nie wystepuje wiec chyuba to nie wina squida, pewnie jest spatchowany domyslnie. Jest jeszcze maly problem ze squidem od czau do czasu wchodzac na jakas strone dostaje komunikat dostep zabroniony, po kilkakrotnym odswiezeniu strony albo przeladowaniu przegladarki moge juz wejsc na strone.

rc.htb

tc qdisc del root dev eth0

tc qdisc add dev eth0 root handle 1:0 htb

tc class add dev eth0 parent 1:0 classid 1:1 htb rate 95000kbit ceil 95000kbit

tc class add dev eth0 parent 1:1 classid 1:2 htb rate 1000kbit ceil 1000kbit
tc class add dev eth0 parent 1:1 classid 1:3 htb rate 95000kbit ceil 95000kbit

tc class add dev eth0 parent 1:2 classid 1:4 htb rate 500kbit ceil 1000kbit
tc class add dev eth0 parent 1:2 classid 1:5 htb rate 500kbit ceil 500kbit

tc filter add dev eth0 protocol ip preference 1 parent 1:0 u32 match ip src 192.168.1.1 flowid 1:3

tc filter add dev eth0 protocol ip preference 2 parent 1:0 u32 match ip dst 192.168.1.46 flowid 1:4
tc filter add dev eth0 protocol ip preference 2 parent 1:0 u32 match ip dst 192.168.1.47 flowid 1:5

tc qdisc add dev eth0 parent 1:3 handle 3:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:4 handle 4:0 sfq perturb 10
tc qdisc add dev eth0 parent 1:5 handle 5:0 sfq perturb 10


na wszelki wypadek squid.conf


http_port 8080 transparent


cache_mem 16 MB


maximum_object_size 10 MB


maximum_object_size 128 KB


fqdncache_size 8192


cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF


cache_dir diskd /var/spool/squid 256 16 256 Q1=90 Q2=110


dns_nameservers 194.204.152.34 194.204.159.1


error_directory /usr/share/squid/errors/Polish


refresh_pattern -i .(gif|jpg|jpeg|png|html|bmp) 4320 90% 43200 reload-into-ims
refresh_pattern -i .(zip|gz|bz2|exe|rar|mp3|mpg|avi|wmv|vqf|ogg) 43200 100% 43200 reload-into-ims
refresh_pattern windowsupdate.com/.*.(cab|exe|dll) 43200 100% 43200 reload-into-ims
refresh_pattern download.microsoft.com/.*.(cab|exe|dll) 43200 100% 43200 reload-into-ims
refresh_pattern au.download.windowsupdate.com/.*.(cab|exe|dll) 43200 100% 43200 reload-into-ims
refresh_pattern windowsupdate.com/.*.(cab|exe) 43200 100% 43200 reload-into-ims
refresh_pattern download.microsoft.com/.*.(cab|exe) 43200 100% 43200 reload-into-ims
refresh_pattern . 0 90% 43200 reload-into-ims


acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl siec src 192.168.1.0/255.255.255.0 #Nasza LAN
acl SSL_ports port 443 563
acl Safe_ports port 21 80 442 563 70 210 280 488 591 777 1025-65535
acl CONNECT method CONNECT
acl MCONN maxconn 30


http_access allow localhost
http_access allow manager localhost
http_access deny manager
http_access deny to_localhost
http_access deny MCONN siec
http_access allow siec
http_access deny CONNECT !SSL_ports
http_access deny !Safe_ports
http_access deny all


visible_hostname muadib.m00n.org


rc.firewall


cho '1' > /proc/sys/net/ipv4/ip_forward
echo '0' > /proc/sys/net/ipv4/tcp_ecn


iptables -P INPUT DROP

iptables -A INPUT -i ! ppp0 -j ACCEPT

iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

iptables -A INPUT -p tcp --dport 22 -m state --state NEW -j ACCEPT
iptables -A INPUT -p tcp --dport 53 -m state --state NEW -j ACCEPT
iptables -A INPUT -p udp --dport 53 -m state --state NEW -j ACCEPT

iptables -A INPUT -p tcp -i ppp0 -j REJECT --reject-with tcp-reset
iptables -A INPUT -p udp -i ppp0 -j REJECT --reject-with icmp-port-unreachable

iptables -t nat -A POSTROUTING -o ppp0 -j MASQUERADE

iptables -t nat -A PREROUTING -i ppp0 -p tcp -m tcp --dport 80 -j DNAT --to-destination 192.168.1.1:8080
iptables -t nat -A PREROUTING -i eth0 -p tcp -m tcp --dport 80 -j REDIRECT --to-ports 8080
Marceli Mielczarek edytował(a) ten post dnia 17.02.10 o godzinie 17:24

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

Zastąpiłem sfq przez esfq i różnica widoczna ;)

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

zaraz sprawdze esfq, dzieki za info, bedzie pewnie potrzeba spatchowac jądro ?

a co do problemu squida, czesto przy probie wejscia na strone dostaje komunikat:

* Dostęp zabroniony.

Konfiguracja serwera wyklucza Twój dostęp do niego w chwili obecnej. Skontaktuj się z Twoim providerem jeśli jest jest to nieprawidłowość.

Niewiem od czego to zalezy, zazwyczaj po zrestartowaniu firefoxa strona juz dziala.

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

Ja używam patchy z projektu linuxbox - mam produkcyjne serwery własnie z zestawem tychże.
Daj znać jak idzie, w razie potrzeby podeślę Ci swój konfig.
Jeżeli chodzi o squida - prawdopodobnie ACL'e lub porty nie są dodane jako safe.Marcin Bojko edytował(a) ten post dnia 17.02.10 o godzinie 20:14

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

access log ze squida daje cos takiego


1265059260.933 3 192.168.1.46 TCP_DENIED/400 1667 GET error:invalid-request - NONE/- text/html
1265059260.997 2 192.168.1.46 TCP_DENIED/400 367 GET error:invalid-request - NONE/- text/html
1265059261.051 2 192.168.1.46 TCP_DENIED/400 1667 GET error:invalid-request - NONE/- text/html
1265059339.171 2 192.168.1.46 TCP_DENIED/400 1667 GET error:invalid-request - NONE/- text/html
1265059339.179 3 192.168.1.46 TCP_DENIED/400 367 GET error:invalid-request - NONE/- text/html
1265059339.214 1 192.168.1.46 TCP_DENIED/400 1667 GET error:invalid-request - NONE/- text/html
1265059575.092 3 192.168.1.46 TCP_DENIED/400 1667 GET error:invalid-request - NONE/- text/html
1265059575.092 3 192.168.1.46 TCP_DENIED/400 1667 GET error:invalid-request - NONE/- text/html
1265059575.144 1 192.168.1.46 TCP_DENIED/400 1636 GET error:invalid-request - NONE/- text/html
1265059579.393 2 192.168.1.46 TCP_DENIED/400 1667 GET error:invalid-request - NONE/- text/html
1265059609.391 2 192.168.1.46 TCP_DENIED/400 1636 GET error:invalid-request - NONE/- text/html
1265059631.765 3 192.168.1.47 TCP_DENIED/400 2523 POST error:invalid-request - NONE/- text/html
1265059639.391 4 192.168.1.46 TCP_DENIED/400 1636 GET error:invalid-request - NONE/- text/html
1265059666.956 2 192.168.1.46 TCP_DENIED/400 1667 GET error:invalid-request - NONE/- text/html
1265059669.389 2 192.168.1.46 TCP_DENIED/400 1636 GET error:invalid-request - NONE/- text/html
1265059691.779 1 192.168.1.47 TCP_DENIED/400 2523 POST error:invalid-request - NONE/- text/html
1265059714.394 1 192.168.1.46 TCP_DENIED/400 1636 GET error:invalid-request - NONE/- text/html
Artur Frydel

Artur Frydel In /dev/null no one
can hear your scream

Temat: HTB+SFQ+SQUID problemy :)

Pewno aclka MCONN blokuje czasem tego hosta? Moze jakis zarobaczony klient?

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

debug 8,1 ? ;)

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

# acl'ki
acl all src 0.0.0.0/0.0.0.0
acl lan src 192.168.1.0/255.255.255.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 21 80 442 563 70 210 280 488 591 777 1025-65535
acl CONNECT method CONNECT
acl MCONN maxconn 30

# Dostep

http_access allow manager localhost
http_access deny manager
http_access allow lan
http_access deny CONNECT !SSL_ports
http_access deny !Safe_ports
http_access deny all


zmodyfikowalem aclki i na razie dziala bez problemu, pozyjemy zobaczymy :)

za co dokladnie odpowiada parametr MCONN bo cos nie moge znalezc informacji na ten temat wszedzie tylko konfigi squidaMarceli Mielczarek edytował(a) ten post dnia 18.02.10 o godzinie 11:15
Artur Frydel

Artur Frydel In /dev/null no one
can hear your scream

Temat: HTB+SFQ+SQUID problemy :)

Ja nie wiesz, to po co masz to w konfigu? Przekopiowales na zasadzie malpy? Baaardzo zly nawyk ;-)
Ja tez nie wiem, i nie mam tego w squidach. Ale na moje oko to jest maksymalna dozwolona liczba polaczen (maxconn) do danego ipka.

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

tak przekopiowalem i zmodyfikowalem pod swoja siec konfiga znalezionego w sieci ;) czasem tak robie jednak staram sie zrozumiec kazda opcje a tej nie moge znalezc w dokumentacji nawet :D

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

Marceli Mielczarek:
za co dokladnie odpowiada parametr MCONN bo cos nie moge znalezc informacji na ten temat wszedzie tylko konfigi
>
Jak widać MCONN jest nazwą aclki. Zaś acl jest "typu" maxconn. Na podstawie squid.conf.default (z FreeBSD):

# acl aclname maxconn number
# # This will be matched when the client's IP address has
# # more than <number> HTTP connections established.

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

dzieki bardzo wszystkim za odpowiedzi problem rozwiazany i wytlumaczony :)

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

A dokładnie który ? ;)

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

ze squidem i parametrem maxconn, po wekendzie wezme sie za rekompilacje jadra i patche na esfq i dam znac czy pomoglo :)

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

no coz jestem po spatchowaniu i przekompilowania jajka 2.6.32.8 + iproute 2.6.31 z patchami na esfq i niestety problem pozostał. tzn poprawilo sie jak wrzuce do sciagania cos przez http i ftp to transfery ida w miare rowno z malymi skokami, ale gdy jest aktywne tylko jedno pobieranie (czyli esfq nie jest potrzebne) to transfer skacze w dol i w gore nie chce sie ustabilizowac, oczywiscie po wylaczeniu esfq transfer ejst stabilny ...

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

zostaje zabawa z burst i cburst ;)

rate $min_ceil_down ceil $rate_down_1024 burst $burst_down cburst $cburst_down quantum $quantum_down_lan

burst=
burst_down= 512k
cburst=
cburst_down=32k
quantum=
quantum_down_lan= 3000

Możesz także rzucić HTB na rzecz HSFC, który jest sporo bardziej trzymający normy ;)Marcin Bojko edytował(a) ten post dnia 19.02.10 o godzinie 09:25
Piotr Ogiński

Piotr Ogiński IT Administrator
Linux

Temat: HTB+SFQ+SQUID problemy :)

Odnośnie HTB. Spróbuj podmienić wartość w klasie '1:3':

fragmnt cytatu:
"tc class add dev eth0 parent 1:0 classid 1:1 htb rate 95000kbit ceil 95000kbit
tc class add dev eth0 parent 1:1 classid 1:2 htb rate 1000kbit ceil 1000kbit
tc class add dev eth0 parent 1:1 classid 1:3 htb rate 95000kbit ceil 95000kbit"

na:
tc class add dev eth0 parent 1:0 classid 1:1 htb rate 95000kbit ceil 95000kbit
tc class add dev eth0 parent 1:1 classid 1:2 htb rate 1000kbit ceil 1000kbit
tc class add dev eth0 parent 1:1 classid 1:3 htb rate 94000kbit ceil 95000kbit

W twoim przykładzie 95000kbit + 1000kbit = 96000kbit ;)
Zapewne to przeoczenie, ale: "suma rate dzieci nie może przekraczać rate rodzica";)

Daj znać czy coś to zmieniło.

konto usunięte

Temat: HTB+SFQ+SQUID problemy :)

hmm nie rozwiązało to problemu w 100%, jednak bardzo słuszna uwaga, transfer jest stabilniejszy jednak wahania transferu dalej występują.

Następna dyskusja:

Squid - problemy i dylematy




Wyślij zaproszenie do