From shilov на extmail.info Wed Jun 2 21:40:11 2021 From: shilov на extmail.info (Shilov) Date: Thu, 3 Jun 2021 00:40:11 +0300 Subject: =?UTF-8?B?UmU6INCa0LDQuiDQt9Cw0LrRgNGL0YLRjCDRgdC10YDQstC10YAg0LTQu9GPINCy?= =?UTF-8?B?0YHQtdGFINGB0YLRgNCw0L0g0LrRgNC+0LzQtSDRgdCy0L7QtdC5INC4INGB?= =?UTF-8?B?0LXRgNCy0LjRgdC+0LIg0LPRg9Cz0Ls=?= In-Reply-To: References: Message-ID: <20210603004011.34ee5b25ede6aa59ae5206ab@extmail.info> Всем привет! Добавлю в эту же тему свой вопрос, он близок к это теме. Использую на базе Nginx реверсный прокси, работает чудесно, спасибо его создателю! Как в нем грамотно сделать то же самое - ограничить доступ к нему со всех стран, кроме своей и некоторых сервисов (гугл, счетчик и т.п.)? На данный момент использую примерно такой условный конфиг - #-------------------------------- server { server_name bios.paris.info www.bios.paris.info; listen 194.194.194.194; disable_symlinks if_not_owner from=$root_path; set $root_path /var/www/extmail/data/www/bios.paris.info; client_max_body_size 16M; location / { proxy_pass http://99.99.99.99:5555; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; proxy_redirect default; proxy_set_header Host $http_host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header X-Real-IP $remote_addr; } include /usr/local/ispmgr/etc/nginx.inc; } #-------------------------------- -- Best regards From nginx-forum на forum.nginx.org Thu Jun 3 00:28:02 2021 From: nginx-forum на forum.nginx.org (budarin) Date: Wed, 02 Jun 2021 20:28:02 -0400 Subject: =?UTF-8?B?0J/QvtGH0LXQvNGDINCx0YDQsNGD0LfQtdGAINC90LUg0LLRi9GB0YLQsNCy0Ls=?= =?UTF-8?B?0Y/QtdGCINC30LDQs9C+0LvQvtCy0L7QuiBJZi1Ob25lLU1hdGNoLyBJIGYt?= =?UTF-8?B?TW9kaWZpZWQtU2luY2UgINC00LvRjyDRgNC10YHRg9GA0YHQvtCyINGDINC6?= =?UTF-8?B?0L7RgtC+0YDRi9GFINGD0YHRgtCw0L3QvtCy0LvQtdC9IGV0YWc/?= Message-ID: <07766c8c3573eb38ac0b8405971f7da6.NginxMailingListRussian@forum.nginx.org> имеем сервис работающий по https все ресурсы имеют уже сжатые копии в gzip и brotli конфигурация для ресурса: location ~* \.(?:manifest|webmanifest)$ { etag on; add_header Cache-Control "public, max-age=60"; add_header X-Content-Type-Options "nosniff" always; } сервер отдает ресурсы с заголовками cache-control: public, max-age=60 content-encoding: br content-type: application/manifest+json; charset=utf-8 date: Thu, 03 Jun 2021 00:22:26 GMT etag: W/"60b812ee-436" last-modified: Wed, 02 Jun 2021 23:23:26 GMT server: nginx vary: Accept-Encoding x-content-type-options: nosniff при повторном запросе в заголовках запроса нет ни If-None-Match ни If-Modified-Since почему? Posted at Nginx Forum: https://forum.nginx.org/read.php?21,291736,291736#msg-291736 From nginx-forum на forum.nginx.org Thu Jun 3 00:38:03 2021 From: nginx-forum на forum.nginx.org (budarin) Date: Wed, 02 Jun 2021 20:38:03 -0400 Subject: =?UTF-8?B?UmU6INCf0L7Rh9C10LzRgyDQsdGA0LDRg9C30LXRgCDQvdC1INCy0YvRgdGC0LA=?= =?UTF-8?B?0LLQu9GP0LXRgiDQt9Cw0LPQvtC70L7QstC+0LogSWYtTm9uZS1NYXRjaC8g?= =?UTF-8?B?SSBmLU1vZGlmaWVkLVNpbmNlICDQtNC70Y8g0YDQtdGB0YPRgNGB0L7QsiA=?= =?UTF-8?B?0YMg0LrQvtGC0L7RgNGL0YUg0YPRgdGC0LDQvdC+0LLQu9C10L0gZXRhZz8=?= In-Reply-To: <07766c8c3573eb38ac0b8405971f7da6.NginxMailingListRussian@forum.nginx.org> References: <07766c8c3573eb38ac0b8405971f7da6.NginxMailingListRussian@forum.nginx.org> Message-ID: <5b8c7a945c195dc783b4252304edd044.NginxMailingListRussian@forum.nginx.org> результат остается тем же и при удалении заголовка add_header Cache-Control "public, max-age=60"; Posted at Nginx Forum: https://forum.nginx.org/read.php?21,291736,291737#msg-291737 From gmm на csdoc.com Thu Jun 3 06:40:52 2021 From: gmm на csdoc.com (Gena Makhomed) Date: Thu, 3 Jun 2021 09:40:52 +0300 Subject: =?UTF-8?B?UmU6INCa0LDQuiDQt9Cw0LrRgNGL0YLRjCDRgdC10YDQstC10YAg0LTQu9GPINCy?= =?UTF-8?B?0YHQtdGFINGB0YLRgNCw0L0g0LrRgNC+0LzQtSDRgdCy0L7QtdC5INC4INGB?= =?UTF-8?B?0LXRgNCy0LjRgdC+0LIg0LPRg9Cz0Ls=?= In-Reply-To: <20210603004011.34ee5b25ede6aa59ae5206ab@extmail.info> References: <20210603004011.34ee5b25ede6aa59ae5206ab@extmail.info> Message-ID: <8962b14e-6a46-040c-356b-ef27c8125789@csdoc.com> On 03.06.2021 0:40, Shilov wrote: > Использую на базе Nginx реверсный прокси, работает чудесно, спасибо его создателю! > > Как в нем грамотно сделать то же самое - ограничить доступ к нему со всех стран, кроме своей и некоторых сервисов (гугл, счетчик и т.п.)? самый простой способ - это закрыть сайт с помощью cloudflare и настроить там фильтры соответствующим образом: 1. known bots: allow - это разрешит ходить на сайт гуглу и яндексу 2. country 'RU': allow - это разрешит ходить всем со своей страны 3. all: block - это запретит доступ всем остальным. в п.2 можно указать несколько стран, из которых доступ разрешен. Если попробовать обойтись без cloudflare - тогда проблематично будет узнать все ип гугловских ботов, чтобы их не блокировать. Теоретически - возможно поможет сканирование подсетей автономных систем гугла, и составление белого списка всех гугловских ип адерсов. Вот список автономных систем по состоянию на март 2014 года: http://www.gilles-bertrand.com/2014/03/google-network-ip-address-business-intelligence-autonomous-systems.html Вот список подсетей одной из этих автономных систем: https://www.dan.me.uk/bgplookup?asn=15169 Более простой и менее надежный способ - это по наличию подстроки 'google' в строке user-agent, но такой способ не надежен, потому что строку user-agent легко подделать. Документированный способ определения гугловского бота - с помощью днс, https://developers.google.com/search/docs/advanced/crawling/verifying-googlebot но этот способ в nginx не получится использовать в реальном времени для не блокирования доступа гугловских ботов на сайт. -- Best regards, Gena From shilov на extmail.info Thu Jun 3 07:04:41 2021 From: shilov на extmail.info (Shilov) Date: Thu, 3 Jun 2021 10:04:41 +0300 Subject: =?UTF-8?B?UmU6INCa0LDQuiDQt9Cw0LrRgNGL0YLRjCDRgdC10YDQstC10YAg0LTQu9GPINCy?= =?UTF-8?B?0YHQtdGFINGB0YLRgNCw0L0g0LrRgNC+0LzQtSDRgdCy0L7QtdC5INC4INGB?= =?UTF-8?B?0LXRgNCy0LjRgdC+0LIg0LPRg9Cz0Ls=?= In-Reply-To: <8962b14e-6a46-040c-356b-ef27c8125789@csdoc.com> References: <20210603004011.34ee5b25ede6aa59ae5206ab@extmail.info> <8962b14e-6a46-040c-356b-ef27c8125789@csdoc.com> Message-ID: <20210603100441.3eb3bf6dbe250c4843e6efaf@extmail.info> Спасибо, Геннадий, попробую ваши рекомендации :-) On Thu, 3 Jun 2021 09:40:52 +0300 Gena Makhomed wrote: > On 03.06.2021 0:40, Shilov wrote: > > > Использую на базе Nginx реверсный прокси, работает чудесно, спасибо его создателю! > > > > Как в нем грамотно сделать то же самое - ограничить доступ к нему со всех стран, кроме своей и некоторых сервисов (гугл, счетчик и т.п.)? > > самый простой способ - это закрыть сайт с помощью cloudflare > и настроить там фильтры соответствующим образом: > > 1. known bots: allow - это разрешит ходить на сайт гуглу и яндексу > 2. country 'RU': allow - это разрешит ходить всем со своей страны > 3. all: block - это запретит доступ всем остальным. > > в п.2 можно указать несколько стран, из которых доступ разрешен. > > Если попробовать обойтись без cloudflare - тогда проблематично будет > узнать все ип гугловских ботов, чтобы их не блокировать. Теоретически > - возможно поможет сканирование подсетей автономных систем гугла, > и составление белого списка всех гугловских ип адерсов. > > Вот список автономных систем по состоянию на март 2014 года: > http://www.gilles-bertrand.com/2014/03/google-network-ip-address-business-intelligence-autonomous-systems.html > > Вот список подсетей одной из этих автономных систем: > https://www.dan.me.uk/bgplookup?asn=15169 > > Более простой и менее надежный способ - это по наличию > подстроки 'google' в строке user-agent, но такой способ > не надежен, потому что строку user-agent легко подделать. > > Документированный способ определения гугловского бота - с помощью днс, > https://developers.google.com/search/docs/advanced/crawling/verifying-googlebot > но этот способ в nginx не получится использовать в реальном > времени для не блокирования доступа гугловских ботов на сайт. > > -- > Best regards, > Gena > > _______________________________________________ > nginx-ru mailing list > nginx-ru на nginx.org > http://mailman.nginx.org/mailman/listinfo/nginx-ru -- Best regards UR1229SWL From shilov на extmail.info Thu Jun 3 08:30:51 2021 From: shilov на extmail.info (Shilov) Date: Thu, 3 Jun 2021 11:30:51 +0300 Subject: =?UTF-8?B?UmU6INCa0LDQuiDQt9Cw0LrRgNGL0YLRjCDRgdC10YDQstC10YAg0LTQu9GPINCy?= =?UTF-8?B?0YHQtdGFINGB0YLRgNCw0L0g0LrRgNC+0LzQtSDRgdCy0L7QtdC5INC4INGB?= =?UTF-8?B?0LXRgNCy0LjRgdC+0LIg0LPRg9Cz0Ls=?= In-Reply-To: <20210603100441.3eb3bf6dbe250c4843e6efaf@extmail.info> References: <20210603004011.34ee5b25ede6aa59ae5206ab@extmail.info> <8962b14e-6a46-040c-356b-ef27c8125789@csdoc.com> <20210603100441.3eb3bf6dbe250c4843e6efaf@extmail.info> Message-ID: <20210603113051.cb9393b8942c495175828496@extmail.info> On Thu, 3 Jun 2021 10:04:41 +0300 Shilov wrote: > > самый простой способ - это закрыть сайт с помощью cloudflare > > и настроить там фильтры соответствующим образом: Хотя... вспомнилось, что многие сайты, который используют cloudflare, часто наблюдаются "упавшими". Не они сами, конечно, а сам этот сервис. Получается, он не слишком надежен. -- Best regards From nginx-forum на forum.nginx.org Thu Jun 3 12:47:30 2021 From: nginx-forum на forum.nginx.org (S.A.N) Date: Thu, 03 Jun 2021 08:47:30 -0400 Subject: =?UTF-8?B?UmU6INCf0L7Rh9C10LzRgyDQsdGA0LDRg9C30LXRgCDQvdC1INCy0YvRgdGC0LA=?= =?UTF-8?B?0LLQu9GP0LXRgiDQt9Cw0LPQvtC70L7QstC+0LogSWYtTm9uZS1NYXRjaC8g?= =?UTF-8?B?SSBmLU1vZGlmaWVkLVNpbmNlICDQtNC70Y8g0YDQtdGB0YPRgNGB0L7QsiA=?= =?UTF-8?B?0YMg0LrQvtGC0L7RgNGL0YUg0YPRgdGC0LDQvdC+0LLQu9C10L0gZXRhZz8=?= In-Reply-To: <07766c8c3573eb38ac0b8405971f7da6.NginxMailingListRussian@forum.nginx.org> References: <07766c8c3573eb38ac0b8405971f7da6.NginxMailingListRussian@forum.nginx.org> Message-ID: Возможно у вас в DevTools браузера, стоит галочка "Disabled Cache" Posted at Nginx Forum: https://forum.nginx.org/read.php?21,291736,291745#msg-291745 From nginx-forum на forum.nginx.org Thu Jun 3 20:22:45 2021 From: nginx-forum на forum.nginx.org (budarin) Date: Thu, 03 Jun 2021 16:22:45 -0400 Subject: =?UTF-8?B?UmU6INCf0L7Rh9C10LzRgyDQsdGA0LDRg9C30LXRgCDQvdC1INCy0YvRgdGC0LA=?= =?UTF-8?B?0LLQu9GP0LXRgiDQt9Cw0LPQvtC70L7QstC+0LogSWYtTm9uZS1NYXRjaC8g?= =?UTF-8?B?SSBmLU1vZGlmaWVkLVNpbmNlICDQtNC70Y8g0YDQtdGB0YPRgNGB0L7QsiA=?= =?UTF-8?B?0YMg0LrQvtGC0L7RgNGL0YUg0YPRgdGC0LDQvdC+0LLQu9C10L0gZXRhZz8=?= In-Reply-To: References: <07766c8c3573eb38ac0b8405971f7da6.NginxMailingListRussian@forum.nginx.org> Message-ID: Спасибо! Вы правы - заработаешься вот так и уже не видишь очевидных вещей! ) Posted at Nginx Forum: https://forum.nginx.org/read.php?21,291736,291756#msg-291756 From nginx-forum на forum.nginx.org Thu Jun 17 14:04:43 2021 From: nginx-forum на forum.nginx.org (trissys) Date: Thu, 17 Jun 2021 10:04:43 -0400 Subject: =?UTF-8?B?0LrQsNC6INC00L7QsdCw0LLQuNGC0Ywg0LXRidC1INC/0LDQv9C60YMg0LTQu9GP?= =?UTF-8?B?INC+0LHRidC10LPQviDQv9C+0LvRjNC30L7QstCw0L3QuNGP?= Message-ID: <33be792afc13164d5900ef04bfae7286.NginxMailingListRussian@forum.nginx.org> в конфиге ( nginx/conf.d/ ) сайта надо добавть еще папку /home/download уже столько комбинаций перепробовал и все время nginx просто не запускается .. напишите как правильно добавить еще 1 папку для доступа из вне ---------------- server { listen 80 default_server; listen [::]:80 default_server; server_name xxxx www.xxxx.com; root /var/www/xxxx.com; index index.html index.php; client_max_body_size 5000m; location / { try_files $uri $uri/ =404; } location ~* \.php$ { fastcgi_pass unix:/run/php/php7.0-fpm.sock; include fastcgi_params; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; fastcgi_param SCRIPT_NAME $fastcgi_script_name; fastcgi_send_timeout 600; fastcgi_read_timeout 600; } } Posted at Nginx Forum: https://forum.nginx.org/read.php?21,291877,291877#msg-291877 From nginx-forum на forum.nginx.org Fri Jun 18 02:04:04 2021 From: nginx-forum на forum.nginx.org (trissys) Date: Thu, 17 Jun 2021 22:04:04 -0400 Subject: =?UTF-8?B?UmU6INC60LDQuiDQtNC+0LHQsNCy0LjRgtGMINC10YnQtSDQv9Cw0L/QutGDINC0?= =?UTF-8?B?0LvRjyDQvtCx0YnQtdCz0L4g0L/QvtC70YzQt9C+0LLQsNC90LjRjw==?= In-Reply-To: <33be792afc13164d5900ef04bfae7286.NginxMailingListRussian@forum.nginx.org> References: <33be792afc13164d5900ef04bfae7286.NginxMailingListRussian@forum.nginx.org> Message-ID: <25f5293e18ee116b21539254f942bf61.NginxMailingListRussian@forum.nginx.org> вот пытаюсь дописать location /home/ { root /home; } но ничего не выходит Posted at Nginx Forum: https://forum.nginx.org/read.php?21,291877,291881#msg-291881