Configuracoes
Todos os parametros funcionais do crawler ficam persistidos no banco e podem ser ajustados aqui.
Crawler
18 item(ns)
| Chave | Nome | Valor | Padrao | Tipo | Acoes |
|---|---|---|---|---|---|
crawler.concurrent_workers |
Workers concorrentes
Quantidade maxima de workers assincronos para o scheduler.
|
4 |
4 |
int | Editar |
crawler.http_concurrency |
Concorrencia HTTP
Limite de requisicoes HTTP simultaneas.
|
12 |
12 |
int | Editar |
crawler.http_timeout_seconds |
Timeout HTTP (segundos)
Timeout padrao das requisicoes HTTP.
|
30 |
30 |
int | Editar |
crawler.max_retries |
Maximo de tentativas
Numero maximo de retries por requisicao.
|
3 |
3 |
int | Editar |
crawler.request_delay_ms |
Delay entre requisicoes (ms)
Intervalo minimo entre chamadas para a mesma fonte.
|
700 |
700 |
int | Editar |
crawler.browser_fallback_enabled |
Fallback de navegador
Permite trocar de HTTP para browser automation quando a fonte for dinamica.
|
true |
true |
bool | Editar |
crawler.user_agent_rotation_enabled |
Rotacao de user-agent
Habilita rotacao simples de user-agents.
|
true |
true |
bool | Editar |
crawler.proxy_list_json |
Lista de proxies
JSON com proxies opcionais para rotacao.
|
[] |
[] |
json | Editar |
crawler.max_pages_per_target |
Maximo de paginas por alvo
Limite de paginas a percorrer por site e alvo.
|
50 |
50 |
int | Editar |
crawler.max_records_per_run |
Maximo de leads por execucao
Quantidade maxima de registros persistidos por execucao.
|
5000 |
5000 |
int | Editar |
crawler.browser_headless |
Executar navegadores em headless
Controla se Selenium e Playwright rodam em modo headless.
|
true |
true |
bool | Editar |
crawler.browser.chrome_arguments_json |
Argumentos extras do Chrome
JSON com argumentos extras usados ao iniciar o Chrome no Selenium. Em Linux container, mantenha --no-sandbox e --disable-dev-shm-usage.
|
["--no-sandbox","--disable-dev-shm-usage","--disable-gpu","--disable-software-rasterizer","--remote-... |
["--no-sandbox","--disable-dev-shm-usage","--disable-gpu","--disable-software-rasterizer","--remote-debugging-pipe"] |
json | Editar |
crawler.require_phone |
Exigir telefone para captacao
Quando ativo, descarta leads sem telefone ou WhatsApp antes da persistencia.
|
true |
true |
bool | Editar |
crawler.geolocation_enabled |
Capturar geolocalizacao dos leads
Quando ativo, tenta persistir latitude e longitude dos leads captados.
|
true |
true |
bool | Editar |
crawler.geolocation.nominatim_base_url |
Base URL do geocoder
URL base do servico Nominatim usado como fallback de geocodificacao.
|
https://nominatim.openstreetmap.org |
https://nominatim.openstreetmap.org |
string | Editar |
crawler.geolocation.nominatim_user_agent |
User-Agent do geocoder
User-Agent enviado ao Nominatim nas consultas de geocodificacao.
|
ProFinderCrawler/1.0 (+https://profinder.consertapramim.com) |
ProFinderCrawler/1.0 (+https://profinder.consertapramim.com) |
string | Editar |
crawler.geolocation.timeout_seconds |
Timeout da geocodificacao (segundos)
Timeout das consultas HTTP para resolver latitude e longitude.
|
10 |
10 |
int | Editar |
crawler.geolocation.request_delay_ms |
Delay entre consultas de geocodificacao (ms)
Intervalo minimo entre chamadas ao servico de geocodificacao.
|
1200 |
1200 |
int | Editar |
CrawlerLauncher
8 item(ns)
| Chave | Nome | Valor | Padrao | Tipo | Acoes |
|---|---|---|---|---|---|
crawler.launcher.python_executable |
Executavel do Python
Comando ou caminho do Python usado para iniciar o crawler pela UI.
|
python |
python |
string | Editar |
crawler.launcher.script_path |
Caminho do script do crawler
Caminho absoluto ou relativo do arquivo crawler/main.py.
|
crawler/main.py |
crawler/main.py |
string | Editar |
crawler.launcher.working_directory |
Diretorio de trabalho do crawler
Diretorio base para iniciar o processo. Em branco usa a raiz da solution quando encontrada.
|
|
|
string | Editar |
crawler.launcher.export_directory |
Diretorio de exportacao
Diretorio onde o crawler grava providers.csv e providers.json.
|
crawler/exports |
crawler/exports |
string | Editar |
crawler.launcher.sql_driver |
Driver ODBC do SQL Server
Driver usado para converter a connection string da aplicacao em connection string ODBC para o Python.
|
ODBC Driver 18 for SQL Server |
ODBC Driver 17 for SQL Server |
string | Editar |
crawler.launcher.connection_string_override |
Connection string ODBC override
Quando preenchida, substitui a conversao automatica da connection string do .NET ao iniciar o crawler.
|
******** |
|
string | Editar |
crawler.launcher.default_sites_csv |
Sites padrao do launcher
Lista CSV dos sites marcados por padrao no formulario do crawler.
|
google_maps,olx,telelistas,guiamais |
google_maps,olx,telelistas,guiamais |
string | Editar |
crawler.launcher.log_level |
Nivel de log do launcher
Nivel de log passado para o crawler Python ao iniciar lotes pela UI.
|
INFO |
INFO |
string | Editar |
GoogleMaps
2 item(ns)