Crawler 18 item(ns)
Chave Nome Valor Padrao Tipo Acoes
crawler.concurrent_workers
Workers concorrentes
Quantidade maxima de workers assincronos para o scheduler.
4 4 int Editar
crawler.http_concurrency
Concorrencia HTTP
Limite de requisicoes HTTP simultaneas.
12 12 int Editar
crawler.http_timeout_seconds
Timeout HTTP (segundos)
Timeout padrao das requisicoes HTTP.
30 30 int Editar
crawler.max_retries
Maximo de tentativas
Numero maximo de retries por requisicao.
3 3 int Editar
crawler.request_delay_ms
Delay entre requisicoes (ms)
Intervalo minimo entre chamadas para a mesma fonte.
700 700 int Editar
crawler.browser_fallback_enabled
Fallback de navegador
Permite trocar de HTTP para browser automation quando a fonte for dinamica.
true true bool Editar
crawler.user_agent_rotation_enabled
Rotacao de user-agent
Habilita rotacao simples de user-agents.
true true bool Editar
crawler.proxy_list_json
Lista de proxies
JSON com proxies opcionais para rotacao.
[] [] json Editar
crawler.max_pages_per_target
Maximo de paginas por alvo
Limite de paginas a percorrer por site e alvo.
50 50 int Editar
crawler.max_records_per_run
Maximo de leads por execucao
Quantidade maxima de registros persistidos por execucao.
5000 5000 int Editar
crawler.browser_headless
Executar navegadores em headless
Controla se Selenium e Playwright rodam em modo headless.
true true bool Editar
crawler.browser.chrome_arguments_json
Argumentos extras do Chrome
JSON com argumentos extras usados ao iniciar o Chrome no Selenium. Em Linux container, mantenha --no-sandbox e --disable-dev-shm-usage.
["--no-sandbox","--disable-dev-shm-usage","--disable-gpu","--disable-software-rasterizer","--remote-... ["--no-sandbox","--disable-dev-shm-usage","--disable-gpu","--disable-software-rasterizer","--remote-debugging-pipe"] json Editar
crawler.require_phone
Exigir telefone para captacao
Quando ativo, descarta leads sem telefone ou WhatsApp antes da persistencia.
true true bool Editar
crawler.geolocation_enabled
Capturar geolocalizacao dos leads
Quando ativo, tenta persistir latitude e longitude dos leads captados.
true true bool Editar
crawler.geolocation.nominatim_base_url
Base URL do geocoder
URL base do servico Nominatim usado como fallback de geocodificacao.
https://nominatim.openstreetmap.org https://nominatim.openstreetmap.org string Editar
crawler.geolocation.nominatim_user_agent
User-Agent do geocoder
User-Agent enviado ao Nominatim nas consultas de geocodificacao.
ProFinderCrawler/1.0 (+https://profinder.consertapramim.com) ProFinderCrawler/1.0 (+https://profinder.consertapramim.com) string Editar
crawler.geolocation.timeout_seconds
Timeout da geocodificacao (segundos)
Timeout das consultas HTTP para resolver latitude e longitude.
10 10 int Editar
crawler.geolocation.request_delay_ms
Delay entre consultas de geocodificacao (ms)
Intervalo minimo entre chamadas ao servico de geocodificacao.
1200 1200 int Editar
CrawlerLauncher 8 item(ns)
Chave Nome Valor Padrao Tipo Acoes
crawler.launcher.python_executable
Executavel do Python
Comando ou caminho do Python usado para iniciar o crawler pela UI.
python python string Editar
crawler.launcher.script_path
Caminho do script do crawler
Caminho absoluto ou relativo do arquivo crawler/main.py.
crawler/main.py crawler/main.py string Editar
crawler.launcher.working_directory
Diretorio de trabalho do crawler
Diretorio base para iniciar o processo. Em branco usa a raiz da solution quando encontrada.
string Editar
crawler.launcher.export_directory
Diretorio de exportacao
Diretorio onde o crawler grava providers.csv e providers.json.
crawler/exports crawler/exports string Editar
crawler.launcher.sql_driver
Driver ODBC do SQL Server
Driver usado para converter a connection string da aplicacao em connection string ODBC para o Python.
ODBC Driver 18 for SQL Server ODBC Driver 17 for SQL Server string Editar
crawler.launcher.connection_string_override
Connection string ODBC override
Quando preenchida, substitui a conversao automatica da connection string do .NET ao iniciar o crawler.
******** string Editar
crawler.launcher.default_sites_csv
Sites padrao do launcher
Lista CSV dos sites marcados por padrao no formulario do crawler.
google_maps,olx,telelistas,guiamais google_maps,olx,telelistas,guiamais string Editar
crawler.launcher.log_level
Nivel de log do launcher
Nivel de log passado para o crawler Python ao iniciar lotes pela UI.
INFO INFO string Editar
GoogleMaps 2 item(ns)
Chave Nome Valor Padrao Tipo Acoes
crawler.google_maps.max_idle_scrolls
Scrolls ociosos maximos
Limite de scrolls sem novos cards no Google Maps.
8 8 int Editar
crawler.google_maps.scroll_pause_ms
Pausa do scroll (ms)
Pausa entre scrolls da lista do Google Maps.
1500 1500 int Editar