Curry é um WebCrawler escrito em Golang com finalidade de verificar o valor do câmbio de Dólar para Real (USDxBRL) em algumas lojas no Paraguay.

1. ✅ Web Crawler.
2. ✅ API JSON Endpoint.
3. ✅ In-Memory Cache.
4. ✅ Scheduler.
5. ✅ SQLite Database to keep history.
6. ✅ Custom settings.
7. ✅ Easy to add new spiders.

Para utilizar, basta seguir os passos abaixo:

git clone https://github.com/bitebait/curry.git
cd curry/
go run .

Exemplo de saida do terminal:

 ██████╗██╗   ██╗██████╗ ██████╗ ██╗   ██╗
██╔════╝██║   ██║██╔══██╗██╔══██╗╚██╗ ██╔╝
██║     ██║   ██║██████╔╝██████╔╝ ╚████╔╝ 
██║     ██║   ██║██╔══██╗██╔══██╗  ╚██╔╝  
╚██████╗╚██████╔╝██║  ██║██║  ██║   ██║   
 ╚═════╝ ╚═════╝ ╚═╝  ╚═╝╚═╝  ╚═╝   ╚═╝   
2021/11/27 19:06:00 Running and Listening on :8000
2021/11/27 19:06:00 API Endpoint: /api
2021/11/27 19:06:01 Running crawler...
...
2021/11/27 19:06:09 FINISHED: 30 of 30 urls visited.
2021/11/27 19:06:09 CRAWLER function took 8.403559105s.

Agora basta acessar http:https://127.0.0.1:8000/api. Caso tenha alterado o endpoint favor verifique o log de saida do terminal ou o arquivo config.yml.

⚠️️ Não esqueça de configurar o arquivo config.yml conforme as suas necessidades! ⚠️

API Json Result:

{
  "id": 1,
  "createdAt": "2021-11-27T15:21:06.343499301-03:00",
  "items": [
    {
      "id": 1,
      "name": "example_store1",
      "currency": "BRL",
      "value": "5.7",
      "url": "https://www.example_store1.com/"
    },
    {
      "id": 2,
      "name": "example_store2",
      "currency": "BRL",
      "value": "5.72",
      "url": "https://www.example_store2.com/"
    }
  ]
}

config.yml:

api:
  port: 8000 # api listen port
  endpoint: /api # api endpoint

db:
  file_name: database.db # sqlite file name

cache:
  max_age: 12  # Refresh cache every 12 hours

currency:
  currency: BRL # Don't change

🕷️ Para mais informações sobre spiders disponíveis e como adicionar uma nova spider, de uma olhada em /spiders e func NewSpider().

1. alboradainfo
2. aromastore
3. atacadocollections
4. atacadogames
5. audiumelectronics
6. bonanzacambios
7. cambioschaco
8. casaamericana
9. cellshop
10. comprasparaguai
11. dolarpy
12. gabahobby
13. hbgames
14. icompy
15. infinitysport
16. lgimportados
17. madridcenter
18. megaeletro
19. megaeletronicos
20. mercosurcambios
21. mundodocelular
22. oneclick
23. pioneerinter
24. probook
25. shoppingcentropioneer
26. tcheloco
27. tecombras
28. topdek
29. victoriastore
30. visaovip

• Qualquer uso do script é de responsabilidade apenas do usuário. Os usuários do script devem agir de acordo com os termos dos sites acessados.
• Como acontece com todos os sites, a estrutura do site pode mudar no futuro e, portanto, como costuma acontecer com scripts de scraping, descontinue-o. Não é realmente uma questão de saber se o código-fonte do site irá mudar, mas sim quando (então aproveite enquanto ainda está funcionando)

Todo o conteúdo apresentado nos sites pertence aos criadores originais.

A licença abaixo se refere apenas ao script e não ao conteúdo scrapado.

Licença - MIT