Skip to content

maximkolodnikov/midpy

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 
 
 

Repository files navigation

Тестовые задачи ЯПрактикума

ETLs

Содержит ETL скрипты по переносу данных по фильмам из PostgreSQL в Elasticsearch.

Используются:

  • Pydantic для валидации данных,
  • Backoff алгоритм для переподключений
  • Подход pipes&filters на основе корутин для транспортировки и преобразования данных.
  • Работа с состоянием с записью файл для повторного запуска скрипта в следующий период/в случае ошибки.

About

Examples of task solutions

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published