Форум Бингуру

Elektro Yar

Участник

Зарегистрирован: 11.12.2017

Сообщений: 105

Программа для сжатия csv файлов в 12-43 раза

Написал библиотеку на С++, а так же консольную программу, которая может архивировать данные котировок для таймфрейма М1.

Для сравнения, 5-ти значные котировки из Метатрейдера 4 от Финама в формате csv занимают 10.9 Гб. Формат библиотеки эти же самые котировки сожмет до 930 Мб.
При этом, если сохранять только цены закрытия, можно сжать данные в 43 раза. Приведенный выше результат сжатия в 12 раз (с 10.9 Гб до 930 Мб) достигается, если использовать цены бара без объема.

Сжатые данные можно использовать напрямую при помощи библиотеки (только для С++ кода). Но а для тех, кому csv файл удобнее, можно преобразовать сжатый формат обратно в csv файл.
Библиотека позволяет получить бар по метке времени. Данные котировок внутри формата библиотеки разбиты по дням и используют время GMT\UTC, что может быть удобно для автоматических торговых систем (когда надо получить данные за N дней)

Ссылка на репозиторий с историческими данными от Финама: https://github.com/NewYaroslav/finam_history_quotes
Ссылка на репозиторий с библиотекой: https://github.com/NewYaroslav/xquotes_history