Предназначение модуля Модуль сбора первичных данных. Предназначен для сбора и хранения первичных данных о движении цен, объёмах торгов и других для каждой рассматриваемой монеты в паре с разными референсными монетами. Именно данные этого моудля используются для всех последующих операций программно - технологического комплекса КрАгрАН БЕССТ

Архитектура модуля Модуль использует механизмы периодической выгрузки данных из открытых источников в Интернете, механизмы обработки этих данных и сохранения их в базе данных программно - технологического комплекса. Выгрузка данных производится из нескольких разных источников в сети Интернет. она представляет нетривиальную задачу, т.к. отдельные источники ограничивают частоту и объёмы запросов одним лицом для некоммерческого режима. Для обхода таких ограничений с момента существования продукта с 2022 года используется ряд технических решений

История создания модуля Модуль создавался самым первым, совместно с простейшим - на тот момент - модулем кампьютерного теханализа. В дальнейшем модуль претерпел несколько переработок. По сравнению с изначальным вариантом был расширен список сохраняемых параметров, что оказалось важным. Также в апредле 2026 года было реализовано секционирование таблиц, т.к. скорости работы на "домашнем" железе при сотнях миллионов записей резко снизилась, сделав невозможной работу надстроек, вычисляющих аналитические события в околореальном времени. Перевод базы нанных со шпинделя на SSD диск помог несущественно

В целом с марта 2025 года работа с инструментом была практически остановлена по причине более приоритетных задач. Хотя данные этот год успешно собирались. Идея переложить базу на ещё более скоростные M2 диски уперлась в необходимость обновления всего железа и не была реализована. Ещё одним вариантом решения проблемы быстродействия было партицирование таблиц данных, которое было завершено в середине апреля 2026 года, оправдало трудозатраты и показало резкий прирост производительности технического решения в целом ... на тот попент объём данных по 130 монетам составил более 230 миллионов записей одноминутного таймфрэйма, и более 30 миллионов записей часового таймфрэйма только по одному из источников

Нюансы накопления первички критически важно для понимания применимости такого инструмента для целей реальной торговли и аналитики. Сбор данных по любому таймфрэйму подразумевает опоздание данных, т.к. их можно получить только после любой точки времени, и есть временные затраты на последующую первичную обработку, сохранение, а также на аналитическую обработку. Кроме того получения ряда событий индикаторов требует получение значения следующего периода, что ещё больше увеличивает разбежку между изменением цен в реальном времени, и точкой времени, когда данные становятся пригодными для принятия торговых решений. По этой причине аналитика КрАгрАН БЕССТ может быть востребована для ретроспективного анализа, а также для работы на дневных и недельных интервалах, т.к. скорости получения и сохранения данных составляют от 10 минут, и скорости последующей обработки также могут составлять минуты

Технические методы некоторого ускорения процессов получения, первичной обработки, сохраниния и аналитики есть. Например, это метод секционирования таблиц данных, приоретизации обработки каждой монеты, а то и распараллеливание процесса выгрузки. Однако здесь, даже с учетом применяемых методов, мы упёрлись в ограничения источников данных. Возможно оно обходится получением платной подписки на данные, но анализ пока не подтверждает адекватности трат приличных сумм, т.к. пока не подтверждены выигрышниые стратегии торговли. Да и в любом случае торговля на быстрых диапазонах является очень сопрным решением

Планы развития модуля Всё будет зависеть от решения - продолжать развитие продукта или нет. Оно застопорилось более года назад, т.к. ресурс отожрали задачи по вынужденному импортозамещению