Яндекс опубликовал исходный код YTsaurus. Это платформа для хранения и обработки больших данных, с которой работает большинство сервисов Яндекса.
Платформа подходит для широкого круга задач, от анализа до обучения сложных моделей с миллиардами параметров. Например, Search создает поисковый индекс с помощью YTsaurus, а беспилотные автомобили используют платформу для обработки данных о вождении и улучшения своих алгоритмов. YTsaurus управляет суперкомпьютерами Яндекса, распределяя нагрузку таким образом, чтобы их вычислительные мощности использовались максимально эффективно.
Максим БабенкоНачальник отдела технологий распределенных вычислений:
Яндекс разрабатывает YTsaurus — или YT, как мы его называем внутри компании — с 2010 года. Мы начали создавать собственную экосистему больших данных, потому что ни одно из представленных на рынке решений не отвечало всем нашим требованиям. Сейчас YTsaurus — один из ключевых элементов внутренней инфраструктуры Яндекса. На платформе работают десятки разработчиков, и ее возможности постоянно расширяются..
YTsaurus — отказоустойчивая и хорошо масштабируемая платформа. В Яндексе она распределена по десяткам тысяч серверов и обрабатывает эксабайты данных; каждый второй сотрудник компании работает с ней. YTsaurus можно использовать как классическую систему MapReduce, но он также поддерживает другие популярные методы обработки данных. Например, у него есть интеграции с ClickHouse и Apache Spark. Подробнее о возможностях YTsaurus описано в блоге Яндекса по адресу “Овес».
Алексей Башкеевруководитель Яндекс Облака:
YTsaurus наиболее полезен для крупных компаний, которые обрабатывают огромные объемы данных на тысячах серверов при постоянно растущей нагрузке.
Исходный код и документация YTsaurus доступны по адресу Гитхаб. Код распространяется под лицензией Apache 2.0. Любой желающий может использовать платформу или модифицировать ее под себя.
Источник: пресс-служба Яндекса.
