Рекомендательный алгоритм соцсети X официально опубликовали на GitHub

Команда xAI опубликовала код рекомендательного алгоритма социальной сети X, который отвечает за ранжирование постов в ленте пользователя. Проект доступен по лицензии Apache-2.0, а Илон Маск анонсировал ежемесячные обновления репозитория.

Рекомендательный алгоритм состоит из четырёх больших компонентов:

• Home Mixer — главный оркестратор, отвечающий за подбор постов-кандидатов. Он ищет интересные публикации, подгружает дополнительную информацию, фильтрует контент, оценивает его по внутренней системе баллов и решает, что в итоге окажется в ленте.

• Thunder — модуль, который собирает посты от аккаунтов, на которые подписан пользователей. Эти публикации алгоритм хранит в отдельной области памяти, чтобы быстро получать к ним доступ и не обращаться каждый раз к глобальной базе данных.

• Phoenix — ML-алгоритм для оценки релевантности постов от аккаунтов, на которые пользователь не подписан. Система работает в два этапа: сперва ищет публикации похожие на те, что обычно нравятся пользователя, а затем с помощью трансформера на базе Grok определяет вероятность того, что конкретный пост понравится. Модуль учитывает историю взаимодействий и интересы пользователя.

• Candidate Pipeline — общий фреймворк, который собирает компоненты вместе.

В самом начале запрос пользователя попадает в Home Mixer, который с помощью Thunder и Phoenix собирает потенциально интересные публикации. После этого система запускает алгоритм фильтрации постов: удаляет из подборки дубликаты, заблокированные пользователем аккаунты и публикации, которые уже были в ленте. Очищенные список ранжирует Phoenix, оценивая каждый пост по внутренним критериям. В конце Home Mixer выбирает посты с высокой оценкой, выводит их в ленту пользователю и записывает в логи, что именно оказалось в рекомендациях.

Система оценки постов прогнозирует множество факторов, включая поставит ли пользователь лайк, поделится постом, процитирует его, перейдёт в профиль, подпишется на автора, включит видео, откроет изображение и другие детали. Кроме того, он учитывает и негативные факторы, включая потенциальные блокировки авторов, жалобы и клики по кнопке «Не показывать в ленте». Финальный рейтинг — сумма вероятностей, в которой негативные действия получают отрицательный вес: Final Score = Σ (weight_i × P(action_i)).