Когда Андрей Карпати (один из основателей OpenAI) рассказал, что за два часа навайбкодил свой собственный YouTube — нашлись люди, которые принялись над этим шутить:
«Очередной вайбкодер собрал свой YouTube за два часа? Ха-Ха! Сделать сайт с кадрами из видео и встроенным плеером — не значит создать аналог платформы с миллиардной аудиторией, рекомендательными алгоритмами и огромной инфраструктурой»
И формально они правы. Карпати действительно не создавал новый YouTube. Но большинство упустило главное: Карпати вскрыл огромную проблему ютуба, когда ваша лента меняется до неузнаваемости после просмотра нескольких роликов. И на своем примере показал, как любой из нас теперь может построить собственную систему рекомендаций поверх существующей платформы и использовать это для своих задач, бизнеса или комьюнити.
Вдохновившись я создала TheBold Hub — систему видеорекомендаций для фаундеров и it-энтузиастов. Система собирает англоязычные видео с YouTube, отбирает и классифицирует их с помощью AI, формирует персональную ленту и позволяет обсуждать ролики внутри профессионального сообщества.
В этом материале я расскажу какой стек инструментов использовала, хитрости и подводные камни и, конечно, сколько стоит обслуживание такой системы.
TheBold Hub — скриншот главной страницы
Что на самом деле сделал Андрей Карпати
Началось все с того, что Андрей Карпати сел посмотреть что-нибудь интерсное и полезное на YouTube. Но вместо интересных видео про технологии, главная страница оказалась заполнена однотипными роликами и кликбейтными обложками.
В этот момент он и решил сделать альтернативную систему рекомендаций.
В качестве источника использовал Hacker News — сообщество разработчиков, предпринимателей и технологических энтузиастов. Карпати взял архив из 43 миллионов комментариев, опубликованных почти за 20 лет, и с помощью Claude нашел примерно 40 тысяч комментариев, в которых пользователи рекомендовали друг другу видео. Из них получился каталог из 6454 роликов по 150 темам. Так появился HackerTube.
При этом видео по-прежнему воспроизводятся через YouTube. Карпати не создавал собственный видеохостинг, не хранит ролики на своих серверах и не разрабатывал отдельную систему потоковой передачи видео.
Он изменил то, как пользователь находит контент.
По словам Карпати, первая версия заняла у него около двух часов. Подробнее он описал процесс в своем блоге.
Пост Карпати в Х
Мне кажется, главный результат этого эксперимента не в том, что теперь можно быстро написать интерфейс видеокаталога.
Гораздо интереснее сама возможность использовать инфраструктуру крупной платформы, но самостоятельно определять, какой контент показывать пользователям.
Почему мне перестали подходить рекомендации YouTube
Я много смотрю на YouTube контента о стартапах, предпринимательстве, технологиях, венчурных инвестициях, маркетинге и growth hacking.
Это интервью с фаундерами, выступления инвесторов, разборы бизнес-моделей, лекции по продуктовой разработке и материалы с технологических конференций. Но YouTube для меня не только рабочий инструмент. Иногда я просто хочу отдохнуть и посмотреть что-нибудь развлекательное. Иногда — совершенно бессмысленное. Иногда — guilty pleasure, которым не особенно хочется делиться с окружающими.
Стоит провести несколько вечеров за таким контентом, как главная страница YouTube заметно меняется. Вчера мне предлагали интервью с фаундерами, сегодня — распаковки сумок Birkin. И алгоритм вроде бы ведет себя логично: учитывает мои последние просмотры и пытается угадать, что мне захочется посмотреть следующим.
Но профессиональные интересы у меня никуда не исчезли. Я по-прежнему хочу знать, какие новые интервью вышли у интересных мне предпринимателей и что прямо сейчас обсуждают инвесторы. Просто теперь приходится открывать отдельные каналы, проверять подписки или специально искать нужные видео. В какой-то момент мне захотелось разделить эти сценарии.
Пусть YouTube продолжает развлекать меня своими рекомендациями. Но для профессиональных задач я хочу отдельное пространство, где контент отбирается по интересам, связанным со стартапами.
Причем не просто список ссылок, а полноценную платформу: с собственными рекомендациями, возможностью сохранять видео, продолжать просмотр и обсуждать материалы с людьми из того же сообщества.
Как устроен TheBold Hub
По сути TheBold Hub — это система рекомендаций для стартап-комьюнити: фаундеров, инвесторов, специалистов технологических компаний и людей, которые интересуются развитием стартапов.
Главный принцип — использовать YouTube как источник контента, но самостоятельно управлять его отбором, классификацией и рекомендациями.
Пайплайн работает как фоновый процесс на сервере, отдельно от сайта, и состоит из нескольких этапов:
-
Сбор. Новые ролики приходят из трех источников: отобранных YouTube-каналов, Hacker News и поиска YouTube.
-
Жесткие фильтры. Дешевые проверки кодом отсекают очевидно неподходящее до любого обращения к AI.
-
Решение модели. Decision-модель отвечает на набор вопросов о ролике, а правило в коде превращает ее ответы в одно из трех решений: опубликовать, отклонить или отправить человеку.
-
Ранжирование. Опубликованные видео сортируются по формуле: популярность, вовлеченность, обсуждение на Hacker News, качество и свежесть.
-
Персонализация. Лента подстраивается под действия конкретного зрителя.
TheBold Hub: пример видео в категории Applied AI
Шаг 1. Собрала источники: каналы, Hacker News и поиск
Основа — база проверенных YouTube-каналов. Стартовый список, который я собрала вручную, — окло 200 каналов: акселераторы, венчурные фонды, технологические конференции, предприниматели, авторы профессиональных интервью и образовательные проекты.
Сам подбор источников занял больше времени, чем первоначальная разработка приложения.
Найти качественный канал — не то же самое, что найти канал со словом startup в названии. Нужно понять, насколько интересны его материалы, кто их авторы и насколько регулярно там появляется полезный контент.
Но даже качественные каналы не всегда публикуют только то, что подходит аудитории TheBold Hub. Для таких каналов я ставлю в админке отметку «проверять каждое видео строже»: ролик с такого канала публикуется автоматически, только если модель уверена в его релевантности хотя бы на 90%, а не на обычные 80%.
Кроме каталога заранее одобренных каналов, я, как и Карпати, использую Hacker News. Система раз в час забирает новые посты HN со ссылками на YouTube, а историю за прошлые годы можно догрузить отдельным запуском. Количество авторов, упомянувших ролик, очки и число комментариев в обсуждении потом участвуют в ранжировании.
Но здесь мой опыт разошелся с подходом Карпати. Ссылки из комментариев HN я в итоге отключила как самостоятельный
Источник: habr.com