YouTube OSINT. Как искать информацию

Механика поиска

Чтобы научиться использовать поиск YouTube более эффективно, чем обычный пользователь, сначала необходимо разобраться в его устройстве и принципах работы.

Понимание механизма, лежащего в основе поиска, не только логично, но и значительно повышает скорость и точность получения результатов.

При этом важно рассматривать два основных аспекта: процесс индексации информации на YouTube и способ обработки поисковых запросов пользователей.

---

Как YouTube индексирует видео

Для начала, как работает индексация. Проще всего сравнить этот процесс с библиотечным каталогом. В котором информация о книгах, рассортирована в зависимости от темы, автора, годов и так далее.

Ну и конечно же там отмечено, где именно, на каких полках и местах эти книги лежат.

Тут работает приблизительно так же. Когда кто-нибудь, загружает видео, YouTube анализирует это видео, выбирает определённый набор ключевых данных, которые будут характеризовать это видео.

И записывает их себе в базу данных, помечая что эти данные соответствуют такому-то видео.

Именно по этой базе данных и происходит поиск когда мы что-то ищем через поисковик. И по количеству параметров подходящих под поисковый запрос, определяется релевантность видео, а соответственно и его позиция в поисковой выдаче.

Ну, а значит начать нужно, с понимания какую именно информацию YouTube собирает в процессе индексации:

• Заголовок видео. Это один из самых важных параметров. По ключевым словам в заголовке YouTube определяет главную тему видео. Это понимает не только Ютуб, но и все, или почти все, авторы каналов. Которые пытаются придумывать название видео так, что бы оно содержало максимум ключевых слов. А вот что знают не все авторы, так что YouTube не оценивает смысловую нагрузку названия, потому как он не индексирует предлоги и не учитывает падежи.
  
  
• Описание видео. Это второй по важности параметр при индексации видео. YouTube подразумевает что в описании автор кратко пересказывает содержание самого видео. И, исходя из этого понимания, он анализирует описание, и также выбирает там ключевые слова и фразы.
  
  
• Тэги видео. На сколько теги важны для продвижения видео, и сколько их должно быть это вечный спор всех СЕОшников. Единственное в чём они единогласный, это в том что теги точно должны быть. Потому как они задуманы именно как перечисление ключевых слов, отражающих тему видео. Но, по той причине, что автор видео, манипулируя, может вписать туда всё что угодно, теги имеют меньший вес чем заголовок и описание. Кроме тех случаев когда ключевые слова из тегов совпадают с описанием, заголовком и текстов субтитров.
  
  
• Субтитры. Если автор видео не загрузил субтитры, то YouTube сам их сгенерирует. Ну и в любом из этих случаев YouTube субтитры проиндексирует. Он по ним ещё и определяет ключевые темы в видео, даже если их нет в описании и названии. Не очень понятно на сколько сильно это влияет на ранжирование видео и на его место в поисковой выдаче, но это явно имеет какое-то значение, потому помнить об этом нужно.
  
  
• Название канала. Название канала, загрузившего видео, индексируется вместе с самим видео. Именно поэтому в поисковый запрос, кроме темы видео, можно смело добавлять название канала. Если оно известно, конечно.
  
  
• Активность зрителей. Под активностью подразумевается количество просмотров, лайков, комментариев, репостов, а также удержание т.е. продолжительность просмотра. Эти значения также влияют на позицию видео в поисковой выдаче. Видео с высокой активностью YouTube считает более качественным, а значит релевантным. Соответственно их позиция в поиске будет выше и найти их будет легче. Текст комментариев, кстати, тоже индексируется. Вряд ли это может сильно отражаться на поисковой выдаче, но в общей массе параметров это стоит учитывать.

---

Как YouTube обрабатывает поисковый запрос

Теперь рассмотрим непосредственно механику поиска. Что именно делает YouTube когда мы что-то вписываем в поле поиска. Этот процесс условно можно разделить на этапы

Первый этап это обработка самого запроса для выделения ключевых слов, работает это так:

1. Первоначально поисковый запрос разбивается на отдельные слова. Также происходит определение наличия в запросе поисковых операторов. И если они есть, они распознаются как команды для модификации поиска.
   
   
2. Из запроса удаляются слова не несущие смысловой нагрузки. В зависимости от языка это могут буть всякие предлоги или артикли или ещё что-то такое. Ну и естественно YouTube понимает на каком языке введен запрос, соответственно все манипуляции происходят с учётом языка запроса. Кроме того Ютуб умеет в синонимы, поэтому если он не найдёт достойные совпадения по ключевым словам, он будет искать что-то похожее.
   
   
3. Далее слова из запроса приводятся к своей базовой форме. Это не особо важный для нас момент, но что бы было понимание, базовая форма для существительных это именительный падеж, единственное число. Например для слова «блогеров» базовая форма — «блогер». А в случае с глаголами это инфинитивная форма, т.е. для «искали» это «искать».
   
   
4. Также YouTube проверяет орфографию и если в запросе есть ошибки или опечатки он попробует их исправить.

Второй этап это определение желания пользователя. Т.е. YouTube пытается понять с какой целью ты вводишь свой запрос, это может быть:

1. Информационный запрос. Т.е. тебе нужна информация по теме, а не какое-то конкретное видео. Например: «как собрать ядреный реактор в домашних условиях» — это информационный запрос, подразумевающий что нам нужно увидеть процесс.
   
   
2. Навигационный запрос. Это поиск какого-то конкретного видео или канала. Или конкретного видео с указанного канала. Например: «видео про осинт в телеграм» это навигационный запрос, потому как указано какое именно видео какого автора мы хотим найти.
   
   
3. Транзакционный запрос. Здесь подразумевается что мы хотим увидеть определенный тип контента. Например запрос «смешные котики» будет транзакционным т.к. мы высказываем намерение смотреть котиков и это должно быть весело. Соответственно все остальные параметры нам не особо важны.

Третий этап это обращение к индексированным данным. На этом этапе YouTube, имея обработанный запрос пользователя сопоставляет его с данными в индексе, и ищет видео, каналы и плейлисты которые содержат в своих метаданных нужные ключевые слова.

Если в запросе были использованы поисковые операторы, ты они используются именно на этом этапе, сужая или расширяя круг поиска.

Четвёртый этап это оценка и ранжирование результатов. Найдя все результаты, подходящие под запрос пользователя, YouTube оценивает каждый на предмет релевантности и качества.

Кроме того к этим результатам применяются всякие дополнительные фильтры. Например на предмет соответствия правилам YouTube. Если видео не соответствует, то какое бы оно классное не было, его может вообще не быть в результатах поиска, либо его рейтинг будет занижен.

Ещё один фильтр, который может сильно повлиять на результаты, это персонализация поиска. Надо помнить, что YouTube учитывает историю просмотров и историю прошлых поисков, и это может влиять на результаты текущего поиска.

После выполнения всех этих этапов и учёта всех данных и параметров, список с результатами будет показан пользователю.

---

Поисковые фильтры YouTube

Если ты собрался что-то искать в YouTube, то перед тем как усложнять себе жизнь использованием поисковых операторов или каких-то сторонних инструментов, вспомни что там в поиске есть встроенные поисковые фильтры.

Этих фильтров в некоторых ситуациях достаточно, что бы сузить результаты поиска до каких-то приемлемых количеств. Тут есть 4 параметра по которым можно отфильтровать результаты.

По дате загрузки, по типу контента (видео, канал, плейлист), по продолжительности и наличии дополнительных функций, типа геотегов или субтитров. А также, отдельно можно выбрать тип сортировки результатов: по дате загрузки, по числу просмотров и по рейтингу.

Кроме того, нужно помнить, что все эти значения из фильтров мы можем вписывать в поле поиска, они тоже будут операторами поиска. Например если написать в поиске:Нам найдёт шортсы на тему осинта, опубликованные на этой неделе.

---

Поисковые операторы. YouTube dorks

Для повышения точности поиска YouTube поддерживает использование специальных операторов, схожих с теми, что применяются в Google

Кавычки «_»

Кавычки это поиск точного совпадения. Принцип использования приблизительно тот же, что и в Google. Т.е. если мы знаем точное название того, что мы ищем, берем это в кавычки и оно ищет нам именно это название.

Логика максимально понятная, но есть небольшие нюансы про которые нужно помнить:

Если мы взяли в кавычки не весь запрос, а только его часть, например какое-то отдельное слово или фразу.
То, помимо того, что он будет искать точное совпадение, кавычки ещё и повышают приоритет т.е. то что в кавычках становится обязательным для отображения в результатах и оно по любому будет в поисковой выдаче.

Если Google, при использовании кавычек ищет реально точное совпадения, причем в точности до символа, то YouTube, даже с кавычками, иногда немножко использует синонимы или склонения.

Кроме того если есть очень популярное видео, не полностью подходящие под наш запрос, но с похожим названием, его тоже может показать вверху списка.

Плюс + и минус —

Это операторы, позволяющие уточнить ключевые слова запроса. Плюс указывает то, что обязательно должно быть в результатах.

Например если мы в общем понимаем тему по которой ищем информацию, и при этом, например, знаем ещё и какое-то ключевое слово, которое точно отражает суть нужной информации, позволяя сузить результаты, то это слово мы будем добавлять в запрос используя знак плюс.

Минус, соответственно работает наоборот. Если что-то нам точно не нужно, ставим перед ним минус. В таком случае все результаты, содержащие это слово, будут скрыты.

Прямой слэш |

| это логический оператор ИЛИ. Работает он в соответствии со своим названием т.е. если разделить им несколько запросов, то будут найдены результаты относящиеся или к одному из них или ко всем сразу.

Этот оператор, кстати, полезнее чем кажется на первый взгляд. Потому что может помочь охватить в запросе синонимы или какие-то связанные термины. И хоть YouTube и умеет подбирать синонимы, но не факт что он это сделает правильно. Потому, будет лучше если мы сами ему их укажем.

Звёздочка *

Тоже самое что и в поиске Google. Означает «любое значение» т.е. используем там где подразумевается что в запросе может быть какое-то слово, которого мы не знаем.

Знак доллара $ и две точки ..

Использование знака доллара позволяет найти видео в котором упоминается какая-то цена.

Если точную цену мы не знаем, то можно использовать оператор диапазона чисел (две точки), позволяющий искать любое значение в указанном диапазоне (его можно использовать не только для цен, а и для любых диапазонов)

intitle: allintitle: description:

Эти операторы указывают ютубу где именно необходимо искать

allintitle: оператор для точного поиска в названии видео. Он будет искать видео, название которого содержит все слова которые мы вписали после двоеточия.
Поэтому если мы точно знаем какую-то фразу которая будет в названии нужного нам видео, то лучше использовать именно это оператор, а не кавычки

intitle: тоже ищет по названию, но только то слово, которое указано после двоеточия.
Если в запросе будут содержащиеся какие-то ещё слова, они не будут обрабатываться этим оператором, а будут учитываться как обычный запрос.

description: ищет по описанию. Чтобы не оставлять ютубу пространство для самодеятельности т.к., именно в этом случае, он может показать очень приблизительные результаты, лучше использовать кавычки для поиска слов которые нам точно известны.
При этом, если контекст не очень понятен, эти слова лучше разделять звёздочками, на случай если они не идут одно за одним.

before: after:

Это операторы позволяющие искать по дате публикации. В поисковых фильтрах поиск по дате ограничен текущим годом, месяцем, неделей или днём и никаких других вариантов выбрать нельзя.

С учётом этого факта, если нужно искать видео за какой-то промежуток времени, то эти операторы становятся не заменимыми. Используя before: мы указываем до какой даты было загружено видео, а используя after: мы указываем после какой даты было загружено видео.
Например, в этом примеры мы дали команду искать видео опубликованные в 2021 году. Дату нужно указывать в формате ГОД-МЕСЯЦ-ДЕНЬ.

---

Поиск видео в Google

YouTube ранжирует видео в поисковой выдаче, оценивая его по определённому алгоритму. При этом некоторые видео могут вообще не появляться в результатах поиска или их позиции могут быть занижены алгоритмом ютуба.

А специфика OSINT в том, что частенько именно эти видео нам и нужны. Поэтому, если ты понимаешь, что ищешь видео, которое потенциально может содержать что-то такое, что может не нравится YouTube. То лучше искать такие видео в поиске Google. Например так:Небольшой нюанс. В этом примере я добавил inurl:watch чтобы найти именно видео т.к. URL любого видео содержит слово watch, а URL плейлиста или канала не содержит.

Кроме того нужно помнить что у Google есть расширенный поиск по видео:
https://www.google.com/advanced_video_search
Принцип работы тот же что и у обычного расширенного поиска. Вводим ключевые слова, выбираем дополнительные параметры, типа языка, даты, качества и ищем.

---

Дополнительные инструменты YouTube OSINT

Теперь разберем сторонние инструменты позволяющие получить дополнительный объём информации.

⨠ https://mattw.io/youtube-metadata


Это инструмента для изучения метаданных конкретного видео и канала в целом. Вставляем ссылку на видео и нам покажет его дату и время публикации, описание и теги которые ввёл автор.

К какой категории отнесено видео, его язык и идентификатор. Также мы увидим статистику с просмотрами, количеством лайков и комментариев. Ну и некоторые специфические характеристики, типа наличия рекламного контента, качества записи и геотегов. Отдельно можно скачать обложку.

А также будет ссылка на поиск изображения по обложке и по кадрам из видео. И ссылки на поиск в веб-архиве и в Google. В том числе и по идентификатору, это может быть полезно если видео уже не доступно.

Отдельным блоком будет доступна информация о канале. Его лого, обложка, описание теги, страна, а также идентификатор Google аналитики. Ну и ссылки на варианты поиска в архиве и поиска в Google по идентификаторам канала.

⨠ https://mattw.io/youtube-geofind/location

Поиск видео по локации. На карте указываем нужную точку, радиус поиска, добавляем фильтры, если они нужны, и нам покажет все видео с геотегами из этой местности. Видео будут видны на карте, а также в виде списка.

⨠ https://ytbcomments.com
Это ресурс для поиска и скачивания комментариев. Вводим ссылку на видео и получаем его комментарии. Основной плюс в том, что их можно скачать в виде таблицы.

⨠ https://filmot.com

Поиск по субтитрам. Вводим нужную фразу, если знаем точную формулировку которая использовалась, то берём её в кавычки. Также можно указать конкретные каналы на которых искать. Искать можно отдельно в субтитрах автоматически сгенерированных YouTube.

А можно в тех которые загрузил автор. В результатах мы увидим само видео, его название, автора и язык. А также фрагмент субтитров, где встречается наш запрос. Результаты можно дополнительно отфильтровать по категориям, языку, стране и дате публикации. Можно изменить порядок сортировки, например по самым новым или старым, или по просмотрам и лайкам.

Единственный момент, который нужно учитывать, это то, что этот ресурс не ищет непосредственно на самом YouTube, а самостоятельно собирает субтитры, потому некоторые видео могут попасть сюда с задержкой. А некоторых видео или целых каналов может просто не быть.

⨠ https://findyoutubevideo.thetechrobo.ca

Это ресурс для поиска удалённых видео. Вводим ссылку на удалённое видео и он попробует найти на других ресурсах само видео или информацию о нём. И если само видео далеко не всегда получается найти, то метаданные и субтитры находит довольно часто.

---

Итоги

Ну что ж. Мы разобрались как YouTube индексирует видео. Как работает его поиск, какие бывают поисковые операторы YouTube и как их использовать. Тебе теперь нужно только потренироваться применять всё это на практике.