Створюйте метатеги, правила robots.txt та XML-мапу сайту.
Пошук MIME-типів і локальна перевірка заголовків.
Створюйте синтетичні записи за схемою полів.