Дайджест по промпт-инжинирингу. Январь-Февраль 2025 (Александр Сухов)

Премиум-доступ к результатам исследования Nova sapiens за язварь, февраль 2025 г. Бэкстейдж. Сначала я собрал 4000 исследований с помощью Python-скрипта, который полностью написал GPT. Затем тем же способом сделал инструмент для извлечения текста из PDF. После этого подключил API Claude для первичной оценки релевантности каждого исследования от 1 до 100, и таким образом осталось 1200 лучших работ. Эти 1200 документов начал саммаризировать через API Claude, попросив нейросеть выделить суть и привести практические примеры. Когда начал изучать результаты, сразу понял, что промт получился неудачным: в выдаче оказалось много нерелевантных исследований. Несколько дней экспериментировал с формулировками промтов, читая материалы и постепенно дорабатывая подход. Сжег много денег по API на тесты и повторные тесты. В итоге удалось добиться качественного отбора: получил исследования с ценными практическими техниками, которые можно применять сразу, без сложной технической инфраструктуры или дообучения моделей. Затем сформировал таблицу с описанием подходов и сделал PDF с краткими выводами. Но этот PDF показался мне перегруженным: информации много, а системности не хватает. Чтобы исправить это, решил использовать RAG, ведь его упоминал практически каждый второй исследователь как мощный инструмент для работы со сложными данными. Я загрузил 300 самых полезных саммари в векторную базу и на её основе начал формировать полноценные статьи с помощью Claude Sonnet 3.7. Именно здесь произошёл прорыв: статьи получились глубокими, структурированными и очень практичными. Комплексные данные из векторной базы позволили создавать отчеты по исследованиям с человеческим языком и высоким уровнем экспертности. Из более чем 70 таких статей я собрал тематическую структуру, разбил её по меню и получил что то типа локального сайта, который можно скачать архивом и юзать. Для автоматизации работы с векторной базой использовал n8n. Для широкого доступа создал Telegram-бота на основе GPT-4.1 mini, который отвечает на вопросы по конкретным исследованиям и методам из базы. Чтобы избежать абуза, ограничил доступ до 20 запросов в день для одного пользователя. ————- В данный момент собираю данные за весь 2024 и частично за 2023 год (в 23м было найдено исследователями много интересных техник), также собираю еще самый свежак за март и апрель. Хочу построить умного бота, который знает все мощные и доказанные техники по практическому промтингу. Еще будет полноценный webсайт для Ru и на весь мир, проект уже дописывается. Что входит в комплект полного доступа: Полная книга с кратким изложением 293 самых ценных исследований по промпт-инжинирингу (январь-февраль 2025). 293 отдельных PDF-отчёта по каждому исследованию (для детального изучения). 73 статьи в формате HTML (а также PDF и Markdown), подготовленные по этим же исследованиям для удобного чтения. Исходные документы всех 293 исследований в полном виде + удобная таблица для навигации и быстрого поиска нужной информации.