ABM Marketing з InsightRed
Про
InsightRed - це інструмент Маркетингу на основі облікових записів (ABM), що працює на основі LLM, який витягує останні коментарі Reddit з підреддітів, відсортованих за “Гарячі”, і визначає користувачів, які виявляють потенційний інтерес до вашого проекту або продукту. Це допомагає вам ідентифікувати та націлюватися на цінних користувачів на Reddit, щоб отримати ваших перших користувачів для вашого продукту/проекту. Цей проект був створений для ANARCHY жовтневого хакатону 2023 року.
Оголошення
19 жовтня 2023 року
У продовження цього проекту, я радий оголосити, що ми зайняли 1-е місце на жовтневому хакатоні Anarchy 2023 року!
Натисніть тут, щоб переглянути повідомлення в текстовому режимі (змінено через форматування Discord)
@everyone **👑 ХАКАТОН 👑**
Я дуже радий оголосити переможців другого хакатону Anarchy, які виглядають так:
🥇 "@Ben Zimmerman [T3CH3Y]", @Mehmet, та "@Ananya Aithal"'s InsightRed! https://www.youtube.com/watch?v=xhKwnKxmg5k
🥈 @partho та @Karan's DistillClassifier https://www.loom.com/share/d7e7c8e12dd14bcabdf41051433901a1?sid=900cb491-8117-4530-a131-d87eeca1ca6f
Дійсно **ДИВОВИЖНА РОБОТА ВСІХ** @MathYouF і я були дуже вражені всіма поданнями.
Особливі згадки:
1. @B3LOL, @alastine, та @AndrewKamau 's WiE: https://youtu.be/V8gqCvgRcpk
2. "@Mert Bozkir | mertbozkir"'s Doc-String-Ify: https://www.loom.com/share/274565d0ddec417783e739ee728654d3?sid=6bb1b07a-f06a-4ec3-82c6-1d7ba6eae0d3
Відгуки, які ми отримали від цих проектів, були дуже цінними, і ми будемо працювати над виправленням кожної деталі 🦜
Ми зв'яжемося з командами індивідуально для призів. Крім того, ми вважаємо, що ці проекти були настільки вражаючими, що хотіли б провести наступні кілька тижнів, працюючи над демонстрацією цих неймовірних проектів.
Демонстрація
Компоненти InsightRed
🧩 Збирач
Збирач збирає останні пости Reddit та коментарі до цих постів для даного підреддіту, використовуючи API Reddit. Після збору, збирач зберігає зібрані дані в локальну базу даних SQLite. Це спрощується за допомогою пакету python praw, який допомагає використовувати API Reddit, та SQLAlchemy для виконання CRUD операцій у локальній базі даних SQLite.
🧩 Векторизатор
Векторизатор перевіряє локальну базу даних SQLite, щоб дізнатися, які коментарі ще не були збережені у векторній базі даних. Після отримання списку коментарів, він створює вектор поста+коментаря, використовуючи модель OpenAI “text-embedding-ada-002”. Цей вектор використовується як індекс у векторній базі даних, а також створюється деяка метадані у формі JSON. Індекс та метадані потім завантажуються у векторну базу даних, якою в даному випадку є Pinecone (хмарна). Після завантаження, локальна база даних SQLite оновлюється, щоб уникнути повторного завантаження тих самих даних у Pinecone. Все це робиться за допомогою python-клієнта Pinecone (pinecone-client) для виконання CRUD операцій у векторній базі даних та LangChain для обробки процесу векторизації.
🧩 Інтерфейс
Інтерфейс - це те, що використовується користувачем для взаємодії з інструментом. У цьому випадку інтерфейс є CLI. Інтерфейс має реалізацію Підсиленого Витягання (RAG). Користувач надає опис свого продукту, список підреддітів для перевірки, а також деякі фільтри. З урахуванням цього контексту викликається Збирач, а потім Векторизатор. Після того, як ці два сервіси завершать обробку, введений опис продукту використовується для виконання подібного пошуку у векторній базі даних. Найкращі результати та опис продукту потім передаються в шаблон запиту, який створює фінальний запит. Фінальний запит потім надсилається до моделі GPT-4 OpenAI, а фінальні результати потім представляються користувачу. Ці результати будуть списком усіх коментарів Reddit, які вказують на те, що користувачі Reddit, ймовірно, зацікавлені в наданому продукті, на основі його опису. Цей компонент працює, використовуючи коментарі Збирача та Векторизатора, а також за допомогою LLM-VM Anarchy для обробки запитів до моделі GPT-4 OpenAI.
Члени команди
Помітні зовнішні кредити
casta (Hacker News)
Надали натхнення для цього проекту через їх HN пост. Оскільки їхнє рішення не було з відкритим кодом, я був мотивований створити версію з відкритим кодом (цей проект).
ChatGPT (GPT-4)
Був дуже корисним у розробці, дійсно прискоривши цикл розробки. І він створив логотип проекту та мініатюру YouTube, використовуючи нову модель DALL-E 3 від OpenAI.
James Briggs (YouTuber)
Відео Джеймса дійсно пояснило, як використовувати API Reddit, а також як реалізувати базовий RAG конвеєр, використовуючи Python.
Джерела
- Показати HN: Проект на День праці, знайти коментарі Reddit для просування вашого бізнесу
- Документи огляду індексації Pinecone
- YouTube: Чат-боти з RAG - Повний огляд LangChain
- Сторінка API OpenAI
- Документи швидкого старту Pinecone
- Reddit: Оновлені обмеження швидкості, які набирають чинності протягом наступних тижнів
- Сторінка додатків Reddit
- YouTube: Як використовувати API Reddit у Python
- Medium: Збирання даних Reddit за допомогою API Reddit
- GitHub Gist: API Reddit
- GitHub: praw
- ChatGPT - Веб-додаток