Marketing ABM z InsightRed

Repozytorium GitHub projektu

O projekcie

InsightRed to narzędzie do marketingu opartego na kontach (ABM), zasilane przez LLM, które استخراج najnowsze komentarze z Reddita z Subredditów, posortowane według „Hot”, i wskazuje użytkowników wykazujących potencjalne zainteresowanie Twoim projektem lub produktem. Pomaga identyfikować i kierować do użytkowników o wysokiej wartości na Reddicie, aby zdobyć pierwszych użytkowników dla Twojego produktu/projektu. Projekt został zbudowany na ANARCHY October 2023 Hackathon.

Ogłoszenie(a)

19 października 2023

Jako kontynuację tego projektu z radością ogłaszam, że zajęliśmy 1. miejsce na październikowym hackathonie Anarchy 2023!

Kliknij tutaj, aby wyświetlić wiadomość w trybie TEKSTOWYM (zmodyfikowano z powodu formatowania Discorda)
@everyone **👑 HACKATHON 👑**

Jestem bardzo podekscytowany, mogąc ogłosić zwycięzców drugiego hackathonu anarchy w następujący sposób:

🥇 „@Ben Zimmerman [T3CH3Y]”, @Mehmet oraz „@Ananya Aithal”'s InsightRed! https://www.youtube.com/watch?v=xhKwnKxmg5k

🥈 @partho i @Karan's DistillClassifier https://www.loom.com/share/d7e7c8e12dd14bcabdf41051433901a1?sid=900cb491-8117-4530-a131-d87eeca1ca6f

Naprawdę **NIESAMOWITA PRACA WSZYSCY** @MathYouF i ja byliśmy pod ogromnym wrażeniem wszystkich zgłoszeń.

Wyróżnienia trafiają do:

1. @B3LOL, @alastine oraz @AndrewKamau 's WiE: https://youtu.be/V8gqCvgRcpk
2. „@Mert Bozkir | mertbozkir”'s Doc-String-Ify: https://www.loom.com/share/274565d0ddec417783e739ee728654d3?sid=6bb1b07a-f06a-4ec3-82c6-1d7ba6eae0d3

Opinie, które otrzymaliśmy od tych projektów, były niezwykle wartościowe i zamierzamy pracować nad poprawą każdego elementu 🦜

Skontaktujemy się z zespołami indywidualnie w sprawie nagród. Dodatkowo uważamy, że były one na tyle niesamowite, iż chcielibyśmy spędzić najbliższe kilka tygodni na pokazywaniu tych niezwykłych projektów.

Demo

Komponenty InsightRed

🧩 Kolektor

Kolektor zbiera najnowsze posty z Reddita oraz komentarze do danego posta dla wybranych Subredditów, korzystając z API Reddita. Po zebraniu danych kolektor zapisuje je do lokalnej bazy danych SQLite. Ułatwia to użycie pakietu Pythona praw do pracy z API Reddita oraz SQLAlchemy do wykonywania operacji CRUD w lokalnej bazie danych SQLite.

🧩 Wektoryzator

Wektoryzator sprawdza lokalną bazę danych SQLite, aby zobaczyć, które komentarze nie zostały zapisane w bazie wektorowej. Po pobraniu listy komentarzy tworzy embedding posta+komentarza przy użyciu modelu OpenAI „text-embedding-ada-002”. Ten embedding jest używany jako indeks w bazie wektorowej, a także tworzona jest pewna metadana w formie JSON. Następnie indeks i metadane są przesyłane do bazy wektorowej, którą w tym przypadku jest Pinecone (oparta na chmurze). Po przesłaniu lokalna baza danych SQLite jest aktualizowana, aby uniknąć ponownego wysyłania tych samych danych do Pinecone. Wszystko to odbywa się z użyciem klienta Pythona Pinecone (pinecone-client) do wykonywania operacji CRUD na bazie wektorowej oraz LangChain do obsługi procesu tworzenia embeddingu.

🧩 Interfejs

Interfejs jest tym, czego używa użytkownik do interakcji z narzędziem. W tym przypadku interfejsem jest CLI. Interfejs ma implementację Retrieval-Augmented-Generation (RAG). Użytkownik podaje opis swojego produktu, listę Subredditów do sprawdzenia, a także pewne filtry. Biorąc ten kontekst, wywoływany jest Kolektor, a następnie Wektoryzator. Po zakończeniu przetwarzania przez te dwa serwisy, podany opis produktu jest używany do wykonania podobnego wyszukiwania w bazie wektorowej. Najlepsze wyniki oraz opis produktu są następnie przekazywane do szablonu promptu, który tworzy ostateczny prompt. Ostateczny prompt jest następnie wysyłany do modelu GPT-4 firmy OpenAI, a końcowe wyniki są prezentowane użytkownikowi. Wyniki te będą listą wszystkich komentarzy z Reddita, które silnie sugerują, że użytkownik lub użytkownicy Reddita byliby zainteresowani podanym produktem, na podstawie jego opisu. Ten komponent działa przy użyciu komentarzy Kolektora i Wektoryzatora, a także dzięki wykorzystaniu LLM-VM firmy Anarchy do obsługi zapytań do modelu GPT-4 OpenAI.

Członkowie zespołu

Wyróżnione zewnętrzne zasługi

casta (Hacker News)

Dostarczył inspiracji do tego projektu poprzez swój wpis HN. Ponieważ jego rozwiązanie nie było open-source, zmotywowało mnie to do stworzenia wersji open-source (tego projektu).

ChatGPT (GPT-4)

Był bardzo pomocny w rozwoju, naprawdę przyspieszając cykl tworzenia. Wygenerował też logo projektu i miniaturę YouTube przy użyciu nowego modelu DALL-E 3 od OpenAI.

James Briggs (YouTuber)

Film Jamesa naprawdę wyjaśnił, jak korzystać z API Reddita, a także jak zaimplementować podstawowy pipeline RAG przy użyciu Pythona.

Źródła