Masoko ya ABM na InsightRed

Kuhusu

InsightRed ni chombo kinachotumia LLM kwa Uuzaji Unaolenga Akaunti (ABM) ambacho huvua maoni ya hivi karibuni ya Reddit kutoka Subreddits, zinazopangwa kwa “Hot”, na kinataja watumiaji wanaoonyesha uwezekano wa kuvutiwa na mradi wako au bidhaa yako. Kinakusaidia kubaini na kulenga watumiaji wenye thamani kubwa kwenye Reddit ili kupata watumiaji wako wa awali kwa bidhaa/projekti yako. Mradi huu ulijengwa kwa ajili ya ANARCHY Oktoba 2023 Hackathon.

Matangazo

19 Oktoba, 2023

Kama mfululizo wa mradi huu, ninafuraha kutangaza kwamba tulishinda nafasi ya 1 katika Hackathon ya Anarchy ya Oktoba 2023!

Bonyeza hapa ili kuona ujumbe kwa hali ya MAANDISHI (imebadilishwa kutokana na muundo wa Discord)

@everyone **👑 HACKATHON 👑**

I'm very excited to announce the second anarchy hackathon's winners as follows:

🥇 "@Ben Zimmerman [T3CH3Y]", @Mehmet, and "@Ananya Aithal"'s InsightRed! https://www.youtube.com/watch?v=xhKwnKxmg5k

🥈 @partho and @Karan's  DistillClassifier https://www.loom.com/share/d7e7c8e12dd14bcabdf41051433901a1?sid=900cb491-8117-4530-a131-d87eeca1ca6f

Really **AMAZING WORK EVERYBODY** @MathYouF and I were super impressed by all the submissions.

Special mentions go out to:

1. @B3LOL, @alastine , and @AndrewKamau 's WiE: https://youtu.be/V8gqCvgRcpk
2. "@Mert Bozkir | mertbozkir"'s Doc-String-Ify: https://www.loom.com/share/274565d0ddec417783e739ee728654d3?sid=6bb1b07a-f06a-4ec3-82c6-1d7ba6eae0d3

The feedback we got from these projects has been super valuable and we're going to work on fixing every bit 🦜

We're going to reach out to the teams individually for prizes. Additionally, we think these were incredible enough that we'd like to spend the next few weeks working on showcasing these incredible projects.

Onyesho

Vipengele vya InsightRed

🧩 Mkusanyaji

Mkusanyaji hukusanya machapisho ya hivi karibuni ya Reddit na maoni ya chapisho hilo, kwa Subreddits zilizotolewa, kwa kutumia Reddit’s API. Baada ya kukusanya, mkusanyaji huhifadhi data iliyokusanywa katika hifadhidata ya SQLite ya eneo. Hii inafanya iwe rahisi kwa kutumia kifurushi cha python praw kusaidia kutumia Reddit API na SQLAlchemy kwa kufanya shughuli za CRUD katika hifadhidata ya SQLite ya eneo.

🧩 Mwekaji Vektori

Mwekaji Vektori huangalia hifadhidata ya SQLite ya eneo kuona maoni gani ambayo hayajahifadhiwa katika hifadhidata ya vekta. Baada ya kupata orodha ya maoni, huunda embedding ya chapisho+maoni kwa kutumia modeli ya OpenAI “text-embedding-ada-002”. Embedding hii inatumiwa kama Mwindaji (Index) katika hifadhidata ya vekta na baadhi ya metadata, kwa njia ya JSON, pia huundwa. Mwindaji na metadata kisha hupakiwa katika hifadhidata ya vekta, ambayo katika kesi hii ni Pinecone (iliyoko kwenye wingu). Baada ya kupakiwa, hifadhidata ya SQLite ya eneo inasasishwa ili kuepuka kupakia tena data ileile kwa Pinecone. Hili zote hufanywa kwa kutumia mteja wa python wa Pinecone (pinecone-client) kwa kufanya chaguzi za CRUD kwenye hifadhidata ya vekta na LangChain kwa kushughulikia mchakato wa kuunda embedding.

🧩 Kiolesura

Kiolesura ndicho kinachotumiwa na mtumiaji kuingiliana na chombo. Katika kesi hii, kiolesura ni CLI. Kiolesura kina utekelezaji wa Retrieval-Augmented-Generation (RAG). Ambapo mtumiaji hutoa maelezo ya bidhaa yao, orodha ya Subreddits za kuchunguza, pamoja na baadhi ya vichujio. Kutokana na muktadha huu, Mkusanyaji anaitwa kisha Mwekaji Vektori anaitwa. Baada ya huduma hizo mbili kumaliza kuchakata, maelezo ya bidhaa yaliyowasilishwa yanatumiwa kufanya utafutaji fananishwa katika hifadhidata ya vekta. Matokeo ya juu na maelezo ya bidhaa kisha huingizwa katika kiolezo cha prompt kinachounda prompt ya mwisho. Prompt ya mwisho kisha hutumwa kwa modeli ya GPT-4 ya OpenAI na matokeo ya mwisho kisha yanaonyeshwa kwa mtumiaji. Matokeo haya yatakuwa orodha ya maoni yote ya Reddit yanayoonyesha kwa nguvu kwamba mtumiaji(wa) wa Reddit angeweza kupendezwa na bidhaa iliyotolewa, kwa msingi wa maelezo yake. Kipengele hiki kinafanya kazi kwa kutumia maoni ya Mkusanyaji na Mwekaji Vektori, pamoja na, kwa kutumia LLM-VM ya Anarchy kushughulikia kufuatilia modeli ya GPT-4 ya OpenAI.

Wajumbe wa Timu

Mikopo Muhimu ya Nje

casta (Hacker News)

Waliotoa msukumo kwa mradi huu kupitia chapisho lao la HN. Kwa kuwa suluhisho lao halikuwa wazi (open-source), nilihamasika kuunda toleo la open-source (mradi huu).

ChatGPT (GPT-4)

Ilisaidia sana katika maendeleo kwa kuharakisha mzunguko wa maendeleo. Na ilizalisha nembo ya mradi na thumbnail ya YouTube kwa kutumia modeli mpya ya DALL-E 3 ya OpenAI.

James Briggs (YouTuber)

Video ya James ilielezea kwa undani jinsi ya kutumia API ya Reddit pamoja na jinsi ya kutekeleza pipeline ya msingi ya RAG kwa kutumia Python.