InsightRed | Mehmet Yilmaz

حول

InsightRed هي أداة مدعومة بـ LLM متقنة لاستخراج أحدث تعليقات Reddit من المجتمعات الفرعية، مرتبة حسب “Hot”، وتحديد المستخدمين الذين يظهرون اهتمامًا محتملًا بمشروعك أو منتجك. إنها أداة تسويق على Reddit لمساعدتك في الحصول على المستخدمين الأوليين لمنتجك/مشروعك. تم بناء هذا المشروع من أجل ANARCHY Hackathon أكتوبر 2023.

الإعلانات

October 19, 2023

كمتابعة لهذا المشروع، أنا متحمس للإعلان أننا فزنا بالمركز الأول في Hackathon أكتوبر 2023 الخاص بـ Anarchy!

انقر هنا لعرض الرسالة في وضع النص (تم التعديل بسبب تنسيق Discord)

@everyone **👑 HACKATHON 👑**

I'm very excited to announce the second anarchy hackathon's winners as follows:

🥇 "@Ben Zimmerman [T3CH3Y]", @Mehmet, and "@Ananya Aithal"'s InsightRed! https://www.youtube.com/watch?v=xhKwnKxmg5k

🥈 @partho and @Karan's  DistillClassifier https://www.loom.com/share/d7e7c8e12dd14bcabdf41051433901a1?sid=900cb491-8117-4530-a131-d87eeca1ca6f

Really **AMAZING WORK EVERYBODY** @MathYouF and I were super impressed by all the submissions.

Special mentions go out to:

1. @B3LOL, @alastine , and @AndrewKamau 's WiE: https://youtu.be/V8gqCvgRcpk
2. "@Mert Bozkir | mertbozkir"'s Doc-String-Ify: https://www.loom.com/share/274565d0ddec417783e739ee728654d3?sid=6bb1b07a-f06a-4ec3-82c6-1d7ba6eae0d3

The feedback we got from these projects has been super valuable and we're going to work on fixing every bit 🦜

We're going to reach out to the teams individually for prizes. Additionally, we think these were incredible enough that we'd like to spend the next few weeks working on showcasing these incredible projects.

عرض توضيحي

مكونات InsightRed

🧩 المجمع

المجمع يجمع أحدث المشاركات على Reddit وتعليقات تلك المشاركات، لعدد معين من المجتمعات الفرعية، باستخدام Reddit’s API. بعد الجمع، يقوم المجمع بحفظ البيانات المجمعة في قاعدة بيانات SQLite محلية. يتم تسهيل ذلك باستخدام حزمة بايثون praw للمساعدة في استخدام Reddit API وSQLAlchemy لإجراء عمليات CRUD في قاعدة بيانات SQLite المحلية.

🧩 المُتجه

المُتجه يتحقق من قاعدة بيانات SQLite المحلية لمعرفة أي تعليقات لم تُحفظ بعد في قاعدة بيانات المتجهات. بعد الحصول على قائمة التعليقات، ينشئ تمثيلًا مدمجًا للمنشور+التعليق باستخدام نموذج OpenAI “text-embedding-ada-002”. يُستخدم هذا التمثيل كمؤشر في قاعدة بيانات المتجهات وبعض البيانات الوصفية، على شكل JSON، تُنشأ أيضًا. ثم يُرفع المؤشر والبيانات الوصفية إلى قاعدة بيانات المتجهات، والتي في هذه الحالة هي Pinecone (سحابية). بعد الرفع، تُحدَّث قاعدة بيانات SQLite المحلية لتجنب إعادة رفع نفس البيانات إلى Pinecone. يتم كل ذلك باستخدام عميل بايثون الخاص بـ Pinecone (pinecone-client) لإجراء خيارات CRUD على قاعدة بيانات المتجهات وLangChain لمعالجة عملية التمثيل المدمج.

🧩 الواجهة

الواجهة هي ما يستخدمه المستخدم للتفاعل مع الأداة. في هذه الحالة، الواجهة هي سطر أوامر (CLI). تحتوي الواجهة على تنفيذ لـ Retrieval-Augmented-Generation (RAG). حيث يقدم المستخدم وصفًا لمنتجه، وقائمة بالمجتمعات الفرعية للتحقق منها، بالإضافة إلى بعض الفلاتر. بناءً على هذا السياق، يتم استدعاء المجمع ثم المُتجه. بعد انتهاء هاتين الخدمتين من المعالجة، يُستخدم وصف المنتج المدخل لإجراء بحث مماثل في قاعدة بيانات المتجهات. تُغذَّى النتائج العليا ووصف المنتج في قالب مطالبة يُنشئ المطالبة النهائية. تُرسل المطالبة النهائية بعد ذلك إلى نموذج GPT-4 الخاص بـ OpenAI وتُعرض النتائج النهائية على المستخدم. ستكون هذه النتائج قائمة بجميع تعليقات Reddit التي تشير بقوة إلى أن مستخدمي Reddit قد يكونون مهتمين بالمنتج المقدم، بناءً على وصفه. يعمل هذا المكوّن باستخدام تعليقات المجمع والمُتجه، وكذلك باستخدام LLM-VM الخاص بـ Anarchy لمعالجة استعلام نموذج GPT-4 الخاص بـ OpenAI.

أعضاء الفريق

الاعتمادات الخارجية البارزة

casta (Hacker News)

توفير الإلهام لهذا المشروع من خلال منشور HN الخاص بهم. نظرًا لأن حلهم لم يكن مفتوح المصدر، دفعتني الرغبة لإنشاء نسخة مفتوحة المصدر (هذا المشروع).

ChatGPT (GPT-4)

كان مفيدًا جدًا في التطوير من خلال تسريع دورة التطوير. كما أنه أنشأ شعار المشروع وصورة مصغرة على YouTube باستخدام نموذج DALL-E 3 الجديد من OpenAI.

James Briggs (YouTuber)

شرح فيديو جيمس كيفية استخدام Reddit API وكذلك كيفية تنفيذ خط أنابيب RAG أساسي باستخدام بايثون.

حول