Tiếp thị ABM với InsightRed

Giới thiệu

InsightRed là một công cụ Tiếp thị theo Tài khoản (ABM) dựa trên LLM, trích xuất các bình luận Reddit mới nhất từ các Subreddit, được sắp xếp theo “Hot”, và xác định những người dùng có khả năng quan tâm đến dự án hoặc sản phẩm của bạn. Nó giúp bạn nhận diện và nhắm mục tiêu những người dùng có giá trị cao trên Reddit để có được những người dùng ban đầu cho sản phẩm/dự án của bạn. Dự án này được xây dựng cho Hackathon ANARCHY tháng 10 năm 2023.

Thông báo

19 tháng 10, 2023

Là phần tiếp theo cho dự án này, tôi rất vui thông báo rằng chúng tôi đã giành giải Nhất tại Hackathon Anarchy tháng 10 năm 2023!

Nhấp vào đây để xem tin nhắn ở chế độ VĂN BẢN (đã chỉnh sửa do định dạng Discord)

@everyone **👑 HACKATHON 👑**

I'm very excited to announce the second anarchy hackathon's winners as follows:

🥇 "@Ben Zimmerman [T3CH3Y]", @Mehmet, and "@Ananya Aithal"'s InsightRed! https://www.youtube.com/watch?v=xhKwnKxmg5k

🥈 @partho and @Karan's  DistillClassifier https://www.loom.com/share/d7e7c8e12dd14bcabdf41051433901a1?sid=900cb491-8117-4530-a131-d87eeca1ca6f

Really **AMAZING WORK EVERYBODY** @MathYouF and I were super impressed by all the submissions.

Special mentions go out to:

1. @B3LOL, @alastine , and @AndrewKamau 's WiE: https://youtu.be/V8gqCvgRcpk
2. "@Mert Bozkir | mertbozkir"'s Doc-String-Ify: https://www.loom.com/share/274565d0ddec417783e739ee728654d3?sid=6bb1b07a-f06a-4ec3-82c6-1d7ba6eae0d3

The feedback we got from these projects has been super valuable and we're going to work on fixing every bit 🦜

We're going to reach out to the teams individually for prizes. Additionally, we think these were incredible enough that we'd like to spend the next few weeks working on showcasing these incredible projects.

Minh họa

Các thành phần của InsightRed

🧩 Bộ Thu Thập

Bộ Thu Thập thu thập các bài đăng Reddit mới nhất và các bình luận của bài đăng đó, cho một hoặc nhiều Subreddit nhất định, bằng cách sử dụng Reddit’s API. Sau khi thu thập, bộ thu thập lưu dữ liệu đã thu thập vào một cơ sở dữ liệu SQLite cục bộ. Việc này được thực hiện dễ dàng bằng cách sử dụng gói Python praw để hỗ trợ sử dụng Reddit API và SQLAlchemy để thực hiện các thao tác CRUD trong cơ sở dữ liệu SQLite cục bộ.

🧩 Bộ Vector hóa

Bộ Vector hóa kiểm tra cơ sở dữ liệu SQLite cục bộ để xem những bình luận nào chưa được lưu vào cơ sở dữ liệu vector. Sau khi có danh sách bình luận, nó tạo một embedding của bài đăng + bình luận bằng mô hình “text-embedding-ada-002” của OpenAI. Embedding này được sử dụng làm Chỉ mục trong cơ sở dữ liệu vector và một số siêu dữ liệu, dưới dạng JSON, cũng được tạo ra. Chỉ mục và siêu dữ liệu sau đó được tải lên cơ sở dữ liệu vector, trong trường hợp này là Pinecone (trên đám mây). Sau khi được tải lên, cơ sở dữ liệu SQLite cục bộ được cập nhật để tránh tải lại cùng dữ liệu lên Pinecone. Tất cả việc này được thực hiện bằng cách sử dụng client Python của Pinecone (pinecone-client) để thực hiện các thao tác CRUD với cơ sở dữ liệu vector và LangChain để xử lý quá trình embedding.

🧩 Giao diện

Giao diện là phần được người dùng sử dụng để tương tác với công cụ. Trong trường hợp này, giao diện là một CLI. Giao diện có một triển khai của Retrieval-Augmented-Generation (RAG). Người dùng cung cấp mô tả về sản phẩm của họ, một danh sách các Subreddit để kiểm tra, cũng như một số bộ lọc. Trong bối cảnh đó, Bộ Thu Thập được gọi rồi sau đó Bộ Vector hóa được gọi. Sau khi hai dịch vụ đó xử lý xong, mô tả sản phẩm đã nhập được sử dụng để thực hiện một truy vấn tương tự trong cơ sở dữ liệu vector. Các kết quả hàng đầu và mô tả sản phẩm sau đó được đưa vào một mẫu prompt để tạo prompt cuối cùng. Prompt cuối cùng sau đó được gửi đến mô hình GPT-4 của OpenAI và kết quả cuối cùng được trình bày cho người dùng. Những kết quả này sẽ là danh sách tất cả các bình luận Reddit rất gợi ý rằng người dùng Reddit có thể quan tâm đến sản phẩm được cung cấp, dựa trên mô tả của nó. Thành phần này hoạt động bằng cách sử dụng các bình luận từ Bộ Thu Thập và Bộ Vector hóa, cũng như bằng cách sử dụng LLM-VM của Anarchy để xử lý việc truy vấn mô hình GPT-4 của OpenAI.

Thành viên nhóm

Những đóng góp đáng chú ý từ bên ngoài

casta (Hacker News)

Đã cung cấp cảm hứng cho dự án này thông qua bài đăng HN của họ. Vì giải pháp của họ không phải là mã nguồn mở, tôi đã có động lực để tạo một phiên bản mã nguồn mở (dự án này).

ChatGPT (GPT-4)

Rất hữu ích trong quá trình phát triển bằng cách thực sự đẩy nhanh chu trình phát triển. Và nó đã tạo logo của dự án và hình thu nhỏ YouTube của dự án bằng mô hình DALL·E 3 mới của OpenAI.

James Briggs (YouTuber)

Video của James thực sự giải thích cách sử dụng Reddit API cũng như cách triển khai một pipeline RAG cơ bản bằng Python.