בניתי אפליקציית AI שמשתמשת ב-RAG ובואו נדבר על התהליך

זו לא עוד אפליקציה לעוסה ומאוסה: בניתי אפליקציית AI שמשתמשת ב-RAG ומבצעת את כל התהליך של Chunking, Embeddings, Indexing, Similarity Search כדי להציג למשתמש תובנות, המלצות מותאמות אישית וכדי לאפשר שיח עם סוכן AI! איך עשיתי את זה? ניסיתי כל כך הרבה שיטות, באמת המון. כלום לא עבד כמו שרציתי. בסוף מה שעבד זה שמרוב יאוש חשבתי וציירתי לעצמי בראש - ולאחר מכן גם בטאבלט - איזה פונקציונליות אני רוצה שתהיה באתר. ממש לפרטי פרטים, למשל: צ'אט AI, ואז אני יודע שבשביל זה אני צריך לבצע חיפוש קירבה, ובשביל חיפוש קירבה אני צריך לקחת את השאילתא שלי כמשתמש, להעביר אותה Embeddings, לתשאל את בסיס הנתונים הווקטורי שלי, ואני רוצה גם לדרג מחדש (Re Rank) את התשובה הסופית לפני שאני מציג אותה למשתמש. ואז רגע. זה אומר שאני צריך לבנות בסיס נתונים. אבל מה הוא יכיל? גם מידע על המשתמש, מידע רגיל לכל דבר. אבל! גם מידע שהוא לא Structured, שזה אומר מסמכים מכל הסוגים ואפילו קבצי אודיו ו-וידאו. אבל שניה, אם זה אודיו וגם וידאו, אז איך מקבלים תמלול? אז או שיש את זה כבר כשמתחברים ל-zoom ומקבלים גישה להקלטות, או שהחלטתי להשתמש בשירות api שאני אוהב לתמלול איכותי מאוד. כך אני בונה לעצמי את מאגר הידע. אבל! יש בעיה. אני לא רוצה לשלם הרבה, אני לא רוצה latency, אני רוצה מראש לתכנן פריסה (deployment) נכונה, אני רוצה לעבוד בתצורה שתתאים לסקייל בעתיד. איך אני עושה את זה? מפה לשם התחלתי לעשות לעצמי בראש ״הנדסה לאחור״ של כל מה שאני מדמיין לצד כל הידע הטכני שצברתי, תוך שאני ממש בונה לעצמי בראש את הסדר. מה אני רוצה, איך אני רוצה, מה צריך להיות טכנית, איזה סוג של בסיסי נתונים, איזה סוג של טכנולוגיות, ואחרי שכל זה היה לי בראש, וגם בציור מקושקש בטאבלט, החלטתי לעשות מעשה. כזכור, ניסיתי כל טכניקה אפשרית, בין אם זה לקחת צילומי מסך של אתרים זהים ולהשתמש ב-CopyCoder, או להתייעץ עם AI באשר הוא, או לתת פרומפט אחד ארוך או לשבור לכל מיני פרומפטים או לנסות כל מיני חבילות פיתוח. בסוף מה שעבד לי היה הרבה יותר פשוט ממה שחשבתי: הלכתי לקלוד. נשמתי עמוק. והתחלתי לכתוב את כל הפירוט הטכני שעלה לי לראש. ממש הכל. כל פרט ופרט. יצאו לי בערך 26 פסקאות די ארוכות. לבסוף ביקשתי מקלוד לפתח לי מוקאפ, MVP, והוא עשה את זה. ראיתי מיד שחסרים לי כמה דברים, אז הוספתי את זה לפרומפט העל שכתבתי. ביקשתי מקלוד לקבל פידבק, וכשהוא אישר ונתן את המלצתו, פניתי ל-Cursor. צריך לומר, שעבדתי כבר המון עם Cursor ותוך כדי עבודה הגדרתי לו המון חוקים. מה שאומר, שעכשיו כשאני מתחיל פרויקט חדש ב-Cursor, הוא כבר יודע 90% מהעבודה של הקמת פרויקט וחיבור לבסיס נתונים וכדומה. כיף גדול. מה נשאר לי? להדביק את פרומפט העל בקרסר ולהתחיל לרוץ איתו ולראות אותו מפתח לי את הכל. הייתי המום כי בערך ב-10 דקות שהוא עבד לבד קיבלתי אפליקציית RAG אמיתית שמבצעת שימוש ב-LLMs אמיתיים לצורך כל התהליך שפירטתי ואפילו ידעה להטמיע אותנטיקציה מלאה לבד דרך Clerk! (תודה ל- Roy Nativ הגאון על ההמלצה הזו בזמנו!) השורה התחתונה היא שיש לי אפליקציית Full Stack לוקאלית, שמשתמשת ב-MCP, מנהלת גרסאות ב-GitHub, עם RAG מלא וביצוע Embeddings, Indexing, Similarity Search עם LLMs באמת. לא עוד דברים מאוסים. פרקטיקה של ממש. אני לא רודף אחרי חידושים כבר, נמאס לי, אבל אני כן פריק של פרקטיקה וצלילה טכנית לעומק. היה מתסכל-כיף-ומטורף לראות את זה קורה בפועל, ואם אחד או אחת קיבלו פה ערך - דיינו!