Browse AI: כלי לחילוץ מידע (Scraping) וניטור אתרים

תאריך פרסום: 28/05/2024
יצא לכם פעם שהייתם צריכים לחלץ מידע מכמות גדולה של דפים? למשל מק״ט או מחיר של מוצר מאתר ישן שאין גישה למערכת הניהול? אז כדאי שתכירו את Browse AI

את Browse AI הכרתי במקרה, הגענו למבוי סתום עם מערכת ניהול של אתר ישן, לא היית אפשרות להוציא אקסל מסודר עם שם המוצר, מק״ט ומחיר, והיינו צריכים את זה בשביל לבצע ניתובי 301 באתר חדש שהקמתי.

היו לנו שתי אפשרויות:

  • לשבת שעות ולעבור עמוד אחרי עמוד כדי לחלץ את המק״ט של כל המוצרים
  • לבנות כלי שיעשה חילוץ מידע (Scraping) ויעלה לנו יותר ממה שרצינו להשקיע.

אז חיפשתי פתרון שידע לעשות את זה ומצאתי את Browse AI.

נתחיל ממה זה Scraping?

תהליך Scraping (גירוד בתרגום חופשי, אני מעדיף חילוץ מידע) הוא תהליך שבו אנחנו מספקים רשימה של כתובות לעמודי אינטרנט, ומקבלים חזרה נתונים שאנחנו רוצים על אותם עמודים.

במקרה של מוצרים בחנות איקומרס זה יכול להיות מק״ט של מוצר, מחירים, תמונות, כותרות ובעצם כל דבר שמופיע בעמוד המוצר.

כבר בשלב הזה אתן כוכבית קטנה שחשוב לקחת בחשבון, בחלק מהאתרים, ביצוע Scraping לא מורשה על פי תקנון האתר ולכן הוא לא חוקי.

למה צריך לעשות Scraping?

המטרה של חילוץ מידע באופן אוטומטי הוא לחסוך זמן של עבודה רפטטיבית ומועדת לטעויות. בפועל, כל אחד יכול להכנס לאתר, להעתיק את התוכן בשדות שהוא מחפש ולשמור בקובץ אקסל בצד.

אבל לעשות את זה על אלפי עמודים, על בסיס יומי ואולי גם כמה פעמים ביום, זה כבר פחות נוח.

מה עשינו עד היום?

עד היום בניה של מנוע כזה לחילוץ נתונים היה שמור בעיקר למפתחים, השתמשנו בכלים כמו Selenium ודומים כדי לסמלץ כניסה של משתמש לדפדפן, לגלוש לכתובת שאותה אנחנו רוצים לסרוק ואז לכתוב קוד שייקח את ה-HTML של אותו עמוד, יעבור עליו ויחלץ ממנו את הנתונים שאנחנו רוצים, זה תהליך שהיה לוקח זמן ומשאבי פיתוח, פחות כיף.

ואז גיליתי את Browse AI

הוא אולי לא היחיד מסוגו (בטוח שלא) אבל החברים שם יצרנו מוצר ממש נוח שאפשר לי תוך כמה דקות להקים תהליך חילוץ מידע ועמוד, להעלות אליו רשימת כתובות ב-CSV ולתת לו לרוץ.

אחרי כמה דקות, ראיתי את המידע מתחיל להופיע עמוד אחרי עמוד וזה פשוט עבד כמו קסם. 🪄

ככה נראה הממשק והנתונים שהתחילו להגיע

מה שעוד יפה (ראיתי ועוד לא ניסיתי) זה כלי מוניטור שהם הקימו על אותה פלטפורמה ומאפשר לעשות מעקב אחרי נתונים בעמוד, כמו מחיר למשל, ולקבל גם התראות אם יש שינויים.

בואו ניקח לדוגמא שאתם רוצים להסתכל מידי פעם על מחירי המתחרים שלכם, אז גם את זה Browse AI יודע לעשות ואפילו להביא את השינוי במחיר 🤯

ממשק נוח ליצירת רובוט

אז כל תהליך של Scraping מתחיל בבניית התסריט לפיו רוצים שהרובוט יעבוד, מתחילים בהכנסת הכתובת שאותה נרצה לדגום ואז יש שתי אפשרויות, שימוש באפליקציית כרום (התקנתי וזה פשוט עוקב אחרי הקליקים שאני עושה בעמוד) או שימוש ב-Robot Studio שלהם שמאפשר לראות את העמוד ולסמן איזה נתונים אנחנו רוצים ממנו.

אחרי שיצרנו את הרובוט פעם אחת, אנחנו יכולים להעביר רשימה של עד 50,000 רשומות והוא כבר יעשה את העבודה.

אינטגרציות – כמובן, איך אפשר בלי?

עוד כמה פיצ׳רים נחמדים שמצאתי ב-Browse AI זה שכבר בהתחלה (הם לא כאלה ותיקים) הם אפשרו לחבר את הכלי שלהם לכלים נוספים כמו למשל Google Sheets שממש מתבקש ואיך לא לכלי אוטומציה כמו זאפיאר, מייק ואפשרות לשלוח גם Webhookים החוצה לפי הצורך.

אינטגרציות ב-Browse AI, יש לי תחושה שעוד יצטרפו לכאן ממשקים נוספים

סיכום קצר

אם אני צריך לסכם במילה אחת, אומר ״אהבתי!״.

יש פה כלי שמנגיש יכולו בצורה של No Code שפעם לא יכלתי בכלל לדמיין מבלי לכתוב את זה בעצמי או להשתמש בספריות קוד כאלה ואחרות. אהבתי מאוד גם את הממשק שהם יצרו לכלים צד שלישי.

ממה שהשתמשתי מרגיש לי שלא הגעתי עוד לכל הפיצ׳רים שיש להם להציע, אפילו לא קרוב, אבל כן הרגשתי שיש פה משהו בשל ואפשר לשתף הלאה.

אני מתכנן עוד לחקור אותו ואפילו לעשות סדרת הדרכה קצרה כאן באתר אז Stay tuned. 🫡

כתיבת תגובה

פוסטים נוספים בקטגוריית Reviews