✨ feat: support web page crawl in the search (#6582)

* test pnpm workspace

* test bun workspace

* add crawler mode

* improve pure fetch result

* update

* improve result

* improve code

* update

* fix

* 完成 urlRules 规则集合设计

* 增加爬虫展示 ui

* 增加爬虫展示 Portal

* update

* update

* improve

* update i18n

* support view multi pages

* improve implement

* improve code

* refactor the web-browsing system prompt

* improve code

* fix open

Author: arvinxx

locales/ar/models.json

@@ -467,9 +467,6 @@
   "anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "لقد رفع كلود 3.5 سونيت معايير الصناعة، حيث تفوق أداؤه على نماذج المنافسين ونموذج كلود 3 أوبس، وأظهر أداءً ممتازًا في تقييمات واسعة، مع الحفاظ على سرعة وتكلفة نماذجنا المتوسطة."
   },
-  "anthropic.claude-3-7-sonnet-20250219-v1:0": {
-    "description": "Claude 3.7 Sonnet هو أحدث نموذج من Anthropic، يتميز بأداء ممتاز في تقييمات واسعة، ويتفوق على نماذج المنافسين ونموذج Claude 3.5 Sonnet، مع الحفاظ على سرعة وتكلفة نماذجنا المتوسطة."
-  },
   "anthropic.claude-3-haiku-20240307-v1:0": {
     "description": "Claude 3 Haiku هو أسرع وأصغر نموذج من Anthropic، يوفر سرعة استجابة شبه فورية. يمكنه بسرعة الإجابة على الاستفسارات والطلبات البسيطة. سيتمكن العملاء من بناء تجربة ذكاء اصطناعي سلسة تحاكي التفاعل البشري. يمكن لـ Claude 3 Haiku معالجة الصور وإرجاع إخراج نصي، مع نافذة سياقية تبلغ 200K."
   },
@@ -800,6 +797,9 @@
   "gemini-2.0-flash-001": {
     "description": "Gemini 2.0 Flash يقدم ميزات وتحسينات من الجيل التالي، بما في ذلك سرعة فائقة، واستخدام أدوات أصلية، وتوليد متعدد الوسائط، ونافذة سياق تصل إلى 1M توكن."
   },
+  "gemini-2.0-flash-lite-001": {
+    "description": "نموذج جمنّي 2.0 فلاش هو نسخة معدلة، تم تحسينها لتحقيق الكفاءة من حيث التكلفة والحد من التأخير."
+  },
   "gemini-2.0-flash-lite-preview-02-05": {
     "description": "نموذج Gemini 2.0 Flash، تم تحسينه لأهداف التكلفة المنخفضة والكمون المنخفض."
   },
@@ -1484,6 +1484,9 @@
   "qwen-max-latest": {
     "description": "نموذج لغة ضخم من Qwen بمستوى تريليونات، يدعم إدخال لغات مختلفة مثل الصينية والإنجليزية، وهو النموذج API وراء إصدار Qwen 2.5."
   },
+  "qwen-omni-turbo-latest": {
+    "description": "تدعم نماذج كيوين-أومني إدخال بيانات متعددة الأنماط، بما في ذلك الفيديو والصوت والصور والنصوص، وتخرج الصوت والنص."
+  },
   "qwen-plus": {
     "description": "نموذج لغة ضخم من توغي، نسخة معززة، يدعم إدخال لغات مختلفة مثل الصينية والإنجليزية."
   },
@@ -1676,6 +1679,9 @@
   "us.anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet يرفع المعايير الصناعية، حيث يتفوق على نماذج المنافسين وClaude 3 Opus، ويظهر أداءً ممتازًا في تقييمات واسعة، مع سرعة وتكلفة تتناسب مع نماذجنا المتوسطة."
   },
+  "us.anthropic.claude-3-7-sonnet-20250219-v1:0": {
+    "description": "كلود 3.7 سونيت هو أسرع نموذج من الجيل التالي من أنثروبيك. مقارنةً بكلود 3 هايكو، تم تحسين كلود 3.7 سونيت في جميع المهارات، وتجاوز العديد من اختبارات الذكاء لأكبر نموذج من الجيل السابق، كلود 3 أوبس."
+  },
   "whisper-1": {
     "description": "نموذج التعرف على الصوت العام، يدعم التعرف على الصوت متعدد اللغات، والترجمة الصوتية، والتعرف على اللغات."
   },

locales/ar/plugin.json

@@ -140,6 +140,18 @@
       "close": "حذف",
       "confirm": "تم تكوينه وإعادة المحاولة"
     },
+    "crawPages": {
+      "crawling": "جاري التعرف على الروابط",
+      "detail": {
+        "preview": "معاينة",
+        "raw": "النص الأصلي",
+        "tooLong": "محتوى النص طويل جداً، سيتم الاحتفاظ بـ 10000 حرف فقط من سياق المحادثة، ولن يتم احتساب الأجزاء الزائدة في سياق المحادثة"
+      },
+      "meta": {
+        "crawler": "وضع الزحف",
+        "words": "عدد الأحرف"
+      }
+    },
     "searchxng": {
       "baseURL": "الرجاء الإدخال",
       "description": "الرجاء إدخال عنوان URL لـ SearchXNG لبدء البحث عبر الإنترنت",

locales/bg-BG/models.json

@@ -467,9 +467,6 @@
   "anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet повишава индустриалните стандарти, с производителност, надминаваща конкурентните модели и Claude 3 Opus, показвайки отлични резултати в широки оценки, като същевременно предлага скорост и разходи, характерни за нашите модели от среден клас."
   },
-  "anthropic.claude-3-7-sonnet-20250219-v1:0": {
-    "description": "Claude 3.7 Sonnet повишава индустриалните стандарти, с производителност, надвишаваща конкурентните модели и Claude 3 Opus, с отлични резултати в широки оценки, като същевременно предлага скорост и разходи, характерни за нашите модели от среден клас."
-  },
   "anthropic.claude-3-haiku-20240307-v1:0": {
     "description": "Claude 3 Haiku е най-бързият и компактен модел на Anthropic, предлагащ почти мигновена скорост на отговор. Той може бързо да отговаря на прости запитвания и заявки. Клиентите ще могат да изградят безпроблемно AI изживяване, имитиращо човешко взаимодействие. Claude 3 Haiku може да обработва изображения и да връща текстови изходи, с контекстуален прозорец от 200K."
   },
@@ -800,6 +797,9 @@
   "gemini-2.0-flash-001": {
     "description": "Gemini 2.0 Flash предлага следващо поколение функции и подобрения, включително изключителна скорост, нативна употреба на инструменти, многомодално генериране и контекстен прозорец от 1M токена."
   },
+  "gemini-2.0-flash-lite-001": {
+    "description": "Gemini 2.0 Flash е вариант на модела, оптимизиран за икономичност и ниска латентност."
+  },
   "gemini-2.0-flash-lite-preview-02-05": {
     "description": "Модел на Gemini 2.0 Flash, оптимизиран за икономичност и ниска латентност."
   },
@@ -1484,6 +1484,9 @@
   "qwen-max-latest": {
     "description": "Qwen Max е езиков модел с мащаб от стотици милиарди параметри, който поддържа вход на различни езици, включително китайски и английски. В момента е основният API модел зад версията на продукта Qwen 2.5."
   },
+  "qwen-omni-turbo-latest": {
+    "description": "Моделите от серията Qwen-Omni поддържат входни данни от множество модалности, включително видео, аудио, изображения и текст, и генерират аудио и текст."
+  },
   "qwen-plus": {
     "description": "通义千问（Qwen） е подобрена версия на мащабен езиков модел, който поддържа вход на различни езици, включително китайски и английски."
   },
@@ -1676,6 +1679,9 @@
   "us.anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet повишава индустриалните стандарти, с производителност, надминаваща конкурентните модели и Claude 3 Opus, показвайки отлични резултати в широк спектър от оценки, като същевременно предлага скорост и разходи, сравними с нашите модели от средно ниво."
   },
+  "us.anthropic.claude-3-7-sonnet-20250219-v1:0": {
+    "description": "Claude 3.7 сонет е най-бързият модел от следващото поколение на Anthropic. В сравнение с Claude 3 Haiku, Claude 3.7 Сонет е подобрен във всички умения и надминава най-големия модел от предишното поколение Claude 3 Opus в много интелектуални тестове."
+  },
   "whisper-1": {
     "description": "Универсален модел за разпознаване на реч, поддържащ многоезично разпознаване на реч, превод на реч и разпознаване на езици."
   },

locales/bg-BG/plugin.json

@@ -140,6 +140,18 @@
       "close": "Изтриване",
       "confirm": "Конфигурацията е завършена и опитайте отново"
     },
+    "crawPages": {
+      "crawling": "Разпознаване на връзки",
+      "detail": {
+        "preview": "Преглед",
+        "raw": "Оригинален текст",
+        "tooLong": "Съдържанието на текста е твърде дълго, контекстът на разговора запазва само първите 10000 символа, а останалата част не се включва в контекста на разговора"
+      },
+      "meta": {
+        "crawler": "Режим на улавяне",
+        "words": "Брой символи"
+      }
+    },
     "searchxng": {
       "baseURL": "Моля, въведете",
       "description": "Моля, въведете URL адреса на SearchXNG, за да започнете търсене в мрежата",

locales/de-DE/models.json

@@ -467,9 +467,6 @@
   "anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet setzt neue Maßstäbe in der Branche, übertrifft die Modelle der Konkurrenz und Claude 3 Opus, und zeigt in umfassenden Bewertungen hervorragende Leistungen, während es die Geschwindigkeit und Kosten unserer mittelgroßen Modelle beibehält."
   },
-  "anthropic.claude-3-7-sonnet-20250219-v1:0": {
-    "description": "Claude 3.7 Sonnet hebt den Branchenstandard an, übertrifft die Modelle der Konkurrenz und Claude 3 Opus, und zeigt in umfassenden Bewertungen hervorragende Leistungen, während es die Geschwindigkeit und Kosten unserer mittelgroßen Modelle beibehält."
-  },
   "anthropic.claude-3-haiku-20240307-v1:0": {
     "description": "Claude 3 Haiku ist das schnellste und kompakteste Modell von Anthropic und bietet nahezu sofortige Reaktionsgeschwindigkeiten. Es kann schnell einfache Anfragen und Anforderungen beantworten. Kunden werden in der Lage sein, nahtlose AI-Erlebnisse zu schaffen, die menschliche Interaktionen nachahmen. Claude 3 Haiku kann Bilder verarbeiten und Textausgaben zurückgeben, mit einem Kontextfenster von 200K."
   },
@@ -800,6 +797,9 @@
   "gemini-2.0-flash-001": {
     "description": "Gemini 2.0 Flash bietet nächste Generation Funktionen und Verbesserungen, einschließlich außergewöhnlicher Geschwindigkeit, nativer Werkzeugnutzung, multimodaler Generierung und einem Kontextfenster von 1M Tokens."
   },
+  "gemini-2.0-flash-lite-001": {
+    "description": "Gemini 2.0 Flash ist eine Modellvariante, die auf Kosteneffizienz und niedrige Latenz optimiert ist."
+  },
   "gemini-2.0-flash-lite-preview-02-05": {
     "description": "Ein Gemini 2.0 Flash Modell, das auf Kosteneffizienz und niedrige Latenz optimiert wurde."
   },
@@ -1484,6 +1484,9 @@
   "qwen-max-latest": {
     "description": "Der Tongyi Qianwen ist ein Sprachmodell mit einem Umfang von mehreren Billionen, das Eingaben in verschiedenen Sprachen wie Chinesisch und Englisch unterstützt und die API-Modelle hinter der aktuellen Version 2.5 von Tongyi Qianwen darstellt."
   },
+  "qwen-omni-turbo-latest": {
+    "description": "Die Qwen-Omni-Serie unterstützt die Eingabe von Daten in verschiedenen Modalitäten, einschließlich Video, Audio, Bilder und Text, und gibt Audio und Text aus."
+  },
   "qwen-plus": {
     "description": "Qwen Plus ist die verbesserte Version des großangelegten Sprachmodells, das Eingaben in verschiedenen Sprachen wie Chinesisch und Englisch unterstützt."
   },
@@ -1676,6 +1679,9 @@
   "us.anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet hebt den Branchenstandard an, übertrifft die Konkurrenzmodelle und Claude 3 Opus und zeigt in umfangreichen Bewertungen hervorragende Leistungen, während es die Geschwindigkeit und Kosten unserer mittelgroßen Modelle beibehält."
   },
+  "us.anthropic.claude-3-7-sonnet-20250219-v1:0": {
+    "description": "Claude 3.7 Sonett ist das schnellste nächste Modell von Anthropic. Im Vergleich zu Claude 3 Haiku hat Claude 3.7 Sonett in allen Fähigkeiten Verbesserungen erfahren und übertrifft in vielen intellektuellen Benchmark-Tests das größte Modell der vorherigen Generation, Claude 3 Opus."
+  },
   "whisper-1": {
     "description": "Allgemeines Spracherkennungsmodell, unterstützt mehrsprachige Spracherkennung, Sprachübersetzung und Spracherkennung."
   },

locales/de-DE/plugin.json

@@ -140,6 +140,18 @@
       "close": "Löschen",
       "confirm": "Konfiguration abgeschlossen und erneut versucht"
     },
+    "crawPages": {
+      "crawling": "Linkerkennung läuft",
+      "detail": {
+        "preview": "Vorschau",
+        "raw": "Ursprünglicher Text",
+        "tooLong": "Der Textinhalt ist zu lang, der Gesprächskontext behält nur die ersten 10000 Zeichen, der übersteigende Teil wird nicht in den Gesprächskontext einbezogen"
+      },
+      "meta": {
+        "crawler": "Crawler-Modus",
+        "words": "Zeichenanzahl"
+      }
+    },
     "searchxng": {
       "baseURL": "Bitte eingeben",
       "description": "Geben Sie die URL von SearchXNG ein, um mit der Online-Suche zu beginnen",

locales/en-US/models.json

@@ -467,9 +467,6 @@
   "anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet raises the industry standard, outperforming competing models and Claude 3 Opus, excelling in extensive evaluations while maintaining the speed and cost of our mid-tier models."
   },
-  "anthropic.claude-3-7-sonnet-20250219-v1:0": {
-    "description": "Claude 3.7 Sonnet is Anthropic's latest model, offering a balance of speed and performance. It excels in a wide range of tasks, including programming, data science, visual processing, and agent tasks."
-  },
   "anthropic.claude-3-haiku-20240307-v1:0": {
     "description": "Claude 3 Haiku is Anthropic's fastest and most compact model, providing near-instantaneous response times. It can quickly answer simple queries and requests. Customers will be able to build seamless AI experiences that mimic human interaction. Claude 3 Haiku can process images and return text output, with a context window of 200K."
   },
@@ -800,6 +797,9 @@
   "gemini-2.0-flash-001": {
     "description": "Gemini 2.0 Flash offers next-generation features and improvements, including exceptional speed, native tool usage, multimodal generation, and a 1M token context window."
   },
+  "gemini-2.0-flash-lite-001": {
+    "description": "Gemini 2.0 Flash is a variant of the model optimized for cost-effectiveness and low latency."
+  },
   "gemini-2.0-flash-lite-preview-02-05": {
     "description": "A Gemini 2.0 Flash model optimized for cost-effectiveness and low latency."
   },
@@ -1484,6 +1484,9 @@
   "qwen-max-latest": {
     "description": "Tongyi Qianwen Max is a large-scale language model with hundreds of billions of parameters, supporting input in various languages, including Chinese and English. It is the API model behind the current Tongyi Qianwen 2.5 product version."
   },
+  "qwen-omni-turbo-latest": {
+    "description": "The Qwen-Omni series of models supports input of various modalities, including video, audio, images, and text, and outputs both audio and text."
+  },
   "qwen-plus": {
     "description": "Qwen Plus is an enhanced large-scale language model supporting input in various languages including Chinese and English."
   },
@@ -1676,6 +1679,9 @@
   "us.anthropic.claude-3-5-sonnet-20241022-v2:0": {
     "description": "Claude 3.5 Sonnet raises the industry standard, outperforming competitor models and Claude 3 Opus, excelling in a wide range of evaluations while maintaining the speed and cost of our mid-tier models."
   },
+  "us.anthropic.claude-3-7-sonnet-20250219-v1:0": {
+    "description": "Claude 3.7 Sonnet is Anthropic's fastest next-generation model. Compared to Claude 3 Haiku, Claude 3.7 Sonnet shows improvements across various skills and surpasses the previous generation's largest model, Claude 3 Opus, in many intelligence benchmark tests."
+  },
   "whisper-1": {
     "description": "A universal speech recognition model that supports multilingual speech recognition, speech translation, and language identification."
   },

locales/en-US/plugin.json

@@ -140,6 +140,18 @@
       "close": "Delete",
       "confirm": "Configuration completed, please retry"
     },
+    "crawPages": {
+      "crawling": "Identifying links",
+      "detail": {
+        "preview": "Preview",
+        "raw": "Raw text",
+        "tooLong": "Text content is too long; only the first 10000 characters of the conversation context will be retained, and any excess will not be included in the conversation context."
+      },
+      "meta": {
+        "crawler": "Crawling Mode",
+        "words": "Character count"
+      }
+    },
     "searchxng": {
       "baseURL": "Please enter",
       "description": "Enter the URL for SearchXNG to start online searching",