feat/refect 가져오기

src/lib/llm/__init__.py

@@ -0,0 +1,3 @@
+from lib.llm.create import *
+
+from lib.llm.prompt import *

src/lib/llm/create.py

@@ -0,0 +1,25 @@
+from langchain.callbacks.base import BaseCallbackHandler
+from langchain_google_genai import ChatGoogleGenerativeAI
+
+class QuotaExhaustedHandler(BaseCallbackHandler):
+    def on_llm_error(self, error, **kwargs):
+        if "ResourceExhausted" in str(error) or "429" in str(error):
+            print("⚠️ API 쿼터가 소진되었습니다. 재시도 로직에 위임합니다...")
+            # backoff handled in scan_one_url
+
+def CreateChatGoogleGenerativeAI(model: str):
+    """재시도 로직이 포함된 LLM 생성"""
+    if model == "fallback":
+        print("⚠️ Fallback 모델을 사용합니다. Envorinment 변수를 확인하세요.")
+        print("⚠️ Model Gemini-2.0-flash-lite를 사용합니다.")
+        model = "gemini-2.0-flash-lite"
+    return ChatGoogleGenerativeAI(
+        model=model,
+        max_retries=10,  # 최대 재시도 횟수 증가
+        model_kwargs={
+            "request_timeout": 120,  # 타임아웃 시간 증가 (2분)
+        },
+        callbacks=[QuotaExhaustedHandler()],
+        # API 호출 간격 조정
+        temperature=0.0,
+    )

src/lib/llm/prompt/__init__.py

@@ -0,0 +1,25 @@
+from typing import Union, Type
+from pydantic import BaseModel
+
+def get_prompt(type: str) -> tuple[str, Type[BaseModel]] | str:
+    """
+    Prompt를 반환합니다.
+
+    :param type: 'auth' {Auth List} 또는 'google' {OAuth Provider}, 'meta' {OAuth Provider}을 지정합니다.
+    :return: 해당하는 프롬프트 문자열 또는 (프롬프트, 모델) 튜플
+    """
+    if type.lower() == "auth":
+        from lib.llm.prompt.get_oauth import prompt, model
+        return prompt, model
+    
+    elif type.lower() in ["google", "google account"]:
+        from lib.llm.prompt.google import prompt, model
+        return prompt, model
+    
+    elif  type.lower() in ["microsoft", "microsoftonline"]:
+        from lib.llm.prompt.microsoft import prompt, model
+        return prompt, model
+
+    else:
+        from lib.llm.prompt.fallback import model, prompt
+        return prompt, model

src/lib/llm/prompt/fallback/__init__.py

@@ -0,0 +1,2 @@
+from lib.llm.prompt.fallback.prompt import prompt
+from lib.llm.prompt.fallback.model import model

src/lib/llm/prompt/fallback/model.py

@@ -0,0 +1,6 @@
+from pydantic import BaseModel
+
+class model(BaseModel):
+    msg: str | None = None
+    status: str | None = None  # "success", "mfa_required", "google_blocked", "sso_not_found", "login_page_not_found", "invalid_credentials"
+    final_url: str | None = None

src/lib/llm/prompt/fallback/prompt.py

@@ -0,0 +1,122 @@
+# Extended planner prompt
+prompt = f"""
+🎯 목적: 웹 자동화를 위한 **SSO 로그인 리디렉션 URL 수집**
+
+📌 주의사항 (전제 조건)
+- ❌ **검색 엔진(Google, Bing 등) 사용 금지**
+- ✅ **초기 제공된 URL 내에서만 탐색**
+- ❌ 직접 이동하거나 추측한 링크 클릭 금지
+- ⛔ 추측한 URL은 대답하거나 클릭하지 마세요
+- OAuth가 아닌 일반 로그인은 무시
+- OAuth가 없다면 **즉시 중단**하고 빈 배열 반환
+
+---
+
+## 🧩 Step 0: 페이지 차단(Block) 여부 확인
+
+초기 URL의 로그인 페이지에 접근하여 다음 사항을 점검합니다:
+
+- 🚫 페이지 차단됨 (Firewall, Access Denied 등) → 즉시 중단
+- 🔒 CAPTCHA는 통과 가능 (해결하고 계속 진행)
+- ❗ 로그인 UI가 정상적으로 로드되지 않으면 중단
+
+📤 차단 시 즉시 종료
+
+---
+
+## 🔍 Step 1: 로그인 페이지 탐색
+
+* 초기 URL에 접속하여 **클라이언트용 로그인 페이지**로 진입합니다.
+* 쿠키 동의, 개인정보 안내 등 팝업은 무시하거나 닫고 계속 진행하세요.
+* 페이지가 정상 로드되었다고 가정합니다.
+
+---
+
+## 👀 Step 2: SSO 로그인 버튼 식별
+
+아래 **OAuth SSO 버튼들만** 유효합니다:
+
+* ✅ Google, GitHub, Facebook, LinkedIn, Microsoft, Naver
+
+**유효한 버튼 기준**:
+
+* OAuth 인증 흐름을 실제로 트리거
+* `window.location` 또는 `<a href=...>` 또는 JS로 redirect가 발생
+
+**제외 버튼들 (클릭 금지)**:
+
+* ❌ 일반 로그인, 패스키, 이메일/전화번호, 인증서 기반, 비밀번호 입력
+
+---
+
+## ✅ Step 3: 모든 SSO 버튼 클릭 및 로그인 시도
+
+> 각 SSO 로그인 버튼을 클릭한 뒤 반드시 아래 절차를 **완전히 수행**해야 합니다.
+
+각 SSO 버튼에 대해 다음을 수행:
+
+1. 버튼 클릭
+2. ✅ 로그인 진행:
+   - 로그인 페이지에서 OAuth 인증을 완료합니다.
+   - sign in with your username(email) x_username and password is x_password
+   - 버튼같은게 안눌리면 새로고침을 해봐
+   - **로그인 완료 후 authorize 등 버튼이 있으면 클릭**
+   - GitHub같은 경우 Authorize 버튼이 뜨는데 오래걸릴 수 있음, 기다려야 할 수도 있음
+   - 만약 버튼을 눌러도 반응이 없을 경우 새로고침을 한번 해주세요.
+   - **OAuth Flow가 완료되면 (callback URL 도달 또는 인증 완료) 즉시 작업 종료**
+4. 로그인이 성공하면 모두 쿠키를 삭제하고 다음 SSO 버튼을 클릭합니다.
+5. 다음 SSO 버튼으로 반복 진행
+
+쿠키 삭제 방법:
+chrome://settings/clearBrowserData에 들어가서 삭제해주세요.
+
+🛑 절대 아래와 같이 해석하지 말 것:
+- ❌ 버튼 클릭 후 페이지 로딩만 기다리고 돌아가기
+- ❌ URL 저장 없이 go_back() 호출
+
+---
+
+### ✨ 추가 안전 장치: "뒤로가기(go_back) 호출 조건" 제한
+
+```text
+🛑 뒤로가기(go_back)은 다음 조건이 모두 충족될 때만 사용 => 다만 로그인 실패 시, 뒤로가기 수행:
+- ✅ 로그인 흐름이 완료됨 (예: redirect back to app, or callback URL)
+- ✅ 현재 리디렉션 URL이 수집됨
+- ✅ 결과에 저장 후 다음 버튼 탐색을 위해 복귀 필요할 때
+```
+
+---
+
+## 🚫 Step 4: 버튼 없음 또는 예외 발생 시
+
+* 유효한 SSO 버튼이 **전혀 없을 경우**
+* 예외, 오류 등 발생 시
+
+-> 즉시 중단
+
+---
+
+
+최종 반환:
+Return the result in the following format only:
+
+```json
+{{
+    "msg": "Google login completed",
+    "status": "success" | "already_logged_in" | "mfa_required" | "captcha_triggered" | "window_blocked" | "idpw_required" | "google_blocked" | "sso_not_found" | "login_page_not_found",
+    "final_url": "<url_after_login_redirect or empty string>"
+}}
+```
+
+---
+
+## 📎 중요 규칙 요약
+
+* ✅ **모든 SSO 로그인은 반드시 실행** (가능한 버튼은 모두 클릭)
+* 🔁 단계는 반드시 순서대로 진행
+* 🔐 로그인은 쿠키/세션으로 유지된 상태에서 수행
+* 👀 직접 OAuth Providor ID/PW를 입력하여도 됨 가지고 있다면
+* ⛔ 추측한 URL은 접속하지 않음
+
+---
+"""

src/lib/llm/prompt/get_oauth/__init__.py

@@ -0,0 +1,2 @@
+from lib.llm.prompt.get_oauth.prompt import prompt
+from lib.llm.prompt.get_oauth.model import model

src/lib/llm/prompt/get_oauth/model.py

@@ -0,0 +1,6 @@
+from pydantic import BaseModel
+
+class model(BaseModel):
+    msg: str | None = None
+    url: str | None = None
+    sso_list: list[str] = []  # List of SSO providers found on the login page

src/lib/llm/prompt/get_oauth/prompt.py

@@ -0,0 +1,37 @@
+prompt = """
+🎯 목적: 주어진 초기 URL 내에서 **OAuth 로그인 Provider**를 찾아 아래 형식의 JSON으로 정리합니다.
+
+📌 작업 목표:
+- Google, GitHub, Discord, Facebook, Apple, Microsoft, Twitter, LinkedIn 등 **OAuth 인증을 사용하는 외부 로그인 링크**에서 Provider 이름만 모두 수집합니다.
+- 로그인 버튼, 링크 클릭 등을 통해 탐색을 진행할 수 있습니다.
+- **같은 provider가 여러 번 나와도 하나만 저장**합니다.
+
+🛑 제한 사항:
+- ❌ 로그인 입력창이나 이메일/비밀번호 입력 방식은 제외합니다.
+- ❌ 검색 엔진, 사이트 외부 탐색은 금지합니다.
+- ❌ URL 추측이나 직접 입력은 금지합니다.
+- ❌ OAuth가 없는 경우 빈 배열 `[]`로 반환합니다.
+- ❌ OAuth가 아닌 일반 로그인은 무시합니다.
+
+🔍 탐색 방법:
+1. 초기 URL에 접속하여 **클라이언트용 로그인 페이지**로 진입합니다.
+2. 페이지가 정상적으로 로드되었다고 가정합니다.
+3. 'Continue with X', 'Continue with Google'... 등의 버튼이나 링크를 식별합니다.
+
+
+🧾 출력 형식 (예시):
+
+```json
+{{
+  "oauth_providers": [
+    "Google",
+    "GitHub",
+    "Discord"
+  ]
+}}
+```
+
+📌 주의:
+    결과가 없는 경우 빈 배열 `[]`로 반환합니다.
+    정확한 provider 이름을 포함해 주세요.
+"""

src/lib/llm/prompt/google/__init__.py

@@ -0,0 +1,2 @@
+from lib.llm.prompt.google.prompt import prompt
+from lib.llm.prompt.google.model import model

src/lib/llm/prompt/google/model.py

@@ -0,0 +1,6 @@
+from pydantic import BaseModel
+
+class model(BaseModel):
+    msg: str | None = None
+    status: str | None = None  # "success", "mfa_required", "google_blocked", "sso_not_found", "login_page_not_found", "invalid_credentials"
+    final_url: str | None = None

src/lib/llm/prompt/google/prompt.py

@@ -0,0 +1,58 @@
+import os
+
+# Extended planner prompt
+prompt = f"""
+You are a web automation agent.
+
+Your task is to visit the given domain and perform a full login via the **Google SSO button**, following all steps strictly as described below.
+
+▶ Target: Find a login page inside this domain that allows "Sign in with Google", and use it to complete login via Google.
+
+Instructions:
+
+1. If any cookie or privacy popups appear, dismiss or accept them.
+2. Navigate through the site's UI to find the **login or sign-in page** (e.g., via buttons like "Log In", "Sign In", "Get Started").
+    - Only follow links within the same domain.
+3. On the login page, look for a clearly labeled **Google SSO button** — typically labeled as:
+    - "Continue with Google"
+    - "Sign in with Google"
+    - or a button with the Google 'G' icon
+4. Click the **Google login button**.
+    - ⚠️ The Google login flow MUST open in a **new browser tab** (not a new window or popup).
+    - ❌ If the login opens in a new **window** or **popup**, do NOT continue. Immediately stop and return the appropriate status.
+5. Check if the user is **already logged in to Google and immediately redirected back to the original site** without showing a Google login screen.
+    - ✅ If so, treat the login as successful and return immediately.
+6. If redirected to the Google login page:
+    - If a **CAPTCHA**, **MFA prompt**, or a request for **ID/password entry** appears, do NOT proceed.
+    - Immediately stop and return the appropriate status.
+7. If login proceeds without interruptions, wait for redirection back to the original site and record the final URL.
+
+Credentials to use for Google login:
+- Email: {os.getenv("GOOGLE_EMAIL", "")}
+- Password: {os.getenv("GOOGLE_PASSWORD", "")}
+
+Constraints:
+- Do NOT use search engines or guess URLs.
+- Do NOT use autofill, saved sessions, or cookies.
+- Do NOT proceed with login if:
+    - The login opens in a new window (only tabs are allowed)
+    - CAPTCHA or MFA appears
+    - ID/password input is required
+- If the user is already logged in to Google and redirected back automatically, stop there and report success.
+- If the login page cannot be found, return "login_page_not_found".
+- If the Google login button is not found, return "sso_not_found".
+- If a page such as a sign-up page appears, consider it a successful login and terminate immediately.
+
+Final Output:
+Return the result in the following format only:
+
+```json
+{{
+    "msg": "Google login completed",
+    "status": "success" | "already_logged_in" | "mfa_required" | "captcha_triggered" | "window_blocked" | "idpw_required" | "google_blocked" | "sso_not_found" | "login_page_not_found",
+    "final_url": "<url_after_login_redirect or empty string>"
+}}
+```
+
+- Return ONLY the JSON object. Do NOT include any explanation, logging, or extra output.
+"""

src/lib/llm/prompt/microsoft/__init__.py

@@ -0,0 +1,2 @@
+from lib.llm.prompt.microsoft.prompt import prompt
+from lib.llm.prompt.microsoft.model import model

src/lib/llm/prompt/microsoft/microsoft.py

@@ -0,0 +1,57 @@
+import os
+
+# This code snippet is used to generate a prompt for a web automation agent that performs Microsoft SSO login.
+prompt = f"""
+당신은 웹 자동화 에이전트입니다.
+
+당신의 임무는 주어진 도메인에 방문하여 아래에 엄격히 설명된 모든 단계를 따라 **Microsoft SSO 버튼**을 통해 전체 로그인을 수행하는 것입니다.
+
+▶ 목표: 이 도메인 내에서 "Microsoft로 로그인"이 가능한 로그인 페이지를 찾아 Microsoft을 통해 로그인을 완료하세요.
+
+지침:
+
+1. 쿠키 또는 개인정보 팝업이 나타나면 닫거나 수락하세요.
+2. 사이트의 UI를 탐색하여 **로그인 또는 로그인 페이지**(예: "로그인", "Sign In", "Get Started"와 같은 버튼)를 찾으세요.
+    - 동일한 도메인 내의 링크만 따라가세요.
+3. 로그인 페이지에서 명확하게 표시된 **Microsoft SSO 버튼**을 찾으세요. 일반적으로 다음과 같이 표시됩니다:
+    - "Microsoft로 계속"
+    - "Microsoft로 로그인"
+    - 또는 Microsoft 'M' 아이콘이 있는 버튼
+4. **Microsoft 로그인 버튼**을 클릭하세요.
+    - ⚠️ Microsoft 로그인 플로우는 반드시 **새 브라우저 탭**에서 열려야 합니다 (새 창이나 팝업이 아님).
+    - ❌ 로그인이 새 **창**이나 **팝업**에서 열리면, 즉시 중단하고 적절한 상태를 반환하세요.
+5. 사용자가 **이미 Microsoft에 로그인되어 있고 즉시 원래 사이트로 리디렉션**된다면,
+    - ✅ 이 경우 로그인이 성공한 것으로 간주하고 즉시 반환하세요.
+6. Microsoft 로그인 페이지로 리디렉션된 경우:
+    - **CAPTCHA**, **MFA 프롬프트**, 또는 **ID/비밀번호 입력** 요청이 나타나면 진행하지 마세요.
+    - 즉시 중단하고 적절한 상태를 반환하세요.
+7. 로그인에 방해가 없다면, 원래 사이트로 리디렉션될 때까지 기다리고 최종 URL을 기록하세요.
+
+Microsoft 로그인에 사용할 자격 증명:
+- 이메일: {os.getenv("MICROSOFT_EMAIL", "")}
+- 비밀번호: {os.getenv("MICROSOFT_PASSWORD", "")}
+
+제약 사항:
+- 검색 엔진을 사용하거나 URL을 추측하지 마세요.
+- 자동완성, 저장된 세션 또는 쿠키를 사용하지 마세요.
+- 다음과 같은 경우 로그인 절차를 진행하지 마세요:
+    - 로그인이 새 창에서 열릴 때 (탭만 허용)
+    - CAPTCHA 또는 MFA가 나타날 때
+    - ID/비밀번호 입력이 요구될 때
+- 사용자가 이미 Microsoft에 로그인되어 자동으로 리디렉션된다면, 그 즉시 성공으로 보고 종료하세요.
+- 로그인 페이지를 찾을 수 없으면 "login_page_not_found"를 반환하세요.
+- Microsoft 로그인 버튼을 찾을 수 없으면 "sso_not_found"를 반환하세요.
+- 회원가입 페이지와 같은 화면이 나타나면 성공적인 로그인으로 간주하고 즉시 종료하세요.
+
+최종 출력:
+다음 형식으로만 결과를 반환하세요:
+```json
+{{
+    "msg": "Microsoft login completed",
+    "status": "success" | "already_logged_in" | "mfa_required" | "captcha_triggered" | "window_blocked" | "idpw_required" | "microsoft_blocked" | "sso_not_found" | "login_page_not_found",
+    "final_url": "<url_after_login_redirect or empty string>"
+}}
+```
+
+- Return ONLY the JSON object. Do NOT include any explanation, logging, or extra output.
+"""

src/lib/llm/prompt/microsoft/model.py

@@ -0,0 +1,6 @@
+from pydantic import BaseModel
+
+class model(BaseModel):
+    msg: str | None = None
+    status: str | None = None  # "success", "mfa_required", "microsoft_blocked", "sso_not_found", "login_page_not_found", "invalid_credentials"
+    final_url: str | None = None