diff --git a/.env.example b/.env.example
index a944f48..04f1dcb 100644
--- a/.env.example
+++ b/.env.example
@@ -30,27 +30,4 @@ LANG=en_US
# 필수 뒤에 있는 이메일 주소는 Google 계정의 로그인 힌트로 사용됩니다.
# 이메일의 전체를 입력해주세요
-GOOGLE_ID=bot.imnya.ng@gmail.com
-
-# provider 계정 (본인이 사용하지 않는 계정 권장) (Github, apple, kakao등 다른 계정 추가 가능)
-# PROVIDOR_CREDENTIALS_IN_LLM는 True로 설정시, 아래 계정 정보가 LLM에 포함되어 사용됩니다.
-# 쿠키와 로컬스토리지 사용은 제외됩니다.
-PROVIDOR_CREDENTIALS_IN_LLM=False
-
-GOOGLE_ID=
-GOOGLE_PASSWORD=
-
-NAVER_ID=
-NAVER_PASSWORD=
-
-FACEBOOK_ID=
-FACEBOOK_PASSWORD=
-
-GITGUB_ID=
-GITHUB_PASSWORD=
-
-LinkedIn_ID=
-LinkedIn_PASSWORD=
-
-Microsoft_ID=
-Microsoft_PASSWORD=
\ No newline at end of file
+GOOGLE_ID=whs.imnya.ng@gmail.com
diff --git a/.gitignore b/.gitignore
index d53f32f..af59832 100644
--- a/.gitignore
+++ b/.gitignore
@@ -12,7 +12,7 @@ oauth_providers.csv
.venv
.env
-.sensitive.json
+#.sensitive.json
log_*.log
domains.txt
diff --git a/.sensitive.example.json b/.sensitive.example.json
deleted file mode 100644
index ff6eb55..0000000
--- a/.sensitive.example.json
+++ /dev/null
@@ -1,10 +0,0 @@
-{
- "*.google.com": {
- "x_username": "bot.imnya.ng@gmail.com",
- "x_password": "some.google.password"
- },
- "github.com": {
- "x_username": "imnyang-bot",
- "x_password": "some.github.password"
- }
-}
\ No newline at end of file
diff --git a/.sensitive.json b/.sensitive.json
new file mode 100644
index 0000000..cfcb7a8
--- /dev/null
+++ b/.sensitive.json
@@ -0,0 +1,22 @@
+{
+ "google.com": {
+ "x_username": "whs.imnya.ng@gmail.com",
+ "x_password": "Vb1Mz9pgjY8JVs"
+ },
+ "accounts.google.com": {
+ "x_username": "whs.imnya.ng@gmail.com",
+ "x_password": "Vb1Mz9pgjY8JVs"
+ },
+ "naver.com": {
+ "x_username": "oauth-j93es",
+ "x_password": "whs31234"
+ },
+ "nid.naver.com": {
+ "x_username": "oauth-j93es",
+ "x_password": "whs31234"
+ },
+ "github.com": {
+ "x_username": "imnyang-bot",
+ "x_password": "6PuVXCH9tpQLNm"
+ }
+}
\ No newline at end of file
diff --git a/lib/llm/prompt/__init__.py b/lib/llm/prompt/__init__.py
index 88bdff2..e7e5752 100644
--- a/lib/llm/prompt/__init__.py
+++ b/lib/llm/prompt/__init__.py
@@ -1,12 +1,136 @@
-from dotenv import load_dotenv
import os
-
-from lib.llm.prompt import llm_login, session
+from dotenv import load_dotenv
load_dotenv(override=True)
-def extend_planner_system_message():
- if os.getenv("PROVIDOR_CREDENTIALS_IN_LLM", "False").lower() == "true":
- return llm_login.extend_planner_system_message
- else:
- return session.extend_planner_system_message
\ No newline at end of file
+# Extended planner prompt
+extend_planner_system_message = f"""
+🎯 목적: 웹 자동화를 위한 **SSO 로그인 리디렉션 URL 수집**
+
+📌 주의사항 (전제 조건)
+- ❌ **검색 엔진(Google, Bing 등) 사용 금지**
+- ✅ **초기 제공된 URL 내에서만 탐색**
+- ❌ 직접 이동하거나 추측한 링크 클릭 금지
+- ⛔ 추측한 URL은 대답하거나 클릭하지 마세요
+
+---
+
+## 🧩 Step 0: 페이지 차단(Block) 여부 확인
+
+초기 URL의 로그인 페이지에 접근하여 다음 사항을 점검합니다:
+
+- 🚫 페이지 차단됨 (Firewall, Access Denied 등) → 즉시 중단
+- 🔒 CAPTCHA는 통과 가능 (해결하고 계속 진행)
+- ❗ 로그인 UI가 정상적으로 로드되지 않으면 중단
+
+📤 차단 시 즉시 반환:
+
+```json
+[
+ {{
+ "provider": "Blocked",
+ "oauth_uri": "-"
+ }}
+]
+````
+
+---
+
+## 🔍 Step 1: 로그인 페이지 탐색
+
+* 초기 URL에 접속하여 **클라이언트용 로그인 페이지**로 진입합니다.
+* 쿠키 동의, 개인정보 안내 등 팝업은 무시하거나 닫고 계속 진행하세요.
+* 페이지가 정상 로드되었다고 가정합니다.
+
+---
+
+## 👀 Step 2: SSO 로그인 버튼 식별
+
+아래 **OAuth SSO 버튼들만** 유효합니다:
+
+* ✅ Google, GitHub, Facebook, LinkedIn, Microsoft, Naver
+
+**유효한 버튼 기준**:
+
+* OAuth 인증 흐름을 실제로 트리거
+* `window.location` 또는 `` 또는 JS로 redirect가 발생
+
+**제외 버튼들 (클릭 금지)**:
+
+* ❌ 일반 로그인, 패스키, 이메일/전화번호, 인증서 기반, 비밀번호 입력
+
+---
+
+## ✅ Step 3: 모든 SSO 버튼 클릭 및 로그인 시도
+
+> 각 SSO 로그인 버튼을 클릭한 뒤 반드시 아래 절차를 **완전히 수행**해야 합니다.
+
+각 SSO 버튼에 대해 다음을 수행:
+
+1. 버튼 클릭
+2. 🌐 페이지가 이동되면, **현재 주소창(URL)을 확인하여 리디렉션된 OAuth URL**을 `oauth_uri`로 저장
+ → 예: `https://accounts.google.com/o/oauth2/auth?...`
+3. ✅ 로그인 진행:
+ - 로그인 페이지에서 OAuth 인증을 완료합니다.
+ - sign in with your username(email) x_username and password is x_password
+ - 버튼같은게 안눌리면 새로고침을 해봐
+ - **로그인 완료 후 authorize 등 버튼이 있으면 클릭**
+ - GitHub같은 경우 Authorize 버튼이 뜨는데 오래걸릴 수 있음, 기다려야 할 수도 있음
+ - 만약 버튼을 눌러도 반응이 없을 경우 새로고침을 한번 해주세요.
+4. 로그인 성공 후 clear_cookies를 사용해 모두 쿠키를 삭제하고 다음 SSO 버튼을 클릭합니다.
+5. 다음 SSO 버튼으로 반복 진행
+
+🛑 절대 아래와 같이 해석하지 말 것:
+- ❌ 버튼 클릭 후 페이지 로딩만 기다리고 돌아가기
+- ❌ URL 저장 없이 go_back() 호출
+
+📤 각 로그인 후 다음 형식으로 결과 저장:
+
+```json
+[
+ {{
+ "provider": "Google",
+ "oauth_uri": "https://example.com/auth/google?client_id=..."
+ }}
+]
+````
+
+````
+
+---
+
+### ✨ 추가 안전 장치: "뒤로가기(go_back) 호출 조건" 제한
+
+```text
+🛑 뒤로가기(go_back)은 다음 조건이 모두 충족될 때만 사용:
+- ✅ 로그인 흐름이 완료됨 (예: redirect back to app, or callback URL)
+- ✅ 현재 리디렉션 URL이 수집됨
+- ✅ 결과에 저장 후 다음 버튼 탐색을 위해 복귀 필요할 때
+```
+
+---
+
+## 🚫 Step 4: 버튼 없음 또는 예외 발생 시
+
+* 유효한 SSO 버튼이 **전혀 없을 경우**
+* 예외, 오류 등 발생 시
+
+📤 즉시 중단 후 다음 형식으로 반환:
+
+```json
+[]
+```
+
+---
+
+## 📎 중요 규칙 요약
+
+* ✅ **모든 SSO 로그인은 반드시 실행** (가능한 버튼은 모두 클릭)
+* 🔁 단계는 반드시 순서대로 진행
+* 🔐 로그인은 쿠키/세션으로 유지된 상태에서 수행
+* 🚫 직접 ID/PW 입력하지 않음
+* ⛔ 추측 URL 클릭 금지
+* ❗ 예외 발생 시 반드시 규정된 JSON 포맷만 반환
+
+---
+"""
\ No newline at end of file
diff --git a/lib/llm/prompt/llm_login.py b/lib/llm/prompt/llm_login.py
deleted file mode 100644
index 630f606..0000000
--- a/lib/llm/prompt/llm_login.py
+++ /dev/null
@@ -1,87 +0,0 @@
-from dotenv import load_dotenv
-import os
-
-load_dotenv(override=True)
-google_id = os.getenv("GOOGLE_ID", "")
-google_password = os.getenv("GOOGLE_PASSWORD", "")
-
-naver_id = os.getenv("NAVER_ID", "")
-naver_password = os.getenv("NAVER_PASSWORD", "")
-
-facebook_id = os.getenv("FACEBOOK_ID", "")
-facebook_password = os.getenv("FACEBOOK_PASSWORD", "")
-
-github_id = os.getenv("GITHUB_ID", "")
-github_password = os.getenv("GITHUB_PASSWORD", "")
-
-# Extended planner prompt
-extend_planner_system_message = f"""
-🎯 Mission: Collect Initial SSO Redirect URLs (For Browser Automation)
-
-※ **모든 STEP에서 구글 검색, Bing 검색 등 어떤 외부 검색 기능도 절대 사용하지 않고, 초기에 주어진 URL에서 탐색하세요.**
-※ **초기에 주어진 URL 내에서 실제로 확인되지 않은 URL로 직접 이동하는것은 허용되지 않습니다.**
-
-0. **초기 블록(Block) 체크**
- - 브라우저가 로그인 페이지에 접근하려 할 때, **페이지가 차단(blocked)** 되거나 **방화벽, CAPTCHA, 접근 제한** 등으로 인해 정상적으로 로드되지 않으면 즉시 프로세스를 종료하고 아래 JSON만 반환해야 합니다.
- ```json
- [
- {{
- "provider": "Blocked",
- "oauth_uri": "-"
- }}
- ]
- ```
- - 이후 단계로 절대 넘어가지 않도록 합니다.
-
-1. **로그인 페이지 탐색**
- - **클라이언트(비엔터프라이즈) 로그인 페이지**로 직접 이동합니다. **검색 엔진을 사용하여 찾아서는 안 됩니다.**
- - 접근 후 **개인정보/쿠키/동의 팝업**이 뜨면, 이를 반드시 **닫거나(Dismiss)** 처리하고 계속 진행합니다.
- - (이미 0단계에서 블록 여부를 확인했으므로, 이 단계에서는 페이지가 정상 로드되었다고 가정합니다.)
-
-2. **SSO 버튼 식별**
- - 로그인 페이지에서 다음과 같은 소셜 로그인 버튼을 찾습니다:
- - Google, GitHub, Facebook, Linkedin, Microsoft, Naver”
- - ✅ **실제 SSO 버튼**임이 명확히 확인되는 경우에만 진행합니다.
- - ❌ 제외 대상:
- - “Passkey” 관련 버튼
- - 아이디/비밀번호 입력란
- - 이메일 기반 로그인
- - 인증서, 휴대폰 인증 등 비-OAuth 로그인 옵션
-
-3. **SSO 버튼 클릭 및 로그인 시도**
- - 유효한 SSO 버튼이 발견되면, 버튼을 클릭합니다.
- - 클릭 후 **첫 번째로 리디렉션된 URL(쿼리 스트링 포함)**을 `oauth_uri`로 기록합니다.
- - 공급자 페이지가 열리면, 아래 자격증명을 이용해 로그인을 시도합니다, 아래 자격증명에 포함되지 않는 SSO 버튼도 클릭까지는 시도합니다.:
- - Google → `{google_id}` / `{google_password}`
- - Naver → `{naver_id}` / `{naver_password}`
- - GitHub → `{github_id}` / `{github_password}`
- - 자격증명이 주어진 SSO 버튼인 경우 로그인 과정을 꼭 진행합니다.
- - 로그인 과정이 모두 끝나거나 로그인이 되지 않는 경우 세션 및 쿠키를 모두 삭제하고 페이지를 새로고침합니다.
- - 아직 로그인을 시도하지 않은 SSO 버튼이 있다면 이전 단계인 1. **로그인 페이지 탐색**, 2. **SSO 버튼 식별**, 3. **SSO 버튼 클릭 및 로그인 시도** 로 돌아가 절차를 반복합니다.
- - 최종 결과는 다음과 같이 기록합니다:
- ```json
- [
- {{
- "provider": "Google",
- "oauth_uri": "(optional) https://example.com/auth/google?client_id=...",
- }},
- {{
- "provider": "Naver",
- "oauth_uri": "(optional) https://example.com/auth/naver?client_id=...",
- }}
- ]
- ```
-
-4. **SSO 버튼 미발견 또는 오류 발생 시**
- - 페이지 내부에 유효한 SSO 버튼이 전혀 없거나, 탐색 중 예기치 않은 오류가 발생하면 즉시 프로세스를 종료하고 **빈 배열**을 반환합니다:
- ```json
- []
- ```
-
-5. **중요 사항**
- - **반드시** 위의 단계들을 순서대로 수행해야 하며, 각 단계에서 발생하는 예외 상황을 정확히 처리해야 합니다.
- - **반복 행동**이 감지되면 즉시 빈 배열을 반환하고, **블록된 페이지**는 초기 단계에서 처리하여 프로세스를 종료해야 합니다.
- - **SSO 버튼이 발견되지 않거나, 오류가 발생한 경우에도 빈 배열을 반환해야 합니다.**
- - **반드시** JSON 형식으로 결과를 반환해야 하며, 다른 형식은 허용되지 않습니다.
- - 최대한 효율적인 단계로 진행하며, 불필요한 반복이나 검색 엔진 사용을 피해야 합니다.
-"""
\ No newline at end of file
diff --git a/lib/llm/prompt/session.py b/lib/llm/prompt/session.py
deleted file mode 100644
index 439c19c..0000000
--- a/lib/llm/prompt/session.py
+++ /dev/null
@@ -1,136 +0,0 @@
-import os
-from dotenv import load_dotenv
-
-load_dotenv(override=True)
-
-# Extended planner prompt
-extend_planner_system_message = f"""
-🎯 목적: 웹 자동화를 위한 **SSO 로그인 리디렉션 URL 수집**
-
-📌 주의사항 (전제 조건)
-- ❌ **검색 엔진(Google, Bing 등) 사용 금지**
-- ✅ **초기 제공된 URL 내에서만 탐색**
-- ❌ 직접 이동하거나 추측한 링크 클릭 금지
-- ⛔ 추측한 URL은 대답하거나 클릭하지 마세요
-
----
-
-## 🧩 Step 0: 페이지 차단(Block) 여부 확인
-
-초기 URL의 로그인 페이지에 접근하여 다음 사항을 점검합니다:
-
-- 🚫 페이지 차단됨 (Firewall, Access Denied 등) → 즉시 중단
-- 🔒 CAPTCHA는 통과 가능 (해결하고 계속 진행)
-- ❗ 로그인 UI가 정상적으로 로드되지 않으면 중단
-
-📤 차단 시 즉시 반환:
-
-```json
-[
- {{
- "provider": "Blocked",
- "oauth_uri": "-"
- }}
-]
-````
-
----
-
-## 🔍 Step 1: 로그인 페이지 탐색
-
-* 초기 URL에 접속하여 **클라이언트용 로그인 페이지**로 진입합니다.
-* 쿠키 동의, 개인정보 안내 등 팝업은 무시하거나 닫고 계속 진행하세요.
-* 페이지가 정상 로드되었다고 가정합니다.
-
----
-
-## 👀 Step 2: SSO 로그인 버튼 식별
-
-아래 **OAuth SSO 버튼들만** 유효합니다:
-
-* ✅ Google, GitHub, Facebook, LinkedIn, Microsoft, Naver
-
-**유효한 버튼 기준**:
-
-* OAuth 인증 흐름을 실제로 트리거
-* `window.location` 또는 `` 또는 JS로 redirect가 발생
-
-**제외 버튼들 (클릭 금지)**:
-
-* ❌ 일반 로그인, 패스키, 이메일/전화번호, 인증서 기반, 비밀번호 입력
-
----
-
-## ✅ Step 3: 모든 SSO 버튼 클릭 및 로그인 시도
-
-> 각 SSO 로그인 버튼을 클릭한 뒤 반드시 아래 절차를 **완전히 수행**해야 합니다.
-
-각 SSO 버튼에 대해 다음을 수행:
-
-1. 버튼 클릭
-2. 🌐 페이지가 이동되면, **현재 주소창(URL)을 확인하여 리디렉션된 OAuth URL**을 `oauth_uri`로 저장
- → 예: `https://accounts.google.com/o/oauth2/auth?...`
-3. ✅ 로그인 진행:
- - 세션 및 쿠키에 따라 이미 로그인된 상태로 간주하고 진행
- - Google OAuth인 경우 URL에 `&login_hint={str(os.getenv('GOOGLE_ID'))}` 추가
- - 버튼같은게 안눌리면 새로고침을 해봐
- - **로그인 완료 후 authorize 등 버튼이 있으면 클릭**
- - GitHub같은 경우 Authorize 버튼이 뜨는데 오래걸릴 수 있음, 기다려야 할 수도 있음
- - 만약 버튼을 눌러도 반응이 없을 경우 새로고침을 한번 해주세요.
-4. 로그인 성공 시 원래 페이지로 돌아오고, 해당 OAuth URL은 결과에 저장
-5. 다음 SSO 버튼으로 반복 진행
-
-🛑 절대 아래와 같이 해석하지 말 것:
-- ❌ 버튼 클릭 후 페이지 로딩만 기다리고 돌아가기
-- ❌ URL 저장 없이 go_back() 호출
-
-📤 각 로그인 후 다음 형식으로 결과 저장:
-
-```json
-[
- {{
- "provider": "Google",
- "oauth_uri": "https://example.com/auth/google?client_id=..."
- }}
-]
-````
-
-````
-
----
-
-### ✨ 추가 안전 장치: "뒤로가기(go_back) 호출 조건" 제한
-
-```text
-🛑 뒤로가기(go_back)은 다음 조건이 모두 충족될 때만 사용:
-- ✅ 로그인 흐름이 완료됨 (예: redirect back to app, or callback URL)
-- ✅ 현재 리디렉션 URL이 수집됨
-- ✅ 결과에 저장 후 다음 버튼 탐색을 위해 복귀 필요할 때
-```
-
----
-
-## 🚫 Step 4: 버튼 없음 또는 예외 발생 시
-
-* 유효한 SSO 버튼이 **전혀 없을 경우**
-* 예외, 오류 등 발생 시
-
-📤 즉시 중단 후 다음 형식으로 반환:
-
-```json
-[]
-```
-
----
-
-## 📎 중요 규칙 요약
-
-* ✅ **모든 SSO 로그인은 반드시 실행** (가능한 버튼은 모두 클릭)
-* 🔁 단계는 반드시 순서대로 진행
-* 🔐 로그인은 쿠키/세션으로 유지된 상태에서 수행
-* 🚫 직접 ID/PW 입력하지 않음
-* ⛔ 추측 URL 클릭 금지
-* ❗ 예외 발생 시 반드시 규정된 JSON 포맷만 반환
-
----
-"""
diff --git a/main.py b/main.py
index 4c68790..89c4037 100644
--- a/main.py
+++ b/main.py
@@ -12,8 +12,10 @@ from browser_use import (
Agent,
BrowserSession,
Controller,
+ ActionResult,
)
from patchright.async_api import async_playwright as async_patchright
+from playwright.async_api import Page
from lib.utils import env_cheker
from lib.utils.backend_client import notify_backend
@@ -109,8 +111,21 @@ async def scan_one_url(url: str, skip_html_check: bool = False):
# Agent 생성 및 실행 (단일 try-except with 백오프)
initial_actions = [{"open_tab": {"url": target_url}}]
- controller = Controller(output_model=model.BaseModel)
+ controller = Controller(output_model=model.BaseModel, exclude_actions=['search_google'])
+
+ @controller.action('clear_cookies')
+ async def clear_cookies(browser_session: BrowserSession) -> ActionResult:
+ # Clear all cookies for the current context
+ page = await browser_session.get_current_page()
+ await page.context.clear_cookies()
+ await page.context.clear_permissions()
+ await page.reload()
+
+ print("🗑️ All cookies have been cleared.")
+ return ActionResult(extracted_content="All cookies have been cleared")
+
print("🤖 LLM 모델 초기화 및 스캔 시작...")
+ print("Available actions:", list(controller.registry.registry.actions.keys()))
try:
agent = Agent(
browser_session=session,
@@ -128,7 +143,7 @@ async def scan_one_url(url: str, skip_html_check: bool = False):
llm=CreateChatGoogleGenerativeAI(GOOGLE_MODEL),
planner_llm=CreateChatGoogleGenerativeAI(GOOGLE_PLANNER_MODEL),
controller=controller,
- extend_planner_system_message=extend_planner_system_message(),
+ extend_planner_system_message=extend_planner_system_message,
)
response = await agent.run()
final_result = response.final_result()