mirror of
https://github.com/j93es/browser-use-oauth.git
synced 2026-06-13 22:16:43 +09:00
refect: 코드 가독성 해결
This commit is contained in:
parent
146c187b05
commit
3199a53a44
52 changed files with 389 additions and 3246 deletions
|
|
@ -1,31 +1,26 @@
|
|||
import asyncio
|
||||
import os
|
||||
import json
|
||||
from typing import Dict, Any, Optional
|
||||
import os
|
||||
from dataclasses import dataclass
|
||||
from datetime import datetime, timedelta
|
||||
from typing import Any, Dict, Optional
|
||||
|
||||
from browser_use import Agent, BrowserSession, Controller
|
||||
from patchright.async_api import async_playwright as async_patchright
|
||||
|
||||
from lib.browser_use import (
|
||||
GetProfile,
|
||||
GetSensitiveData,
|
||||
clean_resources,
|
||||
)
|
||||
from lib.utils import (
|
||||
logger,
|
||||
config,
|
||||
)
|
||||
from lib.browser_use import GetProfile, GetSensitiveData, clean_resources
|
||||
from lib.llm import CreateChatGoogle, get_prompt
|
||||
from lib.utils import config, logger
|
||||
|
||||
# Exponential backoff settings
|
||||
INITIAL_BACKOFF = int(os.getenv("INITIAL_BACKOFF", "60")) # seconds
|
||||
MAX_BACKOFF = int(os.getenv("MAX_BACKOFF", "600")) # seconds
|
||||
|
||||
|
||||
@dataclass
|
||||
class RetryTask:
|
||||
"""재시도할 작업을 나타내는 클래스"""
|
||||
|
||||
task_type: str # "oauth_list" or "oauth_login"
|
||||
url: str
|
||||
oauth_provider: Optional[str] = None
|
||||
|
|
@ -33,46 +28,55 @@ class RetryTask:
|
|||
next_retry_time: Optional[datetime] = None
|
||||
max_retries: int = 5
|
||||
|
||||
|
||||
# 전역 재시도 큐
|
||||
retry_queue: list[RetryTask] = []
|
||||
retry_queue_lock = asyncio.Lock()
|
||||
|
||||
|
||||
async def add_to_retry_queue(task: RetryTask):
|
||||
"""작업을 재시도 큐에 추가"""
|
||||
async with retry_queue_lock:
|
||||
# 중복 작업 확인
|
||||
existing_task = None
|
||||
for existing in retry_queue:
|
||||
if (existing.task_type == task.task_type and
|
||||
existing.url == task.url and
|
||||
existing.oauth_provider == task.oauth_provider):
|
||||
if (
|
||||
existing.task_type == task.task_type
|
||||
and existing.url == task.url
|
||||
and existing.oauth_provider == task.oauth_provider
|
||||
):
|
||||
existing_task = existing
|
||||
break
|
||||
|
||||
|
||||
if existing_task:
|
||||
# 기존 작업이 있으면 재시도 횟수 업데이트
|
||||
existing_task.retry_count = task.retry_count
|
||||
existing_task.next_retry_time = task.next_retry_time
|
||||
print(f"📝 기존 작업 업데이트: {task.task_type} - {task.url} (재시도: {task.retry_count})")
|
||||
print(
|
||||
f"📝 기존 작업 업데이트: {task.task_type} - {task.url} (재시도: {task.retry_count})"
|
||||
)
|
||||
else:
|
||||
# 새 작업 추가
|
||||
retry_queue.append(task)
|
||||
print(f"➕ 재시도 큐에 작업 추가: {task.task_type} - {task.url} (재시도: {task.retry_count})")
|
||||
print(
|
||||
f"➕ 재시도 큐에 작업 추가: {task.task_type} - {task.url} (재시도: {task.retry_count})"
|
||||
)
|
||||
|
||||
|
||||
async def process_retry_queue():
|
||||
"""재시도 큐 처리"""
|
||||
async with retry_queue_lock:
|
||||
now = datetime.now()
|
||||
ready_tasks = []
|
||||
|
||||
|
||||
for task in retry_queue[:]: # 복사본에서 반복
|
||||
if task.next_retry_time and task.next_retry_time <= now:
|
||||
ready_tasks.append(task)
|
||||
retry_queue.remove(task)
|
||||
|
||||
|
||||
if ready_tasks:
|
||||
print(f"🔄 {len(ready_tasks)}개의 재시도 작업 처리 중...")
|
||||
|
||||
|
||||
for task in ready_tasks:
|
||||
try:
|
||||
if task.task_type == "oauth_list":
|
||||
|
|
@ -82,20 +86,25 @@ async def process_retry_queue():
|
|||
else:
|
||||
await _handle_retry_failure(task)
|
||||
elif task.task_type == "oauth_login":
|
||||
result = await _test_oauth_login_internal(task.url, task.oauth_provider)
|
||||
result = await _test_oauth_login_internal(
|
||||
task.url, task.oauth_provider
|
||||
)
|
||||
if result:
|
||||
print(f"✅ 재시도 성공: {task.oauth_provider} 로그인 - {task.url}")
|
||||
print(
|
||||
f"✅ 재시도 성공: {task.oauth_provider} 로그인 - {task.url}"
|
||||
)
|
||||
else:
|
||||
await _handle_retry_failure(task)
|
||||
except Exception as e:
|
||||
print(f"❌ 재시도 중 에러: {e}")
|
||||
await _handle_retry_failure(task)
|
||||
|
||||
|
||||
async def _handle_retry_failure(task: RetryTask):
|
||||
"""재시도 실패 처리"""
|
||||
if task.retry_count < task.max_retries:
|
||||
task.retry_count += 1
|
||||
wait_time = min(INITIAL_BACKOFF * (2 ** task.retry_count), MAX_BACKOFF)
|
||||
wait_time = min(INITIAL_BACKOFF * (2**task.retry_count), MAX_BACKOFF)
|
||||
task.next_retry_time = datetime.now() + timedelta(seconds=wait_time)
|
||||
await add_to_retry_queue(task)
|
||||
print(f"⏰ {wait_time}초 후 재시도 예정: {task.task_type} - {task.url}")
|
||||
|
|
@ -103,6 +112,7 @@ async def _handle_retry_failure(task: RetryTask):
|
|||
print(f"❌ 최대 재시도 횟수 초과: {task.task_type} - {task.url}")
|
||||
logger(f"❌ 최대 재시도 횟수 초과: {task.task_type} - {task.url}")
|
||||
|
||||
|
||||
async def get_retry_queue_status():
|
||||
"""재시도 큐 상태 조회"""
|
||||
async with retry_queue_lock:
|
||||
|
|
@ -114,19 +124,24 @@ async def get_retry_queue_status():
|
|||
"url": task.url,
|
||||
"oauth_provider": task.oauth_provider,
|
||||
"retry_count": task.retry_count,
|
||||
"next_retry_time": task.next_retry_time.isoformat() if task.next_retry_time else None
|
||||
"next_retry_time": (
|
||||
task.next_retry_time.isoformat()
|
||||
if task.next_retry_time
|
||||
else None
|
||||
),
|
||||
}
|
||||
for task in retry_queue
|
||||
]
|
||||
],
|
||||
}
|
||||
|
||||
|
||||
async def _run_agent_with_retry(agent_config):
|
||||
"""Agent 실행을 위한 내부 헬퍼 함수 (재시도 로직 포함)"""
|
||||
agent = None
|
||||
session = None
|
||||
try_cnt = 0
|
||||
url = agent_config["url"]
|
||||
|
||||
|
||||
while try_cnt < 3:
|
||||
try:
|
||||
session = BrowserSession(
|
||||
|
|
@ -134,25 +149,30 @@ async def _run_agent_with_retry(agent_config):
|
|||
browser_profile=await GetProfile(),
|
||||
)
|
||||
|
||||
agent = Agent(
|
||||
browser_session=session,
|
||||
**agent_config["agent_params"]
|
||||
)
|
||||
agent = Agent(browser_session=session, **agent_config["agent_params"])
|
||||
|
||||
response = await agent.run()
|
||||
await clean_resources(agent, session)
|
||||
|
||||
if any(keyword in str(response) for keyword in [
|
||||
"429", "resource_exhausted", "resourceexhausted",
|
||||
"quota", "rate limit", "too many requests",
|
||||
"exceeded", "limit reached"
|
||||
]):
|
||||
if any(
|
||||
keyword in str(response)
|
||||
for keyword in [
|
||||
"429",
|
||||
"resource_exhausted",
|
||||
"resourceexhausted",
|
||||
"quota",
|
||||
"rate limit",
|
||||
"too many requests",
|
||||
"exceeded",
|
||||
"limit reached",
|
||||
]
|
||||
):
|
||||
print(f"⚠️ API 쿼터 에러 발생, 재시도 큐에 추가: {url}")
|
||||
task = RetryTask(
|
||||
task_type=agent_config.get("task_type", "unknown"),
|
||||
url=url,
|
||||
retry_count=try_cnt + 1,
|
||||
next_retry_time=datetime.now() + timedelta(seconds=INITIAL_BACKOFF)
|
||||
next_retry_time=datetime.now() + timedelta(seconds=INITIAL_BACKOFF),
|
||||
)
|
||||
await add_to_retry_queue(task)
|
||||
return None
|
||||
|
|
@ -166,10 +186,12 @@ async def _run_agent_with_retry(agent_config):
|
|||
try_cnt += 1
|
||||
if try_cnt >= 3:
|
||||
error_msg = f"최대 재시도 횟수 초과."
|
||||
logger(f"❌ {url} - {agent_config['log_context']} 실패: {error_msg}: {e}")
|
||||
logger(
|
||||
f"❌ {url} - {agent_config['log_context']} 실패: {error_msg}: {e}"
|
||||
)
|
||||
print(f"❌ {url} - {agent_config['log_context']} 실패: {error_msg}")
|
||||
return None
|
||||
|
||||
|
||||
print(f"⚠️ 에러 발생: {e}. {try_cnt}번째 재시도 중...")
|
||||
await asyncio.sleep(30)
|
||||
continue
|
||||
|
|
@ -197,7 +219,8 @@ async def _extract_oauth_list_internal(url: str):
|
|||
"llm": CreateChatGoogle(config.GOOGLE_MODEL),
|
||||
"planner_llm": (
|
||||
CreateChatGoogle(config.GOOGLE_PLANNER_MODEL)
|
||||
if config.GOOGLE_PLANNER_MODEL and os.getenv("ENABLE_PLANNER_MODEL_OAUTH_LIST")
|
||||
if config.GOOGLE_PLANNER_MODEL
|
||||
and os.getenv("ENABLE_PLANNER_MODEL_OAUTH_LIST")
|
||||
else None
|
||||
),
|
||||
"controller": Controller(
|
||||
|
|
@ -206,7 +229,7 @@ async def _extract_oauth_list_internal(url: str):
|
|||
),
|
||||
"extend_system_message": prompt,
|
||||
"extend_planner_system_message": prompt,
|
||||
}
|
||||
},
|
||||
}
|
||||
|
||||
response = await _run_agent_with_retry(agent_config)
|
||||
|
|
@ -241,17 +264,25 @@ async def extract_oauth_list(url: str):
|
|||
return await _extract_oauth_list_internal(url)
|
||||
except Exception as e:
|
||||
error_str = str(e).lower()
|
||||
if any(keyword in error_str for keyword in [
|
||||
"429", "resource_exhausted", "resourceexhausted",
|
||||
"quota", "rate limit", "too many requests",
|
||||
"exceeded", "limit reached"
|
||||
]):
|
||||
if any(
|
||||
keyword in error_str
|
||||
for keyword in [
|
||||
"429",
|
||||
"resource_exhausted",
|
||||
"resourceexhausted",
|
||||
"quota",
|
||||
"rate limit",
|
||||
"too many requests",
|
||||
"exceeded",
|
||||
"limit reached",
|
||||
]
|
||||
):
|
||||
print(f"⚠️ API 쿼터 에러 발생, 재시도 큐에 추가: {url}")
|
||||
task = RetryTask(
|
||||
task_type="oauth_list",
|
||||
url=url,
|
||||
retry_count=1,
|
||||
next_retry_time=datetime.now() + timedelta(seconds=INITIAL_BACKOFF)
|
||||
next_retry_time=datetime.now() + timedelta(seconds=INITIAL_BACKOFF),
|
||||
)
|
||||
await add_to_retry_queue(task)
|
||||
return []
|
||||
|
|
@ -282,7 +313,8 @@ async def _test_oauth_login_internal(url: str, oauth_provider: str):
|
|||
"llm": CreateChatGoogle(config.GOOGLE_MODEL),
|
||||
"planner_llm": (
|
||||
CreateChatGoogle(config.GOOGLE_PLANNER_MODEL)
|
||||
if config.GOOGLE_PLANNER_MODEL and os.getenv("ENABLE_PLANNER_MODEL_OAUTH_LOGIN")
|
||||
if config.GOOGLE_PLANNER_MODEL
|
||||
and os.getenv("ENABLE_PLANNER_MODEL_OAUTH_LOGIN")
|
||||
else None
|
||||
),
|
||||
"controller": Controller(
|
||||
|
|
@ -291,7 +323,7 @@ async def _test_oauth_login_internal(url: str, oauth_provider: str):
|
|||
),
|
||||
"extend_system_message": prompt,
|
||||
"extend_planner_system_message": prompt,
|
||||
}
|
||||
},
|
||||
}
|
||||
|
||||
response = await _run_agent_with_retry(agent_config)
|
||||
|
|
@ -301,7 +333,7 @@ async def _test_oauth_login_internal(url: str, oauth_provider: str):
|
|||
print(f"✅ {oauth_provider} 로그인 완료")
|
||||
logger(f"✅ {url} - {oauth_provider} 로그인 결과: {final_result}")
|
||||
return True
|
||||
|
||||
|
||||
print(f"❌ {oauth_provider} 로그인 실패")
|
||||
return False
|
||||
|
||||
|
|
@ -312,26 +344,36 @@ async def test_oauth_login(url: str, oauth_provider: str):
|
|||
return await _test_oauth_login_internal(url, oauth_provider)
|
||||
except Exception as e:
|
||||
error_str = str(e).lower()
|
||||
if any(keyword in error_str for keyword in [
|
||||
"429", "resource_exhausted", "resourceexhausted",
|
||||
"quota", "rate limit", "too many requests",
|
||||
"exceeded", "limit reached"
|
||||
]):
|
||||
if any(
|
||||
keyword in error_str
|
||||
for keyword in [
|
||||
"429",
|
||||
"resource_exhausted",
|
||||
"resourceexhausted",
|
||||
"quota",
|
||||
"rate limit",
|
||||
"too many requests",
|
||||
"exceeded",
|
||||
"limit reached",
|
||||
]
|
||||
):
|
||||
print(f"⚠️ API 쿼터 에러 발생, 재시도 큐에 추가: {oauth_provider} - {url}")
|
||||
task = RetryTask(
|
||||
task_type="oauth_login",
|
||||
url=url,
|
||||
oauth_provider=oauth_provider,
|
||||
retry_count=1,
|
||||
next_retry_time=datetime.now() + timedelta(seconds=INITIAL_BACKOFF)
|
||||
next_retry_time=datetime.now() + timedelta(seconds=INITIAL_BACKOFF),
|
||||
)
|
||||
await add_to_retry_queue(task)
|
||||
return False
|
||||
else:
|
||||
raise e
|
||||
|
||||
|
||||
async def start_retry_queue_processor():
|
||||
"""재시도 큐 처리기를 백그라운드에서 시작"""
|
||||
|
||||
async def queue_processor():
|
||||
while True:
|
||||
try:
|
||||
|
|
@ -340,14 +382,15 @@ async def start_retry_queue_processor():
|
|||
except Exception as e:
|
||||
print(f"❌ 재시도 큐 처리 중 에러: {e}")
|
||||
await asyncio.sleep(60) # 에러 발생 시 1분 대기
|
||||
|
||||
|
||||
# 백그라운드 태스크로 실행
|
||||
asyncio.create_task(queue_processor())
|
||||
print("🔄 재시도 큐 처리기 시작됨")
|
||||
|
||||
|
||||
# 모듈 로딩 시 자동으로 백그라운드 처리기 시작
|
||||
# (실제 애플리케이션에서는 main 함수에서 호출하는 것이 좋음)
|
||||
def init_retry_system():
|
||||
"""재시도 시스템 초기화"""
|
||||
print("🔧 재시도 시스템 초기화 중...")
|
||||
# 이 함수는 메인 애플리케이션에서 호출해야 함
|
||||
# 이 함수는 메인 애플리케이션에서 호출해야 함
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue