Weave 통합

Weights & Biases(W&B) Weave를 사용하여 CrewAI 애플리케이션을 추적, 실험, 평가 및 개선하는 방법을 알아보세요.

​

Weave 개요

Weights & Biases (W&B) Weave는 LLM 기반 애플리케이션을 추적, 실험, 평가, 배포 및 개선하기 위한 프레임워크입니다.

Weave는 CrewAI 애플리케이션 개발의 모든 단계에서 포괄적인 지원을 제공합니다:

• 트레이싱 및 모니터링: LLM 호출과 애플리케이션 로직을 자동으로 추적하여 프로덕션 시스템을 디버그하고 분석
• 체계적인 반복: prompt, 데이터셋, 모델을 개선하고 반복
• 평가: 맞춤형 또는 사전 구축된 스코어러를 사용하여 agent 성능을 체계적으로 평가하고 향상
• 가드레일: 콘텐츠 모더레이션과 prompt 안전성을 위한 사전 및 사후 보호조치로 agent를 보호

Weave는 CrewAI 애플리케이션의 트레이스를 자동으로 캡처하여 agent의 성능, 상호 작용 및 실행 흐름을 모니터링하고 분석할 수 있게 해줍니다. 이를 통해 더 나은 평가 데이터셋을 구축하고 agent 워크플로우를 최적화할 수 있습니다.

​

설치 안내

1. 필수 패키지 설치

   pip install crewai weave
   
2. W&B 계정 설정

   Weights & Biases 계정에 가입하세요. 아직 계정이 없다면 가입이 필요합니다. 트레이스와 메트릭을 확인하려면 계정이 필요합니다.

3. 애플리케이션에서 Weave 초기화

   다음 코드를 애플리케이션에 추가하세요:

   import weave
   
   # 프로젝트 이름으로 Weave를 초기화
   weave.init(project_name="crewai_demo")
   

   초기화 후, Weave는 트레이스와 메트릭을 확인할 수 있는 URL을 제공합니다.

4. Crews/Flows 생성

   from crewai import Agent, Task, Crew, LLM, Process
   
   # 결정론적 출력을 위해 temperature를 0으로 설정하여 LLM 생성
   llm = LLM(model="gpt-4o", temperature=0)
   
   # 에이전트 생성
   researcher = Agent(
       role='Research Analyst',
       goal='Find and analyze the best investment opportunities',
       backstory='Expert in financial analysis and market research',
       llm=llm,
       verbose=True,
       allow_delegation=False,
   )
   
   writer = Agent(
       role='Report Writer',
       goal='Write clear and concise investment reports',
       backstory='Experienced in creating detailed financial reports',
       llm=llm,
       verbose=True,
       allow_delegation=False,
   )
   
   # 작업 생성
   research_task = Task(
       description='Deep research on the {topic}',
       expected_output='Comprehensive market data including key players, market size, and growth trends.',
       agent=researcher
   )
   
   writing_task = Task(
       description='Write a detailed report based on the research',
       expected_output='The report should be easy to read and understand. Use bullet points where applicable.',
       agent=writer
   )
   
   # 크루 생성
   crew = Crew(
       agents=[researcher, writer],
       tasks=[research_task, writing_task],
       verbose=True,
       process=Process.sequential,
   )
   
   # 크루 실행
   result = crew.kickoff(inputs={"topic": "AI in material science"})
   print(result)
   
5. Weave에서 트레이스 보기

   CrewAI 애플리케이션 실행 후, 초기화 시 제공된 Weave URL에 방문하여 다음 항목을 확인할 수 있습니다:

   • LLM 호출 및 그 메타데이터
   • 에이전트 상호작용 및 작업 실행 흐름
   • 대기 시간 및 토큰 사용량과 같은 성능 메트릭
   • 실행 중 발생한 오류 또는 이슈

   

​

특징

• Weave는 모든 CrewAI 작업을 자동으로 캡처합니다: agent 상호작용 및 태스크 실행; 메타데이터와 토큰 사용량을 포함한 LLM 호출; 도구 사용 및 결과.
• 이 통합은 모든 CrewAI 실행 메서드를 지원합니다: kickoff(), kickoff_for_each(), kickoff_async(), 그리고 kickoff_for_each_async().
• 모든 crewAI-tools 작업의 자동 추적.
• 데코레이터 패칭(@start, @listen, @router, @or_, @and_)을 통한 flow 기능 지원.
• @weave.op()과 함께 CrewAI Task에 전달된 커스텀 guardrails 추적.

지원되는 항목에 대한 자세한 정보는 Weave CrewAI 문서를 참조하세요.

​

자료

• 📘 Weave 문서
• 📊 예시 Weave x CrewAI 대시보드
• 🐦 X