Maxim Integration

에이전트 모니터링, 평가 및 가시성 시작

​

Maxim 개요

Maxim AI는 귀하의 CrewAI 애플리케이션을 위한 포괄적인 에이전트 모니터링, 평가 및 가시성을 제공합니다. Maxim의 원라인 통합을 통해 에이전트 상호작용, 성능 지표 등을 손쉽게 추적하고 분석할 수 있습니다.

​

특징

​

프롬프트 관리

Maxim의 프롬프트 관리 기능을 통해 CrewAI 에이전트를 위한 프롬프트를 생성, 조직, 최적화할 수 있습니다. 지침을 하드코딩하는 대신, Maxim의 SDK를 활용하여 버전 관리가 되는 프롬프트를 동적으로 가져오고 적용하세요.

프롬프트 플레이그라운드

플레이그라운드를 통해 프롬프트를 생성, 정제, 실험 및 배포할 수 있습니다. 폴더와 버전을 활용하여 프롬프트를 정리하고, 도구 및 컨텍스트를 연결하여 실제 사례로 실험해 보며, 맞춤형 로직을 기반으로 배포할 수 있습니다.

모델 구성을 통해 여러 모델을 손쉽게 실험하고, 프롬프트 플레이그라운드 상단 드롭다운에서 원하는 모델을 선택하세요.

프롬프트 버전

팀이 AI 애플리케이션을 개발할 때, 실험의 중요한 부분은 프롬프트 구조를 반복적으로 개선하는 것입니다. 효과적으로 협업하고 변경 사항을 명확히 정리할 수 있도록 Maxim은 프롬프트 버전 관리와 버전 간 비교 실행을 지원합니다.

프롬프트 비교

AI 애플리케이션을 발전시켜 나가면서 프롬프트를 반복 개선하기 위해서는 모델, 프롬프트 구조 등 다양한 요소로 실험이 필요합니다. 버전 간 비교 및 변화에 대한 정보에 기반한 결정을 위해, 비교 플레이그라운드는 결과를 나란히 볼 수 있게 해줍니다.

​

프롬프트 비교를 왜 사용해야 하나요?

프롬프트 비교는 여러 개의 단일 프롬프트를 하나의 뷰에서 볼 수 있도록 하여 다양한 워크플로에 streamlined 접근을 제공합니다:

1. 모델 비교: 동일한 프롬프트에서 서로 다른 모델의 성능을 평가합니다.
2. 프롬프트 최적화: 여러 버전의 프롬프트를 비교하여 가장 효과적인 구성을 식별합니다.
3. 교차 모델 일관성: 동일한 프롬프트에 대해 여러 모델에서 일관된 출력을 보장합니다.
4. 성능 벤치마킹: 다양한 모델과 프롬프트에 대해 지연 시간, 비용, 토큰 수 등의 지표를 분석합니다.

​

관찰 가능성 & 평가

Maxim AI는 CrewAI 에이전트에 대한 포괄적인 관찰 가능성과 평가 기능을 제공하여, 각 실행 과정에서 무슨 일이 일어나고 있는지 정확히 파악할 수 있도록 지원합니다.

Agent Tracing

에이전트의 전체 라이프사이클(도구 호출, 에이전트 궤적, 결정 플로우 등)을 손쉽게 추적할 수 있습니다.

Analytics + Evals

전체 트레이스 또는 개별 노드에 대해 상세 평가를 실행할 수 있으며, 다음 기능을 지원합니다:

• 다중 단계 상호작용 및 세분화된 트레이스 분석
• 세션 수준 평가
• 실제 환경 시뮬레이션 테스트

로그 자동 평가

필터 및 샘플링을 기준으로 UI에서 캡처된 로그를 자동으로 평가할 수 있습니다.

로그 수동 평가

로그의 품질을 평가하고, 사람의 평가 또는 등급을 이용해 로그를 검토할 수 있습니다.

노드 수준 평가

트레이스 또는 로그의 모든 컴포넌트를 평가하여 에이전트의 행동에 대한 통찰을 얻을 수 있습니다.

---

Alerting

오류, 비용, 토큰 사용량, 사용자 피드백, 지연 시간에 임계값을 설정하고, Slack 또는 PagerDuty를 통해 실시간 알림을 받아보세요.

Dashboards

시간 경과에 따른 트레이스, 사용량 측정지표, 지연 시간 및 오류율을 손쉽게 시각화할 수 있습니다.

​

시작하기

​

사전 준비 사항

• Python 버전 >=3.10
• Maxim 계정 (여기에서 가입)
• Maxim API 키 생성
• CrewAI 프로젝트

​

설치

Maxim SDK를 pip을 통해 설치하세요:

pip install maxim-py

또는 requirements.txt에 추가하세요:

maxim-py

​

기본 설정

​

1. 환경 변수 설정

### Environment Variables Setup

# Create a `.env` file in your project root:

# Maxim API Configuration
MAXIM_API_KEY=your_api_key_here
MAXIM_LOG_REPO_ID=your_repo_id_here

​

2. 필수 패키지 임포트하기

from crewai import Agent, Task, Crew, Process
from maxim import Maxim
from maxim.logger.crewai import instrument_crewai

​

3. API 키로 Maxim 초기화하기

# Instrument CrewAI with just one line
instrument_crewai(Maxim().logger())

​

4. 일반적으로 CrewAI 애플리케이션 생성 및 실행하기

# Create your agent
researcher = Agent(
    role='Senior Research Analyst',
    goal='Uncover cutting-edge developments in AI',
    backstory="You are an expert researcher at a tech think tank...",
    verbose=True,
    llm=llm
)

# Define the task
research_task = Task(
    description="Research the latest AI advancements...",
    expected_output="",
    agent=researcher
)

# Configure and run the crew
crew = Crew(
    agents=[researcher],
    tasks=[research_task],
    verbose=True
)

try:
    result = crew.kickoff()
finally:
    maxim.cleanup()  # Ensure cleanup happens even if errors occur

이제 끝입니다! 모든 CrewAI 에이전트 상호작용이 Maxim 대시보드에 기록되고 확인할 수 있습니다.

간단한 참고를 위해 이 Google Colab Notebook을 확인하세요 - Notebook

​

트레이스 보기

CrewAI 애플리케이션을 실행한 후:

1. Maxim 대시보드에 로그인하세요.

2. 리포지토리로 이동하세요.

3. 다음을 포함한 에이전트 트레이스를 상세하게 확인할 수 있습니다:

   • 에이전트 대화 내역
   • 도구 사용 패턴
   • 성능 지표
   • 비용 분석
   

​

문제 해결

​

흔한 문제

• 추적(trace)가 나타나지 않음: API 키와 저장소 ID가 올바른지 확인하세요.

• crew를 실행하기 전에 반드시 instrument_crewai()를 호출했는지 확인하세요. 이 함수가 로깅 훅(logging hook)을 올바르게 초기화합니다.

• 내부 오류를 드러내기 위해 instrument_crewai() 호출 시 debug=True로 설정하세요:

  instrument_crewai(logger, debug=True)
  

• 에이전트에서 상세 로그를 캡처하기 위해 verbose=True로 설정하세요:

  agent = CrewAgent(..., verbose=True)
  

• instrument_crewai()가 에이전트를 생성하거나 실행하기 전에 호출되는지 다시 한 번 확인하세요. 너무 당연해 보일 수 있지만, 자주 발생하는 실수입니다.

​

리소스

CrewAI Docs

공식 CrewAI 문서

Maxim Docs

공식 Maxim 문서

Maxim Github

Maxim Github