설명
바살트는 모든 사용자 상호작용에서 학습하여 고객 행동을 포착하고 스스로 개선하는 인프라를 구축하도록 설계되었습니다. 전날의 대화를 분석하여 문제를 감지하고 매일 아침 AI 어시스턴트의 기능을 향상시키기 위해 하나의 고품질 풀 리퀘스트(PR)를 전송합니다.
이 과정은 Langfuse, Braintrust 또는 Datadog과 같은 관찰 도구를 연결하는 것으로 시작됩니다. 바살트는 사용자가 밤새 나눈 모든 대화를 자동으로 수집합니다. 고급 분석을 사용하여 대화를 클러스터링하고, 실패 패턴을 식별하며, 품질 격차를 드러내는 상호작용을 정확히 찾아냅니다. 예를 들어, 특정 오류 패턴에 영향을 받는 대화가 34건이라면, 바살트는 프롬프트 업데이트나 도구 정의를 포함할 수 있는 목표 수정 사항을 생성하고, 이를 구현하기 전에 귀하의 골든 데이터셋과 검증합니다.
바살트의 주요 장점 중 하나는 수동 주석이 필요 없다는 것입니다. 실제 사용자 행동을 개선의 신호로 활용합니다. 매일 아침 바살트는 귀하의 리포지토리에 테스트 가능한 PR을 전송하여 모든 변경 사항이 실제 성능 데이터를 기반으로 이루어지도록 합니다. 이 접근 방식은 기존 기능을 방해하지 않으면서 지속적인 개선을 가능하게 합니다. PR이 열리기 전에 바살트는 제안된 수정을 귀하의 골든 데이터셋에 대해 테스트하며, 이 데이터셋은 올바른 행동을 정의하는 선별된 예시로 구성됩니다. 회귀가 감지되면 PR은 차단되어 효과적인 변경 사항만 병합됩니다.
바살트의 가격 모델은 간단합니다: PR을 병합할 때만 비용을 지불합니다. 각 PR은 무료로 검토할 수 있어 어떤 변경 사항을 구현할지 결정할 수 있습니다. 이 모델은 월 20개 이상의 PR을 병합하는 팀에 특히 유리하며, 대량 할인도 제공됩니다. 바살트를 통해 반복 주기를 크게 가속화할 수 있어 AI 에이전트를 효율적으로 향상시키려는 팀에 필수적인 도구입니다.
바살트의 핵심 기능
자동화된 일일 PR 생성
실시간 대화 분석
오류 패턴 감지
목표 수정 생성
골든 데이터셋에 대한 검증
수동 주석 필요 없음
병합당 지불 가격 모델
높은 사용량에 대한 대량 할인
바살트 사용 방법은?
바살트에 관찰 도구를 연결합니다.
바살트가 사용자 대화를 자동으로 수집하도록 허용합니다.
매일 아침 바살트가 생성한 PR을 검토합니다.
제안된 변경 사항을 귀하의 골든 데이터셋에 대해 테스트합니다.
변경 사항이 만족스러우면 PR을 병합합니다.
병합 후 AI 에이전트의 성능을 모니터링합니다.
지속적인 개선을 위해 이 과정을 반복합니다.
바살트의 사용 사례
- 고객 지원 개선
- 오류 감지
- 성능 최적화
- 자동 학습
- 비용 관리
