교육된 분류 솔루션에 대한 대상 메트릭 구성
교육된 머신 러닝 솔루션의 정밀도, 범위 및 회수율 통계에 대한 값을 설정합니다.
클래스 또는 솔루션 수준에서 분류 메트릭 값 설정
예측 인텔리전스 는 정밀도, 범위 및 회수율의 세 가지 분류 메트릭 유형을 제공합니다. 이러한 메트릭은 교육된 분류 솔루션 양식의 솔루션 통계 탭에서 구성합니다. 클래스 수준에서 이러한 메트릭에 값을 수동으로 설정할 수 있지만 처리할 클래스 수가 많은 경우 이렇게 하기가 어려울 수 있습니다. 대부분의 경우 솔루션을 학습할 때까지 설정할 최상의 값을 모를 수 있습니다. 이 주제는 솔루션 수준에서만 메트릭 값을 설정하는 데 중점을 둡니다.
솔루션 메트릭 구성
한 메트릭에 값을 적용하면 다른 두 메트릭의 값이 변경됩니다. 이 동작을 통해 메트릭을 실시간으로 반복적으로 수정하여 어떤 값 조합이 특정 결과를 렌더링하는지 확인할 수 있습니다. 메트릭에 새 값을 적용하면 시스템이 새 대상을 고려하여 다시 계산합니다.
메트릭에 값을 적용하면 시스템은 가장 높은 백분율 값을 기반으로 설정한 메트릭을 선호하고 다른 메트릭에 비용을 지불하도록 예측을 학습하도록 요청합니다. 시스템은 이러한 값을 충족하려고 시도하지만 학습 중인 데이터가 배포되는 방식으로 인해 요청한 대로 정확하게 설정하지 않을 수 있습니다.
솔루션 수준에서 메트릭 값을 적용하면 시스템이 자동으로 클래스 수준에서 적절한 값을 설정합니다.
- 학습된 ML 솔루션의 솔루션 통계 탭으로 이동합니다.
- 솔루션에 할당할 값을 더 잘 이해할 수 있도록 각 메트릭을 정의하는 화면의 녹색 배너에 있는 메시지를 검토합니다. 처음 두 개의 메시지 배너는 예상 솔루션 수준 메트릭을 다룹니다. 세 번째 배너는 적용한 솔루션 값을 기반으로 클래스 수준의 결과를 표시합니다.
- 대상 메트릭 선택 목록에서 구성할 메트릭을 선택합니다.
- 대상 메트릭 값 필드에 0-100 사이의 숫자 백분위수 값을 입력합니다.
- Apply Values(값 적용)를 클릭합니다.
- 결과: 솔루션 통계 탭에서 예상 솔루션 정확도, 예상 솔루션 회수 및 예상 솔루션 범위에 대한 값의 변경을 검토할 수 있습니다. 시스템은 선택한 대상 메트릭 과 솔루션에 대해 입력한 대상 메트릭 값을 기반으로 이러한 값을 계산합니다.
다음은 최근에 학습된 분류 솔루션에 대한 샘플 방문 페이지입니다. 보시다시피 정밀도 메트릭은 44.18, 회수율은 41.26, 적용 범위는 77.23입니다.
사용 사례에 대해 이러한 기본값을 조정해야 하는 경우 아래 샘플 구성을 참조하십시오. 예를 들어 구현 중인 분류 솔루션에 따라 정밀도, 재현율 또는 범위에 대한 대상 메트릭 값을 변경할 수 있습니다. 정밀도와 같은 한 메트릭의 대상 메트릭 값을 변경하면 회수 및 범위 메트릭의 값에도 영향을 미칩니다.
정밀도 구성 예
이 예시 시나리오에서는 인시던트 기록을 라우팅하기 위한 수동 분류 프로세스를 올바른 할당 그룹에 기록을 자동으로 할당하는 ML 분류 솔루션으로 대체합니다. 이 시나리오에서는 대상 값을 염두에 두고 있으며 시스템은 시간의 80% 이상을 정확하게 예측해야 합니다. 따라서 정밀도 메트릭 값을 80 으로 설정하고 값 적용을 클릭합니다.
다음은 시스템이 솔루션에 적용한 메트릭 값입니다. 이 시나리오에서는 정밀도 값 80.04가 80%에 대한 요청을 약간 초과했으므로 해당 값에 만족할 가능성이 높습니다.
범위 구성 예
인시던트 레코드를 라우팅하기 위해 수동 분류 프로세스를 대체하는 또 다른 예제 시나리오에서 최소 목표는 올해 1분기에 들어오는 인시던트의 70% 이상을 예측하는 것입니다. 따라서 커버리지 메트릭 값을 70 으로 설정하고 Apply Values(값 적용)를 클릭합니다.
시스템이 솔루션에 적용한 메트릭 값이 다음 이미지에 표시됩니다. 범위 메트릭 값이 35.99에서 55.98로 증가했습니다. 그러나 정밀도 메트릭은 80.18에서 64.97로 감소했습니다. 이는 커버리지 메트릭을 상대적으로 높은 값인 70으로 설정했거나 학습 중인 데이터가 배포되는 방식 때문일 수 있습니다.
회수 구성 예
또 다른 시나리오에서는 수신 전자 메일이 피싱인지 여부를 분류하는 것이 보안 관련 기계 학습 솔루션의 중요한 사용 사례가 될 수 있습니다. 이 상황에서는 모든 피싱을 식별하는 것이 매우 중요하며, 경우에 따라 피싱이 아닌 피싱을 피싱으로 보고하는 것이 괜찮을 수 있습니다. 그러나 실제 피싱은 피싱이 아닌 것으로 분류되어서는 안 됩니다. 이러한 상황에서는 회수율 메트릭의 값이 높아야 하며, 이로 인해 정밀도와 적용 범위에 대한 백분율이 낮아질 수 있습니다. 여기에서 회수 메트릭을 95 로 설정하고 값 적용을 클릭할 수 있습니다.
다음은 시스템이 솔루션에 적용한 메트릭 값입니다. 회수율 메트릭 값이 54.87에서 61.03으로 증가했습니다. 그러나 정밀도 메트릭은 60.1에서 55.44로 감소했습니다. 이는 회수 메트릭을 높은 값인 95로 설정했기 때문일 수 있습니다.
솔루션에 적용하는 솔루션 메트릭 값에 대한 클래스 수준 결과
다음 이미지는 시스템이 37개 클래스에 대한 솔루션의 정밀도, 범위 및 재현율 통계에 적용한 클래스 수준 결과의 예를 보여줍니다. 결과에 완전히 만족할 때까지 메트릭 값을 계속 수정할 수 있습니다.
예상 정밀도 열에서 정렬(z-a)을 통해 솔루션에 대해 정밀도가 가장 높은 클래스를 확인할 수 있습니다.