학습된 분류 솔루션에 대한 대상 메트릭 구성
학습된 머신 러닝 솔루션에 대한 정밀도, 범위 및 회수율 통계 값을 설정합니다.
클래스 또는 솔루션 수준에서 분류 메트릭 값 설정
예측 인텔리전스 는 정밀도, 범위, 회수율의 세 가지 분류 메트릭 유형을 제공합니다. 교육된 분류 솔루션 양식의 솔루션 통계 탭에서 이러한 메트릭을 구성합니다. 클래스 수준에서 이러한 메트릭에 대한 값을 수동으로 설정할 수 있지만 다룰 클래스가 많은 경우 그렇게 하기가 어려울 수 있습니다. 대부분의 경우 솔루션을 교육할 때까지 설정할 최상의 값을 모를 수 있습니다. 이 항목에서는 솔루션 수준에서 메트릭 값을 설정하는 데 중점을 둡니다.
솔루션 메트릭 구성
한 메트릭에 값을 적용하면 다른 두 메트릭의 값이 변경됩니다. 이 동작을 통해 실시간으로 메트릭을 반복적으로 수정하여 특정 결과를 렌더링하는 값 조합을 확인할 수 있습니다. 메트릭에 새 값을 적용하면 시스템은 새 대상을 고려하여 값을 다시 계산합니다.
메트릭에 값을 적용하면 가장 높은 백분율 값을 기준으로 설정한 메트릭에 우선하고 다른 메트릭에 대한 비용을 지불하도록 예측을 학습하도록 시스템에 요청됩니다. 시스템은 이러한 값을 충족하려고 하지만 학습 중인 데이터가 배포되는 방식에 따라 사용자가 요청한 대로 정확하게 설정되지 않을 수 있습니다.
솔루션 수준에서 메트릭 값을 적용하면 시스템이 자동으로 클래스 수준에서 적절한 값을 설정합니다.
- 학습된 ML 솔루션의 솔루션 통계 탭으로 이동합니다.
- 솔루션에 할당하려는 값을 보다 잘 이해할 수 있도록 각 메트릭을 정의하는 화면의 녹색 배너에 있는 메시지를 검토합니다. 처음 두 메시지 배너는 예상 솔루션 수준 메트릭을 다룹니다. 세 번째 배너는 적용한 솔루션 값을 기반으로 클래스 수준 결과를 처리합니다.
- 대상 메트릭 선택 목록에서 구성할 메트릭을 선택합니다.
- 대상 메트릭 값 필드에 0-100 사이의 숫자 백분위수 값을 입력합니다.
- Apply Values(값 적용)를 클릭합니다.
- 결과: 솔루션 통계 탭에서 예상 솔루션 정밀도, 예상 솔루션 회수 및 예상 솔루션 범위에 대한 값의 변경 내용을 검토할 수 있습니다. 시스템은 선택한 대상 메트릭 과 솔루션에 대해 입력한 대상 메트릭 값에 따라 이러한 값을 계산합니다.
다음은 최근에 학습된 분류 솔루션에 대한 샘플 방문 페이지입니다. 보시다시피 정밀도 메트릭은 44.18, 재현율은 41.26, 적용 범위는 77.23입니다.
사용 사례에 대해 이러한 기본값을 조정해야 하는 경우 아래 샘플 구성을 참조하십시오. 예를 들어 구현 중인 분류 솔루션에 따라 정밀도, 회수율 또는 범위에 대한 대상 메트릭 값을 변경할 수 있습니다. 정확도와 같은 한 메트릭에 대한 대상 메트릭 값을 변경하면 재현율 및 범위 메트릭의 값에도 영향을 줍니다.
정밀도 구성 예
이 예시 시나리오에서는 인시던트 기록을 라우팅하기 위한 수동 분류 프로세스를 기록을 올바른 할당 그룹에 자동으로 할당하는 ML 분류 솔루션으로 대체합니다. 이 시나리오에서는 대상 값을 염두에 두고 있으며 시스템은 시간의 80% 이상을 올바르게 예측해야 합니다. 따라서 정밀도 메트릭 값을 80 으로 설정하고 값 적용을 클릭합니다.
다음은 시스템이 솔루션에 적용한 메트릭 값입니다. 이 시나리오에서는 정밀도 값 80.04가 80%에 대한 요청을 약간 초과하므로 해당 값에 만족할 수 있습니다.
범위 구성 예
인시던트 기록을 라우팅하기 위해 수동 분류 프로세스를 대체하는 또 다른 예시 시나리오에서는 최소 목표가 연도 1분기에 발생하는 수신 인시던트의 70% 이상을 예측하는 것입니다. 따라서 적용 범위 메트릭 값을 70 으로 설정하고 값 적용을 클릭합니다.
시스템이 솔루션에 적용한 메트릭 값은 다음 이미지에 나와 있습니다. 검사 메트릭 값이 35.99에서 55.98로 증가했습니다. 그러나 정밀도 메트릭은 80.18에서 64.97로 감소했습니다. 이는 범위 메트릭을 상대적으로 높은 값인 70으로 설정했거나 학습 중인 데이터가 배포되는 방식 때문일 수 있습니다.
회수 구성 예
또 다른 시나리오에서는 들어오는 전자 메일이 피싱인지 여부를 분류하는 것이 보안 관련 기계 학습 솔루션에서 중요한 사용 사례가 될 수 있습니다. 이러한 상황에서는 모든 피시를 식별하는 것이 매우 중요하며 때때로 피시가 아닌 피시를 피시로 보고하는 것이 괜찮을 수 있습니다. 그러나 실제 피시는 피시가 아닌 것으로 분류되어서는 안 됩니다. 이러한 상황에서는 재현율 메트릭의 값이 높아야 하며, 이로 인해 정밀도와 범위에 대한 백분율이 낮아질 수 있습니다. 여기에서 재현율 메트릭을 95 로 설정하고 값 적용을 클릭할 수 있습니다.
다음은 시스템이 솔루션에 적용한 메트릭 값입니다. 재현율 메트릭 값은 54.87에서 61.03으로 증가했습니다. 그러나 정밀도 지표는 60.1에서 55.44로 감소했습니다. 이는 재현율 메트릭을 높은 값인 95로 설정했기 때문일 수 있습니다.
솔루션에 적용하는 솔루션 메트릭 값에 대한 클래스 수준 결과
다음 이미지는 시스템이 37개 클래스에 대한 솔루션의 정밀도, 범위 및 회수율 통계에 적용한 클래스 수준 결과의 예를 보여줍니다. 결과에 완전히 만족할 때까지 메트릭 값을 계속 수정할 수 있습니다.
추정된 정밀도 열에서 정렬(z-a)하면 솔루션에 대해 정밀도가 가장 높은 클래스를 확인할 수 있습니다.