외부 콘텐츠 커넥터의 GitLab 크롤링 설정 구성

  • 릴리스 버전: Zurich
  • 업데이트 날짜 2025년 07월 30일
  • 소요 시간: 6분

    • 외부 콘텐츠 커넥터로 크롤링할 그룹, 프로젝트 및 리포지토리 GitLab 를 지정합니다. 크롤링에서 인덱싱을 위해 검색하고 피드 AI 검색 할 문제, wiki, 병합 요청, 태그, 분기 및 커밋을 선택합니다.

    시작하기 전에

    관리자는 크롤링 설정을 구성하려는 외부 콘텐츠 커넥터를 이미 만들어 GitLab 두어야 합니다. 이 절차에 대한 자세한 내용은 다음 문서를 참조하십시오 GitLab 외부 콘텐츠 커넥터 생성.

    필요한 역할: ais_admin

    이 태스크 정보

    이 작업은 선택 사항입니다. 기본적으로 GitLab 외부 콘텐츠 커넥터는 가장하도록 구성된 .com 사용자가 소유한 GitLab최상위 그룹에서 찾은 모든 하위 그룹, 프로젝트 및 리포지토리의 콘텐츠를 크롤링하고 인덱싱을 위해 지원되는 모든 콘텐츠 유형(문제, Wiki, 병합 요청, 태그, 분기 및 커밋)으로 AI 검색 보냅니다. 커넥터가 다음과 같은 기본값이 아닌 설정을 사용하도록 하려는 경우에만 이 작업을 수행해야 합니다.
    • 콘텐츠 크롤링을 실행할 때 고려해야 할 하위 그룹에 대한 포함 또는 제외 필터
    • 콘텐츠 크롤링을 실행할 때 고려해야 할 프로젝트/리포지토리에 대한 포함 또는 제외 필터
    • 콘텐츠 크롤링을 실행할 때 소스 시스템에서 검색할 콘텐츠 유형에 대한 포함 또는 제외 필터
    • 콘텐츠 크롤링을 실행할 때 소스 시스템에서 검색할 분기에 대한 포함 또는 제외 필터
    중요사항:

    기본적으로 외부 콘텐츠 커넥터는 소스 시스템의 문서까지 백만 (1,000,000) 인덱싱할 수 있습니다. 커넥터가 이 제한을 초과하면 원본 시스템을 계속 크롤링하지만 새 문서를 무시하고 인덱싱을 위해 문서 삭제 및 업데이트 AI 검색 만 보냅니다. 커넥터는 인덱싱 제한을 초과하여 크롤링하는 문서 10,000개마다 오류 메시지를 기록합니다.

    커넥터의 인덱싱된 문서 수가 초과 80만 명하면 커넥터의 UI에 인덱싱 제한에 도달했음을 나타내는 경고 메시지가 표시됩니다. 커넥터가 인덱싱 제한에 도달하면 UI에 오류 메시지가 나타납니다.

    커넥터 중 하나가 인덱싱 제한에 도달하면 크롤링 설정 및 파일 포함/제외 필터를 업데이트하여 검색되는 문서 수를 줄일 수 있습니다. 또는 문서 이상을 1,000,000 인덱싱해야 하는 경우 케이스 https://support.servicenow.com/now 를 고객 서비스 및 지원 생성하여 커넥터의 제한 증가를 요청할 수 있습니다.

    프로시저

    1. 다음으로 이동 모두 > 외부 콘텐츠 커넥터 > 외부 콘텐츠 관리자 홈.
    2. 커넥터 목록에서 설정을 수정할 외부 콘텐츠 커넥터의 GitLab 기록을 선택합니다.
    3. 커넥터 편집기의 설정 탭에서 선택합니다.
    4. 콘텐츠 크롤링을 실행할 때 크롤링되는 하위 그룹 집합을 지정하려면 다음 그룹 필터링 옵션 중 하나를 선택합니다.
      • 커넥터의 가장된 GitLab.com 사용자 계정이 소유한 최상위 그룹에서 찾은 모든 하위 그룹을 크롤링하려면 모든 그룹 크롤링을 선택합니다.
      • 커넥터의 가장된 GitLab.com 사용자 계정이 소유한 최상위 그룹에서 찾은 지정된 하위 그룹 집합만 크롤링하려면 이 그룹만 포함을 선택한 다음 포함할 그룹 URL 추가 필드 및 추가 버튼을 사용하여 크롤링에 포함할 그룹의 URL을 입력합니다.
        주:
        하위 그룹 포함 URL은 접두사로 지정할 수 있으며 URL 끝에 와일드카드 문자 * 가 있으면 문자열과 일치합니다.

        예를 들어, 프로덕션 하위 그룹과 포함된 모든 하위 그룹에서 검색 가능한 내용만 포함하도록 https://gitlab.com/example-dot-com/production 입력할 수 있습니다.

      • 커넥터의 가장된 GitLab.com 사용자 계정이 소유한 최상위 그룹에서 찾은 지정된 그룹 집합을 제외한 모든 그룹을 크롤링하려면 다음 제외를 선택한 다음 제외할 그룹 URL 추가 필드 및 추가 단추를 사용하여 크롤링에서 제외할 그룹의 URL을 입력합니다.
        주:
        하위 그룹 제외 URL은 접두사로 지정할 수 있으며 URL 끝에 와일드카드 문자 * 가 있으면 문자열과 일치합니다.

        예를 들어, https://gitlab.com/example-dot-com/test-* 를 입력하여 이름이 test-로 시작하는 모든 하위 그룹에서 검색 가능한 내용을 제외할 수 있습니다.

    5. 콘텐츠 크롤링을 실행할 때 크롤링되는 프로젝트 및 저장소 집합을 지정하려면 다음 프로젝트/저장소 필터링 옵션 중 하나를 선택합니다.
      • 커넥터의 가장된 GitLab.com 사용자 계정이 소유한 모든 프로젝트 및 리포지토리를 크롤링하려면 모든 프로젝트/리포지토리 크롤링을 선택합니다.
      • 커넥터의 가장된 GitLab.com 사용자 계정이 소유한 지정된 프로젝트 및 리포지토리 집합만 크롤링하려면 이러한 프로젝트/리포지토리만 포함을 선택한 다음 포함할 프로젝트/리포지토리 URL 추가 필드 및 추가 단추를 사용하여 크롤링에 포함할 프로젝트 및 리포지토리의 URL을 입력합니다.
        주:
        프로젝트 및 리포지토리 포함 URL은 접두어로 지정할 수 있으며 URL 끝에 와일드카드 문자 * 가 있으면 문자열과 일치합니다.

        예를 들어 https://gitlab.com/example-dot-com/prod-* 를 입력하여 이름이 prod-로 시작하는 프로젝트의 검색 가능한 콘텐츠만 포함할 수 있습니다.

      • 커넥터의 가장된 GitLab.com 사용자 계정이 소유한 지정된 프로젝트 및 리포지토리 집합을 제외한 모든 항목을 크롤링하려면 이러한 프로젝트/리포지토리만 제외를 선택한 다음 제외할 프로젝트/리포지토리 URL 추가 필드 및 추가 단추를 사용하여 크롤링에서 제외할 프로젝트 및 리포지토리의 URL을 입력합니다.
        주:
        프로젝트 및 리포지토리 제외 URL은 모든 문자열과 일치하는 URL 끝에 와일드카드 문자 * 를 사용하여 접두사로 지정할 수 있습니다.

        예를 들어 https://gitlab.com/example-dot-com/confidential273 입력하여 confidential273 프로젝트에서 검색 가능한 콘텐츠를 제외할 수 있습니다.

    6. 콘텐츠 크롤링을 실행할 때 검색할 콘텐츠 유형에 대해 콘텐츠 유형 크롤링 옵션을 활성화합니다.
      외부 콘텐츠 커넥터는 다음과 같은 콘텐츠 유형에 대해 검색 가능한 콘텐츠의 인덱싱을 GitLab 지원합니다.
      콘텐츠 유형 인덱싱된 검색 가능 콘텐츠
      문제 문제 설명
      위키 HTML로 변환된 MarkDown 콘텐츠(첨부 파일 없음)
      병합 요청 병합 요청 설명(MarkDown) 및 토론
      태그 메시지에 태그 지정
      분기 헤드 커밋의 커밋 메시지
      약정 메시지 커밋
      중요사항:
      GitLab 외부 콘텐츠 커넥터는 다음 콘텐츠 유형에서 검색 가능한 콘텐츠의 인덱싱을 지원하지 않습니다.
      • 커밋, 이슈 및 위키 토론
      • 커밋 차이
      • 보관된 그룹 또는 프로젝트의 콘텐츠
      • 보류 중인 삭제 상태인 그룹 또는 프로젝트의 콘텐츠
      • 가장된 GitLab.com 사용자가 소유하지 않은 최상위 그룹의 하위 그룹의 콘텐츠
      • 문제 또는 병합 요청에 첨부된 파일의 콘텐츠
      • 일반 텍스트(.txt) 이외의 형식으로 된 위키 첨부 파일의 컨텐츠
      • 병합 요청 토론의 내부 또는 기밀 메모
      • 리포지토리 파일
    7. 단계 6에서 Branches 컨텐츠 유형을 포함한 경우 Add branches to include in regex format 필드와 추가 단추를 사용하여 컨텐츠 크롤링에 포함할 분기 이름과 일치하는 Java 정규 표현식 패턴을 지정합니다.
      예를 들어 이름이 2025로 시작하는 분기를 포함하도록 ^2025.*$를 지정하거나 모든 분기를 크롤링하려면 ^.*$를 지정할 수 있습니다. Java 정규식 패턴 구문에 대한 자세한 내용은 java.regex.util.Pattern 클래스에 대한 Javadoc을 참조하십시오.
      주:
      분기 이름 표현식 ^main$ 및 ^master$ 는 기본적으로 포함됩니다. 목록에서 이러한 분기를 제거할 수 없습니다.

    결과

    GitLab 외부 콘텐츠 커넥터는 수정된 크롤링 설정으로 업데이트됩니다.

    다음에 수행할 작업

    수정된 크롤링 설정을 사용하여 소스 시스템에서 콘텐츠를 GitLab 검색하려면 외부 콘텐츠 커넥터에 대한 GitLab 일회성 콘텐츠 크롤링을 만들고 실행합니다. 일회성 컨텐츠 크롤링을 만들고 실행하는 방법에 대한 자세한 내용은 을 참조하십시오 외부 콘텐츠 커넥터용 콘텐츠 크롤링 생성.