Automatisierte Bereinigung doppelter Datensätze aus s ame-Quelle
Die TISC Anwendung Enthält automatisierte Logik zum Verwalten von Datensätzen, die wiederholt von derselben Quelle empfangen wurden. Wenn identische oder übereinstimmende Datensätze mehrmals aus derselben Quelle erfasst werden, stellt die Anwendung sicher, dass der neueste Datensatz aktiv bleibt, während zuvor gespeicherte Instanzen als Duplikate identifiziert werden.
Auswirkung doppelter Datensätze
Wenn doppelte Datensätze aus derselben Quelle in der Anwendung beibehalten werden:
- Die Deduplizierungsaufträge müssen während der Ausführung eine größere Anzahl von Datensätzen auswerten.
- Ein erhöhtes Datensatzvolumen kann die Auftragslaufzeit verlängern.
- Verarbeitungslatenz kann auftreten, wenn das System redundante Einträge identifiziert und auflöst.
Tabellenbereinigungen werden für die Tabellen Quelle erkennbarer Elemente [sn_sec_tisc_observable_source], Indikatorquelle [sn_sec_tisc_indicator_source] und Objektquelle [sn_sec_tisc_object_source] implementiert.
Diese Cleaner entfernen Datensätze aus den jeweiligen Tabellen basierend auf der folgenden Bedingung:
Records where the processing Status is set to Duplicate and Duplicate of Record from Same Source flag is set to true and the record was last updated more than 90 days ago.