2022. 5. 21. 14:04ㆍ카테고리 없음
RUL 예측의 목적은 고장을 사전에 예측하여 시기적 절한 조치를 취하는 것이다. 따라서, 모델의 관심 대상은 고장 시점에 근접하며, 고장의 전조를 확인할 수 있는 사 이클이다. 이를 고려하여 모델을 구성할 때, 학습 데이터 의 RUL 임계값을 130 사이클로 설정하였다[6]. 임계값 을 초과하는 비관심 데이터의 경우, 수명을 임계값으로 조정하여 분석하였다. Fig. 5는 RUL 임계값 설정을 도식 화한 것이다. x축은 Time Cycle, y축은 RUL으로, 사이 클이 증가할수록 엔진의 RUL은 감소한다. 엔진의 실제 RUL은 ‘True RUL’이며, 임계값을 설정한 RUL은 ‘Piecewise RUL’이다.
-> 이 이유에 대한 참고논문 확인
이 논문에서는 솔루션은 시스템의 남은 사용 수명을 추정하기 위해 고급 반복 신경망 아키텍처를 활용한다. 반복 신경망은 시간 그레이디언트 계산, 확장 칼만 필터 훈련 방법 및 진화 알고리듬을 통해 후방 전파로 훈련되어 정확하고 콤팩트한 알고리듬을 생성한다.
1. 서론
여기에 제시된 솔루션은 독점적인 머신 러닝 소프트웨어를 사용하여 완전히 개발되었다. 데이터에 있을 수 있는 기본 특징을 이해하거나 추출하기 위해 데이터를 분석하려고 시도하지 않았습니다. 시스템을 모델링하는 데 사용된 1차 알고리듬은 노이즈를 최소화하기 위해 데이터를 필터링하는 동시에 시스템의 예상 남은 사용 수명을 모델링할 수 있는 맞춤형 반복 신경망 아키텍처였다.
2. 데이터 리뷰
training 세트에는 218개의 서로 다른 유닛의 작동 데이터가 포함되어 있습니다. 각 데이터 집합에서 알 수 없는 시스템은 고장이 날 때까지 다양한 사이클 수 동안 실행되었습니다. 주행의 길이는 다양했으며, 최소 주행 길이는 127 사이클, 최대 주행 길이는 356 사이클이었다.
3. Classifier Training
다층 퍼셉트론(MLP) 신경망이 좋은 시스템과 나쁜 시스템 간의 차이를 분류하는 것을 정확하게 배울 수 있을까? 분류 작업을 수행하기 위해 MLP 구조는 얼마나 커야 하는가? 훈련 알고리즘이 좋은 해결책에 도달하기 전에 어느 기간 동안 실행되어야 하는가?에 대한 질문을 답할 줄 알아야 한다.
4. RUL 학습에 대한 접근
classifier의 결과는 흥미로우나 classifier는 RUL을 예측하는 데 필요한 측정을 제공하지 않는다.
RUL 추정의 경우 고장이 필요할 때까지 남은 사이클 수를 나타내는 연속 변수입니다. 함수 추정기 신경망을 훈련시키기 위해 RUL을 나타내는 인공 신호가 생성되었다. 이 인공 신호는 단순히 시퀀스가 끝날 때까지 남아 있는 사이클 수로 설정되었습니다. 실행의 끝이 고장 전의 마지막 사이클을 나타낸다는 사실을 고려할 때, 시퀀스가 끝나기 전에 남은 샘플 수는 RUL의 정확한 표현이어야 합니다.
5. MLP 함수 추정기
다음 단계는 MLP 함수 추정기를 다음과 같이 훈련시키는 것이었다.
24개 입력의 함수로 실행 종료 전에 남은 사이클 수를 모델링합니다. 이전과 마찬가지로 두 개의 작은 숨겨진 레이어가 있는 MLP는 EKF 훈련 알고리듬을 사용하여 훈련되었고 꽤 좋은 정확도를 생성했다.
그림 2의 그림은 MLP의 출력(빨간색)을 보여줍니다.
세 개의 서로 다른 시퀀스에 대한 목표 출력(파란색)과 비교합니다.
그림 2에 표시된 시퀀스는 시퀀스 1, 시퀀스 2, 시퀀스 147입니다. 이러한 시퀀스는 평균 길이 런, 짧은 런 및 긴 런을 나타내기 때문에 선택되었습니다.
(참고: 그림 2의 그림은 일관성을 위해 모두 0 - 250의 수직 범위를 보여 줍니다. 시퀀스 147은 그래프에서 250으로 제한되는 것처럼 보이지만, 이는 그래프 범위를 제한한 결과일 뿐이며 목표 출력은 실제로 320에서 0으로 선형적으로 변경됩니다.)
그림 2에 표시된 MLP 출력을 조사하여 도출할 수 있는 여러 가지 흥미로운 통찰력이 있습니다. 먼저 MLP 네트워크가 남은 사이클 수를 대략적으로 학습할 수 있음을 알 수 있다. 모든 경우에서 출력 곡선은 상대적으로 평탄하게 시작한 다음 실행이 끝날 때쯤 0으로 저하됩니다. 이러한 초기 결과는 매우 고무적이었으며 RUL의 합리적인 추정치가 도출될 수 있음을 보여주었다.
각 그림은 일관된 특성을 보여 주는 것 같습니다.
시퀀스의 첫 번째 1/3에서 MLP 출력은 상당히 평평하고 일정합니다.
시퀀스의 마지막 1/3에서 MLP 출력은 거의 선형적으로 0으로 감소한다.
각 그래프의 중간 3분의 1 정도에는 거의 일정한 값에서 선형적으로 감소하는 곡선으로 전환될 때 곡선에 무릎이 있습니다. 곡선의 무릎은 고장이 처음 발생할 때를 나타냅니다.
또한 MLP 출력에는 센서 노이즈로 인한 많은 노이즈가 있으며 더 나은 정확도를 위해 감소시켜야 합니다.
신경망에 의해 학습된 각 시퀀스의 후반부에서 곡선의 기울기는 실행마다 다르다. 교육 목표 출력의 기울기는 -I입니다. 시퀀스 I의 기울기는 목표 기울기와 거의 같습니다. 시퀀스 2의 기울기는 목표 출력보다 훨씬 가파릅니다.
마지막으로, 시퀀스 147의 기울기는 목표 시퀀스보다 훨씬 더 완만하다.
훈련된 네트워크 출력의 특성에 대한 관찰은 최대 목표 출력이 모든 시퀀스에 대해 일정한 값으로 제한되도록 시스템의 목표 출력에 대한 변경을 유발했다. 시스템의 열화는 일반적으로 장치가 일정 시간 동안 작동되고 초기 고장이 발생한 후에야 눈에 띄기 때문에, 시스템이 열화되기 시작할 때까지 RUL을 추정하는 것은 비합리적일 수 있습니다. 어떤 특정 품목이 새로운 상태이고 매우 건강한 상태일 때 얼마나 오래 지속될지 어떻게 예상할 수 있는가? 장치가 일정 시간 동안 작동한 후에야 열화가 나타나고 RUL의 상대적인 표시를 제공합니다. 이러한 이유로 시스템이 새로운 경우 RUL을 상수 값으로 추정하는 것이 타당해 보입니다.
다음 추론이 상수를 선택하는데 사용되었다.
초기 RUL 값:
• 최소 실행 길이는 127입니다. 런 길이가 127보다 작은 예는 없습니다.
• 평균 주행 길이는 209입니다. 평균적으로 곡선의 무릎은 표본 번호 105 부근에서 발생해야 합니다.
• 이전에 표시된 MLP 결과는 140과 180 사이의 각 주행 시작 부근에서 평균 정상 상태 출력을 생성합니다.
• 음의 RUL 추정 오류는 양의 오류보다 벌점을 덜 받습니다.
이러한 관측에 따르면, 120 ~ 130 사이클의 초기 규칙은 타당해 보였다. 일부 실험은 훈련 모델에 의해 수행되었으며, 최대 RUL이 변화하고 결과가 웹 사이트에 제출되어 어떤 한계가 가장 잘 작동하는지 평가하였다. 훈련에 사용된 최종 한도는 130이었다.
그림 3의 그림은 130으로 제한된 RUL 목표 출력을 사용하여 MLP 신경망을 훈련시킨 결과를 보여준다.
교육 데이터에 대한 몇 가지 시각:
• 출력은 소음이 조금 덜한 것 같다. 아마도 그 이후 우리는 진정한 출력을 더 잘 표현했고, 네트워크는 그것을 더 잘 모델링할 수 있다.
• MLP 정상 상태 초기 출력은 현재 약 120입니다. 훈련 출력의 초기 값이 현재 훨씬 더 작기 때문에 이것은 예상할 수 있는 이전의 초기 정상 상태 출력보다 훨씬 적다.
• 곡선의 무릎은 크게 변하지 않았고 곡선 끝 근처의 기울기는 이전과 거의 동일한 것으로 보인다.
이러한 결과는 시스템이 거의 실패에 가까울 때 MLP 네트워크가 RUL을 예측하는 데 상당히 정확하다는 것을 보여준다. 실행의 초기 및 중간 부분에서 RUL을 예측하는 작업은 훨씬 더 어렵고 성능도 그리 좋지 않다.
MLP 신경망이 이 문제를 해결하는 데 이상적으로 적합하지 않은 이유에 대해 몇 가지 문제가 있다.
• 데이터 세트는 시간 순서이며 입력/출력 매핑에 시간 의존성이 있습니다. MLP 네트워크는 시스템의 현재 상태만 고려하는 정적 매핑입니다.
• 입력 데이터가 노이즈로 인해 손상된 것으로 알려져 있습니다.
주어진 샘플의 경우 입력 데이터에 노이즈가 많아 출력에 상당한 노이즈가 발생할 수 있습니다.
모델링 프로세스에 시간 영역 필터링을 통합하는 것은 개선된 솔루션에 대한 분명한 다음 단계이다.
5. Filtering 접근(RNN)
데이터 필터링은 노이즈의 양이 많고 데이터의 시간적 특성으로 인해 합리적으로 정확한 RUL 추정치를 생성하기 위해 필요한 것으로 보인다. 어떤 형태의 선형 또는 비선형 시간 영역 필터는 MLP 네트워크의 출력에 적용될 수 있다. 그러나 이러한 필터의 해석적 도출은 시스템의 기초 물리학이 필터 설계 과정을 안내하는 것으로 알려져 있지 않기 때문에 시행착오를 통해 수행되어야 한다.
더 나은 접근법은 모델 내에 필터링을 통합하는 신경망 솔루션일 것이다. 그런 다음 신경망 훈련 알고리듬은 원하는 출력 신호와 일치하도록 거의 최적의 필터를 자동으로 도출할 수 있다.
시간 영역 모델링 또는 필터링이 필요할 때 신경망에 자주 사용되는 가장 직접적인 접근법은 각 입력 매개 변수의 여러 시간 지연 사례(타핑된 지연 라인)를 신경망에 제시하는 것이다. 이 접근법은 학습을 위한 표준 정적 신경망과 정적 파생 계산을 사용할 수 있기 때문에 간단하고 구현하기 쉽지만 많은 문제가 있다. 우선 각 입력의 예제가 얼마나 필요한지, 그리고 시간을 얼마나 거슬러 올라가야 하는지 아는 것은 어렵다. 1 한정된 수의 과거 상태만 고려될 수 있다. 적절한 입력 선택을 최적화하려면 많은 시행착오 반복이 필요하다.
이 접근법의 또 다른 주요 문제는 네트워크가 이제 2배 또는 3배(또는 그 이상)의 입력을 가지고 있다는 것이다. 네트워크는 이제 훨씬 더 커지고 더 많은 계산 수요를 필요로 하는 더 많은 가중치를 갖는다. 더 나쁜 문제는 네트워크가 더 많은 조정 가능한 가중치를 가지고 있기 때문에 훈련 데이터를 과적합할 가능성이 높다는 것이다. 과적합 문제를 극복하기 위해서는 네트워크가 잘 일반화되도록 하기 위해 SVM(Support Vector Machine)과 같은 보다 복잡한 모델링 접근 방식이 필요할 수 있다. 그러나 SVM은 신경망 접근 방식보다 2 계산 복잡도가 10배에서 100배 더 큰 초대형 모델을 만드는 것으로 알려져 있다.
비선형 시간 영역 동적 시스템 모델링을 처리하는 더 나은 접근법은 순환 신경망을 사용하는 것이다. RNN 네트워크는 내부 메모리와 피드백을 활용하고 복잡한 비선형 동적 매핑을 학습할 수 있다. 반복 신경망은 이전 입력과 숨겨진 상태의 임의의 수를 설명할 수 있으며 강력한 숨겨진 상태를 학습할 수 있다[3].
동적 시스템을 모델링하기 위해 특별히 설계된 고급 독점 순환 신경망 아키텍처와 훈련 알고리듬이 활용되었다. 이러한 소프트웨어 도구는 항공기 비행 역학, 터빈 엔진 역학 및 기타 복잡한 비선형 동적 시스템 모델링과 같은 문제를 위해 개발되었습니다. 네트워크 내의 몇 가지 혁신적인 기능을 활용하며 특정 시스템을 가장 잘 모델링하도록 조정할 수 있는 몇 가지 내부 기능을 가지고 있다. 반복 신경망 훈련 알고리즘을 개발하는 데 있어 어려움 중 하나는 다음을 계산하는 것이다.
바로 네트워크 가중치의 Gradient입니다. 그레이디언트는 출력 오류의 함수로 계산되어야 할 뿐만 아니라 데이터 세트의 시간적 변동을 고려하여 시간적으로 역순으로 계산되어야 한다. 우리의 RNN에 대한 훈련 알고리듬은 그레이디언트를 계산하기 위해 BPTT(Bruncated Back Propagation Through Time) 접근 방식을 사용한다.
MLP 네트워크와 마찬가지로, RNN 훈련 알고리즘
Extended Kalman Filter 교육 방법을 사용하여 네트워크 가중치를 업데이트합니다. EKF는 훈련 반복 횟수를 최소화하고 각 훈련 반복에 모든 훈련 데이터를 사용할 필요가 없기 때문에 반복 네트워크에 특히 매력적이다. RNN, BPTT, EKF
구현은 [4]에 요약된 Feldkamp와 Puskorious의 이 주제에 대한 많은 논문을 기반으로 한다. RNN 훈련 소프트웨어의 마지막 특징은 신경망 모델을 최적화하여 수행되는 정상적인 반복 프로세스를 자동화하기 위해 진화 알고리듬을 통합한다는 것이다. 이것은 필요한 인간의 노력의 양을 크게 줄이고 매우 정확한 모델을 생산한다. 진화 알고리듬은 여러 솔루션의 모집단을 유지하고 모집단을 조정하여 솔루션을 개선한다.
RNN을 위한 우리의 구현은 RNN의 구조, 각 계층의 숨겨진 노드 수 및 네트워크의 다른 몇 가지 변수를 적응시킨다. 또한 EKF 훈련 알고리듬의 두 상수(R 및 Q)를 적용한다.
진화적 접근법은 훈련 데이터 세트와 독립적인 검증 데이터 세트를 활용한다. 그것은 훈련 세트를 사용하여 신경망을 훈련한 다음 검증 데이터 세트에서 모델을 평가하여 결과에 순위를 매긴다.
훈련 알고리즘은 주어진 네트워크 아키텍처에 대해 가능한 정확하게 훈련 데이터를 맞추려고 시도할 것이다. 그러나 교육 데이터에 매우 촘촘하게 맞추는 것이 이 문제에 대한 최선의 해결책은 아닐 수 있다. 신경망의 일반적인 문제는 모델이 추가 입력 매개 변수가 있거나 네트워크가 너무 크면 훈련 세트를 "과적합"하고 다른 데이터로 잘 일반화하지 못한다는 것이다.따라서 DE는 훈련 정확도를 고려하지 않고 대신 유효성 검사 데이터 세트만을 기준으로 네트워크의 순위를 매긴다. 훈련 데이터와 무관하게 데이터에 대해 더 높은 정확도를 생성하는 네트워크는 일반적으로 더 나은 모델이 될 것이며 훈련 세트에 과적합할 가능성이 적다. 이러한 진화 프로세스는 기본 물리적 시스템을 높은 정확도로 모델링하고 데이터의 과적합을 방지하는 솔루션을 채택한다.
6. 미분 진화(Differential Evolution)
DE는 실제 가치 다중 모델 함수를 최적화하는 효율적인 방법이며 개념적으로 단순하고 사용하기 쉬운 것으로 나타났다. DE는 솔루션이 실제 값 매개 변수의 벡터로 코딩되는 병렬 방향 검색 방법입니다. DE는 전체 솔루션 공간을 포함하는 랜덤 값으로 초기화된 잠재적 솔루션 벡터 모집단을 활용한다. 인구는 기존 모집단에 대한 새로운 모집단의 각 개인의 적합성을 평가하고 열등한 개인을 더 나은 개인으로 대체함으로써 진화한다. 각 개인(부모)은 총 모집단 중에서 랜덤하게 선택된 세 개인에서 수정됩니다. 두 개체 간의 가중 차이(변환 계수)가 세 번째 개체에 추가됩니다. 그런 다음 부모에 있는 임의의 수의 요소를 돌연변이 결과의 요소로 대체함으로써 교차 작업이 수행됩니다. 상위 요소의 교체 확률은 상수 인자(교차)에 의해 제어됩니다. 이 작업에 사용된 DE 알고리듬은 또한 돌연변이와 교차에 사용된 개인이 전체 모집단이 아닌 모집단의 적합 요소에서 선택되는 선택을 구현한다.
DE의 한 가지 매력적인 특징은 검색을 수정한다는 것이다.
인구에 따라 자동으로 노력을 기울입니다. 처음에는 모집단이 전체 검색 공간을 차지하며 벡터 간의 차이가 클 것이다. 따라서 진화 과정 초기에 알고리즘은 검색 과정에서 더 큰 단계를 변경하고 전체 공간을 적극적으로 검색할 것이다. 모집단이 수렴함에 따라 차이 벡터는 작아지고 알고리듬은 검색 공간의 최소값으로 수렴하기 위해 자동으로 더 작은 단계 변화를 활용한다.
DE 프로세스를 통해 사용자는 검색을 초기화합니다.
매개 변수를 선택한 다음 허용 가능한 정확도 임계값에 도달할 때까지 교육 프로세스를 실행할 수 있습니다. 훈련 과정은 수백 개의 네트워크를 훈련시키고 좋은 해결책으로 수렴할 것이다. 이를 통해 엔지니어가 솔루션을 찾기 위해 겪는 일반적인 시행착오 실험 프로세스가 제거되고 시스템 모델링에 소요되는 시간과 비용이 절감됩니다.
7. RNN output
이 데이터 세트에 대해 훈련된 반복 신경망의 출력은 그림 4와 같다. 반복 신경망은 정적 MLP보다 훨씬 정확하게 원하는 훈련 데이터와 일치했다. 반복 신경망은 MLP가 제공할 수 없는 시간 영역 필터링을 제공할 수 있기 때문에 네트워크의 출력은 MLP 네트워크보다 소음이 훨씬 적다. 또한 각 시퀀스가 끝날 무렵에 반복되는 신경망 출력이 훨씬 더 선형적이고 일관적이라는 점도 흥미롭다. 각 시퀀스에 대해 반복 신경망 출력은 0에 가까워짐에 따라 선형적으로 감소하며 각 시퀀스에 대해 붕괴 속도는 일정하다. 반복 신경망은 시스템이 언제 고장나기 시작하는지 감지할 수 있고 과거 상태 정보의 피드백을 제공함으로써 고장에 대한 일관된 응답을 학습할 수 있다. 네트워크가 정확히 어떻게 이것을 할 수 있는지는 물론 알려져 있지 않지만, 그것이 기계 학습 접근법의 이점이다. 인간 개발자는 문제의 모든 기본 물리학을 이해할 필요가 없기 때문에 훨씬 더 빨리 해결책을 개발할 수 있다.
8. RNN의 복잡도
이 반복 신경망의 상대적 복잡성은 상당히 작다. 네트워크는 24개의 입력을 모두 사용하며 피드포워드 연결과 반복 연결의 세 가지 계층을 가지고 있다. 몇 가지 반복 네트워크는 도전 문제의 과정에 걸쳐 훈련되었고 가중치의 수는 일반적으로 150에서 170까지 다양했다. 이와 비교하여, 세 개의 연결 층이 있는 MLP 네트워크는 91개의 가중치를 가지고 있었다. 반복 신경망은 모델의 복잡성이 2배 미만으로 증가하는 것을 나타내지만, 모델의 정확도는 크게 향상되었다.
9. 여러 모델의 혼합
그림 5는 모델 1에 따라 출력을 정렬한 후 세 가지 모델의 출력을 보여줍니다. 수직 축은 교육 데이터 세트의 각 시퀀스에 대해 남은 내용 연수의 최종 추정치입니다. 수평 축은 정렬 후 시퀀스 번호입니다(트레이닝 세트에는 약 220개의 시퀀스가 있습니다). 이 그림은 세 가지 모형 모두 검정 데이터 집합에 대해 상당히 정확한 추정치를 제공하지만 특정 영역에서 유의한 차이가 있음을 보여 줍니다. 나머지 주기 수가 작을 때(55개 미만) 모형은 모두 매우 잘 상관됩니다. 고장 사이클 수가 많을수록 모형 간의 차이는 더 커집니다. 이는 목표 출력이 시퀀스 초기에 다소 임의적이고 마지막에 더 정확하기 때문일 수 있습니다.
세 가지 좋은 모델을 사용할 수 있었고, 일부 훈련 및 테스트 예제에 대해 모두 상당히 다른 반응을 보였기 때문에, 복합 모델이 챌린지 문제에 대한 최종 제출에 사용되었다. 세 모델의 출력은 단순히 평균화되었고 평균 오차는 최종 출력으로 사용되었다. 테스트 세트에서 세 개의 신경망 출력을 평균하면 519.8의 정확도가 생성되었으며 모든 개별 모델에 비해 7% 향상되었다.