Avishay Saban
Cloud Solutions Architect
למצוא מחט בערימה של שחת כשאפליקציה שלך למטה Oracle Management Cloud – פרק 2 Log Analytics

בפרק האחרון עשינו היכרות ראשונית לשבעת העולומת ב-OMC, היום נכיר מקרוב מוצר מעניין מאוד בעולם ה- Log analytics

מאנשי פיתוח DevOps QA ועד DBA כולם מסתכלים יום יום באופן שוטף על הלוגים.

אך מה קורה כאשר יש לנו כמות לא קטנה של מכונות אם זה בOn premise וגם בענן ועם הזמן זה גם גדל.

בתהליך מסורתי תחקור הלוגים שלנו יכול לקחת לנו שעות ועד ליום שלם לחפש את בעיה ספציפית, תיאום הTime-stamp  וחיפוש ה- Error  שורה אחר שורה. חיפוש בלוגים זה דבר לא פשוט. אך, עם מערכתLog Analytics  חכמה, תהליך חיפוש הלוגים יכול להקל עלינו בצורה מאוד פשוטה ואוטומטית על ידי דילוור כל הלוגים הרלוונטיים אל תוך הענן של אורקל על גבי פלטפורמת ניהול הלוגים.

Oracle Log Analytics הוא פתרון ענן משולב ומאוחד המאפשר לך לעקוב, לבצע אגרגציה, לאנדקס, לנתח, לחפש, לחקור ולנתב את כל רישומי הלוגים באפליקציה ובתשתית המערכת. בפרק הזה אתמקד בעיקר על הנושא אשר מהווה  חלק בלתי נפרד וחשוב בכל תהליך הניטור.

באמצעות Oracle Log Analytics נוכל לבצע:

  • צמצום מיליוני אירועים לערך קטן יותר של תבניות חקירה אשר ממוקד על תהליכים ספציפיים.
  • זיהוי חריגות ובעיות באמצעות Machine Learning
  • פתרון בעיות במהירות על ידי זיהוי רשומות יומן שמתנהגות אחרת בהשוואה להתנהגות הצפויה.
  • להשיג תובנות עסקיות ותפעוליות של הIT.

איך כל זה קורה? בואו נתחיל.

כל האירועים נטענים, מנותחים, מועשרים ( עוברים תהליך של enrichment  ) ומאונדקסים אל תוך Oracle Log Analytics. פעולות אלה ניתן לבצע באמצעות שימוש בהגדרת תגיות או בהגדרת שימוש מורחב של השדות.

עם LA תוכלו לחפש בצורה הכי פשוטה כל דבר שתרצו מכמה Targets שתרצו, ולשמור כמויות אדירות של טרה בייטס מידע על גבי הפלטפורמה ללא ניהול מצדכם.

נגמרו הימים של חיפוש אינטנסיבי אחר הלוג מסוים שגרם לבעיה. היופי בLA זה במקום שתתחילו לתכנן פרסרים משלכם ולדעת מאיפה המקור שלהם, אורקל כבר עשתה זאת בשבילכם. לLA יש מעל 160 פרסרים ומקורות מחוץ לקופסא.

והרשימה ממשיכה לגדול כל חודש, כבר מעכשיו יכולים להתחיל מיד עם הOracle DB כולל

(Audit, trace alert, listener, ASM) וגם WebLogic, Tomcat, Windows Events, Linux, Solaris, Apache HTTP, Nginx, ועוד.

אך מה קורה אם אין לי Parser ספציפי למוצר מסוים שלא נתמך. LA מאוד מאוד גמיש ומאפשר לך ליצור פרסרים חדשים בעצמך לכל סוגי הלוגים שאתם רוצים לקרוא, ובכל זאת מאפשר לכם לחזות את התבונות שלכם דרך אנליזה מהירה על גבי המערכת ומציאת פתרון הבעיה על גבי Machine learning חכם.

היכרות ראשונית

במבט ראשון בואו ניכנס לתוך הקונסול ונבחר ב- Log Analytics

נקבל מסך ראשוני של LA

בראש הדף יש לנו תבנית חיפוש כאשר היא מאפשרת לנו לחפש כל מה שרק תחפצו בהקשר ללוגים שלכם, הוא יזכור ויראה את היסטוריית החיפוש שלכם לאחרונה.

מצד ימין יש לכם אפשרות לייצא חיפוש משלכם ולהגדיר דאשבורד מסוים ובהתאם לטעמכם. אפשרות הפתיחה תאפשר לכם לעלות משהו שכבר מצאתם ושמרתם בחיפוש.

תוכלו לבצע חיפוש אחר הלוגים שלכם על כל מרחבי הזמן.

פאנל המידע מצד שמאל מכיל את כל המאפיינים והשדות האפשריים.

נוכל לפלטר על כל אחת מהשדות כדי למצוא Entity type  מסוים Entity severity, וגם Error id.

(בOMC המושג entity  יכול להיות ,DB, LB, Host Server, App server  וכו..)

אפשר גם כן לבצע פילטור על קבוצה מסוימת כאשר הקבוצה נוצרת על ידי הOMC או מיובאת דרך הOracle enterprise manager.

כאשר נלחץ על אחת השדות, יופיע לנו כל הכניסות של הלוגים הקיימים וגם בצד יהיה גרף Trends המעיד על אותה פעילות בזמן שבחרנו במידה ונרצה.

על מנת שנבצע ויזואליזציה מתאימה במיוחד עבורנו על פי השדות הרלוונטיים. לLA יש כמה סוגים של הצגת מידע,  Pie chart, records with a histogram, heat map, tile, sunburstועוד.. כאופציה לכל סוג שאילתה שנבחר.

נסתכל על הגרף מסוג פאי, כאשר בברירת המחדל הוא יציג את המידע 60 דקות אחרונות.

נתחיל לעבוד

אחרי שהכרנו את מבנה הדף והפיצ'רים של LA, אסביר כיצד ניתן להתבונן בלוגים הקיימים אצלנו במספר דרכים. אם נבחר בApache Tomcat Access logs  לדוגמא, דרך ה-Log   source ומשם נלחץ על record with histogram נוכל לראות היסטוגרמה מרשימה כאשר המלבנים מייצגים את השכיחות היחסית המתאימה לו על גבי חבל זמנים רצוף.

משם אני יכול להמשיך לבצע Drill down  לזמן המדויק ביותר.

חשוב לציין בתמונה מעל, כל הזמנים הם מנורמלים לזמן UTC. זה יכול מאוד לעזור לכם כאשר אתם מבצעים קונסולידציה מכמה אפליקציות בכמה מכונות שונות במיקום גיאוגרפי עם זמן חלון שונה.

הפיטצ'ר המועדף עלי במערכת זה יכולת הClustering  אלגוריתם, הפועל מעל הMachine learning. אנחנו יודעים לרוב להתעלם מכמה שגיאות שלא מכאיבות לנו, אבל איך אנחנו יודעים באמת את כל כמות השגיאות והאם זה בטוח להתעלם בחלקן מהם או מכולם, בוא נראה הכיצד.

נקליק על Cluster או שנוסיף לשורת החיפוש |cluster

נקבל תמונה מדויקת תוך שניה בודדת אחת, כאשר כל ה5065 הצטמצמו ל-4 הודאות ייחודיות. יכולת ה-Cluster אלגוריתם מחולק לארבע קטגוריות עיקריות בתוצאת החיפוש שלנו.

  1. Clusters – סה"כ כמות הclusternig (מקבץ) בבחירת לוג רקורד מסוים.
  2. Potential Issues- כמות הלוגים הפוטנציאילים לבעיות כאשר הם יכולות להכיל את המילים error, fatal, exception ועוד.
  3. Outliers- כמות הclusternig כאשר קרו פעם אחת בזמן נתון מסוים.
  4. Trends – כמות הטרנדים הייחודיים בזמן מסוים. הרבה clusters יכולים להיות מאותו טרנד, אך ברגע שנלחץ עליו נוכל לראות כל cluster לטרנד המסוים הרלוונטי.

אגב אם נעבור מעל פנל הדאשבורד נוכל לקבל את כמות הלוג רקורדס. לדוגמא 22Clusters  מתוך 1200 לוג רקורדס) כמה קל וכמה כיף לקבל מיד את ה-Root cause.

שוב, זה יכול להיות מוכל על כל סוגי הלוגים השונים .Database, Middleware, Host, Application

יצא לי לראות כמה מקרים שלקוחות מזהים שינוי על מערכת הקבצים שלהם, וגם נסיונות רבים ל Invalid user attempts ועוד כל זה בכמה קליקים.

מאחורי הקלעים Oracle Log Analytics

כל הקסם הזה קורה באמצעות שתי טכנולוגיות חשובות

  1. שימוש באורקל DB לעיכול כמויות המידע וביצועי שליפה קריאה וכתיבה כמו שאורקל יודעת לעשות.
  2. Apache Solr אשר מבוסס על ספריית Apache Lucene לאינדוקס וחיפוש של מסמכים, בין היתר, אינספור אופטימיזציות על מנת לספק ביצועים סופר מהירים ומאפשרים לבצע אנאליזות על המסמכים, סכימה מאוד גמישה בארכיטקטורה Scale out מבוזרת.

כאשר אנחנו מתעסקים עם כמויות עצומות של מידע, שימוש בשניהם מביא יכולת מרשימה מאוד לכל תהליך החיפוש.

לסיום, רציתי להראות כאן overview כללי על המערכת, ויש עוד כל כך הרבה מה לראות.

אני מקווה מאוד שנהניתם, ואל תשכחו לשלוח לי כל בקשה, שאלה או הערה לגבי המוצר.

פרק הבא נדבר על יכולת הAPM – וכמה זה חשוב לנו.

שלכם עד לפעם הבאה.

אבישי סבן

Share on FacebookShare on LinkedInTweet about this on Twitter
למצוא מחט בערימה של שחת כשאפליקציה שלך למטה Oracle Management Cloud – פרק 2 Log Analytics Reviewed by on . בפרק האחרון עשינו היכרות ראשונית לשבעת העולומת ב-OMC, היום נכיר מקרוב מוצר מעניין מאוד בעולם ה- Log analytics מאנשי פיתוח DevOps QA ועד DBA כולם מסתכלים יום יום בפרק האחרון עשינו היכרות ראשונית לשבעת העולומת ב-OMC, היום נכיר מקרוב מוצר מעניין מאוד בעולם ה- Log analytics מאנשי פיתוח DevOps QA ועד DBA כולם מסתכלים יום יום Rating: 0

הגיבו באמצעות פייסבוק

scroll to top
%d בלוגרים אהבו את זה: