cancel
Showing results for 
Show  only  | Search instead for 
Did you mean: 

Problem with Elasticsearch Integration

radek_jasinski
DynaMight Guru
DynaMight Guru

Hi All,

We have some issue with Elasticsearch integration. When we try to send data from Dynatrace to Elk we get an HTTP 500 error "Code: 500 - Message: SocketTimeoutException: Read timed.out. All ports are open and firewall is disabled. I can connect on port 9200 using telnet. I don't see any information in logs from ELK side.


We create index from default file elasticsearch_export_simple_mapping.json.


curl -X PUT "<my-ip>:9200/dynatrace?pretty" -H 'Content-Type: application/json' -d'
{
  "mappings": {
    "session": {
      "dynamic_templates": [
        {
          "num_fields": {
            "path_match": "numTags.*",
            "mapping": {
              "norms": "false",
              "type": "double"
            }
          }
        },
        {
          "date_fields": {
            "path_match": "dateTags.*",
            "mapping": {
              "norms": "false",
              "type": "date"
            }
          }
        },
        {
          "string_fields": {
            "match": "*",
            "match_mapping_type": "string",
            "mapping": {
              "norms": "false",
              "type": "keyword"
            }
          }
        }
      ],
      "properties": {
        "applicationType": {
          "type": "keyword"
        },
        "bounce": {
          "type": "boolean"
        },
        "browserFamily": {
          "type": "keyword"
        },
        "browserMajorVersion": {
          "type": "keyword"
        },
        "browserType": {
          "type": "keyword"
        },
        "city": {
          "type": "keyword"
        },
        "clientType": {
          "type": "keyword"
        },
        "continent": {
          "type": "keyword"
        },
        "country": {
          "type": "keyword"
        },
        "dateTags": {
          "type": "object"
        },
        "displayResolution": {
          "type": "keyword"
        },
        "duration": {
          "type": "integer"
        },
        "endReason": {
          "type": "keyword"
        },
        "endTime": {
          "type": "date"
        },
        "events": {
          "type": "nested",
          "properties": {
            "application": {
              "type": "keyword"
            },
            "internalApplicationId": {
              "type": "keyword"
            },
            "name": {
              "type": "keyword"
            },
            "startTime": {
              "type": "date"
            },
            "type": {
              "type": "keyword"
            }
          }
        },
        "internalUserId": {
          "type": "keyword"
        },
        "ip": {
          "type": "ip"
        },
        "isp": {
          "type": "text"
        },
        "newUser": {
          "type": "boolean"
        },
        "numTags": {
          "type": "object"
        },
        "osFamily": {
          "type": "keyword"
        },
        "osVersion": {
          "type": "keyword"
        },
        "region": {
          "type": "keyword"
        },
        "screenHeight": {
          "type": "integer"
        },
        "screenOrientation": {
          "type": "keyword"
        },
        "screenWidth": {
          "type": "integer"
        },
        "startTime": {
          "type": "date"
        },
        "stringTags": {
          "type": "object"
        },
        "tenantId": {
          "type": "keyword"
        },
        "totalErrorCount": {
          "type": "integer"
        },
        "userActionCount": {
          "type": "integer"
        },
        "userActions": {
          "type": "nested",
          "properties": {
            "apdexCategory": {
              "type": "keyword"
            },
            "application": {
              "type": "keyword"
            },
            "cdnResources": {
              "type": "integer"
            },
            "documentInteractiveTime": {
              "type": "integer"
            },
            "domCompleteTime": {
              "type": "long"
            },
            "domContentLoadedTime": {
              "type": "long"
            },
            "domain": {
              "type": "keyword"
            },
            "duration": {
              "type": "integer"
            },
            "endTime": {
              "type": "date"
            },
            "errorCount": {
              "type": "integer"
            },
            "failedImages": {
              "type": "integer"
            },
            "failedXhrRequests": {
              "type": "integer"
            },
            "firstPartyBusyTime": {
              "type": "integer"
            },
            "firstPartyResources": {
              "type": "integer"
            },
            "frontendTime": {
              "type": "integer"
            },
            "httpRequestsWithErrors": {
              "type": "integer"
            },
            "internalApplicationId": {
              "type": "keyword"
            },
            "loadEventEnd": {
              "type": "double"
            },
            "loadEventStart": {
              "type": "double"
            },
            "name": {
              "type": "keyword"
            },
            "navigationStart": {
              "type": "long"
            },
            "networkTime": {
              "type": "integer"
            },
            "requestStart": {
              "type": "long"
            },
            "responseEnd": {
              "type": "long"
            },
            "responseStart": {
              "type": "long"
            },
            "serverTime": {
              "type": "integer"
            },
            "speedIndex": {
              "type": "long"
            },
            "startTime": {
              "type": "date"
            },
            "targetUrl": {
              "type": "keyword"
            },
            "thirdPartyBusyTime": {
              "type": "integer"
            },
            "thirdPartyResources": {
              "type": "integer"
            },
            "type": {
              "type": "keyword"
            },
            "visuallyCompleteTime": {
              "type": "long"
            }
          }
        },
        "userId": {
          "type": "keyword"
        },
        "userSessionId": {
          "type": "keyword"
        },
        "userType": {
          "type": "keyword"
        }
      }
    }
 '

Index look correct.

Does anyone have an idea?


Regards,

Radek



Have a nice day!
1 REPLY 1

radek_jasinski
DynaMight Guru
DynaMight Guru

Problem solved - the problem was the lack of document type parameter


Have a nice day!

Featured Posts