question

Radosław J. avatar image
Radosław J. asked ·

Problem with Elasticsearch Integration

Hi All,

We have some issue with Elasticsearch integration. When we try to send data from Dynatrace to Elk we get an HTTP 500 error "Code: 500 - Message: SocketTimeoutException: Read timed.out. All ports are open and firewall is disabled. I can connect on port 9200 using telnet. I don't see any information in logs from ELK side.


We create index from default file elasticsearch_export_simple_mapping.json.


curl -X PUT "<my-ip>:9200/dynatrace?pretty" -H 'Content-Type: application/json' -d'
{
  "mappings": {
    "session": {
      "dynamic_templates": [
        {
          "num_fields": {
            "path_match": "numTags.*",
            "mapping": {
              "norms": "false",
              "type": "double"
            }
          }
        },
        {
          "date_fields": {
            "path_match": "dateTags.*",
            "mapping": {
              "norms": "false",
              "type": "date"
            }
          }
        },
        {
          "string_fields": {
            "match": "*",
            "match_mapping_type": "string",
            "mapping": {
              "norms": "false",
              "type": "keyword"
            }
          }
        }
      ],
      "properties": {
        "applicationType": {
          "type": "keyword"
        },
        "bounce": {
          "type": "boolean"
        },
        "browserFamily": {
          "type": "keyword"
        },
        "browserMajorVersion": {
          "type": "keyword"
        },
        "browserType": {
          "type": "keyword"
        },
        "city": {
          "type": "keyword"
        },
        "clientType": {
          "type": "keyword"
        },
        "continent": {
          "type": "keyword"
        },
        "country": {
          "type": "keyword"
        },
        "dateTags": {
          "type": "object"
        },
        "displayResolution": {
          "type": "keyword"
        },
        "duration": {
          "type": "integer"
        },
        "endReason": {
          "type": "keyword"
        },
        "endTime": {
          "type": "date"
        },
        "events": {
          "type": "nested",
          "properties": {
            "application": {
              "type": "keyword"
            },
            "internalApplicationId": {
              "type": "keyword"
            },
            "name": {
              "type": "keyword"
            },
            "startTime": {
              "type": "date"
            },
            "type": {
              "type": "keyword"
            }
          }
        },
        "internalUserId": {
          "type": "keyword"
        },
        "ip": {
          "type": "ip"
        },
        "isp": {
          "type": "text"
        },
        "newUser": {
          "type": "boolean"
        },
        "numTags": {
          "type": "object"
        },
        "osFamily": {
          "type": "keyword"
        },
        "osVersion": {
          "type": "keyword"
        },
        "region": {
          "type": "keyword"
        },
        "screenHeight": {
          "type": "integer"
        },
        "screenOrientation": {
          "type": "keyword"
        },
        "screenWidth": {
          "type": "integer"
        },
        "startTime": {
          "type": "date"
        },
        "stringTags": {
          "type": "object"
        },
        "tenantId": {
          "type": "keyword"
        },
        "totalErrorCount": {
          "type": "integer"
        },
        "userActionCount": {
          "type": "integer"
        },
        "userActions": {
          "type": "nested",
          "properties": {
            "apdexCategory": {
              "type": "keyword"
            },
            "application": {
              "type": "keyword"
            },
            "cdnResources": {
              "type": "integer"
            },
            "documentInteractiveTime": {
              "type": "integer"
            },
            "domCompleteTime": {
              "type": "long"
            },
            "domContentLoadedTime": {
              "type": "long"
            },
            "domain": {
              "type": "keyword"
            },
            "duration": {
              "type": "integer"
            },
            "endTime": {
              "type": "date"
            },
            "errorCount": {
              "type": "integer"
            },
            "failedImages": {
              "type": "integer"
            },
            "failedXhrRequests": {
              "type": "integer"
            },
            "firstPartyBusyTime": {
              "type": "integer"
            },
            "firstPartyResources": {
              "type": "integer"
            },
            "frontendTime": {
              "type": "integer"
            },
            "httpRequestsWithErrors": {
              "type": "integer"
            },
            "internalApplicationId": {
              "type": "keyword"
            },
            "loadEventEnd": {
              "type": "double"
            },
            "loadEventStart": {
              "type": "double"
            },
            "name": {
              "type": "keyword"
            },
            "navigationStart": {
              "type": "long"
            },
            "networkTime": {
              "type": "integer"
            },
            "requestStart": {
              "type": "long"
            },
            "responseEnd": {
              "type": "long"
            },
            "responseStart": {
              "type": "long"
            },
            "serverTime": {
              "type": "integer"
            },
            "speedIndex": {
              "type": "long"
            },
            "startTime": {
              "type": "date"
            },
            "targetUrl": {
              "type": "keyword"
            },
            "thirdPartyBusyTime": {
              "type": "integer"
            },
            "thirdPartyResources": {
              "type": "integer"
            },
            "type": {
              "type": "keyword"
            },
            "visuallyCompleteTime": {
              "type": "long"
            }
          }
        },
        "userId": {
          "type": "keyword"
        },
        "userSessionId": {
          "type": "keyword"
        },
        "userType": {
          "type": "keyword"
        }
      }
    }
 '

Index look correct.

Does anyone have an idea?


Regards,

Radek


dynatrace saas
10 |2000000 characters needed characters left characters exceeded

Up to 10 attachments (including images) can be used with a maximum of 50.0 MiB each and 250.0 MiB total.

1 Answer

Radosław J. avatar image
Radosław J. answered ·

Problem solved - the problem was the lack of document type parameter

Share
10 |2000000 characters needed characters left characters exceeded

Up to 10 attachments (including images) can be used with a maximum of 50.0 MiB each and 250.0 MiB total.